💻 ciencias de la computación

Automated Test Case Generation for Airborne Software Using a VAE–Transformer Model

Este artículo propone un marco basado en VAE–Transformer que combina representaciones de matrices de campos de eventos estructurados con vectores de semántica de estado para generar casos de prueba diversos y de alta calidad, mejorando significativamente la cobertura y la eficiencia en el fuzzing de software de vuelo en entornos críticos de seguridad en comparación con los métodos convencionales.

Autores originales: Wenguang Xie, Xiaoxue Zeng, Jie Bai, Kenian Wang, Kun Yang

Publicado 2026-10-26

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Wenguang Xie, Xiaoxue Zeng, Jie Bai, Kenian Wang, Kun Yang

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los aviones modernos dependen del software para gestionar desde los controles de vuelo hasta la planificación de misiones. Este código es de seguridad crítica, lo que significa que un solo error podría tener consecuencias catastróficas. Debido a esto, los ingenieros deben probar estos programas rigurosamente para asegurar que se comporten correctamente bajo cada condición posible. Un desafío importante en estas pruebas es que el software opera en estados complejos y cambiantes. Por ejemplo, un comando para cambiar el modo de vuelo podría ser válido solo si la aeronave se encuentra en un estado de armado específico y el nivel de batería es suficiente. Los métodos de prueba tradicionales suelen tener dificultades aquí porque tratan los datos de entrada como un flujo simple de cambios aleatorios. Cuando estos cambios aleatorios se aplican a datos estructurados, frecuentemente rompen las reglas del formato o ignoran el estado actual del sistema, lo que provoca que la prueba falle incluso antes de poder alcanzar las rutas profundas y ocultas donde podrían esconderse los errores.

Investigadores de la Universidad Politécnica de Northwestern y la Universidad de Aviación Civil de China han desarrollado un nuevo enfoque para resolver este problema. Crearon un sistema que utiliza inteligencia artificial para generar casos de prueba de alta calidad diseñados específicamente para software de abordo. En lugar de mutar datos ciegamente, su método primero comprende la estructura de la entrada y el estado actual de los sistemas de la aeronave. Luego, utiliza dos tipos distintos de modelos de aprendizaje automático trabajando en conjunto para crear nuevos escenarios de prueba que sean tanto estructuralmente válidos como contextualmente apropiados. Los investigadores probaron este sistema en seis módulos diferentes de un sistema de control de vuelo real. Encontraron que su método descubrió más rutas de ejecución ocultas y cubrió más código que las herramientas de prueba estándar, todo esto mientras requería menos recursos informáticos para hacerlo.

El núcleo de este nuevo método reside en cómo representa los datos. Las entradas del software de abordo no son solo cadenas aleatorias de números; están organizadas en bloques específicos, como una cuadrícula donde cada fila representa un paso en una secuencia y cada columna representa una pieza de información específica, como un comando, un ajuste de modo o la lectura de un sensor. Los investigadores organizaron sus datos de prueba en este formato de cuadrícula. También extrajeron un resumen del estado operativo de la aeronave —como si el sistema está armado, en qué modo se encuentra o si hay alguna falla activa— y lo convirtieron en un vector compacto de información. Este vector actúa como un conjunto de reglas o restricciones para el proceso de generación, asegurando que cualquier nuevo caso de prueba creado respete el estado actual del sistema.

Para generar nuevos casos de prueba, el sistema emplea una arquitectura de dos partes. La primera parte es un autoencoder variacional, que actúa como un generador de diversidad. Este aprende los patrones subyacentes de los casos de prueba exitosos a partir de los datos que ha visto. En lugar de solo copiar ejemplos antiguos, crea un espacio continuo de posibilidades donde puede muestrear nuevas variaciones. Crucialmente, lo hace manteniendo constante el vector de estado operativo. Esto significa que puede producir muchas variaciones estructurales de un caso de prueba que encajen dentro de las mismas condiciones de estado específicas, tales como "armado y en modo de crucero". Esto permite al sistema explorar muchos caminos diferentes sin romper accidentalmente las reglas de estado que el software requiere.

La segunda parte del sistema es un modelo Transformer, un tipo de red neuronal conocida por su capacidad para entender las relaciones entre diferentes partes de una secuencia. En este contexto, observa la cuadrícula completa de eventos y campos simultáneamente. Entiende que un comando enviado al principio de una secuencia podría necesitar ser compatible con una bandera de estado establecida al final. El sistema utiliza un mecanismo de compuerta especial para mezclar las restricciones de estado de la primera parte con las variaciones diversas de la segunda parte. Esto asegura que la salida final sea un caso de prueba completo y coherente, donde cada campo tenga sentido en relación con los demás y con el estado general. El modelo genera el caso de prueba completo en paralelo, en lugar de adivinar un byte a la vez, lo que ayuda a mantener la integridad estructural de los datos.

Los investigadores evaluaron su método utilizando el módulo comandante del sistema de control de vuelo PX4, un piloto automático de código abierto ampliamente utilizado. Compararon su enfoque contra un fuzzer guiado por cobertura estándar, que depende de mutaciones aleatorias, y una red generativa antagónica, otro tipo de modelo de IA utilizado frecuentemente para generar datos. Los resultados mostraron que su método VAE-Transformer superó consistentemente a los demás. En el módulo comandante, aumentó la cobertura de aristas aproximadamente en 4.9 puntos porcentuales, la cobertura de líneas en 5.1 puntos porcentuales y la cobertura de ramas en 4.6 puntos porcentuales en comparación con el fuzzer estándar. Más importante aún, alcanzó estos niveles más altos de cobertura utilizando cerca de un 9.6 por ciento menos de esfuerzo computacional, medido en el número de veces que el software tuvo que ser ejecutado.

Esta ventaja no se limitó a un solo módulo. El equipo probó el sistema en seis módulos diferentes de lógica de control, incluyendo gestión de misiones, monitoreo de salud y sistemas de recuperación de seguridad. En los seis objetivos, el nuevo método descubrió significativamente más rutas de ejecución únicas y cubrió más líneas de código que los métodos de comparación. Por ejemplo, en el módulo de gestión de misiones, encontró 77 rutas únicas más que el siguiente mejor método. El sistema también demostró una capacidad más consistente para encontrar nuevos caminos a lo largo del tiempo, mientras que los otros métodos a menudo alcanzaban un estancamiento donde dejaban de descubrir nuevo código. Los investigadores señalaron que el método fue particularmente efectivo para navegar las complejas dependencias de estado que caracterizan al software de control de vuelo, donde la validez de una entrada a menudo depende de una combinación precisa de tiempo, valores y estados del sistema.

El estudio también incluyó experimentos para determinar qué partes del sistema eran más importantes. Cuando los investigadores eliminaron el autoencoder variacional o el componente Transformer, el rendimiento cayó, indicando que ambas partes eran necesarias para obtener los mejores resultados. Del mismo modo, cuando reemplazaron el mecanismo de compuerta adaptativa con métodos más simples de combinación de información, el sistema se volvió menos eficiente en la búsqueda de nuevos caminos. Esto sugiere que la forma específica en que el modelo equilibra las restricciones de estado con la diversidad aleatoria es un factor clave en su éxito. Los investigadores concluyeron que su enfoque ofrece una forma viable de automatizar las pruebas de software de alta seguridad, mejorando tanto la exhaustividad de las pruebas como la eficiencia con la que se llevan a cabo.

Aunque los resultados son prometedores, los autores reconocen que su método fue diseñado para entradas de longitud fija con límites de campo claros, lo cual es común en muchos sistemas de control de vuelo pero no en todos. Sugieren que el trabajo futuro deberá abordar protocolos de longitud variable y restricciones de interacción más complejas. No obstante, el estudio demuestra que, al combinar la comprensión de los estados del sistema con modelos generativos avanzados, es posible crear casos de prueba que son mucho más efectivos para descubrir defectos ocultos que los métodos aleatorios tradicionales. Este enfoque proporciona una nueva herramienta para asegurar la seguridad y la fiabilidad del software que mantiene en vuelo a las aeronaves modernas.

Resumen Técnico: Generación Automatizada de Casos de Prueba para Software Aeronáutico mediante un Modelo VAE–Transformer

Planteamiento del Problema

El software aeronáutico es de misión crítica para la seguridad, caracterizado por formatos de entrada estrictos, estados operativos complejos y rutas de ejecución profundas dependientes del estado. El fuzzing guiado por cobertura convencional (por ejemplo, AFL, AFL++) depende de mutaciones aleatorias a nivel de bytes para explorar estas rutas. Sin embargo, para el software aeronáutico, tales mutaciones aleatorias a menudo corrompen los formatos de entrada estructurados (disruptando los límites de los campos y el orden de los eventos) y no logran satisfacer las complejas restricciones de estado. En consecuencia, muchas entradas mutadas son rechazadas durante el parseo o la validación de estado, lo que dificulta la generación de casos de prueba de alta calidad que alcancen rutas de ejecución profundas. Si bien se ha aplicado el aprendizaje profundo al fuzzing de protocolos textuales y formatos de archivos, existe una falta de investigación sistemática sobre modelos generativos capaces de preservar tanto la validez estructural como la semántica de estado para las entradas binarias de longitud fija, explícitamente estructuradas y fuertemente dependientes del estado, típicas de las máquinas de estado aeronáuticas.

Metodología

El artículo propone un marco de trabajo VAE–Transformer para la generación automatizada de casos de prueba, diseñado para integrar la validez estructural con las restricciones de semántica de estado. El marco opera a través de cuatro etapas principales:

1. Representación de Entrada Estructurada y Extracción de Semántica de Estado

Matriz de Evento–Campo: Las entradas binarias de longitud fija se reorganizan en una matriz de evento–campo de $m \times n$ , donde las filas representan los pasos del evento y las columnas representan las dimensiones de los campos (por ejemplo, tick, comando, modo, banderas). Esto preserva la semántica local de los campos y el orden global de los eventos.
Vector de Condicionamiento de Semántica de Estado ( $c$ ): Mediante la ejecución de semillas históricas en el programa objetivo, se extraen resúmenes del estado en tiempo de ejecución (incluyendo el modo del sistema, el estado de armado, el nivel de falla de seguridad y las estadísticas de rechazo). Estos se normalizan en un vector de $s$ dimensiones ( $c$ ) que codifica explícitamente el contexto del estado operativo.

2. Modelado Latente VAE Basado en la Extracción de Semántica

Se emplea un Autoencoder Variacional Condicional (VAE) para aprender la distribución latente de los casos de prueba de alto valor bajo restricciones de estado específicas.

Condicionamiento: El vector de estado operativo $c$ sirve como la entrada de condicionamiento.
Espacio Latente: El codificador mapea $c$ a una distribución de probabilidad sobre una variable latente $z$ .
Reparametrización: Se muestrea una variable latente $z$ utilizando el truco de reparametrización ( $z = \mu + \sigma \odot \varepsilon$ ). Esto permite al modelo generar candidatos diversos bajo la misma condición de estado introduciendo perturbaciones estocásticas en un espacio latente continuo, en lugar de depender de cambios de bits discretos y aleatorios.
Separación de Preocupaciones: Este diseño separa explícitamente las restricciones de semántica de estado (proporcionadas por $c$ ) de la fuente de diversidad de la muestra (proporcionada por $z$ ).

3. Generación Transformer con Atención a Eventos

Un codificador Transformer genera la estructura real del caso de prueba, utilizando un mecanismo de fusión de compuerta sensible a eventos para equilibrar las restricciones y la diversidad.

Fusión de Compuerta (Gated Fusion): La representación de condicionamiento ( $H_c$ ) y la representación latente ( $H_z$ ) se proyectan en un espacio oculto común. Un mecanismo de compuerta adaptativo calcula los pesos para fusionar estas representaciones en cada posición de evento: $H_{fuse} = G \odot H_c + (1 - G) \odot H_z$ . Esto permite al modelo coordinar dinámicamente las restricciones de estado y la variación estocástica.
Modelado Bidireccional: El codificador Transformer aplica atención de múltiples cabezales para modelar las dependencias bidireccionales entre todos los eventos en la secuencia, capturando relaciones de largo alcance (por ejemplo, cómo una inyección de falla afecta a un estado de recuperación posterior).
Generación en Paralelo: A diferencia de la generación autorregresiva byte por byte, el modelo genera la matriz $m \times n$ completa en paralelo mediante una capa totalmente conectada distribuida en el tiempo, asegurando la coherencia estructural.

4. Bucle de Evaluación

Los casos de prueba generados se someten a un post-procesamiento (desnormalización y recorte a rangos de bytes válidos) y se utilizan como el corpus inicial para AFL++. Los parámetros del modelo generativo permanecen fijos durante esta fase; AFL++ proporciona retroalimentación de cobertura pero no actualiza el modelo VAE-Transformer.

Contribuciones Clave

El artículo identifica dos contribuciones principales:

Modelado Latente VAE Basado en la Extracción de Semántica: El método reorganiza las entradas binarias puras en una matriz de evento–campo y extrae un vector de semántica de estado operativo explícito. Un VAE condicional aprende la distribución latente de las entradas de alto valor bajo estas restricciones, utilizando el muestreo reparametrizado para proporcionar una diversidad controlada. Este diseño separa las restricciones de semántica de estado de la fuente de diversidad de la muestra.
Generación Transformer con Atención a Eventos: Un mecanismo de compuerta sensible a eventos equilibra adaptativamente el vector semántico de condicionamiento y la variable latente estocástica en cada posición de evento. Un codificador Transformer modela las dependencias bidireccionales para generar casos de prueba completos y estructuralmente válidos en paralelo, apoyando tanto la validez estructural como la exploración de rutas profundas.

Resultados Experimentales

Los experimentos se realizaron sobre seis módulos representativos de lógica de control del sistema de control de vuelo PX4 (por ejemplo, commander, mission manager, health monitor) utilizando una línea base de AFL++, un enfoque basado en GAN y el propuesto VAE–Transformer.

Mejoras en la Cobertura: En el objetivo commander, el método propuesto mejoró la cobertura de aristas aproximadamente en 4.9 puntos porcentuales, la cobertura de líneas en 5.1 puntos porcentuales y la cobertura de ramas en 4.6 puntos porcentuales en comparación con la línea base de AFL++.
Eficiencia: El presupuesto de ejecución (número de ejecuciones) requerido para alcanzar la cobertura objetivo disminuyó aproximadamente un 9.6% para el objetivo commander. En todos los seis objetivos, el presupuesto de ejecución promedio disminuyó aproximadamente un 9.4%.
Generalización: El VAE–Transformer superó consistentemente tanto a AFL++ como a GAN en los seis módulos en términos de aristas cubiertas, ramas cubiertas y líneas cubiertas. Demostró la capacidad de superar mesetas de cobertura intermedias donde otros métodos se estancaban.
Estudios de Ablación: Los experimentos confirmaron que la combinación de modelado de distribución VAE, modelado contextual Transformer y el mecanismo de fusión de compuerta adaptativa es necesaria para un rendimiento óptimo. Eliminar cualquier componente o utilizar estrategias de fusión más simples (por ejemplo, suma o concatenación) resultó en una menor cobertura y presupuestos de ejecución más altos.

Significación y Reivindicaciones

El artículo afirma que el método propuesto ofrece un enfoque viable para las pruebas automatizadas de software aeronáutico de alta seguridad al abordar las limitaciones de la mutación aleatoria en entornos estructurados y dependientes del estado. Al modelar explícitamente la semántica de estado y utilizar un modelo generativo para explorar el espacio latente de entradas válidas, el método mejora tanto la amplitud/profundidad de la cobertura como la eficiencia del fuzzing.

Los autores señalan que el trabajo actual se centra en entradas estructuradas de longitud fija con límites de campo claros. Indican que la aplicabilidad a protocolos de longitud variable, entradas profundamente anidadas y restricciones de interacción más complejas requiere mayor investigación. El método se presenta como una mejora para los flujos de trabajo de fuzzing existentes (específicamente como un generador de semillas para AFL++) en lugar de un reemplazo para el motor de fuzzing en sí mismo.