💻 ciência da computação

Automated Test Case Generation for Airborne Software Using a VAE–Transformer Model

Este artigo propõe uma estrutura baseada em VAE–Transformer que combina representações de matriz de campo de eventos estruturadas com vetores semânticos de estado para gerar casos de teste diversos e de alta qualidade, melhorando significativamente a cobertura e a eficiência no fuzzing de software aeroespacial crítico para a segurança em comparação com métodos convencionais.

Autores originais: Wenguang Xie, Xiaoxue Zeng, Jie Bai, Kenian Wang, Kun Yang

Publicado 2026-10-26

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Wenguang Xie, Xiaoxue Zeng, Jie Bai, Kenian Wang, Kun Yang

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A aeronave moderna depende de software para gerenciar tudo, desde controles de voo até o planejamento de missões. Este código é crítico para a segurança, o que significa que um único erro pode ter consequências catastróficas. Por causa disso, os engenheiros devem testar esses programas rigorosamente para garantir que eles se comportem corretamente sob todas as condições possíveis. Um grande desafio nesse teste é que o software opera em estados complexos e variáveis. Por exemplo, um comando para mudar o modo de voo pode só ser válido se a aeronave estiver em um estado específico de prontidão e se o nível da bateria for suficiente. Os métodos tradicionais de teste frequentemente têm dificuldade com isso porque tratam os dados de entrada como um fluxo simples de mudanças aleatórias. Quando essas mudanças aleatórias são aplicadas a dados estruturados, elas frequentemente quebram as regras do formato ou ignoram o estado atual do sistema, fazendo com que o teste falhe antes mesmo de alcançar os caminhos profundos e ocultos onde os bugs podem se esconder.

Pesquisadores da Universidade Politécnica de Northwestern e da Universidade de Aviação Civil da China desenvolveram uma nova abordagem para resolver este problema. Eles criaram um sistema que utiliza inteligência artificial para gerar casos de teste de alta qualidade especificamente projetados para software de bordo. Em vez de apenas mutar dados cegamente, o método deles primeiro compreende a estrutura da entrada e o estado atual dos sistemas da aeronave. Em seguida, utiliza dois tipos distintos de modelos de aprendizado de máquina trabalhando juntos para criar novos cenários de teste que sejam tanto estruturalmente válidos quanto contextualmente apropriados. Os pesquisadores testaram este sistema em seis módulos diferentes de um sistema de controle de voo real. Eles descobriram que seu método descobriu mais caminhos de execução ocultos e cobriu mais código do que as ferramentas de teste padrão, tudo isso enquanto exigia menos recursos computacionais para o fazer.

O cerne deste novo método reside em como ele representa os dados. As entradas de software de bordo não são apenas sequências aleatórias de números; elas são organizadas em blocos específicos, como uma grade onde cada linha representa uma etapa em uma sequência e cada coluna representa uma informação específica, como um comando, uma configuração de modo ou uma leitura de sensor. Os pesquisadores organizaram seus dados de teste neste formato de grade. Eles também extraíram um resumo do estado operacional da aeronave — como se o sistema está armado, em qual modo ele está ou se há quaisquer falhas ativas — e transformaram isso em um vetor compacto de informações. Este vetor atua como um conjunto de regras ou restrições para o processo de geração, garantindo que qualquer novo caso de teste criado respeite o estado atual do sistema.

Para gerar novos casos de teste, o sistema emprega uma arquitetura de duas partes. A primeira parte é um autoencoder variacional, que atua como um gerador de diversidade. Ele aprende os padrões subjacentes de casos de teste bem-sucedidos a partir dos dados que observou. Em vez de apenas copiar exemplos antigos, ele cria um espaço contínuo de possibilidades onde pode amostrar novas variações. Crucialmente, ele faz isso mantendo o vetor de estado operacional constante. Isso significa que ele pode produzir muitas variações estruturais de um caso de teste que se encaixam dentro das mesmas condições de estado específicas, tais como "armado e em modo de cruzeiro". Isso permite que o sistema explore muitos caminhos diferentes sem acidentalmente quebrar as regras de estado que o software exige.

A segunda parte do sistema é um modelo Transformer, um tipo de rede neural conhecida por sua capacidade de entender relacionamentos entre diferentes partes de uma sequência. Neste contexto, ele observa toda a grade de eventos e campos simultaneamente. Ele entende que um comando enviado no início de uma sequência pode precisar ser compatível com uma flag de status definida ao final. O sistema utiliza um mecanismo de portão (gating) especial para misturar as restrições de estado da primeira parte com as variações diversas da segunda parte. Isso garante que a saída final seja um caso de teste completo e coerente, onde cada campo faz sentido em relação aos outros e ao estado geral. O modelo gera todo o caso de teste em paralelo, em vez de adivinhar um byte de cada vez, o que ajuda a manter a integridade estrutural dos dados.

Os pesquisadores avaliaram seu método usando o módulo comandante do PX4, um sistema de piloto automático de código aberto amplamente utilizado. Eles compararam sua abordagem contra um fuzzer guiado por cobertura padrão, que depende de mutações aleatórias, e uma rede adversária generativa (GAN), outro tipo de modelo de IA frequentemente usado para gerar dados. Os resultados mostraram que seu método VAE-Transformer superou consistentemente os outros. No módulo comandante, ele aumentou a cobertura de arestas em aproximadamente 4,9 pontos percentuais, a cobertura de linhas em 5,1 pontos percentuais e a cobertura de ramos em 4,6 pontos percentuais em comparação com o fuzzer padrão. Mais importante, ele atingiu esses níveis mais altos de cobertura usando cerca de 9,6 por cento menos esforço computacional, medido pelo número de vezes que o software teve que ser executado.

Essa vantagem não se limitou a um único módulo. A equipe testou o sistema em seis módulos diferentes de lógica de controle, incluindo gestão de missão, monitoramento de saúde e sistemas de recuperação de segurança. Em todos os seis alvos, o novo método descobriu significativamente mais caminhos de execução únicos e cobriu mais linhas de código do que os métodos de comparação. Por exemplo, no módulo de gerenciamento de missão, ele encontrou 77 caminhos únicos a mais do que o próximo melhor método. O sistema também demonstrou uma capacidade mais consistente de encontrar novos caminhos ao longo do tempo, enquanto os outros métodos frequentemente atingiam um platô onde paravam de descobrir novo código. Os pesquisadores observaram que o método foi particularmente eficaz ao navegar pelas complexas dependências de estado que caracterizam o software de controle de voo, onde a validade de uma entrada muitas vezes depende de uma combinação precisa de tempo, valores e estados do sistema.

O estudo também incluiu experimentos para determinar quais partes do sistema eram mais importantes. Quando os pesquisadores removeram o autoencoder variacional ou o componente Transformer, o desempenho caiu, indicando que ambas as partes eram necessárias para os melhores resultados. Da mesma forma, quando substituíram o mecanismo de portão adaptativo por métodos mais simples de combinação de informações, o sistema tornou-se menos eficiente na descoberta de novos caminhos. Isso sugere que a maneira específica como o modelo equilibra as restrições de estado com a diversidade aleatória é um fator chave para o seu sucesso. Os pesquisadores concluíram que sua abordagem oferece uma maneira viável de automatizar o teste de software de alta garantia, melhorando tanto a thoroughness (minuciosidade) do teste quanto a eficiência com que é conduzido.

Embora os resultados sejam promissores, os autores reconhecem que seu método foi projetado para entradas de comprimento fixo com limites de campo claros, o que é comum em muitos sistemas de controle de voo, mas não em todos. Eles sugerem que trabalhos futuros precisarão abordar protocolos de comprimento variável e restrições de interação mais complexas. No entanto, o estudo demonstra que, ao combinar a compreensão dos estados do sistema com modelos generativos avançados, é possível criar casos de teste que são muito mais eficazes para descobrir defeitos ocultos do que os métodos aleatórios tradicionais. Esta abordagem fornece uma nova ferramenta para garantir a segurança e a confiabilidade do software que mantém as aeronaves modernas voando.

Resumo Técnico: Geração Automatizada de Casos de Teste para Software Aeronáutico Usando um Modelo VAE–Transformer

Declaração do Problema

O software aeronáutico é crítico para a segurança, caracterizado por formatos de entrada rigorosos, estados operacionais complexos e caminhos de execução profundos dependentes de estado. O fuzzing guiado por cobertura convencional (ex: AFL, AFL++) baseia-se em mutações de nível de byte aleatórias para explorar esses caminhos. No entanto, para o software aeronáutico, tais mutações aleatórias frequentemente corrompem os formatos de entrada estruturados (disruptando fronteiras de campos e ordens de eventos) e falham em satisfazer restrições de estado complexas. Consequentemente, muitos inputs mutados são rejeitados durante o parsing ou validação de estado, tornando difícil a geração de casos de teste de alta qualidade que alcancem caminhos de execução profundos. Embora o aprendizado profundo tenha sido aplicado ao fuzzing de protocolos textuais e formatos de arquivo, há uma falta de investigação sistemática sobre modelos generativos capazes de preservar tanto a validade estrutural quanto a semântica de estado para os inputs binários de comprimento fixo, explicitamente estruturados e fortemente dependentes de estado, típicos de máquinas de estado aeronáuticas.

Metodologia

O artigo propõe um framework VAE–Transformer para a geração automatizada de casos de teste, projetado para integrar validade estrutural com restrições semânticas de estado. O framework opera através de quatro estágios principais:

1. Representação de Input Estruturado e Extração de Semântica de Estado

Matriz Evento–Campo: Inputs binários de comprimento fixo são reorganizados em uma matriz evento–campo $m \times n$ , onde as linhas representam passos de eventos e as colunas representam dimensões de campos (ex: tick, comando, modo, flags). Isso preserva a semântica local dos campos e a ordem global dos eventos.
Vetor de Condicionamento de Semântica de Estado ( $c$ ): Ao executar seeds históricas no programa alvo, resumos de estado de tempo de execução (incluindo modo do sistema, estado de armamento, nível de failsafe e estatísticas de rejeição) são extraídos. Estes são normalizados em um vetor de $s$ dimensões ( $c$ ) que codifica explicitamente o contexto do estado operacional.

2. Modelagem Latente VAE Baseada em Extração Semântica

Um Autoencoder Variacional Condicional (VAE) é empregado para aprender a distribuição latente de casos de teste de alto valor sob restrições de estado específicas.

Condicionamento: O vetor de estado operacional $c$ serve como a entrada de condicionamento.
Espaço Latente: O encoder mapeia $c$ para uma distribuição de probabilidade sobre uma variável latente $z$ .
Reparametrização: Uma variável latente $z$ é amostrada usando o truque de reparametrização ( $z = \mu + \sigma \odot \varepsilon$ ). Isso permite que o modelo gere candidatos diversos sob a mesma condição de estado ao introduzir perturbações estocásticas em um espaço latente contínuo, em vez de depender de flips de bits discretos e aleatórios.
Separação de Preocupações: Este design separa explicitamente as restrições de semântica de estado (fornecidas por $c$ ) da fonte de diversidade da amostra (fornecida por $z$ ).

3. Geração Transformer com Atenção a Eventos (Event-Aware Gated Transformer)

Um Transformer encoder gera a estrutura do caso de teste, utilizando um mecanismo de fusão com portão sensível a eventos (event-aware gated fusion) para equilibrar restrições e diversidade.

Fusão por Portão (Gated Fusion): A representação de condicionamento ( $H_c$ ) e a representação latente ( $H_z$ ) são projetadas em um espaço oculto comum. Um mecanismo de portão adaptativo computa pesos para fundir essas representações em cada posição de evento: $H_{fuse} = G \odot H_c + (1 - G) \odot H_z$ . Isso permite que o modelo coordene dinamicamente as restrições de estado e a variação estocástica.
Modelagem Bidirecional: O Transformer encoder aplica autoatenção de múltiplas cabeças para modelar dependências bidirecionais entre todos os eventos na sequência, capturando relacionamentos de longo alcance (ex: como uma injeção de falha afeta um estado de recuperação posterior).
Geração Paralela: Diferente da geração autorregressiva byte a byte, o modelo produz a matriz $m \times n$ completa e normalizada em paralelo via uma camada totalmente conectada distribuída no tempo, garantindo coerência estrutural.

4. Loop de Avaliação

Os casos de teste gerados passam por um pós-processamento (desnormalização e clipping para intervalos de bytes válidos) e são usados como o corpus inicial para o AFL++. Os parâmetros do modelo generativo permanecem fixos durante esta fase; o AFL++ fornece feedback de cobertura, mas não atualiza o modelo VAE-Transformer.

Principais Contribuições

O artigo identifica duas contribuições principais:

Modelagem Latente VAE Baseada em Extração Semântica: O método reorganiza inputs binários brutos em uma matriz evento–campo e extrai um vetor de semântica de estado operacional explícito. Um VAE condicional aprende a distribuição latente de inputs de alto valor sob essas restrições, usando amostragem reparametrizada para fornecer diversidade controlada. Este design separa as restrições de semântica de estado da fonte de diversidade da amostra.
Geração Transformer com Atenção a Eventos: Um mecanismo de portão sensível a eventos equilibra adaptativamente o vetor semântico de condicionamento e a variável latente estocástica em cada posição de evento. Um Transformer encoder então modela dependências bidirecionais para gerar casos de teste completos e estruturalmente válidos em paralelo, suportando tanto a validade estrutural quanto a exploração de caminhos profundos.

Resultados Experimentais

Experimentos foram conduzidos em seis módulos representativos de lógica de controle do sistema de controle de voo PX4 (ex: commander, mission manager, health monitor) usando um baseline de AFL++, uma abordagem baseada em GAN e o proposto VAE–Transformer.

Melhorias de Cobertura: No alvo commander, o método proposto melhorou a cobertura de arestas em aproximadamente 4,9 pontos percentuais, a cobertura de linhas em 5,1 pontos percentuais e a cobertura de ramos em 4,6 pontos percentuais em comparação com o baseline de AFL++.
Eficiência: O orçamento de execução (número de execuções) necessário para atingir a cobertura alvo diminuiu em aproximadamente 9,6% para o alvo commander. Em todos os seis alvos, o orçamento médio de execução diminuiu cerca de 9,4%.
Generalização: O VAE–Transformer superou consistentemente tanto o AFL++ quanto o GAN em todos os seis módulos em termos de arestas cobertas, ramos cobertos e linhas cobertas. Demonstrou a capacidade de superar platôs intermediários de cobertura onde outros métodos estagnaram.
Estudos de Ablação: Experimentos confirmaram que a combinação de modelagem de distribuição VAE, modelagem contextual Transformer e o mecanismo de fusão por portão adaptativo é necessária para o desempenho ideal. Remover qualquer componente ou usar estratégias de fusão mais simples (ex: adição ou concatenação) resultou em menor cobertura e orçamentos de execução mais altos.

Significância e Alegações

O artigo afirma que o método proposto oferece uma abordagem viável para o teste automatizado de software aeronáutico de alta garantia, abordando as limitações da mutação aleatória em ambientes estruturados e dependentes de estado. Ao modelar explicitamente a semântica de estado e usar um modelo generativo para explorar o espaço latente de inputs válidos, o método melhora tanto a amplitude/profundidade da cobertura quanto a eficiência do fuzzing.

Os autores observam que o trabalho atual foca em inputs estruturados de comprimento fixo com fronteiras de campo claras. Eles afirmam que a aplicabilidade a protocolos de comprimento variável, inputs profundamente aninhados e restrições de interação mais complexas requer investigação adicional. O método é apresentado como um aprimoramento para fluxos de trabalho de fuzzing existentes (especificamente como um gerador de sementes para o AFL++) em vez de um substituto para o próprio motor de fuzzing.