Resumo Técnico: Ensembles de Simuladores para Testes de Sistemas de Condução Autônoma Confiáveis

1. Declaração do Problema

O teste baseado em cenários utilizando simuladores de condução é o método padrão para validar Sistemas de Assistência de Condução Automatizada (ADAS) e reduzir a necessidade de testes de campo custosos em estradas. No entanto, pesquisas existentes indicam que os resultados da execução de testes são frequentemente inconsistentes. Essas inconsistências surgem de duas fontes primárias:

1. Instabilidade de Teste (Flakiness): Comportamento não determinístico onde o mesmo cenário de teste produz resultados de aprovação/falha diferentes, mesmo dentro do mesmo simulador, frequentemente devido a questões de tempo, sincronização ou incertezas ambientais.
2. Desacordo de Simuladores: Diferentes simuladores (ex: BeamNG, Udacity, Donkey) podem produzir resultados divergentes para a mesma entrada de teste devido a diferenças em motores de física, renderização ou detalhes de implementação.

As abordagens atuais para mitigar esses problemas são limitadas. Algumas descartam testes instáveis, enquanto outras, como o framework "Digital Siblings" (DSS), executam campanhas de geração de testes independentes em diferentes simuladores e fundem os resultados como uma etapa de pós-processamento. Essa fusão post-hoc é ineficiente porque o algoritmo de busca evolui os casos de teste com base no feedback de um único simulador, potencialmente desperdiçando recursos em falhas específicas de um simulador (inválidas) antes que sejam filtradas.

O problema central abordado é a falta de uma metodologia de teste que possa identificar falhas agnósticas ao simulador (falhas válidas que representam defeitos reais no ADAS) diretamente durante o processo de busca, em vez de após ele, mantendo a eficiência.

2. Metodologia: MultiSim

Os autores propõem o MultiSim, uma nova abordagem de teste de software baseada em busca (SBST) que trata múltiplos simuladores como um ensemble durante o processo de geração de testes.

2.1 Formulação de Otimização Multiobjetivo

O MultiSim reformula o problema de teste como um problema de otimização multiobjetivo (MOO). Em vez de avaliar uma entrada de teste em um único simulador, o sistema a avalia em um ensemble de simuladores simultaneamente. O vetor de aptidão (fitness) para uma entrada de teste $x$ é definido como:
$$F(x) = (f_1(x), \dots, f_j(x), f_d(x), f_a(x, A))$$
Onde:

• $f_k(x)$: O valor de aptidão (ex: erro de trajetória lateral/cross-track error) obtido do simulador $S_k$.
• $f_d(x)$: A distância média entre os valores de aptidão de todos os simuladores. Minimizar este termo direciona a busca para cenários onde os simuladores concordam.
• $f_a(x, A)$: A distância da entrada de teste atual para testes encontrados anteriormente em um arquivo $A$. Maximizar este termo garante diversidade no espaço de busca.

Ao minimizar os valores de aptidão (indicando falha) e a distância entre os simuladores, o algoritmo prioriza falhas agnósticas ao simulador — cenários onde o ADAS falha consistentemente através de diferentes ambientes de simulação.

2.2 Representação e Operadores de Teste

• Representação: Cenários de estrada são modelados usando pontos de controle interpolados via splines de Catmull–Rom. O espaço de busca é parametrizado por ângulos e comprimentos de segmento.
• Operadores Genéticos: A abordagem emprega operadores genéticos padrão (seleção, crossover, mutação) adaptados para a geometria da estrada. O crossover troca segmentos de estrada entre estradas pai, enquanto a mutação altera aleatoriamente os ângulos ou comprimentos dos segmentos. Estradas inválidas (ex: aquelas que interceptam limites de mapa) são regeneradas.
• Função Oráculo: Um teste é considerado uma falha se o erro máximo de trajetória lateral (XTE) exceder um limite predefinido (ex: 2,2 metros), indicando que o veículo saiu de sua faixa.

2.3 Estratégia de Validação

Para confirmar que as falhas identificadas são verdadeiramente agnósticas ao simulador, os autores empregam uma fase de validação:

1. Mapeamento de Características: Testes falhos gerados são mapeados para um espaço de características definido por curvatura da estrada e número de curvas.
2. Reexecução: Testes falhos são reexecutados múltiplas vezes (para considerar a instabilidade/flakiness) em simuladores não utilizados durante a fase de busca.
3. Limiar (Thresholding): Um teste é classificado como uma "falha válida" apenas se falhar consistentemente (ex: 100% de taxa de falha) através de todos os simuladores de validação.

2.4 Melhoria por Modelo de Surrogacia (RQ3)

Para melhorar a eficiência, os autores propõem uma melhoria usando um modelo de surroga (um classificador de aprendizado de máquina). Este modelo prevê se uma entrada de teste candidata resultará em um desacordo de simulador. Se a probabilidade prevista de desacordo exceder um limite, o candidato é descartado antes de executar a simulação completa e dispendiosa. Isso permite que a busca se concentre em regiões de alto valor do espaço de entrada.

3. Estudo Empírico e Resultados

O estudo avaliou o MultiSim contra o SingleSim (teste de simulador único) e o DSS (Digital Siblings) usando três modelos de ADAS de manutenção de faixa de complexidade crescente:

• DAVE-2: Uma rede neural convolucional (CNN).
• ViT: Uma arquitetura baseada em Vision Transformer.
• TCP: Uma rede de política híbrida de controle de trajetória.

Os experimentos utilizaram três simuladores: BeamNG, Udacity e Donkey, testados em vários pares (BD, BU, UD).

3.1 Eficácia (RQ1)

• Taxa de Falha Válida: O MultiSim alcançou uma taxa média de falha válida de 70%, superando o DSS (65%) e o SingleSim (47%).
• Desempenho de Configuração: A configuração BD (BeamNG + Donkey) apresentou as maiores taxas de validade para DAVE-2 (99%) e ViT (98%). A configuração BU (BeamNG + Udacity) teve o melhor desempenho para TCP (80%).
• Significância Estatística: Testes de soma de postos de Wilcoxon confirmaram que o MultiSim supera significativamente o SingleSim e o DSS na geração de falhas válidas, com grandes tamanhos de efeito na maioria das comparações.

3.2 Eficiência (RQ2)

• Orçamento de Busca: O MultiSim demonstrou eficiência comparável ao SingleSim, exigindo um orçamento de busca semelhante para encontrar a primeira falha válida.
• Comparação com DSS: O MultiSim geralmente mostrou melhor eficiência que o DSS, particularmente na configuração BD, onde encontrou falhas válidas mais rapidamente do que a abordagem de pós-processamento do DSS.

3.3 Predição e Modelos de Surroga (RQ3)

• Desempenho do Classificador: Um classificador Random Forest alcançou o melhor desempenho na previsão de desacordos de simulador (F-1 scores de 74–83%, AUC de 0,81–0,89).
• Impacto: A integração do modelo de surroga (BD-P) aumentou o número de falhas válidas em aproximadamente 38% em média e reduziu a variabilidade no orçamento de busca necessário para encontrar a primeira falha válida. Ele conseguiu contornar simulações de baixo valor sem sacrificar a descoberta de falhas válidas.

4. Principais Contribuições

1. Abordagem MultiSim: Um novo framework de teste baseado em busca que integra múltiplos simuladores diretamente no loop de otimização, tratando o acordo entre simuladores como um objetivo de primeira classe para identificar falhas agnósticas ao simulador.
2. Validação Empírica: Um estudo extensivo demonstrando que o MultiSim supera tanto o teste de simulador único quanto o framework de estado da arte DSS em termos da taxa de falhas válidas identificadas.
3. Integração de Surroga: Uma demonstração de que preditores de aprendizado de máquina podem ser usados para filtrar desacordos de simuladores durante a busca, melhorando tanto a eficácia quanto a eficiência.
4. Replicação Aberta: Os autores fornecem o código-fonte, dados experimentais e a abordagem de geração de testes para incentivar a pesquisa aberta.

5. Significância e Alegações

O artigo afirma que combinar um ensemble de simuladores durante a busca é uma abordagem promissora para a replicação cruzada automatizada em testes de ADAS. A significância reside na mudança do paradigma de validação post-hoc de resultados de simuladores para a construção de consenso in-process.

• Confiabilidade: Ao priorizar cenários onde os simuladores concordam, o MultiSim reduz o risco de identificar falhas que são artefatos da implementação de um simulador específico (falhas dependentes do simulador).
• Eficiência: A abordagem evita a ineficiência de gerar e depois descartar falhas específicas de um simulador, um problema comum em métodos de pós-processamento como o DSS.
• Generalização: Embora o estudo foque na manutenção de faixa, os autores observam que a arquitetura modular (baseada em OpenSBT) e o conceito de acoplamento de simuladores podem ser generalizados para outras funções de ADAS (ex: frenagem de emergência) e níveis mais altos de autonomia, desde que representações consistentes de cenários possam ser estabelecidas.

Os autores permanecem modestos quanto ao escopo, reconhecendo que o par ideal de simuladores depende do Sistema Sob Teste (SUT) específico e de seus modos dominantes de falha (ex: relacionados ao controle vs. relacionados à percepção). Eles também observam que, embora a abordagem mitigue os sintomas do desacordo de simuladores, ela não resolve inerentemente as causas raízes das discrepâncias, o que exigiria uma inspeção mais profunda do código do simulador.