Resumo Técnico: CoCoMagic para Teste Metamórfico Diferencial de Sistemas Autônomos

1. Declaração do Problema

Sistemas Autônomos (SAs), particularmente Sistemas de Direção Autônoma (SDAs), passam por atualizações iterativas frequentes envolvendo retreinamento de modelos, ajuste de hiperparâmetros e alterações arquitetônicas. Essas atualizações correm o risco de introduzir degradações comportamentais não intencionais ou violações de segurança que não estavam presentes em versões anteriores. O teste desses sistemas enfrenta três desafios principais:

1. O Problema do Oracle: Em ambientes complexos e de final aberto, definir uma saída esperada de verdade fundamental para cada cenário é frequentemente inviável.
2. Realismo do Cenário: Casos de borda construídos artificialmente podem expor fraquezas, mas frequentemente carecem de relevância prática. Falhas em cenários que se assemelham a condições operacionais do mundo real são mais críticas para a avaliação de segurança.
3. Interpretabilidade: Quando diferenças comportamentais são detectadas entre versões, os desenvolvedores frequentemente carecem de insights acionáveis sobre as causas raiz (por exemplo, fatores ambientais específicos ou interações) que impulsionam essas divergências.

Métodos de teste baseados em busca existentes frequentemente lutam com eficiência computacional em espaços de alta dimensão e falham em comparar sistematicamente versões para isolar degradações induzidas por atualizações. Além disso, o Teste Diferencial (TD) padrão identifica diferenças de saída, mas não pode avaliar implicações de segurança sem um oracle de teste, enquanto o Teste Metamórfico (TM) padrão aborda o problema do oracle, mas pode não visar eficientemente divergências específicas da versão.

2. Metodologia: CoCoMagic

Os autores propõem o CoCoMagic (Gerador Automatizado Metamórfico e Diferencial Co-evolutivo Cooperativo para Casos Interpretáveis), um framework que integra Teste Diferencial, Teste Metamórfico e Algoritmos Co-evolutivos Cooperativos (CCEA) com uma camada de interpretabilidade.

2.1 Framework Central

O CoCoMagic formula a geração de casos de teste como um problema de busca restrito para encontrar pares de cenários fonte ($s$) e perturbações metamórficas ($q$) que maximizem a diferença nas violações de Relação Metamórfica (RM) entre uma versão de referência ($V_{ref}$) e uma versão de teste ($V_{test}$).

• Teste Diferencial (TD): Compara as saídas de duas versões de SA sob entradas idênticas para detectar divergências comportamentais.
• Teste Metamórfico (TM): Aborda o problema do oracle definindo RMs — relações entre entradas e relações de saída esperadas (por exemplo, "se um pedestre aparecer, a velocidade deve diminuir"). Violações ocorrem quando a relação de saída não se mantém.
• Algoritmo Co-evolutivo Cooperativo (CCEA): O espaço de busca é decomposto em duas populações co-evolutivas:
  1. Cenários Fonte ($P_s$): Representam as condições operacionais iniciais.
  2. Perturbações ($P_q$): Representam transformações derivadas de RMs (por exemplo, adicionar um pedestre, mudar o clima).
     Indivíduos de ambas as populações colaboram para formar soluções completas (pares cenário-perturbação). A aptidão de um indivíduo é determinada por sua melhor colaboração com membros da população oposta.

2.2 Mecanismos Chave

• Função de Aptidão: O objetivo é maximizar a diferença absoluta nas extensões de violação de RM entre $V_{ref}$ e $V_{test}$:
  $$\text{Diff}(s, q) = | \max(E(s, q, V_{test}), 0) - \max(E(s, q, V_{ref}), 0) |$$
  onde $E$ quantifica a extensão da violação de RM.
• Busca Restrita e Realismo: Para garantir que os casos de teste gerados sejam praticamente relevantes, a busca é restrita por um conjunto de cenários de execução ($S$) coletados de execuções reais do sistema. Uma métrica de dissimilaridade penaliza soluções que se desviam significativamente desses cenários realistas, guiando a busca em direção a condições operacionalmente plausíveis.
• Inicialização em Tempo de Execução (RI): A população inicial é semeada com cenários amostrados do conjunto de cenários de execução $S$, em vez de geração aleatória, para acelerar a convergência para modos de falha realistas.
• Interpretabilidade (Análise de Causa Raiz): Após a geração, os autores empregam o algoritmo RuleFit. O RuleFit treina um modelo nos casos de teste identificados para extrair regras legíveis por humanos (por exemplo, "SE velocidade > 70km/h E neblina, ENTÃO a violação aumenta"). Isso explica por que as versões divergem, vinculando atributos específicos do cenário às diferenças comportamentais observadas.

3. Contribuições Principais

1. Método de Teste Inovador: A introdução do CoCoMagic, que combina exclusivamente TM e TD dentro de um framework co-evolutivo cooperativo para visar especificamente divergências comportamentais entre versões de SA.
2. Busca Guiada pelo Realismo: A integração de restrições e estratégias de inicialização em tempo de execução para garantir que os casos de teste gerados reflitam condições operacionais do mundo real, abordando a "lacuna de realismo" no teste automatizado.
3. Integração de Interpretabilidade: A incorporação de uma camada de análise baseada em RuleFit que transforma resultados de teste de alta dimensão em regras acionáveis e legíveis por humanos para depuração e avaliação de segurança.
4. Validação Empírica: Uma avaliação abrangente em um SDA de nível industrial (InterFuser) dentro do simulador Carla, demonstrando superioridade sobre métodos de busca de base.

4. Resultados Experimentais

Os autores avaliaram o CoCoMagic contra Busca Aleatória (RS) e um Algoritmo Genético Padrão (SGA) usando o SDA InterFuser no simulador Carla.

• Eficácia (RQ1): O CoCoMagic identificou significativamente mais casos de teste distintos revelando violações de RM do que as bases. Ele alcançou uma aptidão média (gravidade da discrepância) 53% maior que o SGA e 40% maior que o RS.
• Eficiência (RQ2): O CoCoMagic descobriu soluções distintas mais rapidamente, alcançando uma melhoria de 126% na Área Sob a Curva (AUC) sobre o SGA e 169% sobre o RS. Ele também reduziu o tempo de execução em aproximadamente 17% em comparação com as bases, em parte porque gerou menos cenários inválidos (que causam travamento do simulador).
• Impacto de Restrições e Inicialização (RQ3):
  • Aplicar restrições e Inicialização em Tempo de Execução (RI) melhorou significativamente a Distância Média de Execução (AED), tornando os casos de teste ~50% mais semelhantes aos cenários de execução do mundo real.
  • No entanto, esse foco no realismo resultou em um compromisso: uma redução no número total de soluções distintas encontradas (até ~34% de redução com RI e restrições combinadas) e uma leve diminuição na gravidade dos casos de borda mais extremos encontrados.
• Interpretabilidade (RQ4):
  • Precisão: O RuleFit alcançou precisão comparável a modelos complexos de caixa preta (Random Forest e GBDT) enquanto produzia um conjunto compacto de regras (~29 regras versus milhares de caminhos no GBDT).
  • Validação por Especialistas: Especialistas industriais classificaram as regras geradas como altamente compreensíveis (pontuação média 4,0/5,0) e úteis para priorizar condições de teste (pontuação média 3,8/5,0).

5. Significado e Alegações

O artigo afirma que o CoCoMagic oferece uma abordagem eficiente, eficaz e interpretável para o teste diferencial de sistemas autônomos em evolução. Seu significado reside em:

• Ponte para a Lacuna do Oracle: Ao usar RMs, ele valida propriedades de segurança sem necessidade de saídas de verdade fundamental.
• Teste Consciente da Versão: Diferentemente de métodos anteriores que testam uma única versão, o CoCoMagic otimiza explicitamente para diferenças entre versões, apoiando diretamente o teste de regressão e a validação de atualizações.
• Insights Acionáveis: O componente de interpretabilidade vai além de simplesmente sinalizar falhas para explicar as condições específicas (por exemplo, clima, velocidade, proximidade de objetos) que causam uma atualização a degradar o desempenho, apoiando assim a depuração direcionada.
• Aplicabilidade Prática: O uso de restrições garante que o esforço de teste se concentre em cenários prováveis de ocorrer na implantação, aumentando o valor prático do processo de teste para sistemas críticos de segurança.

Os autores mantêm uma postura modesta, reconhecendo que, embora seu método melhore o realismo e a eficiência, há um compromisso inerente entre explorar a amplitude total do espaço de busca (encontrando casos de borda raros e severos) e focar em cenários realistas e fundamentados operacionalmente. Eles posicionam o CoCoMagic como uma ferramenta para apoiar, e não substituir, o julgamento humano na avaliação de segurança.