From Research to Practice: An Interactive Rapid Review of Autonomous Driving System Testing in Industry

1. Declaração do Problema

Os Sistemas de Direção Autônoma (ADS) estão sendo cada vez mais implantados no tráfego real, no entanto, seus testes permanecem um desafio fundamental devido a ambientes operacionais abertos, cenários complexos e à falta de processos e métricas estabelecidos. Existe uma lacuna significativa entre a pesquisa acadêmica e a prática industrial:

• A Lacuna: Embora exista pesquisa extensa sobre testes de ADS, ela raramente é validada em ambientes industriais. A aplicabilidade dos resultados da pesquisa às restrições do mundo real (por exemplo, integração de cadeia de ferramentas, disponibilidade de dados, regulamentações de segurança) é frequentemente negligenciada.
• Foco Específico: A indústria está transitando para arquiteturas de ADS End-to-End (E2E), que apresentam desafios de teste únicos em comparação com abordagens modulares. Há uma falta de revisões conduzidas por praticantes que avaliem sistematicamente como as intervenções acadêmicas atendem a essas necessidades industriais específicas.
• Questão Central: Como a pesquisa acadêmica sobre testes de ADS pode ser efetivamente traduzida para a prática industrial, particularmente no que diz respeito a sistemas E2E?

2. Metodologia: Revisão Rápida Interativa

Os autores empregaram uma abordagem de Revisão Rápida Interativa, colaborando com 21 praticantes de uma empresa líder de automóveis (Volvo Cars). Este método difere das revisões sistemáticas de literatura tradicionais ao envolver praticantes durante todo o ciclo de vida da pesquisa para garantir relevância e consciência contextual.

O processo seguiu cinco etapas-chave:

1. Preparação: Uma equipe de revisão de pesquisadores e praticantes estabeleceu um protocolo de colaboração.
2. Identificação de Questões de Revisão:
   • Quatro praticantes propuseram 12 desafios/perguntas iniciais sobre testes de ADS.
   • Cinco praticantes (incluindo alguns novos à lista inicial para mitigar viés) priorizaram estes por meio de um processo de votação.
   • Resultado: Duas questões críticas foram selecionadas para análise profunda:
     • Q7: Como a transição para a arquitetura E2E afeta as estratégias de verificação e validação?
     • Q8: Como pode-se argumentar sobre a completude dos testes para ADS habilitados por E2E?
3. Busca e Seleção de Artigos:
   • Palavras-chave foram derivadas da Q7 e Q8 e pesquisadas no IEEE Xplore, ACM Digital Library, Scopus e arXiv (2016–2026).
   • Pool Inicial: 1.389 estudos únicos.
   • Seleção: 17 artigos foram selecionados com base na relevância para as questões específicas de revisão e foco explícito em testes de ADS E2E.
4. Extração e Síntese de Dados:
   • A equipe extraiu 17 "Regras Tecnológicas" (representações estruturadas de contribuições de pesquisa capturando intervenção, contexto e efeito esperado) dos artigos selecionados.
   • Essas regras foram apresentadas aos 21 praticantes em um workshop de acompanhamento para avaliar relevância, aplicabilidade e restrições de adoção.
5. Disseminação: Os resultados foram sintetizados em um relatório e planejados para seminários internos para facilitar a transferência de conhecimento.

3. Principais Contribuições

1. Identificação de Desafios Conduzida por Praticantes: O estudo identifica 12 desafios práticos em testes de ADS, priorizando abordagens de teste E2E e completude de testes como as necessidades industriais mais urgentes.
2. Avaliação Sistemática da Pesquisa: Fornece a primeira revisão de pesquisa sobre testes de ADS filtrada especificamente através de uma lente industrial, analisando 17 estudos contra restrições do mundo real.
3. Síntese de Regras Tecnológicas: Os autores sintetizaram intervenções de pesquisa em 17 regras tecnológicas acionáveis, categorizando-as por abordagem (por exemplo, baseada em restrições, baseada em RL, modelos generativos).
4. Análise de Lacunas: O estudo destaca barreiras específicas à adoção, como a complexidade de pipelines multi-estágio, falta de frameworks unificados e a lacuna "sim-to-real" no realismo de cenários.

4. Principais Resultados e Descobertas

A. Análise da Q7: Abordagens para Testes de ADS E2E

Os 16 artigos que abordam a Q7 focam principalmente na geração de cenários críticos para testar sistemas E2E. Eles foram categorizados em quatro abordagens técnicas:

• Baseado em Restrições/Busca (8 artigos): Métodos como CoCoMagic e EpiTESTER usam algoritmos evolutivos e testes metamórficos para encontrar cenários críticos de segurança.
  • Feedback dos Praticantes: Altamente relevante para testes de regressão e identificação de cenários de cauda longa. No entanto, a adoção é limitada pela necessidade de cadeias de ferramentas unificadas e pela dificuldade de manipular cenários baseados em logs em escala.
• Baseado em Aprendizado por Reforço (RL) (4 artigos): Métodos como MARL-OT usam RL multiagente para coordenar veículos ao redor e disparar falhas.
  • Feedback dos Praticantes: Alinha-se com a mudança para testes reativos e de malha fechada. Preocupações foram levantadas sobre a interpretabilidade dos cenários gerados e se eles permanecem realistas (plausíveis) versus apenas matematicamente ótimos.
• Baseado em Modelos Generativos (2 artigos): Métodos como CADiffusion e SafeMVDrive usam modelos de difusão e Modelos Visão-Linguagem (VLMs) para gerar imagens adversárias ou vídeos multi-visão.
  • Feedback dos Praticantes: Novos e valiosos para isolar efeitos específicos de sensores (por exemplo, falhas apenas de visão). No entanto, a complexidade de integrar pipelines multi-estágio em fluxos de trabalho de engenharia existentes é uma barreira significativa.
• Baseado em Perturbação Adversária (2 artigos): Métodos como UniAda aplicam perturbações ao nível de pixel em imagens para induzir falhas.
  • Feedback dos Praticantes: Questionado quanto ao realismo físico. Embora eficazes em simulação, os praticantes duvidaram se variações ao nível de pixel representam entradas de sensores do mundo real (por exemplo, ruído da câmera, mudanças de iluminação).

Descoberta Geral para Q7: Os praticantes valorizam abordagens que incorporam dados do mundo real e impõem restrições para garantir o realismo do cenário. A "maldição da dimensionalidade" e a falta de um framework unificado para comparar esses métodos são grandes obstáculos à adoção.

B. Análise da Q8: Completude dos Testes de ADS E2E

Apenas um estudo (P17, SAFR-AV) foi encontrado abordando a completude dos testes E2E.

• Abordagem: Um método baseado em cenários e orientado a dados usando competências comportamentais e aprendizado de distribuição conjunta de parâmetros para maximizar a cobertura.
• Feedback dos Praticantes: Considerado altamente relevante, pois alinha-se com a mudança da indústria para testes orientados a cobertura usando dados do mundo real.
• Desafios Remanescentes: Questões fundamentais permanecem sem resolução: Como definir alvos de cobertura apropriados? Como quantificar a cobertura em espaços de alta dimensionalidade? Como vincular métricas de cobertura à garantia de segurança?

5. Significado e Implicações

• Ponte entre Pesquisa e Prática: Este estudo demonstra que, embora a pesquisa acadêmica ofereça ferramentas promissoras (especialmente na geração de cenários), há uma desconexão na consciência contextual. A pesquisa frequentemente ignora restrições industriais como integração de cadeia de ferramentas, qualidade de dados e a necessidade de resultados explicáveis.
• Validação das Necessidades de Teste E2E: O estudo confirma que a mudança da indústria para arquiteturas E2E criou uma necessidade urgente e não atendida de novas metodologias de teste que possam lidar com a natureza de "caixa preta" desses sistemas.
• Contribuição Metodológica: Valida a Revisão Rápida Interativa como um método poderoso para pesquisa em engenharia de software, permitindo tomada de decisão rápida e baseada em evidências e fomentando colaboração sustentada entre academia e indústria.
• Direções Futuras: Os autores chamam para:
  1. Desenvolvimento de frameworks unificados para avaliar e comparar métodos de teste.
  2. Pesquisa focada no realismo e racionalidade de cenários gerados (indo além de métricas apenas de simulação).
  3. Soluções para a lacuna sim-to-real, garantindo que cenários adversários ou gerados reflitam limitações físicas de sensores.
  4. Mais pesquisa sobre métricas de completude de testes especificamente para sistemas E2E.

Em conclusão, o artigo argumenta que, para que a pesquisa sobre testes de ADS seja impactante, ela deve evoluir de uma novidade puramente algorítmica para soluções conscientes do contexto e relevantes para a indústria que abordem as realidades práticas da engenharia automotiva.