Fault Detection and Explainable Classification in Automotive HIL Validation via Denoising Autoencoders and In-Context Large Language Models

Resumo Técnico: Detecção de Falhas e Classificação Explicável em Validação HIL Automotiva

Declaração do Problema
A validação de Sistemas de Software Automotivos (ASSs) modernos gera gravações de testes multivariadas massivas provenientes de simulações de Hardware-in-the-Loop (HIL). Os fluxos de trabalho de validação atuais dependem fortemente de revisões manuais intensivas em esforço e avaliações baseadas em regras, que têm dificuldade em detectar falhas que fogem das regras predefinidas ou dos dados históricos. Embora o aprendizado de máquina (ML) e o aprendizado profundo (DL) tenham avançado no diagnóstico de falhas, modelos supervisionados exigem grandes conjuntos de dados rotulados, generalizam mal para condições não vistas e carecem de interpretabilidade. Por outro lado, métodos não supervisionados frequentemente carecem de capacidades de raciocínio para classificar tipos específicos de falhas ou fornecer explicações de causa raiz. Existe uma lacuna crítica em frameworks que possam simultaneamente detectar anomalias sem rótulos de falha, classificá-las com alta generalização entre diferentes trens de força e regimes de condução, e fornecer relatórios diagnósticos interpretáveis para engenheiros.

Metodologia
Os autores propõem um framework generalizável de duas fases que desacopla a detecção de falhas da classificação de falhas, utilizando Autoencoders de Denoising (DAEs) e Grandes Modelos de Linguagem (LLMs) congelados.

1. Fase 1: Detecção de Falhas Sem Rótulos (DAE)

   • Um DAE é treinado exclusivamente em dados de sinais saudáveis. Ao adicionar ruído Gaussiano durante o treinamento, o modelo aprende a reconstruir a estrutura intrínseca do comportamento normal.
   • Durante a validação, o erro de reconstrução é analisado. Janelas com erros que excedem um limiar predefinido são sinalizadas como anormais. Esta abordagem elimina a necessidade de rótulos de falha durante a fase de detecção.
   • O DAE é treinado em dados de dois trens de força distintos (motor a gasolina e veículo elétrico) e validado em três regimes de condução (urbano, não urbano, rodoviário).

2. Fase 2: Classificação Explicável (LLM Congelado)

   • As janelas anormais não são alimentadas diretamente como dados de séries temporais brutos. Em vez disso, são convertidas em evidências textuais compactas e estruturadas. Esta evidência inclui descritores estatísticos (ex: z-score, mediana, desvio máximo) em relação a uma referência saudável alinhada no tempo.
   • Crucialmente, a representação da evidência separa os desvios diretos do sinal raiz dos efeitos propagados para incentivar o raciocínio de causa raiz.
   • Um LLM congelado (sem atualização de parâmetros) classifica a falha usando aprendizado em contexto (in-context learning). O sistema emprega estratégias de prompting tanto de zero-shot (apenas instrução) quanto de few-shot (instrução + exemplos rotulados de uma região temporal segura contra vazamento).
   • O modelo gera um objeto JSON restrito contendo a classe prevista, alternativas ranqueadas, valor de confiança, localização da falha e uma explicação curta baseada em evidências.

Principais Contribuições

• Framework de Duas Fases: Uma arquitetura inovadora que separa a detecção de anomalias sem rótulos (via DAE) da classificação interpretável (via LLM congelado), reduzindo o overhead de execução enquanto mantém uma análise detalhada.
• Primeira Aplicação a Dados HIL: Este é o primeiro estudo aplicando LLMs a conjuntos de dados de testes de condução digitais gerados por simulações HIL em tempo real, abordando especificamente falhas que se propagam através de sinais fisicamente e funcionalmente acoplados.
• Representação de Evidência Estruturada: Um formato de entrada que distingue entre causas raízes diretas e sintomas propagados, restringindo o LLM a uma saída estruturada para justificativa rastreável.
• Avaliação Sistemática: Uma avaliação abrangente de oito LLMs de código aberto (variando de 7B a 70B de parâmetros) sob condições zero-shot e few-shot, quantificando o impacto da escala do modelo, representação de entrada e estratégia de prompting.

Resultados

• Detecção de Falhas: O DAE alcançou um desempenho robusto através de diversas condições, com um F1-score médio de 0,9724 entre trens de força e 0,9844 entre regimes de condução. O erro de reconstrução médio permaneceu abaixo de 0,03, demonstrando alta generalização.
• Desempenho de Classificação:
  • Zero-Shot: O desempenho foi insuficiente para uso prático, com o melhor modelo (Gemma 2 9B) alcançando apenas um F1-score de 0,519.
  • Few-Shot: O uso de exemplos no prompting melhorou dramaticamente os resultados. Sob regimes estáveis (rodoviário/urbano), o prompting few-shot alcançou discriminação perfeita (F1 = 1,0) para diversos modelos.
  • Escala do Modelo vs. Estratégia: Uma descoberta crítica é que a estratégia de prompting governa a qualidade da classificação mais do que a contagem de parâmetros. Um modelo de 9 bilhões de parâmetros (Gemma 2 9B) com prompting few-shot superou todos os modelos médios e grandes em zero-shot.
• Seleção de Modelo: O Mistral Small 24B foi selecionado como o modelo principal do pipeline. Ele ofereceu o melhor equilíbrio entre precisão, confiabilidade de classe balanceada (MCC), calibração (baixo Brier score/ECE) e custo de inferência (aprox. 4,9s por janela).
• Interpretabilidade: As explicações geradas vincularam com sucesso as previsões a localizações físicas específicas de falhas e evidências de sinais, permitindo que engenheiros verifiquem os diagnósticos com base técnica.

Significância e Alegações
O artigo alega que este framework fornece uma solução escalável e interpretável para a validação HIL automotiva que não requer ajuste fino (fine-tuning) específico para tarefas ou extensos conjuntos de dados rotulados. Ao desacoplar a detecção da classificação e aproveitar o aprendizado em contexto, a abordagem permite que engenheiros se adaptem a novos conjuntos de falhas com custo mínimo. O estudo enfatiza que, para aplicações críticas de segurança, a capacidade de fornecer explicações rastreáveis e baseadas em evidências é tão vital quanto a precisão da detecção.

Limitações e Trabalhos Futuros
Os autores observam modestamente que a avaliação é atualmente limitada a dados de simulação HIL; o desempenho em dados de testes de estrada do mundo real ainda precisa ser verificado. A taxonomia é restrita a dez classes de falhas únicas, e o sistema depende de exemplares few-shot seguros contra vazamento, já que o desempenho zero-shot é significativamente menor. Além disso, o tempo de inferência de 3 a 7 segundos é atualmente mais adequado para análise offline do que para implantação online em tempo real. Trabalhos futuros visam validar o framework em dados do mundo real, estender para falhas simultâneas e interagentes, e explorar técnicas como LoRA e destilação de modelos para melhorar a eficiência.