Fault Detection and Explainable Classification in Automotive HIL Validation via Denoising Autoencoders and In-Context Large Language Models

Sintesi Tecnica: Rilevamento dei Guasti e Classificazione Spiegabile nella Validazione HIL Automobilistica

Definizione del Problema
La validazione dei moderni Sistemi Software Automobilistici (ASS) genera enormi quantità di registrazioni di test multivariate provenienti da simulazioni Hardware-in-the-Loop (HIL). Gli attuali flussi di lavoro di validazione si affidano pesantemente a revisioni manuali laboriose ed valutazioni basate su regole, che faticano a rilevare guasti che cadono al di fuori delle regole predefinite o dei dati storici. Sebbene l'apprendimento automatico (ML) e l'apprendimento profondo (DL) abbiano fatto progressi nella diagnosi dei guasti, i modelli supervisionati richiedono grandi dataset etichettati, generalizzano scarsamente in condizioni impreviste e mancano di interpretabilità. Al contrario, i metodi non supervisionati spesso mancano delle capacità di ragionamento necessarie per classificare tipi specifici di guasti o fornire spiegazioni sulla causa radice. Esiste un vuoto critico in termini di framework che possano simultaneamente rilevare anomalie senza etichette di guasto, classificarle con alta generalizzabilità attraverso diversi propulsori e regimi di guida, e fornire report diagnostici interpretabili per gli ingegneri.

Metodologia
Gli autori propongono un framework generalizzabile a due fasi che scinde il rilevamento dei guasti dalla classificazione dei guasti, utilizzando Denoising Autoencoders (DAE) e Large Language Models (LLM) congelati.

1. Fase 1: Rilevamento dei Guasti Senza Etichette (DAE)

   • Un DAE viene addestrato esclusivamente su dati di segnale sani. Aggiungendo rumore gaussiano durante l'addestramento, il modello impara a ricostruire la struttura intrinseca del comportamento normale.
   • Durante la validazione, l'errore di ricostruzione viene analizzato. Le finestre con errori superiori a una soglia predefinita vengono segnalate come anormali. Questo approccio elimina la necessità di etichette di guasto durante la fase di rilevamento.
   • Il DAE è addestrato su dati di due propulsori distinti (motore a benzina e veicolo elettrico) ed è validato su tre regimi di guida (urbano, extraurbano, autostradale).

2. Fase 2: Classificazione Spiegabile (LLM Congelato)

   • Le finestre anormali non vengono fornite direttamente come dati di serie temporali grezzi. Inve foglio, vengono convertite in evidenze testuali compatte e strutturate. Questa evidenza include descrittori statistici (ad es. z-score, mediana, deviazione massima) rispetto a un riferimento sano allineato temporalmente.
   • Crucialmente, la rappresentazione dell'evidenza separa le deviazioni dirette del segnale radice dagli effetti propagati per incoraggiare il ragionamento sulla causa radice.
   • Un LLM congelato (senza aggiornamento dei parametri) classifica il guasto utilizzando l'apprendimento in-context. Il sistema impiega strategie di prompting sia zero-shot (solo istruzioni) che few-shot (istruzioni + esempi etichettati da una regione temporale sicura da perdite di dati).
   • Il modello restituisce un oggetto JSON vincolato contenente la classe prevista, le alternative classificate, il valore di confidenza, la posizione del guasto e una breve spiegazione basata sulle evidenze.

Contributi Chiave

• Framework a Due Fasi: Un'architettura innovativa che separa il rilevamento delle anomalie senza etichette (tramite DAE) dalla classificazione interpretabile (tramite LLM congelato), riducendo l'overhead computazionale pur mantenendo un'analisi dettagliata.
• Prima Applicazione ai Dati HIL: Questo è il primo studio che applica gli LLM a dataset di test-drive digitali generati da simulazioni HIL in tempo reale, affrontando specificamente i guasti che si propagano attraverso segnali fisicamente e funzionalmente accoppiati.
• Rappresentazione Strutturata delle Evidenze: Un formato di input che distingue tra cause radice dirette e sintomi propagati, vincolando l'LLM a un output strutturato per una giustificazione tracciabile.
• Valutazione Sistematica: Una valutazione completa di otto LLM open-source (da 7B a 70B di parametri) in condizioni zero-shot e few-shot, quantificando l'impatto della scala del modello, della rappresentazione dell'input e della strategia di prompting.

Risultati

• Rilevamento dei Guasti: Il DAE ha ottenuto prestazioni robuste in diverse condizioni, con un F1-score medio di 0,9724 tra i propulsori e 0,9844 tra i regimi di guida. L'errore medio di ricostruzione è rimasto inferiore a 0,03, dimostrando un'alta generalizzabilità.
• Prestazioni di Classificazione:
  • Zero-Shot: Le prestazioni sono state insufficienti per l'uso pratico, con il miglior modello (Gemma 2 9B) che ha raggiunto solo un F1-score di 0,519.
  • Few-Shot: Il prompting con esempi ha migliorato drasticamente i risultati. Sotto regimi stabili (autostrada/urbano), il prompting few-shot ha ottenuto una discriminazione perfetta (F1 = 1,0) per diversi modelli.
  • Scala del Modello vs Strategia: Un risultato critico è che la strategia di prompting governa la qualità della classificazione più del numero di parametri. Un modello da 9 miliardi di parametri (Gemma 2 9B) con prompting few-shot ha superato ogni modello medium e large in modalità zero-shot.
• Selezione del Modello: Mistral Small 24B è stato selezionato come modello principale della pipeline. Ha offerto il miglior equilibrio tra accuratezza, affidabilità bilanciata per classe (MCC), calibrazione (basso punteggio Brier/ECE) e costo di inferenza (circa 4,9s per finestra).
• Interpretabilità: Le spiegazioni generate hanno collegato con successo le previsioni a specifici luoghi fisici del guasto e alle evidenze del segnale, consentendo agli ingegneri di verificare le diagnosi su basi tecniche.

Significatività e Rivendicazioni
L'articolo sostiene che questo framework fornisca una soluzione scalabile e interpretabile per la validazione HIL automobilistica che non richiede il fine-tuning specifico per il compito o estesi dataset etichettati. Decoupling (scollegando) il rilevamento dalla classificazione e sfruttando l'apprendimento in-context, l'approccio consente agli ingegneri di adattarsi a nuovi set di guasti con costi minimi. Lo studio sottolinea che, per le applicazioni critiche per la sicurezza, la capacità di fornire spiegazioni tracciabili basate sulle evidenze è vitale quanto l'accuratezza del rilevamento.

Limitazioni e Lavoro Futuro
Gli autori notano con modestia che la valutazione è attualmente limitata ai dati di simulazione HIL; le prestazioni sui dati di test stradali reali devono ancora essere verificate. La tassonomia è limitata a dieci classi di guasto singolo e il sistema si affida a esempi few-shot sicuri da perdite di dati, poiché le prestazioni zero-shot sono significativamente inferiori. Inoltre, il tempo di inferenza di 3–7 secondi è attualmente più adatto all'analisi offline che al deployment online in tempo reale. Il lavoro futuro mira a validare il framework su dati reali, estenderlo a guasti simultanei e interagenti, ed esplorare tecniche come LoRA e la distillazione del modello per migliorarne l'efficienza.