Fault Detection and Explainable Classification in Automotive HIL Validation via Denoising Autoencoders and In-Context Large Language Models

Technische Samenvatting: Foutdetectie en Verklaarbare Classificatie in Automotive HIL-Validatie

Probleemstelling
De validatie van moderne automotive softwaresystemen (ASS's) genereert enorme, multivariate testopnames uit Hardware-in-the-Loop (HIL) simulaties. Huidige validatiewerkstromen leunen zwaar op arbeidsintensieve handmatige controles en regelgebaseerde evaluaties, die moeite hebben met het detecteren van fouten die buiten vooraf gedefinieerde regels of historische data vallen. Hoewel machine learning (ML) en deep learning (DL) de foutdiagnose hebben geavanceerd, vereisen supervised modellen grote gelabelde datasets, generaliseren ze slecht naar onbekende omstandigheden en ontbreekt het hen aan interpreteerbaarheid. Omgekeerd missen unsupervised methoden vaak het redeneervermogen om specifieke fouttypen te classificeren of oorzaak-gevolgverklaringen te bieden. Er is een kritiek gat in frameworks die gelijktijdig anomalieën kunnen detecteren zonder foutlabels, deze kunnen classificeren met een hoge generaliseerbaarheid over verschillende aandrijflijnen en rijregimes, en interpreteerbare diagnostische rapporten kunnen leveren voor engineers.

Methodologie
De auteurs stellen een generaliseerbaar, tweefasig framework voor dat foutdetectie ontkoppelt van foutclassificatie, gebruikmakend van Denoising Autoencoders (DAEs) en bevroren Large Language Models (LLMs).

1. Fase 1: Label-vrije Foutdetectie (DAE)

   • Een DAE wordt uitsluitend getraind op gezonde signaaldata. Door tijdens de training Gaussische ruis toe te voegen, leert het model de intrinsieke structuur van normaal gedrag te reconstrueren.
   • Tijdens de validatie wordt de reconstructiefout geanalyseerd. Vensters met fouten die een vooraf ingestelde drempelwaarde overschrijden, worden als abnormaal gemarkeerd. Deze aanpak elimineert de noodzaak van foutlabels tijdens de detectiefase.
   • De DAE wordt getraind op data van twee verschillende aandrijflijnen (verbrandingsmotor en elektrisch voertuig) en gevalideerd over drie rijregimes (stedelijk, niet-stedelijk, snelweg).

2. Fase 2: Verklaarbare Classificatie (Bevroren LLM)

   • Abnormale vensters worden niet direct als ruwe tijdreeksdata ingevoerd. In plaats daarvan worden ze omgezet in compacte, gestructureerde tekstuele bewijslast. Deze bewijslast bevat statistische beschrijvers (bijv. z-score, mediaan, maximale afwijking) relatief aan een tijd-uitgelijnde gezonde referentie.
   • Cruciaal is dat de bewijsrepresentatie de directe wortelsignaalafwijkingen scheidt van de gepropageerde effecten om redeneren over de grondoorzaak te stimuleren.
   • Een bevroren LLM (zonder parameterupdates) classificeert de fout met behulp van in-context learning. Het systeem maakt gebruik van zowel zero-shot (alleen instructie) als few-shot (instructie + gelabelde voorbeelden uit een lekveilig tijdssegment) prompting-strategieën.
   • Het model geeft een beperkt JSON-object uit met de voorspelde klasse, gerangschikte alternatieven, betrouwbaarheidswaarde, foutlocatie en een korte, op bewijs gebaseerde verklaring.

Belangrijkste Bijdragen

• Tweefasig Framework: Een nieuwe architectuur die label-vrije anomaliedetectie (via DAE) scheidt van interpreteerbare classificatie (via bevroren LLM), wat de runtime-overhead vermindert terwijl gedetailleerde analyse behouden blijft.
• Eerste Toepassing op HIL-Data: Dit is de eerste studie die LLM's toepast op digitale testrit-datasets gegenereerd uit real-time HIL-simulaties, specifiek gericht op fouten die propageren door fysiek en functioneel gekoppelde signalen.
• Gestructureerde Bewijsrepresentatie: Een inputformaat dat onderscheid maakt tussen directe grondoorzaken en gepropageerde symptomen, waardoor de LLM wordt gedwongen tot een gestructureerde output voor traceerbare rechtvaardiging.
• Systematische Evaluatie: Een uitgebreide evaluatie van acht open-source LLM's (variërend van 7B tot 70B parameters) onder zero-shot en few-shot condities, waarbij de impact van model schaal, inputrepresentatie en prompting-strategie wordt gekwantificeerd.

Resultaten

• Foutdetectie: De DAE bereikte een robuuste prestatie over diverse condities, met een gemiddelde F1-score van 0,9724 over aandrijflijnen en 0,9844 over rijregimes. De gemiddelde reconstructiefout bleef onder de 0,03, wat een hoge generaliseerbaarheid aantoont.
• Classificatieprestaties:
  • Zero-Shot: De prestaties waren onvoldoende voor praktisch gebruik, waarbij het beste model (Gemma 2 9B) slechts een F1-score van 0,519 behaalde.
  • Few-Shot: Prompting met voorbeelden verbeterde de resultaten drastisch. Onder stabiele regimes (snelweg/stedelijk) bereikte few-shot prompting perfecte discriminatie (F1 = 1,0) voor verschillende modellen.
  • Model Schaal vs. Strategie: Een cruciale bevinding is dat de prompting-strategie de classificatiekwaliteit meer bepaalt dan het aantal parameters. Een 9-miljard parameter model (Gemma 2 9B) met few-shot prompting presteerde beter dan elk zero-shot medium en groot model.
• Modelselectie: Mistral Small 24B werd geselecteerd als het primaire pipeline-model. Het bood de beste balans tussen nauwkeurigheid, klasse-gebalanceerde betrouwbaarheid (MCC), kalibratie (lage Brier score/ECE) en inferentiekosten (ca. 4,9s per venster).
• Interpreteerbaarheid: De gegenereerde verklaringen slaagden erin voorspellingen te koppelen aan specifieke fysieke foutlocaties en signaalbewijs, waardoor engineers diagnoses op technische gronden konden verifiëren.

Betekenis en Claims
Het artikel claimt dat dit framework een schaalbare, interpreteerbare oplossing biedt voor automotive HIL-validatie die geen taakspecifieke fine-tuning of uitgebreide gelabelde datasets vereist. Door detectie te ontkoppelen van classificatie en gebruik te maken van in-context learning, stelt de aanpak engineers in staat om met minimale kosten aan te passen aan nieuwe foutensets. De studie benadrukt dat voor veiligheidskritische toepassingen het vermogen om traceerbare, op bewijs gebaseerde verklaringen te bieden even essentieel is als detectienauwkeurigheid.

Beperkingen en Toekomstig Werk
De auteurs merken bescheiden op dat de evaluatie momenteel beperkt is tot HIL-simulatiedata; de prestaties op echte wegtest-data moeten nog worden geverifieerd. De taxonomie is beperkt tot tien enkelvoudige foutklassen, en het systeem vertrouwt op lekveilige few-shot exemplaren, aangezien de zero-shot prestaties aanzienlijk lager zijn. Daarnaast is de inferentietijd van 3–7 seconden momenteel geschikter voor offline analyse dan voor real-time online implementatie. Toekomstig werk richt zich op het valideren van het framework op real-world data, het uitbreiden naar simultane en interagerende fouten, en het verkennen van technieken zoals LoRA en modeldistillatie om de efficiëntie te verbeteren.