An explainable hybrid deep learning-enabled intelligent fault detection and diagnosis approach for automotive software systems validation

Dit artikel presenteert een hybride, interpreteerbare deep learning-methode die 1D-CNN en GRU combineert met XAI-technieken om de betrouwbaarheid en root-cause-analyse van foutdetectie in automotive softwaresystemen tijdens validatie te verbeteren.

De kern

De "Super-Detective" voor Auto-software: Hoe AI en Menselijke Verstandhouding Samenwerken

Stel je voor dat een moderne auto niet alleen uit wielen en een motor bestaat, maar uit een enorm complex brein van software. Deze software moet perfect werken, want als hij faalt, kan dat gevaarlijk zijn. Vroeger keken ingenieurs handmatig naar duizenden meetgegevens om te zien of er iets mis was. Dat was als proberen een naald te vinden in een hooiberg, terwijl je blinddoekt was.

Deze paper beschrijft een nieuwe, slimme manier om dit op te lossen. Het is een combinatie van een super-snel brein (Deep Learning) en een duidelijk verklaringssysteem (Explainable AI). Hier is hoe het werkt, vertaald in alledaagse taal:

1. Het Probleem: De "Zwarte Doos"

Stel je voor dat je een robot hebt die auto's test. Deze robot is zo slim dat hij fouten in de software kan vinden die mensen nooit zouden zien. Maar er is een groot probleem: de robot werkt als een zwarte doos. Hij zegt: "Hier is een fout!", maar hij vertelt niet waarom of hoe hij dat weet.

Voor ingenieurs is dit frustrerend. Het is alsof je een dokter hebt die zegt: "Je bent ziek," maar niet uitlegt welke bacterie het veroorzaakt of welke medicijnen je moet nemen. Zonder die uitleg is het moeilijk om de robot te verbeteren of om te vertrouwen op zijn oordeel in noodsituaties.

2. De Oplossing: Een Hybrid Brein met een "Lantaarn"

De auteurs van dit onderzoek hebben een nieuw systeem bedacht dat twee dingen combineert:

• De Super-Detective (Het Hybride Model): Ze hebben een digitaal brein gebouwd dat twee soorten slimheid combineert.

  • De eerste helft is als een fotograaf (1dCNN): Hij kijkt naar de data en zoekt naar patronen en afwijkingen, net zoals je een vlek op een foto ziet.
  • De tweede helft is als een tijdreiziger (GRU): Hij kijkt naar hoe de data zich over de tijd ontwikkelt. Hij ziet of een patroon logisch is of of er iets raars gebeurt in de tijdlijn.
  • Samen kunnen ze niet alleen zien dat er een fout is, maar ook welke fout het is (bijvoorbeeld: "de brandstofpomp faalt") en waar het zit. Ze zijn zelfs slim genoeg om te zien als er twee fouten tegelijk gebeuren, wat voor gewone systemen vaak te moeilijk is.

• De Lantaarn (Explainable AI - XAI): Dit is het echte nieuwe deel. In plaats van alleen een antwoord te geven, houdt deze "Super-Detective" een lantaarn op de data. Hij zegt: "Ik denk dat er een fout is, omdat de brandstoftemperatuur te hoog is én de zuignap-snelheid te laag is."

  • Ze hebben vier verschillende soorten "lantaarns" getest (zoals IGs, DeepLIFT, SHAP). Sommige lantaarns zijn helderder, andere zijn sneller. Ze hebben uitgezocht welke het beste werkt om de ingenieurs te helpen begrijpen wat er aan de hand is.

3. De Test: Een Virtuele Proefrit

Om te bewijzen dat dit werkt, hebben ze geen echte auto op de weg gereden (dat is duur en gevaarlijk), maar een virtuele proefrit gedaan in een computer.

• Ze gebruikten een HIL-systeem (Hardware-in-the-Loop). Dit is alsof je een echte auto-rem of stuurbekrachtiging in een computer plaatst en die laat "rijden" in een virtuele wereld.
• Ze lieten een menselijke tester (of een computer die zich als een mens gedraagt) de auto besturen.
• Vervolgens "injecteerden" ze fouten in het systeem. Ze maakten de brandstofpomp kapot, verstopten de sensors, of lieten de motor stotteren.

4. De Resultaten: Sneller, Slimmer en Duidelijker

Het resultaat was indrukwekkend:

• Precisie: Het nieuwe systeem had een nauwkeurigheid van 97%. Dat is veel beter dan de oude methoden (die soms maar 43% haalden).
• Snelheid: Door de "lantaarn" te gebruiken, konden ze zien welke gegevens echt belangrijk waren. Hierdoor hoefden ze niet naar alle 24 meetwaarden te kijken, maar alleen naar de 10 belangrijkste.
  • Analogie: Het is alsof je in plaats van een hele bibliotheek te lezen, alleen de samenvatting van de hoofdstukken leest. Je verliest bijna niets aan kennis, maar je bent 4 keer sneller klaar.
• Betrouwbaarheid: Omdat het systeem nu uitlegt waarom het een fout ziet, kunnen ingenieurs erop vertrouwen en weten ze precies wat ze moeten repareren.

Conclusie: Waarom is dit belangrijk?

Vroeger was het testen van auto-software als het zoeken naar een speld in een hooiberg met een blinddoek op. Met deze nieuwe methode heb je een super-slimme detective met een heldere lantaarn. Hij vindt de fouten sneller, ziet zelfs als er meerdere fouten tegelijk zijn, en legt uit wat er mis is.

Dit betekent dat auto's in de toekomst veiliger worden, omdat softwarefouten sneller en beter worden opgespoord voordat de auto ooit de weg op gaat. En voor de ingenieurs betekent het minder gedoe, minder rekenkracht en meer vertrouwen in hun werk.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het onderzoekspaper "An explainable hybrid deep learning-enabled intelligent fault detection and diagnosis approach for automotive software systems validation", geschreven in het Nederlands.

Probleemstelling

Binnen de ontwikkeling van automotive software-systemen (ASS) is de validatie en verificatie van cruciaal belang, vaak uitgevoerd volgens de ISO 26262-standaard. Traditionele kennisgebaseerde analysemethoden van testopnames stuiten op problemen door de enorme complexiteit en hoeveelheid data die tijdens real-time validatieprocessen (zoals Hardware-in-the-Loop of HIL-simulaties) worden gegenereerd.

Hoewel datagedreven machine learning (ML) en deep learning (DL) veelbelovend zijn voor het detecteren van fouten, lijden bestaande modellen vaak aan het "black-box"-probleem. Dit betekent dat ingenieurs niet kunnen begrijpen waarom een model een bepaalde voorspelling doet. Dit gebrek aan interpretativiteit heeft drie grote nadelen:

1. Het belemmert het begrijpen van de onderliggende oorzaak van een voorspelling (Root Cause Analysis).
2. Het maakt het aanpassen en optimaliseren van het model moeilijk.
3. Het verhoogt het vertrouwen in veiligheidskritieke toepassingen niet, omdat de beslissingslogica onzichtbaar blijft.

Daarnaast is er een specifieke uitdaging bij het detecteren van gelijktijdige fouten (concurrent faults) en het omgaan met ongebalanceerde datasets (waar gezond gedrag veel vaker voorkomt dan defecten), wat de interpretatie verder bemoeilijkt.

Methodologie

De auteurs stellen een nieuwe, hybride aanpak voor die diep leren combineert met Explainable Artificial Intelligence (XAI) om een "white-box" FDD-systeem (Fault Detection and Diagnosis) te creëren. De methodologie bestaat uit drie hoofdfasen:

1. Data Collectie en Preprocessing

• Dataset: Er wordt gebruikgemaakt van een realistische dataset gegenereerd via een HIL-simulatie (Hardware-in-the-Loop) met een high-fidelity model van een benzinemotor (dSPACE ASM). De data omvat zowel handmatige als automatische testritten, inclusief gebruikersgedrag.
• Foutinjectie: Fouten worden geïntroduceerd via real-time fault injection (FI) in sensoren en actuatoren. Er worden zowel enkelvoudige fouten als gelijktijdige (concurrente) fouten gegenereerd.
• Preprocessing: De data ondergaat ruisreductie, het verwijderen van outliers, normalisatie en schaling. Om het probleem van onbalans in de data aan te pakken, worden technieken zoals Random Under Sampling (RUS), Class Weights (CWs) en SMOTE (Synthetic Minority Over-sampling Technique) toegepast. De data wordt vervolgens opgedeeld in "windows" (tijdsreeksen) voor training.

2. Modelontwikkeling (Hybride 1dCNN-GRU)

• Architectuur: Er wordt een hybride deep learning-model ontwikkeld dat de sterke punten van twee netwerken combineert:
  • 1dCNN (Convolutional Neural Network): Wordt gebruikt voor het efficiënt extraheren van lokale patronen en ruimtelijke kenmerken uit de tijdsreeksdata.
  • GRU (Gated Recurrent Unit): Wordt gebruikt om tijdsafhankelijke relaties (temporele dependencies) te modelleren met minder rekenkracht dan een LSTM, maar zonder het verdwijnend-gradiëntprobleem van standaard RNN's.
• Twee taken: Het model wordt getraind voor twee specifieke taken:
  1. Fault Type Classification Model (FTCM): Identificeert het type fout (bijv. ruis, gain, offset).
  2. Fault Localization Model (FLM): Identificeert de locatie van de fout (bijv. welke sensor of actuator).
• Optimalisatie: Hyperparameters worden geoptimaliseerd via automatische zoekalgoritmen (Grid Search, Random Search, Bayesian Optimization).

3. Integratie van XAI (Explainable AI)
Om het model interpreteerbaar te maken, worden vier XAI-technieken toegepast op het getrainde model:

• Integrated Gradients (IGs)
• DeepLIFT
• Gradient SHAP
• DeepLIFT SHAP

Deze technieken worden gebruikt om drie niveaus van interpretatie te genereren:

• Global Feature Importance (GFI): Welke variabelen zijn over het algemeen het belangrijkst voor de voorspelling?
• Per-Class Feature Importance (PCFI): Welke variabelen zijn specifiek belangrijk voor een bepaalde foutklasse?
• Feature Interactions (FIs): Hoe beïnvloeden variabelen elkaar gezamenlijk (niet-lineaire afhankelijkheden)?

Belangrijkste Bijdragen

1. Interpreteerbare Hybride Architectuur: De ontwikkeling van een 1dCNN-GRU model dat specifiek is ontworpen voor real-time validatie van ASS, inclusief de behandeling van gelijktijdige fouten.
2. White-Box FDD: Het transformeren van een black-box model naar een white-box model door XAI te integreren, waardoor ingenieurs de redenen achter voorspellingen kunnen begrijpen en het model kunnen optimaliseren.
3. Vergelijkende XAI-analyse: Een grondige studie van vier XAI-technieken, waarbij de trade-off tussen rekenkosten en interpretatiekwaliteit wordt onderzocht.
4. Efficiëntieverbetering: Het aantonen dat het gebruik van XAI-resultaten om irrelevante features te verwijderen, leidt tot een aanzienlijke reductie in rekentijd (training en inferentie) zonder significante verlies aan nauwkeurigheid.
5. Industriële Validatie: Toepassing op een realistische HIL-dataset met hoogwaardige voertuigmodellen en gebruikersgedrag, wat de bruikbaarheid in de praktijk onderstreept.

Resultaten

• Prestatie: Het voorgestelde hybride 1dCNN-GRU model overtreft bestaande modellen (RNN, LSTM, GRU) aanzienlijk.
  • Voor Fault Localization (FLM): Bereikte een nauwkeurigheid, precisie, recall en F1-score van 97,40%.
  • Voor Fault Type Classification (FTCM): Bereikte een nauwkeurigheid van 97,19%.
  • Ter vergelijking: Een standaard GRU-model scoorde rond de 74-85%, en RNN's presteerden slecht (<50%).
• Rekenkosten vs. Nauwkeurigheid: Hoewel het hybride model meer tijd kost om te trainen dan simpele modellen, levert het een veel hogere nauwkeurigheid op. Cruciaal is dat het gebruik van XAI om features te selecteren (van 24 naar 10 features reduceren) de trainingstijd van het FLM-model met ongeveer 76% verlaagde (van ~23.000s naar ~5.400s) met slechts een minimale daling in nauwkeurigheid (van 97,40% naar 95,62%).
• XAI Vergelijking:
  • DeepLIFT bleek de snelste methode voor attributie.
  • DeepLIFT SHAP leverde de meest gebalanceerde en consistente resultaten, hoewel het de meeste rekentijd vereiste.
  • De analyse toonde aan dat specifieke features (zoals motorvermogen en brandstofinjectie) cruciaal zijn voor foutdetectie, wat engineers helpt bij het focussen van tests.

Betekenis en Conclusie

Dit onderzoek is significant omdat het een brug slaat tussen de hoge prestaties van deep learning en de noodzakelijke transparantie in veiligheidskritieke automotive systemen. Door een "white-box" aanpak te bieden, stelt het ingenieurs in staat om niet alleen fouten te detecteren, maar ook de oorzaak te begrijpen (Root Cause Analysis) en het model te verfijnen.

De studie bewijst dat het integreren van XAI-technieken niet alleen het vertrouwen in AI-vergroot, maar ook daadwerkelijk de efficiëntie van het validatieproces verbetert door de complexiteit van het model te reduceren. Dit maakt de aanpak zeer geschikt voor real-time toepassingen in de automotive industrie, waar zowel snelheid als betrouwbaarheid essentieel zijn. De methode biedt een solide basis voor toekomstig onderzoek naar mens-AI samenwerking en het automatisch identificeren van modelbias.