LLMs-Powered Real-Time Fault Injection: An Approach Toward Intelligent Fault Test Cases Generation

Titel: LLM-gestuurde Real-time Foutinjectie: Een Aanpak voor Intelligente Generatie van Fouttestgevallen

1. Het Probleem

De veiligheidsevaluatie en real-time validatie van automobielsoftwaresystemen (ASSs) is cruciaal, vooral in het licht van de ISO 26262-standaard. Een gangbare methode hiervoor is Foutinjectie (Fault Injection - FI), waarbij kunstmatige fouten worden geïntroduceerd om de veiligheidseigenschappen en -mechanismen te verifiëren.

De huidige uitdagingen zijn:

• Handmatige Inspanning: Huidige FI-methoden vereisen handmatige identificatie van foutattributen (fouttype, locatie en tijdstip).
• Complexiteit en Kosten: Naarmate systemen complexer worden (met honderden besturingseenheden), wordt het proces van het definiëren van representatieve fouttestgevallen (TCs) extreem duur, tijdrovend en arbeidsintensief.
• Beperkte Dekking: Bestaande methoden zijn vaak willekeurig of exhaustief, wat leidt tot ofwel onvoldoende testdekking of een onbeperkt aantal potentieel onbruikbare testgevallen.
• Gebrek aan Intelligentie: Er ontbreekt een systematische, intelligente aanpak om realistische fouttestgevallen te genereren op basis van functionele veiligheidseisen (FSRs) voor real-time tests.

2. Methodologie

De auteurs stellen een nieuw raamwerk voor dat Large Language Models (LLMs) integreert in het FI-proces voor real-time validatie op een Hardware-in-the-Loop (HIL) systeem. De aanpak bestaat uit drie fasen:

1. Generatie van Fouttestgevallen (TCs):

   • Input: Functionele Veiligheidseisen (FSRs) in natuurlijke taal worden als input aan de LLM gegeven. Voorbeelden zijn eisen over snelheidsregeling bij sensoronzekerheid of noodvertraging bij gelijktijdige uitval van gasklep en rem.
   • Classificatie: De LLM classificeert eerst de FSRs in categorieën (bijv. sensor-gerelateerd of actuator-gerelateerd) om de focus te verengen en de generatiekwaliteit te verbeteren.
   • Generatie: Op basis van de geclassificeerde eisen genereert de LLM een JSON-object dat specifieke foutlocaties (sensors/actuators) en fouttypes definieert.
   • Fouttypes: Het systeem ondersteunt zowel enkele als gelijktijdige (concurrente) fouten (maximaal twee, conform ISO 26262). Ondersteunde fouttypes omvatten o.a. gain, offset, stuck-at, delay, noise, packet loss, drift en spike.
   • Few-Shot Prompting: In plaats van het model te fine-tunen, wordt gebruik gemaakt van few-shot prompting. Dit maakt het systeem flexibel en aanpasbaar aan dynamische omgevingen (bijv. het toevoegen van nieuwe sensors) zonder hertraining.

2. Executie (Real-time HIL):

   • De gegenereerde foutparameters worden via een real-time interface (RTICANMM) naar het HIL-systeem gestuurd.
   • Het systeem werkt als een "black box": de fouten worden geinjecteerd in de CAN-berichten zonder de onderliggende modelstructuur te wijzigen.
   • Een hoogwaardig model van een benzine-motor en voertuigdynamica dient als case study.

3. Resultaatanalyse:

   • Het gedrag van het systeem onder foutcondities wordt vergeleken met een "golden run" (foutloze uitvoering).
   • Er wordt geanalyseerd of de FSRs worden geschonden en of de veiligheidsmechanismen adequaat reageren.

3. Belangrijkste Bijdragen

• Nieuwe Aanpak: De eerste studie die LLMs integreert met real-time FI-tests voor ASSs op een HIL-simulatiesysteem.
• Geautomatiseerde Generatie: Een methode om representatieve fouttestgevallen te genereren vanuit tekstuele FSRs, wat de afhankelijkheid van handmatige expertkennis vermindert.
• Classificatie en Groepering: Een effectieve LLM-taak om FSRs te groeperen per component (sensor vs. actuator) om de precisie van de generatie te verhogen.
• Onderzoek naar LLM-prestaties: Een uitgebreide vergelijking van verschillende LLMs (zowel proprietary als open-source) op hun vermogen om deze specifieke engineeringstaken uit te voeren.
• Validatie in Real-time: Demonstratie van de gegenereerde testgevallen op een fysiek HIL-systeem met een hoogwaardig voertuigmodel.

4. Resultaten

De auteurs testten modellen zoals gpt-4o, gpt-4o-mini, phi-4, llama-3-70b en qwen2.5-7b.

• Classificatie van FSRs:

  • gpt-4o presteerde het beste met een F1-score van 88% bij het classificeren van eisen als sensor- of actuator-gerelateerd.
  • Open-source modellen zoals qwen2.5-7b en phi-4-14b behaalden respectievelijk 85,7% en 83,2%.

• Generatie van Fouttestgevallen (Enkele Fouten):

  • gpt-4o behaalde een uitzonderlijke F1-score van 97,5% bij het genereren van testgevallen.
  • phi-4-14b (open-source) presteerde zeer goed met een F1-score van 96,6%, wat aantoont dat open-source modellen een sterk alternatief kunnen zijn.
  • Opmerking: Sommige modellen (zoals phi-4 bij grote batches) faalden door contextvenster-beperkingen, wat leidde tot ongeformatteerde output.

• Batch-Generatie en Robuustheid:

  • De modellen konden effectief omgaan met batches van testgevallen.
  • Bij het testen van "dropped sensors" (sensors die niet in de lijst stonden), slaagden de modellen erin om geen fouten voor deze sensors te genereren (F1 > 92% voor de beste modellen), wat cruciaal is voor de betrouwbaarheid.

• Real-time Effectanalyse:

  • De gegenereerde fouten (bijv. vertraging in de APP-sensor of gelijktijdige fouten in RPM en APP) leidden tot voorspelbare en analyseerbare afwijkingen in motortoerental, voertuigsnelheid en temperatuur, wat de effectiviteit van de validatie bevestigde.

5. Betekenis en Conclusie

Deze studie bewijst dat LLMs een revolutionaire bijdrage kunnen leveren aan de veiligheidstest van complexe automobielsystemen.

• Efficiëntie: Het proces wordt geoptimaliseerd door de kosten en de menselijke inspanning te verlagen die nodig zijn voor het definiëren van foutscenario's.
• Veiligheid: Door systematisch en representatieve fouten te genereren op basis van eisen, wordt de testdekking verbeterd, wat leidt tot robuustere en veiligere voertuigen.
• Toekomstperspectief: Hoewel gpt-4o momenteel de beste prestaties levert, biedt phi-4-14b een krachtig, lokaal inzetbaar alternatief. Toekomstig werk richt zich op het uitbreiden van fouttypes (communicatie- en ECU-niveau) en het toevoegen van uitlegbaarheid (rationele onderbouwing) van de LLM-voorspellingen.

Kortom, dit artikel biedt een bewezen, schaalbare oplossing om de kloof tussen functionele veiligheidseisen en real-time validatie in de automobielindustrie te overbruggen.