Technische Samenvatting: TVR – Traceability Validatie en Herstel via Retrieval-Augmented Generation

1. Probleemdefinitie

In de ontwikkeling van automotive software is het handhaven van nauwkeurige traceerbaarheid tussen stakeholder-eisen (hoog niveau) en systeemvereisten (gedetailleerde specificaties) cruciaal voor het waarborgen van consistentie, correctheid en naleving van regelgeving (bijv. ASPICE, ISO 26262). Echter, handmatige traceerbaarheidsprocessen zijn foutgevoelig, wat leidt tot:

• Onjuiste propagatie van wijzigingen: Updates in stakeholder-eisen worden vaak niet gereflecteerd in systeemvereisten, wat resulteert in verouderde of ongeldige koppelingen.
• Menselijke mapping-fouten: Onjuiste koppelingen of ontbrekende links ontstaan door de arbeidsintensieve aard van handmatige verificatie.
• Linguïstische en structurele variaties: Eisen worden uitgedrukt met variërende terminologie, abstractieniveaus en sjablonen (bijv. "Lost Communication" versus "Implausible Data" Diagnostic Trouble Codes of DTC's). Traditionele op gelijkenis gebaseerde benaderingen (bijv. TF-IDF, SentenceBERT) en standaard Large Language Model (LLM) prompting (Zero-Shot, Chain-of-Thought) hebben moeite om te generaliseren over deze heterogene variaties en falen vaak in het onderscheiden van subtiele semantische verschillen in berichten en signaaldefinities.

De specifieke uitdaging die wordt aangepakt, is de validatie van bestaande traceerbaarheidskoppelingen en het herstel van ontbrekende koppelingen tussen DTC stakeholder- en systeemvereisten, waarbij een systeemvereiste meerdere stakeholder-eisen kan dekken en tekstuele gelijkenis alleen onvoldoende is voor validatie.

2. Methodologie: De TVR-aanpak

De auteurs stellen TVR (Traceability Validation and Recovery) voor, een framework dat gebruikmaakt van Retrieval-Augmented Generation (RAG), versterkt met In-Context Learning. In tegenstelling tot traditionele RAG-systemen die externe documenten ophalen om domeinkennis aan te vullen, haalt TVR voorheen gelabelde paren eisen op om te dienen als redeneervoorbeelden.

Kerncomponenten

1. Retriever:

   • Input: Een testpaar $\langle \text{stakeReq}, \text{sysReq} \rangle$.
   • Mechanisme: Genereert embeddings voor geconcateneerde paren eisen met behulp van het Amazon Titan model (geselecteerd vanwege beperkingen van de industriële partner).
   • Selectie: Haalt de top-$k$ meest gelijkaardige geldige (positieve) en top-$k$ meest gelijkaardige (negatieve) voorbeelden op uit een trainingsdatabase ($D_{train}$).
   • Gelijkenis: Gebruikt Cosine Similarity (geoptimaliseerd op $k=3$) via de FAISS-bibliotheek.

2. Generator:

   • Model: Primair geëvalueerd met Claude 3.5 Sonnet, hoewel 13 LLM's zijn getest.
   • Prompting Strategie: De generator ontvangt een prompt met:
     • Instructie: Een specifieke taak om te verifiëren of de systeemvereiste de specifieke boodschap of het signaal in de stakeholder-eis dekt (het versmallen van de scope van algemene traceerbaarheid naar specifieke signaaldekking).
     • Context: De $k \times 2$ opgehaalde voorbeelden (geldig en ongeldig) om het redeneervermogen van het model te sturen.
     • Input: Het te evalueren testpaar.
     • Output Indicator: Een binaire "Ja" of "Nee" respons.
   • Doel: De LLM gebruikt de opgehaalde voorbeelden als "demonstraties" om beslissingspatronen voor de correctheid van traceerbaarheid te leren, in plaats van te vertrouwen op externe kennisretrieval.

3. Traceability Recovery (Preprocessing):
   Om ontbrekende links te herstellen zonder een uitputtende Cartesian product zoektocht, hanteert TVR een driestaps filteringstrategie:

   • Variation Matching: Koppelt eisen op basis van DTC-type (bijv. "Lost Communication" koppelt alleen aan "Lost Communication").
   • Condition Matching: Koppelt eisen op basis van het conditietype (Mature versus Demature).
   • Message Overlap Matching: Filtert paren die geen enkel gemeenschappelijk bericht- of signaaltoken delen.
   • De gefilterde kandidaten worden vervolgens gevalideerd door TVR om ontbrekende geldige links te identificeren.

3. Belangrijkste Bijdragen

• TVR Framework: Een nieuw RAG-gebaseerd framework specif써iek ontworpen voor het valideren en herstellen van traceerbaarheidskoppelingen in automotive systemen, waarbij gebruik wordt gemaakt van in-context voorbeelden in plaats van externe kennisretrieval.
• Robuustheid tegen Variaties: Gedemonstreerde bekwaamheid om ongeziene eis-variaties (verschillende sjablonen en terminologieën) aan te pakken door gebruik te maken van het semantische begrip van LLM's, aangevuld met representatieve voorbeelden.
• Uitgebreide Evaluatie: Een rigoureuze evaluatie over 13 LLM's (inclusief Claude, Llama, Mistral en Titan families) en vier prompting strategieën (Zero-Shot, CoT, Few-Shot, Self-Consistency), waarbij TVR wordt vergeleken met state-of-the-art baselines (LiSSA, TF-IDF, SentenceBERT).
• Industriële Validatie: Evaluatie op een real-world industriële dataset van 2.132 DTC-eis-paren van een automotive partner, waarbij de ground truth is vastgesteld door gestructureerde annotatie door systeemengineers.

4. Experimentele Resultaten

De studie werd uitgevoerd op een dataset van 1.320 stakeholder-eisen gekoppeld aan 48 systeemvereisten (2.132 links).

• Traceability Validatie:

  • Nauwkeurigheid: TVR (gebruikmakend van Claude 3.5 Sonnet met RAG) bereikte een nauwkeurigheid van 98,87%.
  • Macro-F1: Bereikte 96,72%, waarmee het de beste baseline (LiSSA-CoT met 52,89% en SentenceBERT met 57,82%) aanzienlijk verslaat.
  • Vergelijking: Zero-Shot prompting op hetzelfde model leverde slechts 79,55% nauwkeurigheid op, wat het belang van de RAG/In-Context aanpak onderstreept.
  • Robuustheid: Bij testen op ongeziene eis-variaties (cross-validatie over vier variatiecategorieën) behield TVR een nauwkeurigheid van 97,13% en een Macro-F1 van 90,86%.

• Traceability Recovery:

  • Na de drie-stappen preprocessing, die de kandidaat-pool reduceerde van ~30k naar 1.919 paren, identificeerde TVR 502 potentiële ontbrekende links.
  • Correctheid: Menselijke verificatie bevestigde dat 85,50% van de herstelde links correct waren.

• Foutanalyse:

  • Fouten traden primair op wanneer de LLM zich richtte op trigger-condities in plaats van de doel-inputboodschap, of wanneer het componenten buiten het specifieke signaal overwoog (bijv. validatieregels).
  • TVR en retrieval-gebaseerde baselines (SentenceBERT) vertoonden orthogonale foutpatronen, wat wijst op potentieel voor hybride benaderingen.

5. Betekenis en Claims

Het artikel claimt dat TVR een praktische, hoog-nauwkeurige oplossing biedt voor industriële settings waar de traceerbaarheid van eisen cruciaal is maar handmatig moet worden onderhouden.

• Efficiëntie: Het vermindert de handmatige inspanning die nodig is voor traceerbaarheidsverificatie aanzienlijk, waarmee het aan de tijd- en kostenbeperkingen voldoet die door industriële partners worden gerapporteerd.
• Betrouwbaarheid: De hoge nauwkeurigheid (98,87%) en robuustheid tegen ongeziene variaties maken het geschikt voor implementatie in complexe, evoluerende automotive systemen.
• Interpreteerbaarheid: Het framework ondersteunt uitlegbaarheid; wanneer geconfigureerd, kan de LLM stapsgewijs redeneren (bijv. het identificeren van de specifieke boodschap en het controleren op aanwezigheid in de systeemvereiste), wat engineers helpt bij het verifiëren van geautomatiseerde beslissingen.
• Beperkingen & Toekomstig Werk: De auteurs erkennen dat de aanpak afhankelijk is van de kwaliteit van de retrieval-database en dat false positives kunnen voorkomen wanneer het model er soms niet in slaagt zich strikt aan de "alleen-boodschap" focus te houden. Zij suggereren dat toekomstig werk kan bestaan uit het hybridiseren van retrieval-gebaseerde gelijkenis met LLM-redenering en het verfijnen van preprocessing om trigger-condities uit te sluiten.

De auteurs concluderen dat hoewel TVR momenteel is toegesneden op automotive DTC-eisen, de onderliggende principes van het gebruik van retrieval-augmented in-context learning voor eis-validatie aanpasbaar zijn naar andere domeinen die behoefte hebben aan traceerbaarheid van high-level naar low-level eisen.