Riepilogo Tecnico: TVR – Validazione e Recupero della Tracciabilità tramite Retrieval-Augmented Generation

1. Definizione del Problema

Nello sviluppo di software automotive, mantenere una tracciabilità accurata tra i requisiti degli stakeholder (esigenze di alto livello) e i requisiti di sistema (specifiche dettagliate) è fondamentale per garantire coerenza, correttezza e conformità normativa (ad es., ASPICE, ISO 26262). Tuttavia, i processi di tracciabilità manuale sono soggetti a errori, portando a:

• Propagazione impropria dei cambiamenti: Gli aggiornamenti ai requisiti degli stakeholder spesso non si riflettono nei requisiti di sistema, creando collegamenti obsoleti o non validi.
• Errori di mappatura umana: Si generano mappature errate o collegamenti mancanti a causa della natura laboriosa della verifica manuale.
• Variazioni linguistiche e strutturali: I requisiti sono espressi con terminologie, livelli di astrazione e template variabili (ad es., "Lost Communication" vs "Implausible Data" Diagnostic Trouble Codes o DTC). Gli approoli tradizionali basati sulla similarità (ad es., TF-IDF, SentenceBERT) e il prompting standard dei Large Language Model (LLM) (Zero-Shot, Chain-of-Thought) faticano a generalizzare attraverso queste variazioni eterogenee e spesso non riescono a distinguere sottili differenze semantiche nelle definizioni di messaggi e segnali.

La sfida specifica affrontata è la validazione dei collegamenti di tracciabilità esistenti e il recupero dei collegamenti mancanti tra i requisiti DTC degli stakeholder e quelli di sistema, dove un requisito di sistema può coprire più requisiti degli stakeholder, e la sola similarità testuale non è sufficiente per la validazione.

2. Metodologia: L'approccio TVR

Gli autori propongono TVR (Traceability Validation and Recovery), un framework che sfrutta la Retrieval-Augmented Generation (RAG) potenziata dall'In-Context Learning. A differenza dei sistemi RAG tradizionali che recuperano documenti esterni per aumentare la conoscenza del dominio, TVR recupera coppie di requisiti precedentemente etichettate per fungere da esempi di ragionamento.

Componenti Core

1. Retriever (Recuperatore):

   • Input: Una coppia di test $\langle \text{stakeReq}, \text{sysReq} \rangle$.
   • Meccanismo: Genera embedding per coppie di requisiti concatenate utilizzando il modello Amazon Titan (selezionato a causa dei vincoli del partner industriale).
   • Selezione: Recupera gli esempi più simili validi (positivi) e gli esempi più simili non validi (negativi) top-$k$ da un database di addestramento ($D_{train}$).
   • Similarità: Utilizza la Cosine Similarity (ottimizzata a $k=3$) tramite la libreria FAISS.

2. Generator (Generatore):

   • Modello: Valutato principalmente utilizzando Claude 3.5 Sonnet, sebbene siano stati testati 13 LLM.
   • Strategia di Prompting: Il generatore riceve un prompt contenente:
     • Istruzione: Un compito specifico per verificare se il requisito di sistema copre il messaggio o il segnale specifico presente nel requisito dello stakeholder (restringendo l'ambito dalla tracciabilità generale alla copertura del segnale specifico).
     • Contesto: Gli esempi $k \times 2$ recuperati (validi e non validi) per guidare il ragionamento del modello.
     • Input: La coppia di test da valutare.
     • Indicatore di Output: Una risposta binaria "Sì" o "No".
   • Obiettivo: L'LLM utilizza gli esempi recuperati come "dimostrazioni" per apprendere i pattern decisionali per la correttezza della tracciabilità, piuttosto che fare affidamento sul recupero di conoscenza esterna.

3. Recupero della Tracciabilità (Preprocessing):
   Per recuperare i collegamenti mancanti senza una ricerca esaustiva del prodotto cartesiano, TVR impiega una strategia di filtraggio in tre fasi:

   • Corrispondenza delle Variazioni: Accoppia i requisiti in base al tipo di DTC (ad es., "Lost Communication" si collega solo a "Lost Communication").
   • Corrispondenza delle Condizioni: Accoppia i requisiti in base al tipo di condizione (Mature vs Demature).
   • Corrispondenza di Sovrapposizione dei Messaggi: Filtra le coppie che non condividono almeno un token di messaggio o segnale comune.
   • I candidati filtrati vengono poi validati da TVR per identificare i collegamenti validi mancanti.

3. Contributi Chiave

• Framework TVR: Un nuovo approccio basato su RAG specificamente progettato per validare e recuperare i collegamenti di tracciabilità nei sistemi automotive, utilizzando esempi in-context anziché il recupero di conoscenza esterna.
• Robustezza alle Variazioni: Capacità dimostrata di gestire variazioni di requisiti non viste (diversi template e terminologie) sfruttando la comprensione semantica degli LLM aumentata da esempi rappresentativi.
• Valutazione Completa: Una valutazione rigorosa su 13 LLM (inclusi le famiglie Claude, Llama, Mistral e Titan) e quattro strategie di prompting (Zero-Shot, CoT, Few-Shot, Self-Consistency), confrontando TVR con i migliori baseline allo stato dell'arte (LiSSA, TF-IDF, SentenceBERT).
• Validazione Industriale: Valutazione su un dataset industriale reale di 2.132 coppie di requisiti DTC proveniente da un partner automotive, con ground truth stabilita tramite annotazione strutturata da parte di ingegneri di sistema.

4. Risultati Sperimentali

Lo studio è stato condotto su un dataset di 1.320 requisiti degli stakeholder collegati a 48 requisiti di sistema (2.132 collegamenti).

• Validazione della Tracciabilità:

  • Accuratezza: TVR (utilizzando Claude 3.5 Sonnet con RAG) ha raggiunto un'accuratezza del 98,87%.
  • Macro-F1: Ha raggiunto il 96,72%, superando significativamente il miglior baseline (LiSSA-CoT al 52,89% e SentenceBERT al 57,82%).
  • Confronto: Il prompting Zero-Shot sullo stesso modello ha prodotto solo il 79,55% di accuratezza, evidenziando la necessità dell'approccio RAG/In-Context.
  • Robustezza: Quando testato su variazioni di requisiti non viste (cross-validazione su quattro categorie di variazione), TVR ha mantenuto un'accuratezza del 97,13% e un Macro-F1 del 90,86%.

• Recupero della Tracciabilità:

  • Dopo che il preprocessing in tre fasi ha ridotto il pool di candidati da ~30k a 1.919 coppie, TVR ha identificato 502 potenziali collegamenti mancanti.
  • Correttezza: La verifica umana ha confermato che l'85,50% dei collegamenti recuperati era corretto.

• Analisi degli Errori:

  • Gli errori si sono verificati principalmente quando l'LLM si concentrava sulle condizioni di trigger invece che sul messaggio di input target, o quando considerava componenti oltre il segnale specifico (ad es., regole di validazione).
  • TVR e i baseline basati sul recupero (SentenceBERT) hanno mostrato pattern di errore ortogonali, suggerendo il potenziale per approcci ibridi.

5. Significato e Rivendicazioni

Il paper sostiene che TVR offra una soluzione pratica e ad alta accuratezza per contesti industriali dove la tracciabilità dei requisiti è critica ma gestita manualmente.

• Efficienza: Riduce significativamente l'impegno manuale richiesto per la verifica della tracciabilità, affrontando i vincoli di tempo e costo riportati dai partner industriali.
• Affidabilità: L'alta accuratezza (98,87%) e la robustezza alle variazioni non viste lo rendono adatto al deployment in sistemi automotive complessi ed evolutivi.
• Interpretabilità: Il framework supporta la spiegabilità; quando configurato per farlo, l'LLM può fornire un ragionamento passo dopo passo (ad es., identificando il messaggio specifico e controllando la sua presenza nel requisito di sistema), aiutando gli ingegneri a verificare le decisioni automatizzate.
• Limitazioni e Lavoro Futuro: Gli autori riconoscono che l'approccio dipende dalla qualità del database di recupero e che possono verificarsi falsi positivi a causa dell'occasionale fallimento del modello nell'aderire strettamente al focus "solo messaggio". Suggeriscono che il lavoro futuro potrebbe comportare l'ibridazione della similarità basata sul recupero con il ragionamento dell'LLM e il raffinamento del preprocessing per escludere le condizioni di trigger.

Gli autori concludono che, sebbene TVR sia attualmente adattato ai requisiti DTC automotive, i suoi principi sottostanti di utilizzo del recupero aumentato per l'apprendimento in-context per la validazione dei requisiti sono adattabili ad altri domini che richiedono la tracciabilità tra requisiti di alto livello e di basso livello.