Evaluating Assurance Cases as Text-Attributed Graphs for Structure and Provenance Analysis

1. Il Problema

I casi di garanzia (Assurance Cases) sono documenti strutturati che giustificano le affermazioni sui requisiti o le proprietà di un sistema (es. sicurezza, conformità normativa) supportandole con evidenze. Tradizionalmente costruiti e revisionati manualmente, questi documenti sono laboriosi e difficili da scalare.
Con l'avvento dei Large Language Models (LLM), c'è una crescente tendenza a generare automaticamente questi casi. Tuttavia, ciò introduce nuove sfide critiche:

• Affidabilità e Coerenza: I testi generati dagli LLM possono apparire strutturalmente validi ma mancare di coerenza logica o omettere collegamenti evidenziali critici.
• Provenienza e Bias: È difficile distinguere tra casi scritti da umani e quelli generati da LLM, specialmente in requisiti di sicurezza complessi.
• Limiti degli approcci attuali: I metodi precedenti basati sulla similarità testuale o sull'inferenza linguistica naturale non riescono a catturare le complesse interdipendenze strutturali e semantiche tipiche dei diagrammi di garanzia (es. notazione GSN - Goal Structuring Notation).

2. Metodologia

Gli autori propongono un framework di diagnostica basato su Grafi che modella i casi di garanzia come Grafi Attribuiti di Testo (Text-Attributed Graphs - TAGs). In questo modello:

• I nodi rappresentano elementi dell'argomento (Obiettivi, Strategie, Evidenze, Assunzioni).
• Gli attributi dei nodi sono le descrizioni testuali (codificate tramite BERT).
• Gli archi rappresentano le relazioni logiche tra gli elementi.

Il framework si basa su due compiti principali di valutazione utilizzando Graph Neural Networks (GNN):

1. Predizione dei Link (Link Prediction):

   • Obiettivo: Apprendere e identificare le connessioni (relazioni) tra gli elementi del caso di garanzia.
   • Scopo: Inferire relazioni mancanti o implicite e valutare la coerenza strutturale.
   • Modelli testati: GCN, GAT, GraphSAGE e UniGraph (un modello fondazionale per grafi).

2. Classificazione del Grafo (Graph Classification):

   • Obiettivo: Distinguere tra casi di garanzia scritti da umani e quelli generati da LLM (specificamente GPT-4o).
   • Scopo: Rilevare bias strutturali e provenienza (provenance detection).
   • Approccio: Utilizza funzioni di pooling a livello di grafo per ottenere una rappresentazione globale e classificare l'intero documento.

Dataset:
Gli autori hanno compilato un dataset pubblico contenente casi di garanzia reali (umani) e sintetici (LLM), provenienti da studi precedenti (Agrawal et al., Sivakumar et al., Odu et al.). Il dataset include sia strutture ad albero (Safety Tree) che grafi GSN.

3. Contributi Chiave

1. Dataset Curato: Creazione di un dataset pubblico di grafi di casi di garanzia (umani e LLM) che supporta la ricerca su rappresentazione grafica e valutazione.
2. Valutazione Empirica: Un'analisi sistematica delle proprietà strutturali e di provenienza, focalizzata su predizione di link e rilevamento di bias.
3. Pipeline di Spiegabilità: Implementazione di un flusso di lavoro per analizzare il comportamento dei modelli tramite metodi di spiegabilità (GNNExplainer), rivelando il divario tra il ragionamento previsto dal modello e la struttura argomentativa reale.

4. Risultati Principali

A. Predizione dei Link (RQ1)

• Prestazioni su Dati Umani: I modelli GNN addestrati su dati umani ottengono prestazioni elevate (ROC-AUC ≈ 0.760 - 0.855), superando di gran lunga i modelli LLM basati solo sul testo (Decoder LLM). Ciò conferma che le informazioni strutturali sono predittive per l'inferenza dei link.
• Transfer Learning (LLM -> Umano): I modelli addestrati esclusivamente su dati generati da LLM trasferiscono male le conoscenze ai dati umani (calo drastico delle prestazioni, es. GCN scende a ROC-AUC 0.490). Questo indica un forte mismatch distributivo e bias strutturali nei dati sintetici.
• Apprendimento Semi-Supervisionato: Combinare dati umani e LLM durante l'addestramento migliora significativamente la robustezza e la generalizzazione (UniGraph raggiunge ROC-AUC 0.868). I dati LLM agiscono come supervisione ausiliaria utile in scenari con pochi dati umani.
• Profondità del Modello: Modelli GNN più superficiali (1 layer) tendono a performare meglio di quelli profondi (3 layer) per questo compito, suggerendo che l'inferenza dei link si basa su informazioni di vicinato locale e che strati più profondi introducono rumore o over-smoothing.

B. Classificazione della Provenienza (RQ2)

• Rilevamento del Bias: I modelli GNN distinguono efficacemente tra casi umani e LLM (F1-score ≈ 0.94 - 0.98). I modelli come GCN e GraphSAGE raggiungono quasi la perfezione, indicando che gli LLM introducono irregolarità strutturali rilevabili.
• Analisi di Spiegabilità (RQ2b):
  • L'analisi tramite GNNExplainer rivela che, sebbene i modelli siano accurati, la loro fedeltà (faithfulness) è moderata.
  • I modelli tendono a basarsi su caratteristiche dei nodi (embedding testuali) piuttosto che sulla struttura degli archi per la classificazione.
  • I casi generati da LLM mostrano pattern di collegamento gerarchico diversi: una dipendenza sproporzionata da elementi di alto livello (Obiettivi/Strategie) e un'integrazione incoerente dei nodi "Contesto".

5. Significato e Implicazioni

• Validazione Strutturale: Il lavoro dimostra che l'analisi basata su grafi è superiore ai metodi puramente testuali per valutare la qualità e la coerenza dei casi di garanzia, specialmente per rilevare difetti strutturali invisibili al testo.
• Rilevamento di Allucinazioni e Bias: La capacità di distinguere tra autori umani e LLM offre uno strumento diagnostico per gli ingegneri della sicurezza, permettendo di flaggare i contenuti generati automaticamente per una revisione umana più approfondita, mitigando i rischi di allucinazioni o bias di generazione.
• Limiti della Spiegabilità: Il paper evidenzia un gap critico: i modelli GNN possono rilevare anomalie strutturali, ma gli attuali metodi di spiegazione non riescono sempre a mappare fedelmente il ragionamento causale alla struttura del grafo. Questo suggerisce la necessità di sviluppare tecniche di spiegabilità più robuste per l'IA nel settore della sicurezza.
• Futuro: I risultati aprono la strada all'uso di classificatori grafici come discriminatori in loop di feedback iterativi per migliorare la generazione automatica di casi di garanzia da parte degli LLM.

In sintesi, lo studio stabilisce che i casi di garanzia generati dagli LLM possiedono "impronte digitali" strutturali distintive rispetto a quelli umani. L'uso di GNN su grafi attribuiti di testo offre un approccio promettente per l'analisi automatizzata, la validazione della provenienza e il miglioramento della qualità dei documenti di sicurezza in settori regolamentati.