Evaluating Assurance Cases as Text-Attributed Graphs for Structure and Provenance Analysis

Probleemstelling

Een assurance case (borgingscasus) is een gestructureerd document dat claims over de eisen of eigenschappen van een systeem onderbouwt met bewijs. Deze zijn cruciaal in gereguleerde domeinen zoals luchtvaart, softwarebeveiliging en AI-systemen om aan veiligheids- en compliance-eisen te voldoen. Traditioneel worden deze casussen handmatig opgesteld en beoordeeld, wat arbeidsintensief en foutgevoelig is.

Recente ontwikkelingen in Large Language Models (LLMs) hebben geleid tot pogingen om deze assurance casussen automatisch te genereren. Dit introduceert echter nieuwe uitdagingen:

1. Betrouwbaarheid en Traceerbaarheid: Automatisch gegenereerde argumenten kunnen structureel correct lijken maar logisch inconsistent zijn of kritieke bewijskoppelingen missen.
2. Bias en Herkomst: Het is moeilijk om te onderscheiden of een casus door een mens of een LLM is geschreven, wat risico's met zich meebrengt voor certificering en veiligheid.
3. Beperkte Analysemethoden: Bestaande methoden focussen vaak op tekstuele gelijkenis of natuurlijke taal-inferentie, waardoor ze de complexe, onderlinge afhankelijkheden en de hiërarchische structuur van een assurance casus niet adequaat kunnen modelleren.

Methodologie

De auteurs stellen een raamwerk voor dat assurance casussen modelleert als Text-Attributed Graphs (TAGs). In dit model vertegenwoordigen knopen (nodes) elementen zoals doelen (Goals), strategieën (Strategies) en bewijs (Evidence), terwijl randen (edges) de logische relaties tussen deze elementen aangeven. De tekstuele inhoud van de knopen wordt gecodeerd met behulp van taalmodellen (zoals BERT).

Het raamwerk richt zich op twee hoofdtaken:

1. Link Prediction (Linkvoorspelling):

   • Doel: Voorspellen of er een relatie bestaat tussen twee knopen in de graaf.
   • Doelwit: Het leren van structurele en semantische afhankelijkheden binnen de casus.
   • Aanpak: Het gebruik van Graph Neural Networks (GNNs) om de waarschijnlijkheid van een rand te schatten op basis van de inbeddingen van de knopen.

2. Graph Classification (Graafclassificatie):

   • Doel: Classificeren van een volledige assurance casus als "menselijk geschreven" of "gegenereerd door een LLM".
   • Doelwit: Detectie van bias en herkomst (provenance).
   • Aanpak: Het toepassen van een pooling-functie (bijv. mean pooling) op de knopen-inbeddingen om een globale graafrepresentatie te krijgen, gevolgd door een classificatielaag.

Datasets:
De studie gebruikt een publiek beschikbaar dataset samengesteld uit drie bronnen, variërend in structuur (Safety Tree vs. Goal Structuring Notation - GSN) en herkomst (menselijk vs. gegenereerd door GPT-4o). De datasets bevatten zowel menselijke ground-truth als LLM-generaties.

Modellen:

• GNN Baselines: GCN, GAT, GraphSAGE.
• Geavanceerde Modellen: UniGraph (een grafische foundation model met self-supervised pre-training) en GraphPrompt (voor few-shot learning).
• Vergelijking: Decoder LLMs (zoals Llama en Qwen) die via In-Context Learning (ICL) proberen links te voorspellen of te classificeren zonder graafstructuur.

Belangrijkste Bijdragen

1. Gecurateerde Dataset: Een publiek toegankelijke dataset van assurance casussen weergegeven als grafen, inclusief zowel menselijke als LLM-generaties, geschikt voor linkvoorspelling en herkomstanalyse.
2. Empirische Evaluatie: Een uitgebreide studie naar de structurele en herkomst-eigenschappen van assurance casussen, met een focus op de verschillen tussen menselijke en LLM-generaties.
3. Analyseraamwerk: Een pipeline die GNN-explainers (zoals GNNExplainer) gebruikt om het gedrag van de modellen te bestuderen en te begrijpen welke structurele patronen leiden tot detectie van LLM-generaties.

Resultaten

1. Link Prediction (RQ1):

• Menselijk naar Menselijk: GNN-modellen presteren sterk op menselijke data (UniGraph bereikt een ROC-AUC van ~0,855). Dit bevestigt dat structurele informatie cruciaal is voor het voorspellen van relaties.
• LLM naar Menselijk: Modellen getraind alleen op LLM-data presteren slecht bij het voorspellen van relaties in menselijke data (significante daling in AUC en F1). Dit wijst op een fundamentele distributieverschil (bias) in de manier waarop LLMs argumenten structureren.
• Semi-supervised Learning: Het combineren van menselijke en LLM-data voor training verbetert de generalisatie aanzienlijk. UniGraph bereikt hier de beste resultaten (ROC-AUC ~0,868), wat aantoont dat LLM-data als waardevolle aanvullende supervisie kan dienen, mits gecombineerd met menselijke data.
• Diepte: Eén-laags GNN-modellen presteren over het algemeen beter dan diepere modellen (3 lagen), wat suggereert dat lokale nabijheidsinformatie belangrijker is dan diepe hiërarchische propagatie voor deze taak.

2. Graph Classification / Provenance Detection (RQ2):

• Prestatie: GNN-modellen kunnen menselijke en LLM-generaties zeer nauwkeurig onderscheiden (Accuracy ~0,97, F1 ~0,98). Dit bevestigt dat LLM-generaties systematische structurele afwijkingen vertonen.
• Vergelijking met LLMs: Decoder LLMs (zonder graafstructuur) presteerden aanzienlijk slechter bij het onderscheiden van herkomst, wat aantoont dat de graafstructuur essentieel is voor deze detectie.
• Explainability (Verklaring): De analyse met GNNExplainer toont aan dat modellen vaak vertrouwen op knopen-kenmerken (zoals "Goal" en "Strategy") in plaats van rand-structuur. Hoewel de voorspellingen accuraat zijn, is de faithfulness (trouw) van de verklaringen matig. LLM-generaties tonen een onbalans in de hiërarchische koppelingen en een afwijkende verdeling van knoopbelang, wat door de GNN wordt gedetecteerd.

Significantie en Conclusie

De studie demonstreert dat assurance casussen gegenereerd door LLMs (zoals GPT-4o) weliswaar semantisch vergelijkbaar kunnen zijn met menselijke casussen, maar fundamenteel verschillen in hun structurele topologie en hiërarchische koppelpatronen.

• Praktische Toepassing: Het voorgestelde raamwerk biedt een diagnostisch hulpmiddel voor veiligheidsingenieurs om automatisch gegenereerde argumenten te flaggen voor menselijke inspectie, waardoor hallucinaties en generatieve bias kunnen worden opgespoord.
• Onderzoeksinzicht: Het benadrukt dat tekstuele gelijkenis onvoldoende is voor kwaliteitsborging; structurele analyse via GNNs is noodzakelijk.
• Toekomstperspectief: Hoewel GNNs effectief zijn in het detecteren van bias, blijft de interpretatie van waarom een model een bepaalde beslissing neemt (explainability) een uitdaging. Toekomstig werk zou kunnen focussen op het gebruik van deze classifiers als discriminators in iteratieve feedbackloops om LLM-generatieprocessen te verbeteren.

Kortom, dit paper legt de basis voor een datagedreven, graafgebaseerde benadering om de kwaliteit en herkomst van assurance casussen in een tijdperk van AI-generatie te waarborgen.