Technische Samenvatting: Empirische Analyse en Detectie van Hallucinaties in Door LLM's gegenereerde Samenvattingen van Bugrapporten

Probleemstelling

Grote Taalmodellen (LLM's) worden steeds vaker ingezet om gestructureerde samenvattingen van softwarebugrapporten te genereren, met name door secties zoals Stappen om te Reproceren (S2R), Feitelijke Gedrag (AB) en Verwacht Gedrag (EB) te extraheren. Deze modellen produceren echter frequent "hallucinaties": geloofwaardig klinkende maar feitelijk niet-ondersteunde inhoud. Bestaande methoden voor het detecteren van hallucinaties evalueren output doorgaans op het niveau van het volledige antwoord en behandelen hallucinaties als een monolithische foutklasse. Deze aanpak houdt geen rekening met de structurele eigenschappen van technische documenten, waarin verschillende secties (bijvoorbeeld procedurele stappen versus declaratief gedrag) verschillende semantische rollen spelen. Bijgevolg negeren huidige methoden hoe hallucinatiepatronen variëren per sectie en bieden ze geen gedetailleerde inzichten in de locatie of het type feitelijke fouten, wat hun bruikbaarheid in kritieke software-engineering (SE)-werkstromen beperkt.

Methodologie

De auteurs stellen een sectiebewust raamwerk voor hallucinatiedetectie voor, gevalideerd via een drie-fasenmethodologie met behulp van de BugsRepo-dataset (afgeleid van Mozilla OSS-projecten).

1. Exploratieve Analyse en Attentie-modellering

• Empirische Observatie: Een initiële studie op 80 door LLM's gegenereerde samenvattingen toonde aan dat ongeveer 47,9% ontbrekende informatie bevatte en 12,3% gefabriceerde inhoud.
• Attentie-analyse: De auteurs analyseerden hoe transformer-modellen (BERT, RoBERTa, SciBERT, DeBERTa, DistilBERT) de aandacht verdelen over de secties S2R, AB en EB. Zij ontdekten dat Verwacht Gedrag (EB) de hoogste aandacht ontvangt, terwijl Stappen om te Reproceren (S2R) de laagste ontvangt, wat suggereert dat S2R gevoeliger is voor hallucinaties door onderbenutting van procedurele informatie.

2. Constructie van een Synthetische Dataset

Vanwege het ontbreken van bestaande benchmarks voor sectiebewuste hallucinaties, construeerden de auteurs een synthetische dataset:

• Conversie van Gestructureerd naar Ongestructureerd: Gestructureerde bugrapporten werden omgezet in ongestructureerde verhalen met behulp van Mistral-7B.
• Kwaliteitsfiltering: Een aangepaste PARENT-metriek (specifiek PARENTtable), die prioriteit geeft aan uitlijning met de bron-tabel boven referentietekst, werd gebruikt om conversies van lage kwaliteit te filteren. Dit zorgde ervoor dat de trainingsdata de gestructureerde informatie trouw behield.
• Injectie van Hallucinaties: Een gecontroleerde pipeline injecteerde synthetische hallucinaties in specifieke secties. De hallucinaties werden gecategoriseerd in drie types: Toevoeging (gefabriceerde inhoud), Verwijdering (ontbrekende informatie) en Herschikking (structurele wijzigingen).

3. Sectiebewust Detectiemodel

De auteurs stelden een multi-task learning-aanpak voor, gebouwd op een vooraf getrainde transformer-encoder met parameter-efficiënte fine-tuning (LoRA). Het model voert gelijktijdig drie taken uit:

1. Rapport-niveau Detectie: Binaire classificatie van of een samenvatting hallucinaties bevat.
2. Sectie-niveau Lokalisatie: Identificeren welke specifieke sectie (S2R, AB of EB) is aangetast.
3. Type-classificatie: Categoriseren van het hallucinatie-type (Toevoegen, Verwijderen, Herschikken).

Het model wordt getraind met een gecombineerde verliesfunctie: $L = L_{rapport} + \lambda_s L_{sectie} + \lambda_t L_{type}$.

Belangrijkste Bijdragen

1. Sectiebewust Raamwerk: Een nieuwe aanpak die expliciet de semantische rollen van S2R, AB en EB modelleert om hallucinaties gezamenlijk te detecteren, aangetaste secties te lokaliseren en fouttypes te classificeren, voorbijgaand aan monolithische detectie.
2. Synthetische Benchmark: De ontwikkeling van een pipeline om gestructureerde bugrapporten om te zetten in ongestructureerde verhalen en gecontroleerde hallucinaties in te injecteren, waardoor een publiek beschikbare benchmark ontstaat voor onderzoek naar hallucinaties op sectieniveau.
3. Empirische Inzichten: Bewijs dat aantoont dat de gevoeligheid voor hallucinaties correleert met toewijzing van aandacht (bijvoorbeeld S2R is kwetsbaarder) en dat hallucinaties van het type verwijdering aanzienlijk moeilijker te detecteren zijn dan toevoegingen.

Resultaten

Experimenten werden uitgevoerd op vier vooraf getrainde modellen (Mini-LLaMA-1B, Ministral-3B, Mistral-7B, LLaMA-8B) met behulp van de geconstrueerde synthetische dataset.

• Prestaties: Gefine-tuned modellen presteerden aanzienlijk beter dan zero-shot, few-shot en Chain-of-Thought (CoT) prompting-baselines.
  • Het best presterende model, Ministral-3B, behaalde een Macro-F1 van 0,891 voor rapport-niveau detectie, 0,829 Macro-F1 voor sectie-niveau lokalisatie en 0,836 Macro-F1 voor classificatie van hallucinatie-types.
  • Mistral-7B en LLaMA-8B vertoonden vergelijkbare prestaties, terwijl kleinere modellen (Mini-LLaMA) lagere prestaties lieten zien, wat wijst op de noodzaak van voldoende representatieve capaciteit.
• Sectie Lokalisatie: Het model behaalde de hoogste precisie voor S2R (F1=0,891) maar lagere recall voor AB en EB. Dit suggereert dat het model conservatief is bij het markeren van AB/EB-hallucinaties en vaak verwijderingsfouten in deze secties mist.
• Type-classificatie: Het model presteerde goed bij Toevoeging (F1=0,976) en Herschikking (F1=0,924) hallucinaties. Verwijdering-hallucinaties waren het meest uitdagend (F1=0,525), voornamelijk omdat het detecteren van ontbrekende informatie vereist dat men de afwezigheid van brondata identificeert in plaats van niet-ondersteunde tekst op te sporen.
• Foutanalyse: Kwalitatieve analyse van 163 onjuiste voorspellingen toonde aan dat 44,8% van de fouten te wijten was aan "ontbrekende of impliciete informatie die moeilijk op te merken is", met name bij verwijderingsgevallen binnen de AB- en EB-secties.

Betekenis en Aanspraken

Het artikel stelt dat het integreren van documentstructuur in hallucinatie-analyse cruciaal is voor het verbeteren van de betrouwbaarheid van door LLM's ondersteunde samenvattingen van bugrapporten. Door over te schakelen van een monolithisch perspectief naar een sectiebewust perspectief, biedt de voorgestelde aanpak:

• Gedetailleerde Diagnostiek: De mogelijkheid om exact te pinpointen waar (welke sectie) en welk type fout is opgetreden, in plaats van alleen een samenvatting te markeren als "gehallucineerd".
• Efficiëntie van Middelen: De bevinding dat een model van middelgrote schaal (Ministral-3B) sterke prestaties kan behalen, suggereert dat hoogwaardige hallucinatie-detectie niet per se enorme rekenkracht vereist.
• Fundament voor Mitigatie: Het inzicht dat verschillende secties verschillende kwetsbaarheidsprofielen hebben (bijvoorbeeld S2R versus EB) maakt de ontwikkeling van gerichte detectie- en mitigatiestrategieën mogelijk in workflows voor softwareonderhoud.

De auteurs houden bescheidenheid in hun aanspraken, erkennend dat hun synthetische dataset dient als operationele proxy en dat toekomstig werk nodig is om deze bevindingen te valideren op handmatig geannoteerde real-world datasets en in diverse enterprise bug-tracking systemen.