💻 computer science

A framework for hallucinations explainability in text summarization

Dit artikel stelt een nieuw raamwerk voor dat een Hallucinatie Ernstscore (HSS) introduceert op basis van semantische instabiliteit en SHAP-attributieanalyse binnen een verbeterde SMILE-pipeline om hallucinaties in door LLM's gebaseerde tekstsamenvattingen effectief te detecteren, te kwantificeren en te verklaren.

Oorspronkelijke auteurs: Omnia Abd Al-Azeem Hussieny, Samah El-Tantawy, Doaa Shawky, Ehab Y. Abdel Maksoud

Gepubliceerd 2026-08-21

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Omnia Abd Al-Azeem Hussieny, Samah El-Tantawy, Doaa Shawky, Ehab Y. Abdel Maksoud

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In het moderne landschap van kunstmatige intelligentie zijn grote taalmodellen krachtige motoren geworden voor het schrijven, het beantwoorden van vragen en het samenvatten van complexe informatie. Deze systemen worden getraind op enorme hoeveelheden tekst en leren de voorspelling van het volgende woord in een zin met opmerkelijke vloeiendheid. Deze vloeiendheid gaat echter gepaard met een verborgen gebrek: de modellen verzinnen soms feiten. In het vakgebied van natuurlijke taalverwerking wordt dit fenomeen hallucinatie genoemd. Het vindt plaats wanneer een systeem tekst genereert die zelfverzekerd en grammaticaal correct klinkt, maar die ofwel volledig verzonnen is of direct in strijd is met het bronmateriaal dat het zou moeten samenvatten. Hoewel deze fouten in een informele chat misschien onbeduidend lijken, worden ze gevaarlijk in omgevingen met een hoog belang, zoals de gezondheidszorg, juridische analyse of wetenschappelijk onderzoek, waar nauwkeurigheid niet onderhandelbaar is. De kernuitdaging voor onderzoekers is niet alleen geweest om deze leugens te ontdekken, maar om te meten hoe ernstig ze zijn en te begrijpen waarom ze gebeuren, waarbij ze verder gaan dan eenvoudige controles op woordoverlap naar een diepere onderzoeken van de interne logica van het model.

Een team van onderzoekers heeft een nieuwe methode ontwikkeld om dit probleem aan te pakken, door een framework te creëren dat fungeert als een stresstest voor AI-samenvattingen. In plaats van simpelweg te vragen of een samenvatting feitelijk juist is, stelden zij een andere vraag: hoe stabiel is de samenvatting wanneer de invoer licht wordt aangepast? Hun aanpak berust op het idee dat een betrouwbare samenvatter een consistent resultaat moet produceren, zelfs als de brontekst op kleine, betekenisvolle manieren wordt gewijzigd. Als de samenvatting drastisch verandert of nieuwe details begint te verzinnen na een kleine aanpassing, suggereert dit dat het model instabiel is en geneigd is tot hallucinatie. De onderzoekers bouwden een systeem dat een document neemt, subtiele, gecontroleerde wijzigingen aanbrengt in de woorden zonder de kernbetekenis te veranderen, en vervolgens observeert hoe de output van de AI reageert. Door de afstand tussen de originele samenvatting en de nieuwe samenvattingen te meten, kunnen ze een specifieke score berekenen die de ernst van het hallucinatierisico aangeeft.

Om dit experiment uit te voeren, werkte het team met een collectie van vierendertig documenten die uiteenlopende onderwerpen beslaan, waaronder nieuwsartikelen, wetenschappelijke artikelen, juridische teksten en productrecensies. Ze gebruikten een geavanceerd samenvattingsmodel om voor elk document een basis-samenvatting te genereren. Vervolgens introduceerden ze een reeks perturbaties, wat kleine, bewuste modificaties aan de brontekst zijn. Deze wijzigingen waren zorgvuldig ontworpen om woorden te vervangen door hun dichtstbijzijnde synoniemen, terwijl de namen van personen, plaatsen en specifieke getallen onaangetast bleven om de feiten te bewaren. Voor elk document maakten ze meerdere versies van de tekst, die elk iets anders waren dan het origineel, en vroegen ze de AI om elk van deze versies samen te vatten. De onderzoekers vergeleken vervolgens de resulterende samenvattingen om te zien hoeveel ze afweken van het origineel. Ze ontdekten dat wanneer de AI werd gedwongen een licht gewijzigde tekst samen te vatten, de samenvattingen van modellen die gevoelig zijn voor hallucinatie wild uiteenliepen, terwijl betrouwbare modellen stabiel bleven.

De onderzoekers kwantificeerden deze drift met een wiskundig concept dat het verschil tussen twee groepen gegevens meet, wat in essentie berekent hoe ver de betekenis van de samenvattingen uit elkaar is bewogen. Ze ontdekten dat deze maatstaf van instabiliteit niet slechts een willekeurige fluctuatie was; het was nauw verbonden met de mate waarin de AI loog. Om deze maatstaf bruikbaar te maken voor verschillende soorten documenten, normaliseerden ze de scores, waardoor ze een definitieve ernstscore creëerden die eerlijk vergeleken kon worden, of de tekst nu over medicijnen of films ging. De meest opvallende bevinding kwam naar voren toen ze keken naar hoe de AI zijn eigen keuzes uitlegde. Ze gebruikten een techniek die benadrukt welke woorden in de invoer het belangrijkst waren voor het generen van de output. Ze ontdekten dat wanneer een samenvatting aan het hallucineren was, de belangrijkheid van de invoerwoorden onvoorspelbaar versprong. Met andere woorden, de interne redenering van het model werd onstabiel op het moment dat het begon te liegen.

De studie onthulde een sterke verbinding tussen deze instabiliteit in de redenering van het model en de ernst van de hallucinaties. Toen de onderzoekers hun nieuwe ernstscore vergeleken met andere veelvoorkomende manieren om fouten te controleren, ontdekten ze dat de instabiliteit van de interne verklaringen van het model de meest betrouwbare voorspeller van een hallucinatie was. Traditionele methoden die simpelweg controleren of woorden overeenkomen of of zinnen logisch klinken, waren minder effectief in het detecteren van deze diepgewortelde fouten. Het team testte hun methode ook op verschillende niveaus van moeilijkheid. Ze ontdekten dat naarmate ze de wijzigingen in de tekst significanter maakten, de ernstscore toenam, wat bewees dat hun systeem gevoelig genoeg was om zelfs subtiele verschuivingen in betrouwbaarheid te detecteren. Bovendien varieerde de score natuurlijk over verschillende domeinen; complexe velden zoals recht en wetenschap vertoonden hogere instabiliteitsscores dan eenvoudigere onderwerpen zoals sociale mediaberichten, wat de grotere moeilijkheid en het hogere risico op fouten in die gebieden weerspiegelt.

Dit werk biedt een nieuwe lens om naar de betrouwbaarheid van kunstmatige intelligentie te kijken. Door zich te richten op hoe een model reageert op kleine veranderingen in plaats van alleen op de uiteindelijke output, hebben de onderzoekers een duidelijk signaal geïdentificeerd van wanneer een AI de grip op de waarheid verliest. De studie suggereert dat de beste manier om een hallucinatie te detecteren niet is om te zoeken naar de leugen zelf, maar om te letten op de trillingen in de redenering van het model die eraan voorafgaan. Hoewel de onderzoekers dit op een specifieke set documenten en één type AI-model hebben getest, biedt het framework een robuust pad voorwaarts voor het bouwen van systemen die gecontroleerd en vertrouwd kunnen worden. Het verplaatst het gesprek van simpelweg vragen "is dit waar?" naar "hoe zeker kunnen we zijn dat dit waar is?", wat een kwantitatieve manier biedt om de mate van vertrouwen te meten die we in door machines gegenereerde tekst kunnen stellen. Nu deze systemen meer geïntegreerd raken in ons dagelijks leven, zullen instrumenten die een onderscheid kunnen maken tussen een stabiele, feitelijke samenvatting en een fragiele, verzonnen een, essentieel zijn voor het behoud van de integriteit van de informatie waarop we vertrouwen.

Technische Samenvatting: Een Framework voor de Verklaarbaarheid van Hallucinaties in Tekstsamenvatting

1. Probleemstelling

Large Language Models (LLMs) die worden gebruikt voor abstractieve tekstsamenvatting lijden frequent aan "hallucinaties", waarbij gegenereerde outputs taalkundig vloeiend zijn maar feitelijk onjuist, niet ondersteund of tegenstrijdig zijn met de brontekst. Deze fouten zijn bijzonder kritiek in domeinen met een hoog risico, zoals de gezondheidszorg, journalistiek en wetenschappelijk onderzoek.

Huidige evaluatiebenaderingen kampen met twee primaire beperkingen:

Onvoldoende Kwantificering van Ernst: Bestaande factuele metrieken (bijv. FactCC, SummaC) bieden oordelen op zinsniveau of binaire consistentiescores, maar missen een robuuste scalaire maatstaf om de ernst van hallucinaties onder semantische perturbaties te kwantificeren.
Descriptieve versus Kwantitatieve Verklaarbaarheid: Hoewel explainability-frameworks zoals SMILE (Statistical Model-Agnostic Interpretability with Local Explanations), LIME en SHAP inzichten bieden in token-belang en modelgevoeligheid, blijven zij primair descriptief. Ze leggen uit waarom een model op een bepaalde manier handelt, maar bieden niet direct een kwantitatieve score voor de ernst van hallucinaties.

De kernhypothese van dit werk is dat getrouwe samenvattingsmodellen stabiel blijven onder betekenisbehoudende perturbaties, terwijl hallucinatiegevoelige modellen een significante output-instabiliteit vertonen.

2. Methodologie: Het Verbeterde SMILE-Framework

De auteurs stellen een nieuw Hallucination Severity Score (HSS) voor, geïntegreerd in een verbeterde SMILE-pipeline. Het framework transformeert SMILE van een kwalitatieve interpreteerbaarheidsinstrument naar een kwantitatief diagnostisch framework via de volgende stappen:

2.1 Generatie van Semantische Perturbaties

Het systeem genereert gecontroleerde, betekenisbehoudende perturbaties van het invoerdocument ( $x$ ) om een set geperturbeerde inputs $\{x^{(k)}\}$ te creëren.

Tokenselectie: Named entities (via NER), stopwoorden, getallen en interpunctie worden uitgesloten om de feitelijke consistentie te bewaren. Alleen semantisch relevante tokens zijn kandidaten voor modificatie.
Kandidaatgeneratie: Word2Vec-embeddings identificeren de top- $k$ dichtstbijzijnde buren voor in aanmerking komende tokens. Een cosinus-gelijkenisdrempel ( $\tau$ ) waarborgt de semantische nabijheid.
Betekenisbehoudend Filter: Een Sentence-BERT (SBERT) gelijkenisbeperking ( $\gamma$ ) valideert dat de geperturbeerde zin de oorspronkelijke semantische betekenis behoudt. Als $sim_{SBERT}(s, s') < \gamma$ , wordt de perturbatie afgewezen.
Sterkte: Perturbaties wijzigen 2–30% van de tokens, gecategoriseerd als lage, matige of hoge sterkte.

2.2 Generatie en Representatie van de Samenvatting

Model: Een BART-large-CNN transformer model genereert een baseline samenvatting ( $y_0$ ) en samenvattingen voor elke geperturbeerde input ( $y_k$ ).
Embedding Distributie: Elke samenvatting wordt gedecomposed in zinnen, en contextuele embeddings worden gegenereerd met behulp van SBERT. Deze vormen een empirische distributie ( $\mu_y$ ) die de semantische structuur van de samenvatting representeert.

2.3 Instabiliteitsmeting via de Wasserstein-afstand

Het framework kwantificeert de semantische verschuiving tussen de baseline samenvatting en de geperturbeerde samenvattingen met behulp van de Wasserstein-afstand ( $W$ ), die de geometrische transportkosten tussen embedding-distributies meet.
$D_k = W(\mu_{y_0}, \mu_{y_k})$
De ruwe instabiliteit is het gemiddelde van deze afstanden over $K$ perturbaties.

2.4 Hallucination Severity Score (HSS) en Normalisatie

Om vergelijking tussen domeinen mogelijk te maken, worden de ruwe Wasserstein-afstanden genormaliseerd.

Categorie-bewuste Normalisatie: Een normalisatieconstante ( $M_c$ ) wordt berekend als het 95e percentiel van de Wasserstein-afstanden voor een specifieke documentcategorie ( $c$ ).
Eindscore: De HSS is het gemiddelde van de genormaliseerde afstanden:
$HSS(x) = \frac{1}{K} \sum_{k=1}^{K} \min\left(\frac{D_k}{M_c}, 1\right)$
Hogere HSS-waarden duiden op grotere semantische instabiliteit en daarmee op een hogere ernst van hallucinaties.

2.5 Attributie-instabiliteitsanalyse

Het framework correleert HSS met attributie-gebaseerde instabiliteitsmetrieken, specifiek SHAP (Shapley Additive Explanations) en LIME. Het meet hoeveel de feature-attributie-distributies verschuiven wanneer de input wordt geperturbeerd.

3. Experimentele Opzet

Dataset: 34 documenten over vier domeinen (Simpel, Medium, Complex, Gemengd/Extra) die films, literatuur, AI en medisch onderzoek beslaan.
Schaal: 286 totale perturbaties gegenereerd, wat resulteerde in 320 geëvalueerde samenvattingen.
Validatie: Statistische analyse omvatte Pearson- en Spearman-correlaties, 1.000 bootstrap-resamples voor betrouwbaarheidsintervallen en ablatie-studies.
Comparatoren: De HSS werd vergeleken met FactCC, SummaC, Precision/Recall/F1, Attention-scores, LIME en SHAP.

4. Belangrijkste Resultaten

De experimentele evaluatie leverde de volgende bevindingen op:

Sterke Alignement met SHAP: De HSS vertoonde de sterkste correlatie met SHAP-gebaseerde attributie-instabiliteit ( $r \approx 0,90$ ). Dit geeft aan dat samenvattingen die gevoelig zijn voor hallucinaties een zeer instabiele feature-attributiepatronen produceren onder semantische perturbaties.
Negatieve Correlatie met Feitelijkheid: HSS vertoonde matige tot sterke negatieve correlaties met feitelijke consistentie-metrieken (FactCC: $r \approx -0,63$ ; SummaC: $r \approx -0,55$ ), wat bevestigt dat hogere ernstscores corresponderen met een lagere feitelijke betrouwbaarheid.
Zwakke Correlatie met Lexicale/Distributionele Metrieken: HSS had zwakke correlaties met ruwe Wasserstein-afstand ( $r \approx -0,33$ ) en LIME ( $r \approx 0,29$ ). Dit suggereert dat oppervlakkige lexicale overlap of eenvoudige distributionele verschuivingen onvoldoende proxies zijn voor semantische hallucinatie.
Domeinsensitiviteit: HSS differentieerde effectief tussen domeinen. Kennisintensieve domeinen (bijv. wetenschappelijke papers, juridische documenten) vertoonden hogere HSS-waarden (hogere instabiliteit) vergeleken met minder gestructureerde domeinen (bijv. sociale media, productrecensies).
Perturbatie-sensitiviteit: HSS-waarden namen consistent toe met de sterkte van de perturbatie (van 0,38 bij lage sterkte naar 0,62 bij hoge sterkte), wat de sensitiviteit als kwantitatieve schaal valideert.

5. Bijdragen en Betekenis

Het papier claimt de volgende bijdragen en betekenis:

Nieuwe Metriek (HSS): Introductie van een statistisch gefundeerde Hallucination Severity Score die de ernst van hallucinaties kwantificeert via Wasserstein-gebaseerde semantische instabiliteit, waarmee verder wordt gegaan dan binaire feitelijkheidscontroles.
Verbeterd SMILE-framework: Uitbreiding van het SMILE-framework om contextuele embedding-distributies, attributie-instabiliteit en perturbatie-gebaseerde robuustheid te integreren in een verenigde statistische pipeline.
Attributie-instabiliteit als Proxy: Vaststelling van SHAP-gebaseerde attributie-instabiliteit als een betrouwbare indicator van semantisch hallucinatiegedrag, waarmee wordt aangetoond dat het oppervlakkige lexicale metrieken en LIME overtreft bij het detecteren van hallucinaties.
Robuuste Validatie: Bevestiging van de robuustheid van het framework door uitgebreide statistische validatie (correlatieanalyse, bootstrap-betrouwbaarheidsintervallen) en ablatie-studies, die bewezen dat componenten zoals normalisatie, NER-bescherming en semantische filtering essentieel zijn voor een betrouwbare schatting.

De auteurs concluderen dat hallucinatie fundamenteel geassocieerd is met semantische instabiliteit en niet volledig gekarakteriseerd kan worden door louter oppervlakkige lexicale metrieken. Het voorgestelde framework biedt een pad voor modelauditing, drift-monitoring en drempelgebaseerde kwaliteitsborging in LLM-gebaseerde samenvattingssystemen.

6. Beperkingen

De auteurs erkennen nederig enkele beperkingen:

Datasetgrootte: De evaluatie werd uitgevoerd op een relatief kleine dataset (34 documenten), wat de generaliseerbaarheid kan beperken.
Modelspecificiteit: Experimenten waren beperkt tot één samenvattingsmodel (BART-large-CNN); bredere validatie over verschillende LLM-architecturen is vereist.
Perturbatiebeperkingen: De geconstreerde perturbatiestrategie brengt mogelijk niet de volledere diversiteit van real-world linguïstische variaties in kaart.
Gebrek aan Menselijke Evaluatie: De studie vertrouwt op geautomatiseerde metrieken; toekomstig werk vereist menselijke evaluatie om geautomatiseerde ernstschattingen af te stemmen op menselijk oordeel.