💬 NLP

Improved Evidence Extraction and Metrics for Document Inconsistency Detection with LLMs

Deze paper introduceert een nieuw redact-and-retry-framework en geavanceerde evaluatiemetrics om de prestaties van grote taalmodellen bij het extraheren van bewijs voor documentinconsistenties aanzienlijk te verbeteren.

Oorspronkelijke auteurs: Nelvin Tan, Yaowen Zhang, James Asikin Cheung, Fusheng Liu, Yu-Ching Shih, Dong Yang

Gepubliceerd 2026-04-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nelvin Tan, Yaowen Zhang, James Asikin Cheung, Fusheng Liu, Yu-Ching Shih, Dong Yang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Probleemstelling: Het Zoeken naar de "Gekke Zin" in een Boek

Stel je voor dat je een heel lang boekje leest, bijvoorbeeld een verslag van een bank of een juridisch document. Plotseling realiseer je je: "Wacht even, hier staat iets dat niet klopt." Ergens in de eerste alinea staat dat iemand 20 jaar oud is, en ergens in de laatste alinea staat dat diezelfde persoon met pensioen is.

Mensen zijn hier niet altijd goed in. Als een tekst lang is en de tegenstrijdigheden ver uit elkaar liggen, slaan we die vaak over. Computers (specifiek LLMs of 'grote taalmodellen') zijn slim, maar ze hebben ook moeite om in die lange muren van tekst de twee zinnen te vinden die elkaar tegenspreken.

Deze paper van American Express gaat over hoe we die computers kunnen helpen om niet alleen te zeggen "Ja, er zit een fout in", maar ook om precies te zeggen: "Hier zijn de twee zinnen die het probleem veroorzaken."

De Oplossing: Een Slimme "Verwijder-en-Probeer Opnieuw" Strategie

De auteurs hebben een nieuwe manier bedacht om deze computers te trainen. Ze noemen het "Redact-and-Retry" (Verwijder-en-Probeer Opnieuw).

De Analogie: Het Oplossen van een Raadsel met een Verwijderde Pagina

Stel je voor dat je een detective bent die een raadsel moet oplossen in een boek vol met afleiding.

De Eerste Poging: Je leest het hele boek en de computer zegt: "Ik denk dat zin 5 en zin 20 niet kloppen."
Het Probleem: Soms is de computer verward door andere zinnen in het boek. Het is alsof je probeert een spook te vinden in een drukke kamer; er zijn te veel mensen om te kijken.
De Slimme Stap (Redact): De computer "veegt" de zinnen die het al heeft gevonden (zin 5 en 20) uit het boek weg. Alsof je die pagina's uit het boek scheurt.
De Tweede Poging (Retry): Nu leest de computer het korte boekje opnieuw. Omdat de "verwarrende" zinnen weg zijn, kan de computer zich beter concentreren op de rest. Misschien vindt hij nu zin 3 en zin 40 die ook niet kloppen.
Herhalen: Dit proces gaat door totdat er geen nieuwe fouten meer gevonden worden.

De "Filter" (De Kwaliteitscontrole)
Soms vindt de computer te veel fouten, of juist fouten die het niet zijn. Daarom voegen ze een filter toe.

De Ongecontroleerde Filter: De computer mag alles weggooien wat hij niet zeker weet. Soms gooit hij zelfs de enige echte fout weg en zegt hij: "Geen fouten gevonden!" (Dit is gevaarlijk).
De Beperkte Filter (De Winnaar): De computer mag wel dingen weggooien die hij twijfelachtig vindt, MAAR hij moet er minstens één fout achterlaten als hij denkt dat er een fout is. Dit zorgt ervoor dat hij niet per ongeluk zegt dat alles perfect is, terwijl er toch een fout in zit.

De auteurs ontdekten dat deze combinatie (Verwijder-en-Probeer + Beperkte Filter) de beste resultaten geeft. Het is alsof je een team van detectives hebt die elkaar controleren, maar die nooit zeggen "alles is goed" als ze twijfelen.

Nieuwe Maatstaven: Hoe Meten We of het Lukt?

Vroeger keken onderzoekers alleen naar het antwoord: "Heeft de computer wel of geen fout gevonden?" (Ja/Nee).
Deze paper zegt: "Dat is niet genoeg!"

Stel je voor dat je een zoektocht doet naar een vermist kind in een stad.

Methode A: De politie zegt: "Het kind is hier!" en wijst op één specifiek huis. (Perfect!)
Methode B: De politie zegt: "Het kind is hier!" en wijst op de hele stad. (Technisch gezien klopt het, want het kind zit ergens in de stad, maar dit helpt de ouders niet. Ze moeten nu elke deur controleren).
Methode C: De politie zegt: "Het kind is hier!" en wijst op één huis, maar het kind zit in het andere huis. (Fout).

De auteurs hebben nieuwe regels (metrieken) bedacht om te meten of de computer de juiste zinnen vindt, zonder de hele tekst te moeten controleren. Ze kijken naar:

Precisie: Heb je de juiste zinnen gevonden zonder onzin toe te voegen?
Herinnering: Heb je alle fouten gevonden, of heb je er eentje gemist?

Het Nieuwe Speelgoed: ContraDocPaired

Om hun nieuwe regels te testen, hadden ze een nieuw soort "testboekje" nodig. De oude testboeken hadden maar één fout per tekst. Maar in het echte leven zitten er vaak meerdere fouten in één document.

Dus hebben ze een nieuw, semi-synthetisch dataset gemaakt genaamd ContraDocPaired.

De Analogie: Stel je voor dat je eerder alleen oefende met het vinden van één verkeerde steen in een muur. Nu hebben ze een muur gebouwd met twee verkeerde stenen, zodat ze kunnen testen of de computer beide kan vinden zonder in de war te raken.

Conclusie in Eén Zin

Deze paper laat zien dat je slimme computers beter kunt maken in het vinden van fouten in lange teksten door ze te laten werken in rondjes: eerst zoeken, dan de gevonden fouten uit de tekst halen, en opnieuw zoeken, terwijl je ze een strenge "kwaliteitscontrole" geeft om te voorkomen dat ze te veel of te weinig vinden.

Dit helpt bedrijven (zoals American Express) om automatisch fouten in contracten of rapporten te vinden, zodat mensen minder tijd kwijt zijn aan het handmatig controleren van lange documenten.

Probleemstelling

Grote Taalmodellen (LLMs) tonen indrukwekkende prestaties in veel domeinen, maar onderzoek naar het detecteren van inconsistenties (tegenstrijdigheden) binnen documenten met behulp van LLMs is beperkt. Bestaande onderzoek richt zich vaak op het detecteren van inconsistenties tussen een hypothese en een premisse (Natural Language Inference), of op het enkel classificeren van een document als inconsistent of consistent.

De auteurs identificeren twee belangrijke gaten:

Beperkte evaluatie van bewijsextractie: Bestaande methoden focussen sterk op classificatie-accuraatheid. Echter, voor een gebruiker is het cruciaal om niet alleen te weten dat er een inconsistentie is, maar ook waar deze zit (de specifieke zinnen). Een model dat perfect classificeert maar geen relevant bewijs levert, is nutteloos en kan zelfs verwarrend zijn.
Gebrek aan geschikte datasets: Bestaande datasets (zoals ContraDoc) bevatten vaak documenten met slechts één inconsistentiezin. Dit maakt het moeilijk om te evalueren of een model meerdere inconsistenties kan vinden, en het verstoort de nuance tussen verschillende extractiemetrics (zoals 'hit rate' versus 'recall').

Het doel is dus om een systeem te ontwikkelen dat niet alleen classificeert of een document inconsistent is, maar ook een nauwkeurige set bewijszinnen (evidence set) extrahert.

Methodologie

1. Nieuwe Metrics voor Bewijsextractie

De auteurs introduceren een uitgebreide reeks metrics om de kwaliteit van de geëxtraheerde bewijzen te meten, naast de standaard classificatiemetrics:

Evidence Hit Rate (EHR) & EHRC: Meet of de hele set van ware bewijszinnen correct is geïdentificeerd (een strikte metric).
Evidence Precision Rate (EPR) & EPRC: Meet de nauwkeurigheid van de geleverde set (hoeveel van de geleverde zinnen zijn echt inconsistent?). Dit straft methoden die te veel "valse positieven" leveren.
Evidence Recall Rate (ERR) & ERRC: Meet hoeveel van de ware bewijszinnen er gevonden zijn (toelaatbaar is gedeeltelijke extractie).

De auteurs tonen wiskundig aan dat deze metrics gerelateerd zijn aan de True Positive Rate (TPR) van de classificatie.

2. Het "Redact-and-Retry" Framework met Geconstrueerde Filtering

Om de prestaties te verbeteren, stellen de auteurs een nieuw raamwerk voor dat bestaat uit drie componenten:

Redact (Wissen): Als het LLM een set bewijszinnen ( $\hat{E}$ ) vindt, worden deze zinnen uit het document verwijderd (ge-redacted).
Retry (Opnieuw proberen): Het LLM wordt gevraagd het bewerkte document opnieuw te analyseren om eventuele resterende inconsistenties te vinden. Dit proces wordt herhaald totdat het model geen nieuwe inconsistenties meer vindt. Het idee is dat het verwijderen van gevonden inconsistenties de zoekruimte verkleint en de volgorde van zinnen behoudt, waardoor het makkelijker wordt om de volgende inconsistentie te vinden.
Filter (Constrained Filter): Na het verzamelen van alle gevonden zinnen door de herhaalde pogingen, wordt een extra LLM-call (de "filter") gebruikt om de lijst te verifiëren.
- Ongeconstrueerd: Mag elke hoeveelheid zinnen teruggeven (ook 0).
- Geconstrueerd (CF): Moet minimaal één zin teruggeven. Dit voorkomt dat een eerdere "Yes"-classificatie ongedaan wordt gemaakt door de filter, tenzij het model echt twijfelt.

De auteurs concluderen via ablatiestudies dat Redact-and-Retry met een Geconstrueerde Filter (RnR+CF) de beste balans biedt tussen het vinden van alle bewijzen en het vermijden van overmatige output.

3. Dataset: ContraDocPaired

Om de methoden beter te evalueren, creëerden de auteurs een semi-synthetische dataset genaamd ContraDocPaired. Deze is opgebouwd uit het bestaande ContraDoc-dataset, maar door twee positieve documenten (elk met één inconsistentie) te combineren, ontstaan nieuwe documenten met precies twee inconsistentiezinnen. Dit lost het probleem op van eerdere datasets die alleen documenten met één inconsistentie bevatten.

Belangrijkste Resultaten

De experimenten zijn uitgevoerd met twee LLM's: GPT-4o (sterk) en LLaMA3.2-90B (zwakker), op zowel het originele ContraDoc als het nieuwe ContraDocPaired.

Superioriteit van RnR+CF: De Redact-and-Retry met Geconstrueerde Filter (RnR+CF) methode presteert overtuigend beter dan directe prompting (DP), self-consistency (S-con) en self-criticism (S-cri) op alle bewijsextractie-metrics (EHR, EPR, ERR).
- Het model vindt meer volledige sets van inconsistenties (hogere EHR/ERR).
- Het levert een hogere precisie (EPR), wat betekent dat er minder irrelevante zinnen worden toegevoegd.
Kwaliteit van Extractie: Waar andere methoden vaak ofwel niets vinden ofwel te veel "ruis" genereren, houdt RnR+CF het aantal geëxtraheerde zinnen laag en relevant, terwijl het toch alle inconsistenties probeert te vinden.
Dataset Impact: Op de ContraDocPaired dataset (met 2 inconsistenties) bleek het belang van de nieuwe metrics en de RnR-methode nog duidelijker, aangezien eerdere methoden moeite hadden met het vinden van meerdere inconsistenties tegelijk.
Classificatie vs. Extractie: Er is geen duidelijke winnaar voor de classificatie (Ja/Nee) tussen de methoden, maar voor de extractie van het bewijs is RnR+CF duidelijk de beste keuze.

Bijdragen en Significantie

De paper levert drie belangrijke bijdragen aan het veld van documentanalyse met LLMs:

Comprehensive Metrics: De auteurs introduceren een gestandaardiseerde set metrics (EHR, EPR, ERR en hun "correct" varianten) die specifiek zijn ontworpen om de kwaliteit van bewijsextractie te meten, niet alleen de classificatie. Dit stelt onderzoekers in staat om methoden eerlijker te vergelijken.
Nieuwe Framework (RnR+CF): Het "Redact-and-Retry" framework met een geconstrueerde filter is een effectieve, praktische techniek om de zoekruimte voor LLMs te verkleinen en de nauwkeurigheid van het vinden van meerdere inconsistenties te verbeteren zonder de context te verliezen.
Nieuwe Dataset (ContraDocPaired): Door een dataset te creëren met documenten die meerdere inconsistenties bevatten, bieden ze een betere testomgeving voor toekomstig onderzoek. Dit adresseert een beperking in bestaande benchmarks.

Conclusie:
Dit paper toont aan dat voor documentinconsistentiedetectie niet alleen de classificatie belangrijk is, maar vooral de kwaliteit van de geleverde uitleg (bewijs). De voorgestelde RnR+CF-methode biedt een robuuste oplossing die de prestaties van LLMs aanzienlijk verbetert in het lokaliseren van tegenstrijdigheden in lange teksten, wat essentieel is voor toepassingen in finance, juridische analyse en kwaliteitscontrole van documenten.