💬 NLP

Beyond Logprobs: A Multi-Signal Confidence Engine for LLM-Based Document Field Extraction

Dit artikel introduceert ExtractConf, een cross-domein betrouwbaarheidsmotor die de betrouwbaarheid van op LLM gebaseerde extractie van documentvelden aanzienlijk verbetert door signalen van twee structureel verschillende extractiestrategieën (een veldgestuurde "Hunter" en een documentgestuurde "Mapper") te fuseren met beeld- en lay-outkenmerken om betrouwbare extracties effectief te onderscheiden van hallucinaties, waardoor veilige menselijke automatisering in de loop mogelijk wordt gemaakt.

Oorspronkelijke auteurs: Nitesh Kumar

Gepubliceerd 2026-06-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nitesh Kumar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een drukke fabriek runt die dagelijks duizenden zakelijke documenten verwerkt, zoals facturen en bonnetjes. Je hebt een superintelligente AI-robot (een LLM) ingehuurd om deze documenten te lezen en specifieke getallen eruit te halen, zoals "Totaalbedrag" of "BTW-nummer".

Het probleem? Soms maakt de robot een fout. Hij kan vol vertrouwen een getal opschrijven dat niet bestaat, of hij leest een vlek op het papier als een nul. In een hoogwaardige fabriek is een "stille fout" (waarbij de robot een fout antwoord geeft maar doet alsof hij het zeker weet) erger dan wanneer de robot gewoon zegt: "Ik kan dit niet lezen."

Dit artikel introduceert een nieuw systeem genaamd EXTRACTCONF. Denk hier niet als een betere lezer, maar als een superintelligente kwaliteitscontroleur die naast de robot staat om te beslissen: "Kunnen we dit antwoord vertrouwen, of moeten we het naar een mens sturen om te controleren?"

Zo werkt het, onderverdeeld in eenvoudige concepten:

1. De "Twee-Hoofden"-strategie (Jager vs. Kaartlezer)

De meeste systemen stellen de AI één vraag: "Wat is het Totaalbedrag?" Als de AI gokt, kan het fout zijn.

EXTRACTCONF vraagt de AI om het document op twee volledig verschillende manieren te lezen:

De Jager: Dit is als een detective die op zoek is naar een specifieke verdachte. De opdracht is: "Vind het veld 'Totaalbedrag'." Omdat deze onder druk staat om dat specifieke vakje te vinden, kan hij per ongeluk gaan "hallucineren" (dingen verzinnen) als het veld wazig of ontbrekend is.
De Kaartlezer: Dit is als een toerist die naar een kaart kijkt. De opdracht is: "Scan het hele document en vertel me welke belangrijke getallen je ziet." Deze meldt alleen wat hij daadwerkelijk ziet. Als het "Totaalbedrag" ontbreend of wazig is, blijft de Kaartlezer stil.

De Magie: Als de Jager zegt "Het totaal is $500" maar de Kaartlezer zegt "Ik zie geen totaal", dan weet het systeem dat er iets mis is. Als ze allebei instemmen met "$500", voelt het systeem veel meer vertrouwen. Deze "onenigheid" is een enorme aanwijzing dat het papier moeilijk leesbaar is of dat het antwoord lastig is.

2. Kijken naar het Papier, Niet Alleen naar de Robot

Het artikel stelt dat het vertrouwen van de robot (hoe zeker hij zich voelt) vaak een leugen is. Als het papier wazig is, kan de robot nog steeds heel zeker zijn over het foute antwoord.

Daarom luistert EXTRACTCONF niet alleen naar de robot. Het controleert ook:

De "Camera" (OCR): Hoe duidelijk is de tekst op de werkelijke afbeelding? Als de camera een vlek ziet, weet het systeem dat het antwoord riskant is, zelfs als de robot zegt dat hij 100% zeker is.
De "Kaart" (Ruimtelijke Lay-out): Waar heeft de robot gekeken? Als de Jager naar de linkerbovenhoek keek en de Kaartlezer naar de rechteronderhoek, kijken ze naar verschillende dingen. Dat is een alarmsignaal.
De "Textuur" (Beeldkwaliteit): Is het specifieke gebied van het papier waar het getal zou moeten staan wazig of vervaagd?

3. Het Eind𝗼ordeel

Al deze aanwijzingen (de twee verschillende lezingen, de camerakwaliteit, de locatie en het interne vertrouwen van de robot) worden gevoed aan een verkeerslichtsysteem.

Groen Licht: De robot en de inspecteur zijn het eens, het papier is duidelijk en de locatie is logisch. Automatiseer het! (Stuur het naar de computer).
Rood Licht: De robot en de inspecteur zijn het oneens, of het papier is wazig. Stop! (Stuur het naar een mens om te controleren).

Wat Hebben Ze Gevonden?

De onderzoekers hebben dit getest op duizenden echte facturen. Dit is wat er gebeurde:

De Oude Manier: Als ze simpelweg vertrouwden op de "vertrouwensscore" van de robot, probeerde het systeem bijna alles te automatiseren, inclusief de fouten. Het was als een verkeerslicht dat vastzat op groen.
De Nieuwe Manier (EXTRACTCONF): Door de "Twee-Hoofden"-strategie te gebruiken en de papierkwaliteit te controleren, konden ze de slechte antwoorden eruit filteren.
- Wanneer ze het systeem lieten automatiseren voor de "Groene Licht"-antwoorden, waren 99,1% van hen correct.
- Zonder dit systeem was de robot slechts ongeveer 73,3% van de tijd correct.
- Ze verminderden het risico op fouten met 70% vergeleken met de oude methoden.

De "Zero-Shot" Verrassing

Het coolste deel is dat ze dit systeem trainden op facturen, en het vervolgens testten op bonnetjes (een totaal ander type papier) zonder het er iets nieuws over te leren. Het werkte even goed. Dit bewijst dat het systeem niet alleen aan het memoriseren is hoe een factuur eruitziet; het leert eigenlijk hoe het kan herkennen of elk willekeurig document moeilijk leesbaar is.

In een Notendop

EXTRACTCONF is een vangnet. Het probeert de AI niet beter te laten lezen; in plaats daarvan bouwt het een slimmere rechter die weet wanneer de AI aan het gokken is en wanneer hij de waarheid ziet. Het bespaart geld door het makkelijke werk te automatiseren en de lastige zaken naar mensen te sturen, zodat er geen verkeerde getallen door de mazen van het net glippen.

Technische Samenvatting: Voorbij Logprobs: Een Multi-Signaal Betrouwbaarheidsmotor voor LLM-gebaseerde Extractie van Documentvelden

Probleemstelling

In hoogwaardige documentverwerkingspipelines (bijv. financiële reconciliatie, compliance) is de primaire uitdaging niet louter extractienauwkeurigheid, maar betrouwbare betrouwbaarheidsschatting. Een extractie die "stilzwijgend foutief" is, vormt een groter risico dan een extractie die zichtbaar afwezig is. Huidige methoden voor het schatten van de betrouwbaarheid van LLM-extracties—specifiek token-niveau log-waarschijnlijkheden, verbale zelfevaluatie en multi-sample zelfconsistentie—slagen er niet in om een betrouwbare scheiding te bieden tussen betrouwbare en onbetrouwbare outputs. Deze methoden vervallen vaak in "all-positive" classifiers bij praktische drempelwaarden omdat ze de betrouwbaarheid van de gegenereerde tokensequentie meten in plaats van de verankering van de extractie in het brondocument. Bijgevolg kan een model met hoge log-waarschijnlijkheden vol vertrouwen onleesbare OCR-ruis transcriberen of waarden hallucineren voor afwezige velden.

Methodologie: De EXTRACTCONF Architectuur

Het artikel stelt EXTRACTCONF voor, een domein-agnostische, veld-onafhankelijke betrouwbaarheidsmotor die betrouwbaarheidssignalen construeert uit meerdere heterogene bronnen. De kerninnovatie is een Dual-Call Hunter–Mapper design dat hetzelfde document tweemaal leest met structureel asymmetrische prompts om verschillende faalmodi te induceren:

Hunter Call (Veld-gestuurd): Ontvangt een prompt om een specifiek veld $f$ te extraheren onder druk van schema-slot voltooiing. Dit heeft de neiging om plausibele waarden te hallucineren voor ambigue of afwezige velden om aan het schema te voldoen.
Mapper Call (Document-gestuurd): Ontvangt een prompt om het document holistisch te scannen en kandidaat-waarden naar boven te brengen op basis van wat daadwerkelijk aanwezig is, zonder verankerd te zijn aan een specifiek veld. Dit heeft de neiging om velden te missen die visueel niet prominent zijn, maar blijft betrouwbaar wanneer het wel een waarde naar boven brengt.

De discrepantie tussen deze twee calls dient als een onafhankelijk betrouwbaarheidssignaal. Als de Hunter een waarde rapporteert terwijl de Mapper stil is, of als hun waarden botsen, duidt dit op echte extractie-ambiguïteit.

Feature Fusie:
EXTRACTCONF fuseert 40 features over vijf signaalgroepen in een gradient-boosted binaire classifier (CatBoost):

LLM Interne Onzekerheid: Token-niveau statistieken (gemiddelde, minimum, percentielen) van log-waarschijnlijkheden en Shannon-entropie van beide calls.
OCR Verankering & Waarde Betrouwbaarheid: Regio-niveau betrouwbaarheidsscores afgeleid van het matchen van geëxtraheerde waarden en labels tegen de ruwe OCR-tokenlijst, inclusief "waarde-in-OCR" match-indicatoren en kandidaat-competitiemetrieken.
Cross-Call Overeenstemming: Exacte match-indicatoren en gelijkenisscores (Levenshtein/FuzzyWuzzy) tussen de Hunter- en Mapper-outputs.
Ruimtelijke Nabijheid & Centroid: Features afgeleid van de ruimtelijke bounding boxes van geattendeerde regio's, inclusief afstand tot het middelpunt (divergentie tussen calls) en Normalised Laplacian scherpte (lokale beeldkwaliteit).
Veldtype Codering: One-hot codering van geïnferred veldtypes (numeriek, datum, etc.) om type-conditionele kalibratie mogelijk te maken.

Post-processing:
Het systeem ondersteunt post-hoc recalibratie met behulp van Isotonic Regression (M7) of Lasso-regularisatie logistische regressie (M8) om kalibratiemetrieken (ECE, Brier score) te verbeteren zonder de basismodelgewichten te wijzigen.

Belangrijkste Bijdragen

Dual-Call Asymmetrie: Introduceert een Hunter–Mapper architectuur waarbij twee structureel verschillende LLM-calls hetzelfde document benaderen, waardoor complementaire en informatieve faalmodi worden gegenereerd wanneer zij van mening verschillen.
Multi-Signaal Fusie: Toont aan dat het fuseren van cross-call discrepantie, LLM interne onzekerheid, OCR-kwaliteit en ruimtelijke lay-out beter presteert dan single-signaal benaderingen.
Baseline Faalanalyse: Toont aan dat standaard baselines (logprob-gemiddelde, verbale betrouwbaarheid en 5x zelfconsistentie) falen als routing-signalen, waarbij zelfconsistentie 5x hogere API-kosten met zich meebrengt voor een verwaarloosbare verbetering in routing-kwaliteit (AURC).
Dominantie van Documentkwaliteit: Stelt vast dat document-zijde signalen (OCR-betrouwbaarheid, beeld scherpte) primaire voorspellers van correctheid zijn, die vaak beter presteren dan model-interne onzekerheidsmetrieken.
Zero-Shot Generalisatie: Bewijst dat betrouwbaarheidssignalen generaliseren over documentdomeinen (bijv. van facturen naar bonnetjes) via lichte Lasso-recalibratie zonder de kernclassifier te hertrainen.

Experimentele Resultaten

Geëvalueerd op DocILE (55-veld facturen met een natuurlijke faalratio van 26%) en CORD (bonnetjes) voor zero-shot transfer:

Discriminatie (AUC): EXTRACTCONF bereikt een 0.928 ROC AUC, wat significant beter is dan logprob-gemiddelde (0.705) en zelfconsistentie (0.744).
Routingkwaliteit (AURC): Het systeem vermindert de Area Under the Risk-Coverage Curve (AURC) met 70% vergeleken met logprob-gemiddelde (0.043 vs. 0.145).
Operationele Nauwkeurigheid: Bij 80% dekking (automatisering van de top 80% van de voorspellingen) bereikt EXTRACTCONF 99.1% nauwkeurigheid, een verbetering van 25.8 punten ten opzichte van de basisratio van 73.3%.
Kalibratie: Post-hoc recalibratie (M7/M8) vermindert de Expected Calibration Error (ECE) met tot wel 83%.
Zero-Shot Transfer: Op CORD-bonnetjes bereikt het systeem, zonder hertraining, een 0.858 AUC. Lasso-recalibratie vermindert de ECE met 89% en de Brier score met 43%, wat de domein-onafhankelijke aard van de signalen bevestigt.

Betekenis en Claims

Het artikel voert aan dat extractiefouten in documentverwerking document-geoorzaakt zijn (bijv. onleesbaar bronmateriaal, ambigue lay-outs) in plaats van model-geoorzaakt. Daarom is het vertrouwen op token-waarschijnlijkheden structureel gebrekkig, omdat een model met veel vertrouwen kan hallucineren op basis van ruis.

De betekenis van EXTRACTCONF ligt in het mogelijk maken van een praktische human-in-the-loop workflow: het automatiseren van voorspellingen met een hoge betrouwbaarheid, terwijl gevallen met een lage betrouwbaarheid naar menselijke beoordeling worden gerouteerd. De auteurs beweren dat de Hunter–Mapper discrepantie een betrouwbaarheidssignaal biedt dat niet beschikbaar is via single-call of resampling-benaderingen, en dat de multi-signaal fusie een robuuste, domein-onafhankelijke betrouwbaarheidsmotor creëert die bestaande baselines overtreft in zowel discriminatie als kalibratie, en dit terwijl een vaste, lage API-kost wordt gehandhaafd (twee calls per document).