Beyond Logprobs: A Multi-Signal Confidence Engine for LLM-Based Document Field Extraction

Riepilogo Tecnico: Oltre i Logprob: Un Motore di Confidenza Multi-Segnale per l'Estrazione di Campi Documentali Basata su LLM

Problema

Nelle pipeline di elaborazione documentale ad alto rischio (es. riconciliazione finanziaria, conformità), la sfida principale non è semplicemente l'accuratezza dell'estrazione, ma la stima affidabile della confidenza. Un'estrazione che è "silenziosamente errata" pone un rischio maggiore rispetto a una visibilmente assente. Gli attuali metodi per stimare la confidenza nelle estrazioni di Large Language Models (LLM) — specificamente le log-probabilità a livello di token, l'autovalutazione verbalizzata e la self-consistency multi-campione — non riescono a fornire una separazione affidabile tra output attendibili e non attendibili. Questi metodi spesso collassano in classificatori "tutto-positivo" ai livelli di soglia pratici perché misurano la confidenza nella sequenza di token generata piuttosto che l'ancoraggio dell'estrazione al documento sorgente. Di conseguenza, un modello può trascrivere con alta probabilità rumore OCR illeggibile o allucinare valori per campi assenti, producendo log-probabilità elevate per risposte errate.

Metodologia: L'Architettura EXTRACTCONF

Il documento propone EXTRACTCONF, un motore di confidenza cross-dominio e agnostico rispetto ai campi che costruisce segnali di affidabilità da molteplici fonti eterogenee. L'innovazione centrale è un design Dual-Call Hunter–Mapper che legge lo stesso documento due volte utilizzando prompt strutturalmente asimmetrici per indurre diversi modi di fallimento:

1. Hunter Call (Guidata dal Campo): Riceve un prompt per estrarre un campo specifico $f$ sotto la pressione del completamento di uno slot di schema. Tende ad allucinare valori plausibili per campi ambigui o assenti per soddisfare lo schema.
2. Mapper Call (Guidata dal Documento): Riceve un prompt per scansionare olisticamente il documento e far emergere valori candidati basandosi su ciò che è effettivamente presente, senza essere ancorata a un campo specifico. Tende a mancare campi che sono visivamente non salienti, ma rimane affidabile quando riesce a far emergere un valore.

Il disaccordo tra queste due chiamate funge da segnale di affidabilità indipendente. Se l'Hunter riporta un valore mentre il Mapper è silente, o se i loro valori contrastano, ciò indica un'ambiguità di estrazione reale.

Fusione delle Caratteristiche (Feature Fusion):
EXTRACTCONF fonde 40 caratteristiche attraverso cinque gruppi di segnali in un classificatore a gradient boosting (CatBoost):

• Incertezza Interna dell'LLM: Statistiche a livello di token (media, minimo, percentili) delle log-probabilità e dell'entropia di Shannon da entrambe le chiamate.
• Ancoraggio OCR e Confidenza del Valore: Punteggi di confidenza a livello di regione derivati dal confronto tra i valori estratti e le etichette con la lista grezza dei token OCR, inclusi gli indicatori di corrispondenza "valore-in-OCR" e le metriche di competizione tra candidati.
• Accordo Cross-Call: Indicatori di corrispondenza esatta e punteggi di similarità (Levenshtein/FuzzyWuzzy) tra gli output di Hunter e Mapper.
• Vicinato Spaziale e Centroide: Caratteristiche derivate dalle bounding box spaziali delle regioni attentate, inclusa la distanza del centroide (divergenza tra le chiamate) e la nitidezza del Laplaciano Normalizzato (qualità dell'immagine locale).
• Codifica del Tipo di Campo: Codifica one-hot dei tipi di campo inferiti (numerico, data, ecc.) per consentire la calibrazione condizionale al tipo.

Post-Processing:
Il sistema supporta la ricalibrazione post-hoc utilizzando la Regressione Isotonica (M7) o la regressione logistica regolarizzata Lasso (M8) per migliorare le metriche di calibrazione (ECE, Brier score) senza alterare i pesi del modello base.

Contributi Chiave

1. Asimmetria Dual-Call: Introduce un'architettura Hunter–Mapper dove due chiamate LLM strutturalmente diverse approcciano lo stesso documento, generando modalità di fallimento che sono complementari e informative quando divergono.
2. Fusione Multi-Segnale: Dimostra che la fusione del disaccordo cross-call, l'incertezza interna dell'LLM, la qualità dell'OCR e il layout spaziale supera gli approcci a singolo segnale.
3. Analisi del Fallimento dei Baseline: Mostra come i baseline standard (media logprob, confidenza verbalizzata e 5x self-consistency) falliscano come segnali di routing, con la self-consistency che comporta costi API 5 volte superiori per un miglioramento trascurabile nella qualità del routing (AURC).
4. Dominanza della Qualità del Documento: Stabilisce che i segnali lato documento (confidenza OCR, nitidezza dell'immagine) sono predittori primari della correttezza, superando spesso le metriche di incertezza interna del modello.
5. Generalizzazione Zero-Shot: Dimostra che i segnali di affidabilità si generalizzano attraverso i domini documentali (es. da fatture a ricevute) tramite una leggera ricalibrazione Lasso senza riaddestrare il classificatore principale.

Risultati Sperimentali

Valutato su DocILE (55 campi di fatture con un tasso di fallimento naturale del 26%) e CORD (ricevute) per il trasferimento zero-shot:

• Discriminazione (AUC): EXTRACTCONF raggiunge un ROC AUC di 0,928, superando significativamente logprob-mean (0,705) e self-consistency (0,744).
• Qualità del Routing (AURC): Il sistema riduce l'Area Sotto la Curva Rischio-Copertura (AURC) del 70% rispetto a logprob-mean (0,043 vs. 0,145).
• Accuratezza Operativa: Al 80% di copertura (automatizzando il top 80% delle predizioni), EXTRACTCONF raggiunge il 99,1% di accuratezza, un miglioramento di 25,8 punti rispetto al tasso base del 73,3%.
• Calibrazione: La ricalibrazione post-hoc (M7/M8) riduce l'Errore di Calibrazione Attesa (ECE) fino all'83%.
• Trasferimento Zero-Shot: Su CORD (ricevute), senza riaddestramento, il sistema raggiunge un AUC di 0,858. La ricalibrazione Lasso riduce l'ECE dell'89% e il Brier score del 43%, confermando la natura agnostica del documento dei segnali.

Significatività e Rivendicazioni

Il paper sostiene che gli errori di estrazione nell'elaborazione dei documenti sono causati dal documento (es. materiale sorgente illeggibile, layout ambigui) piuttosto che causati dal modello. Pertanto, fare affidamento sulle probabilità dei token è strutturalmente errato perché un modello può allucinare con sicurezza basandosi sul rumore.

La significatività di EXTRACTCONF risiede nel rendere pratico un flusso di lavoro human-in-the-loop: automatizzare le predizioni ad alta confidenza mentre si instradano i casi a bassa confidenza alla revisione umana. Gli autori sostengono che il disaccordo Hunter–Mapper fornisca un segnale di affidabilità non disponibile per gli approcci a chiamata singola o di resampling, e che la fusione multi-segnale crei un motore di confidenza robusto e agnostico rispetto al dominio che supera i baseline esistenti sia in discriminazione che in calibrazione, il tutto mantenendo un costo API fisso e contenuto (due chiamate per documento).