Beyond Logprobs: A Multi-Signal Confidence Engine for LLM-Based Document Field Extraction

Resumo Técnico: Além dos Logprobs: Um Motor de Confiança de Múltiplos Sinais para Extração de Campos de Documentos Baseada em LLM

Declaração do Problema

Em pipelines de processamento de documentos de alto risco (ex: reconciliação financeira, conformidade), o desafio principal não é meramente a precisão da extração, mas sim a estimativa de confiança confiável. Uma extração que é "silenciosamente errada" representa um risco maior do que uma que está visivelmente ausente. Os métodos atuais para estimar a confiança em extrações de Large Language Models (LLMs) — especificamente log-probabilidades de nível de token, autoavaliação verbalizada e auticonsistência de múltiplas amostras — falham em fornecer uma separação confiável entre saídas dignas de confiança e indignas de confiança. Esses métodos frequentemente colapsam em classificadores de "todos-positivos" em limiares práticos porque medem a confiança na sequência de tokens gerada, em vez do embasamento da extração no documento de origem. Consequentemente, um modelo pode transcrever confiantemente ruído de OCR ilegível ou alucinar valores para campos ausentes, gerando altas log-probabilidades para respostas incorretas.

Metodologia: A Arquitetura EXTRACTCONF

O artigo propõe o EXTRACTCONF, um motor de confiança agnóstico a domínios e campos que constrói sinais de confiabilidade a partir de múltiplas fontes heterogêneas. A inovação central é um design de Dual-Call Hunter–Mapper que lê o mesmo documento duas vezes usando prompts estruturalmente assimétricos para induzir diferentes modos de falha:

1. Chamada Hunter (Guiada por Campo): Recebe um prompt para extrair um campo específico $f$ sob pressão de completamento de slot de esquema. Tende a alucinar valores plausíveis para valores ambíguos ou ausentes para satisfazer o esquema.
2. Chamada Mapper (Guiada pelo Documento): Recebe um prompt para escanear holisticamente o documento e apresentar valores candidatos com base no que está realmente presente, sem estar ancorado a um campo específico. Tende a perder campos que são visualmente não salientes, mas permanece confiável quando de fato apresenta um valor.

O desacordo entre essas duas chamadas serve como um sinal de confiabilidade independente. Se o Hunter reporta um valor enquanto o Mapper permanece silencioso, ou se seus valores divergem, isso indica uma ambiguidade real de extração.

Fusão de Características:
O EXTRACTCONF funde 40 características em cinco grupos de sinais em um classificador binário de boosting de gradiente (CatBoost):

• Incerteza Interna do LLM: Estatísticas de nível de token (média, mínima, percentis) de log-probabilidades e entropia de Shannon de ambas as chamadas.
• Fundamentação de OCR e Confiança do Valor: Pontuações de confiança em nível de região derivadas do cruzamento de valores extraídos e rótulos contra a lista de tokens brutos do OCR, incluindo indicadores de correspondência "valor-no-OCR" e métricas de competição de candidatos.
• Acordo entre Chamadas: Indicadores de correspondência exata e pontuações de similaridade (Levenshtein/FuzzyWuzzy) entre as saídas do Hunter e do Mapper.
• Vizinhança Espacial e Centroide: Características derivadas das caixas delimitadoras espaciais das regiões atendidas, incluindo distância de centroide (divergência entre as chamadas) e nitidez de Laplacian Normalizado (qualidade da imagem local).
• Codificação de Tipo de Campo: Codificação one-hot de tipos de campos inferidos (numérico, data, etc.) para permitir calibração condicional ao tipo.

Pós-processamento:
O sistema suporta recalibração post-hoc usando Regressão Isotônica (M7) ou regressão logística regularizada por Lasso (M8) para melhorar as métricas de calibração (ECE, Brier score) sem alterar os pesos do modelo base.

Principais Contribuições

1. Assimetria de Dual-Call: Introduz uma arquitetura Hunter–Mapper onde duas chamadas de LLM estruturalmente diferentes abordam o mesmo documento, gerando modos de falha que são complementares e informativos quando divergem.
2. Fusão de Múltiplos Sinais: Demonstra que a fusão de desacordo entre chamadas, incerteza interna do LLM, qualidade do OCR e layout espacial supera abordagens de sinal único.
3. Análise de Falha de Baseline: Mostra que os baselines padrão (logprob-mean, confiança verbalizada e 5x auticonsistência) falham como sinais de roteamento, com a auticonsistência incorrendo em 5x mais custos de API para um ganho negligível na qualidade de roteamento (AURC).
4. Dominância da Qualidade do Documento: Estabelece que sinais do lado do documento (confiança do OCR, nitidez da imagem) são preditores primários de correção, frequentemente superando métricas de incerteza internas do modelo.
5. Generalização Zero-Shot: Prova que os sinais de confiabilidade generalizam através de domínios de documentos (ex: de faturas para recibos) via recalibração Lasso leve, sem retreinar o classificador central.

Resultados Experimentais

Avaliado no DocILE (55 campos de faturas com uma taxa de falha natural de 26%) e CORD (recibos) para transferência zero-shot:

• Discriminação (AUC): O EXTRACTCONF atinge 0.928 ROC AUC, superando significativamente o logprob-mean (0.705) e a auticonsistência (0.744).
• Qualidade de Roteamento (AURC): O sistema reduz a Área Sob a Curva de Risco-Cobertura (AURC) em 70% em comparação ao logprob-mean (0.043 vs. 0.145).
• Precisão Operacional: Com 80% de cobertura (automatizando os 80% superiores de predições), o EXTRACTCONF atinge 99.1% de precisão, um melhoria de 25.8 pontos sobre a taxa base de 73.3%.
• Calibração: A recalibração post-hoc (M7/M8) reduz o Erro de Calibração Esperado (ECE) em até 83%.
• Transferência Zero-Shot: Nos recibos CORD, sem retreino, o sistema atinge 0.858 AUC. A recalibração Lasso reduz o ECE em 89% e o Brier score em 43%, confirmando a natureza agnóstica a documentos dos sinais.

Significância e Alegações

O artigo argumenta que os erros de extração no processamento de documentos são causados pelo documento (ex: material de origem ilegível, layouts ambíguos) e não causados pelo modelo (ex: modelos mal treinados). Portanto, confiar em probabilidades de tokens é estruturalmente falho porque um modelo pode alucinar confiantemente com base em ruído.

A significância do EXTRACTCONF reside em permitir um fluxo de trabalho de humano-no-loop (human-in-the-loop) prático: automatizando predições de alta confiança enquanto roteia casos de baixa confiança para revisão humana. Os autores alegam que o desacordo Hunter–Mapper fornece um sinal de confiabilidade indisponível para abordagens de chamada única ou de reamostragem, e que a fusão de múltiplos sinais cria um motor de confiança robusto e agnóstico ao domínio que supera os baselines existentes tanto em discriminação quanto em calibração, tudo isso mantendo um custo de API fixo e baixo (duas chamadas por documento).