Beyond Logprobs: A Multi-Signal Confidence Engine for LLM-Based Document Field Extraction

Resumen Técnico: Más allá de los logprobs: Un motor de confianza multiseñal para la extracción de campos de documentos basada en LLM

Declaración del Problema

En los procesos de procesamiento de documentos de alto riesgo (por ejemplo, conciliación financiera, cumplimiento), el desafío principal no es simplemente la precisión de la extracción, sino la estimación fiable de la confianza. Una extracción que es "silenciosamente errónea" plantea un riesgo mayor que una que está visiblemente ausente. Los métodos actuales para estimar la confianza en las extracciones de Modelos de Lenguaje Extensos (LLM) —específicamente las log-probabilidades a nivel de token, la autoevaluación verbalizada y la autocoherencia de múltiples muestras— no logran proporcionar una separación fiable entre salidas confiables y no confiables. Estos métodos suelen colapsar en clasificadores de "todo positivo" en umbrales prácticos porque miden la confianza en la secuencia de tokens generada en lugar del fundamento de la extracción en el documento fuente. En consecuencia, un modelo puede transcribir con confianza ruido de OCR ilegible o alucinar valores para campos ausentes, produciendo log-probabilidades altas para respuestas incorrectas.

Metodología: La arquitectura EXTRACTCONF

El artículo propone EXTRACTCONF, un motor de confianza agnóstico al campo y de dominio cruzado que construye señales de fiabilidad a partir de múltiples fuentes heterogéneas. La innovación central es un diseño de Doble Llamada Cazador–Mapeador (Dual-Call Hunter–Mapper) que lee el mismo documento dos veces utilizando prompts estructuralmente asimétricos para inducir diferentes modos de fallo:

1. Llamada Cazador (Guiada por Campos - Hunter Call): Recibe un prompt para extraer un campo $f$ específico bajo presión de completado de ranura de esquema. Tiende a alucinar valores plausibles para campos ambiguos o ausentes para satisfacer el esquema.
2. Llamada Mapeador (Guiada por el Documento - Mapper Call): Recibe un prompt para escanear holísticamente el documento y presentar valores candidatos basados en lo que realmente está presente, sin estar anclado a un campo específico. Tiende a omitir campos que no son visualmente prominentes, pero permanece fiable cuando logra presentar un valor.

El desacuerdo entre estas dos llamadas sirve como una señal de fiabilidad independiente. Si el Cazador reporta un valor mientras el Mapeador permanece en silencio, o si sus valores chocan, esto indica una ambigüedad de extracción genuina.

Fusión de Características:
EXTRACTCONF fusiona 40 características a través de cinco grupos de señales en un clasificador binario de gradiente potenciado (CatBoost):

• Incertidumbre Interna del LLM: Estadísticas a nivel de token (media, mínimo, percentiles) de las log-probabilidades y la entropía de Shannon de ambas llamadas.
• Fundamentación de OCR y Confianza de Valor: Puntuaciones de confianza a nivel de región derivadas del cotejo de los valores y etiquetas extraídos contra la lista de tokens de OCR bruto, incluyendo indicadores de coincidencia "valor-en-OCR" y métricas de competencia de candidatos.
• Acuerdo entre Llamadas: Indicadores de coincidencia exacta y puntuaciones de similitud (Levenshtein/FuzzyWuzzy) entre las salidas del Cazador y el Mapeador.
• Vecindad Espacial y Centroide: Características derivadas de los cuadros delimitadores espaciales de las regiones atendidas, incluyendo la distancia del centroide (divergencia entre llamadas) y la nitidez del Laplaciano Normalizado (calidad de imagen local).
• Codificación de Tipo de Campo: Codificación one-hot de los tipos de campo inferidos (numérico, fecha, etc.) para permitir la calibración condicional al tipo.

Post-procesamiento:
El sistema soporta la recalibración post-hoc utilizando Regresión Isotónica (M7) o regresión logística regularizada por Lasso (M8) para mejorar las métricas de calibración (ECE, puntuación de Brier) sin alterar los pesos del modelo base.

Contribuciones Clave

1. Asimetría de Doble Llamada: Introduce una arquitectura Cazador–Mapeador donde dos llamadas de LLM estructuralmente diferentes abordan el mismo documento, generando modos de fallo que son complementarios e informativos cuando discrepan.
2. Fusión de Multi-señal: Demuestra que la fusión del desacuerdo entre llamadas, la incertidumbre interna del LLM, la calidad del OCR y el diseño espacial supera a los enfoques de una sola señal.
3. Análisis de Fallo de la Línea Base: Muestra que las líneas base estándar (media de logprob, confianza verbalizada y 5x autocoherencia) fallan como señales de enrutamiento, siendo que la autocoherencia incurre en costos de API 5 veces mayores para una mejora insignificante en la calidad de enrutamiento (AURC).
4. Dominancia de la Calidad del Documento: Establece que las señales del lado del documento (confianza de OCR, nitidez de la imagen) son predictores primarios de la corrección, superando a menudo las métricas de incertidumbre internas del modelo.
5. Generalización Zero-Shot: Prueba que las señales de fiabilidad se generalizan a través de dominios de documentos (por ejemplo, de facturas a recibos) mediante una recalibración Lasso ligera sin reentrenar el clasificador central.

Resultados Experimentales

Evaluado en DocILE (55 campos de facturas con una tasa de fallo natural del 26%) y CORD (recibos) para transferencia zero-shot:

• Discriminación (AUC): EXTRACTCONF logra un AUC ROC de 0.928, superando significativamente a logprob-mean (0.705) y a la autocoherencia (0.744).
• Calidad de Enrutamiento (AURC): El sistema reduce el Área Bajo la Curva de Riesgo-Cobertura (AURC) en un 70% en comparación con logprob-mean (0.043 vs. 0.145).
• Precisión Operativa: Con un 80% de cobertura (automatizando el 80% superior de las predicciones), EXTRACTCONF alcanza una precisión del 99.1%, una mejora de 25.8 puntos sobre la tasa base del 73.3%.
• Calibración: La recalibración post-hoc (M7/M8) reduce el Error de Calibración Esperado (ECE) hasta en un 83%.
• Transferencia Zero-Shot: En los recibos CORD, sin reentrenamiento, el sistema logra un AUC de 0.858. La recalibración Lasso reduce el ECE en un 89% y la puntuación de Brier en un 43%, confirmando la naturaleza agnóstica al documento de las señales.

Significancia y Reivindicaciones

El artículo argumenta que los errores de extracción en el procesamiento de documentos son causados por el documento (por ejemplo, material de origen ilegible, diseños ambiguos) en lugar de ser causados por el modelo. Por lo tanto, confiar en las probabilidades de los tokens es estructuralmente defectuoso porque un modelo puede alucinar con confianza basándose en el ruido.

La importancia de EXTRACTCONF radica en permitir un flujo de trabajo práctico de humano en el bucle (human-in-the-loop): automatizar las predicciones de alta confianza mientras se derivan los casos de baja confianza a la revisión humana. Los autores afirman que el desacuerdo Cazador–Mapeador proporciona una señal de fiabilidad no disponible en los enfoques de llamada única o de remuestreo, y que la fusión de múltiples señales crea un motor de confianza robusto y agnóstico al dominio que supera a las líneas base existentes tanto en discriminación como en calibración, todo ello manteniendo un costo de API fijo y bajo (dos llamadas por documento).