Improved Evidence Extraction and Metrics for Document Inconsistency Detection with LLMs

1. Problema y Motivación

El artículo aborda la detección de inconsistencias en documentos utilizando Modelos de Lenguaje Grande (LLMs). A diferencia de la inferencia de lenguaje natural (NLI) tradicional, que compara una hipótesis con una premisa, este trabajo se centra en detectar contradicciones dentro de un único documento de entrada.

• El Desafío: Los humanos tienen dificultades para identificar inconsistencias en textos largos e informativos, especialmente cuando las contradicciones están separadas por grandes distancias.
• La Brecha: La investigación actual se centra principalmente en la clasificación (determinar si hay o no una inconsistencia), pero ignora la extracción de evidencia (identificar las oraciones específicas que contradicen). Un sistema que clasifica correctamente pero no puede señalar la fuente de la contradicción es poco útil y confuso para el usuario.
• Limitaciones Previas: Los conjuntos de datos existentes (como ContraDoc) solo contenían documentos con una sola oración inconsistente, lo que limitaba la evaluación de métricas más complejas de extracción. Además, las métricas anteriores (como "Evidence Hit") no penalizaban la extracción excesiva de evidencia irrelevante.

2. Metodología

A. Nuevas Métricas de Evaluación

Los autores proponen un conjunto integral de métricas para evaluar la capacidad de extracción de evidencia, más allá de la simple clasificación:

1. Tasa de Acierto de Evidencia (EHR/EHRC): Mide si el conjunto de evidencia extraído contiene todas las oraciones inconsistentes verdaderas. Es una métrica estricta.
2. Precisión de Evidencia (EPR/EPRC): Mide la proporción de oraciones extraídas que son realmente inconsistentes. Penaliza los falsos positivos (demasiada evidencia irrelevante).
3. Exhaustividad/Recall de Evidencia (ERR/ERRC): Mide qué proporción de las oraciones inconsistentes verdaderas fueron encontradas. Permite la extracción parcial.

B. Marco de Trabajo: "Redact-and-Retry" (RnR) con Filtros

Se introduce un nuevo enfoque iterativo para mejorar la extracción:

1. Redactar (Redact): El LLM analiza el documento y extrae las inconsistencias iniciales. Luego, se eliminan ("enmascaran") esas oraciones del documento original.
2. Reintentar (Retry): El LLM se vuelve a invocar sobre el documento modificado (sin las oraciones ya encontradas) para buscar nuevas inconsistencias ocultas. Este proceso se repite hasta que el LLM no detecta más contradicciones.
3. Filtrado (Filter): Para evitar que el sistema acumule demasiadas oraciones irrelevantes, se aplica un paso final de filtrado mediante un LLM.
   • Filtro Sin Restricciones (Unconstrained): Puede devolver cualquier número de oraciones (incluido cero).
   • Filtro Con Restricciones (Constrained - RnR+CF): Obliga al LLM a devolver al menos una oración si se detectó una inconsistencia inicial, manteniendo la clasificación original pero refinando la lista de evidencia.

3. Contribuciones Clave

1. Nuevas Métricas: Definición formal de métricas de precisión y exhaustividad específicas para la extracción de evidencia, demostrando que la clasificación perfecta no garantiza una buena extracción.
2. Marco RnR+CF: Desarrollo de un algoritmo iterativo con filtrado restringido que supera a los métodos de prompting estándar (Directo, Auto-consistencia, Auto-crítica) en la calidad de la evidencia extraída.
3. Conjunto de Datos ContraDocPaired: Creación de un nuevo conjunto de datos semi-sintético derivado de ContraDoc, donde cada documento positivo contiene exactamente dos oraciones inconsistentes. Esto permite evaluar métricas donde el tamaño del conjunto de evidencia es mayor que uno, algo que los datasets anteriores no permitían.
4. Análisis Exhaustivo: Evaluación experimental con dos modelos de diferentes capacidades (GPT-4o y LLaMA3.2-90B) y análisis de ablación sobre los componentes del marco de trabajo.

4. Resultados Experimentales

• Rendimiento de Extracción: El método RnR+CF (Redact-and-Retry con Filtro Con Restricciones) demostró ser el mejor enfoque general.
  • Logró un equilibrio óptimo entre Precisión de Evidencia (EPR) y Exhaustividad (ERR).
  • En comparación con otros métodos, RnR+CF extrajo significativamente menos oraciones irrelevantes (falsos positivos) manteniendo una alta tasa de recuperación de las oraciones verdaderas.
• Comparación de Modelos:
  • GPT-4o (modelo fuerte) y LLaMA3.2-90B (modelo más débil) mostraron mejoras consistentes con RnR+CF.
  • En tareas de clasificación, no hubo un ganador claro entre los métodos, pero en la extracción de evidencia, RnR+CF superó consistentemente a la auto-consistencia y la auto-crítica.
• Eficiencia: El método controla bien el número de reintentos (generalmente menos de 3) y el número de oraciones extraídas, evitando la sobrecarga de información para el usuario.
• Análisis de Filtros: El filtro con restricciones (CF) demostró ser superior al sin restricciones (UF) en la mayoría de los casos, ya que evita cambiar la clasificación de "Sí" a "No" erróneamente mientras reduce el ruido en la evidencia.

5. Significado e Impacto

Este trabajo es fundamental porque cambia el paradigma de la evaluación de LLMs en la detección de inconsistencias:

• Utilidad Práctica: Proporciona sistemas que no solo dicen "hay un error", sino que explican dónde está, lo cual es crucial para aplicaciones en dominios críticos como finanzas, legales y auditoría.
• Evaluación Rigurosa: Establece un nuevo estándar para medir la capacidad de razonamiento de los LLMs, moviéndose más allá de la simple precisión de clasificación hacia la calidad de la justificación (evidencia).
• Escalabilidad: Demuestra que es posible detectar múltiples inconsistencias en documentos largos mediante procesos iterativos controlados, superando las limitaciones de los enfoques de "una sola pasada".

En resumen, el artículo presenta una solución robusta y evaluable para un problema complejo, combinando métricas de evaluación más justas con una arquitectura de inferencia iterativa que mejora significativamente la fiabilidad de los sistemas de detección de inconsistencias basados en LLMs.