Resumen Técnico: HallDetect – Entailment Descompuesto para la Verificación de la Veracidad

Declaración del Problema

El despliegue de Modelos de Lenguaje de Gran Escala (LLMs) en contextos profesionales y de toma de decisiones críticas se ve obstaculizado por las alucinaciones: afirmaciones seguras pero sin fundamento fáctico. Los métodos de detección existentes enfrentan limitaciones significativas:

• Métricas de superficie (p. ej., ROUGE, similitud de embeddings) no logran capturar inconsistencias lógicas.
• El paradigma de "LLM-como-juez" sufre de altos costos computacionales, latencia, problemas de reproducibilidad y sesgo de preferencia propia, particularmente cuando se despliega en hardware de consumo o mediante APIs propietarias de caja negra.
• Los enfoques de caja blanca que dependen de señales internas (probabilidades de tokens) son inaplicables a modelos de código cerrado.
• Los verificadores existentes a menudo requieren modelos de precisión completa, bases de conocimiento externas (que miden la veracidad extrínseca en lugar de la fidelidad intrínseca) o carecen de la granularidad para localizar errores específicos dentro de un texto generado.

Existe la necesidad de un marco de trabajo ligero, libre de referencias y de caja negra que pueda detectar alucinaciones intrínsecas (inconsistencias con un documento fuente proporcionado) bajo presupuestos computacionales estrictos, proporcionando además una pista de auditoría para errores específicos.

Metodología: El Marco de Trabajo HallDetect

HallDetect es un pipeline de dominio agnóstico y eficiente en recursos que descompone el texto generado en afirmaciones atómicas y las verifica contra un documento fuente utilizando un modelo de Inferencia de Lenguaje Natural (NLI) discriminativo. El marco opera bajo un estricto presupuesto de cuantización de 4 bits en hardware de grado de consumo.

Arquitectura del Pipeline

El proceso consta de cuatro fases distintas:

1. Extracción de Afirmaciones Atómicas (Fase I):

   • Un LLM desplegado localmente y cuantizado a 4 bits (p. ej., Llama 3.1, Gemma 2 o Mistral) descompone la respuesta generada $R$ en un conjunto de afirmaciones atómicas $\{c_1, \dots, c_n\}$.
   • La extracción es "fiel a la copia" (copy-faithful), reproduciendo las afirmaciones textualmente para asegurar que la verificación se dirija a las aserciones reales del modelo.

2. Fragmentación Contextual Multiescala (Fase II):

   • El documento fuente $D$ se particiona en una biblioteca de contexto jerárquica $\mathcal{K}$ en cinco granularidades ($m \in \{1, 2, 4, 8, 16\}$ fragmentos).
   • Esta programación diádica asegura que la evidencia se capture en diversas escalas (desde el nivel de la oración hasta el documento completo) sin incurrir en un crecimiento de costo lineal. El tamaño total de la biblioteca se limita a 31 fragmentos por documento.

3. Verificación NLI Contrastiva (Fase III):

   • Un modelo NLI compacto basado en codificador (DeBERTa-v3-Large, ajustado en MNLI, FEVER-NLI, etc.) verifica cada afirmación $c_i$ contra cada fragmento $k \in \mathcal{K}$.
   • Puntuación Contrastiva: Para cada afirmación, el sistema identifica de forma independiente el fragmento con la mayor probabilidad de Implicación ($P(E)$) y el fragmento con la mayor probabilidad de Contradicción ($P(C)$).
   • La puntuación se calcula como: $Score(c_i) = \max_k P(E|k, c_i) - \max_k P(C|k, c_i)$.
   • La clase Neutral se maneja implícitamente; las afirmaciones donde todos los fragmentos son predominantemente neutrales reciben puntuaciones bajas tanto para implicación como para contradicción, lo que resulta en una puntuación cercana a cero (indicando contenido no sustentado).

4. Agregación Asimétrica (Fase IV):

   • La puntuación de descomposición de implicación de veracidad (FEDscore) final agrega las puntuaciones por afirmación utilizando una media geométrica.
   • Asimetría: La agregación está diseñada para la auditoría. Si cualquier afirmación individual tiene una puntuación $\le 0$ (indicando una contradicción segura), toda la respuesta se marca como alucinada ($FEDscore = 1$). Esto prioriza la exhaustividad (recall), asegurando que una sola aserción no sustentada invalide el resultado.

Contribuciones Clave

Los autores presentan cuatro contribuciones primarias:

1. Un Pipeline de Descomposición y Verificación Austero: HallDetect acopla la extracción de afirmaciones atómicas con una formulación de NLI multiescala y contrastiva. Solo requiere el par fuente-generación y es compatible con cualquier generador de caja negra, evitando la necesidad de "jueces" generativos durante la fase de verificación.
2. Evaluación Controlada bajo Presupuestos Fijos: El marco se evalúa bajo una paridad de recursos estricta (todos los componentes cuantizados a 4 bits, ejecutándose en el mismo hardware de consumo). Bajo estas restricciones, HallDetect supera a las líneas base generativas (LLM CoT) y basadas en embeddings con recursos comparables en tres de cuatro benchmarks, mientras se mantiene competitivo en el cuarto.
3. Estabilidad a través de Backbones y Dominios: Al delegar la verificación a un codificador discriminativo, HallDetect exhibe una varianza notablemente menor que los jueces generativos de Cadena de Pensamiento (CoT) a través de diferentes familias de backbone (Mistral, Gemma, Llama) y dominios (noticias, diálogo, adversarial, biomédico).
4. Pista de Auditoría a Nivel de Afirmación: A diferencia de los métodos de puntuación escalar, HallDetect produce un mapeo entre las afirmaciones atómicas y los ámbitos de evidencia de la fuente, permitiendo la localización de contradicciones y adiciones no sustentadas.

Resultados Cuantitativos

Evaluado en cuatro benchmarks (QAGS-CNN/DM, TofuEval, FalseSum, PubMedQA) utilizando modelos cuantizados a 4 bits:

• QAGS-CNN/DM (Resumen de Noticias): HallDetect logró un F1 de 0.771 (Gemma-2), superando la línea base de LLM CoT (0.589) y la línea base de NLI monolítica (0.638). Demostró una exhaustividad (recall) superior (1.000) en comparación con las líneas base, atribuido a la estrategia de descomposición que evita la "dilución" de errores localizados.
• Estabilidad: Mientras que el rendimiento de LLM CoT colapsó significamente a través de diferentes backbones (p. ej., el F1 cayó de 0.589 a 0.321 en Llama-3.1), HallDetect se mantuvo estable (rango de F1 0.734–0.771).
• Estrés Adversarial (FalseSum): HallDetect mantuvo un fuerte rendimiento (F1 0.731), superando la línea base de LLM CoT (0.375) y la de SelfCheck (0.649).
• Generalización de Dominio (PubMedQA): HallDetect se mantuvo competitivo pero no superó la línea base de SelfCheck (HallDetect F1 0.632 vs. SelfCheck F1 0.668). Aunque los evaluadores especializados ocasionalmente igualaron o excedieron el desempeño de HallDetect en este dominio, HallDetect retuvo la capacidad única de localizar afirmaciones médicas específicas que carecen de fundamento, una característica ausente en las líneas base escalares.

Significancia y Reivindicaciones

El artículo posiciona a HallDetect no como un detector de estado del arte que supere a los sistemas de precisión completa o basados en API, sino como una solución robusta y eficiente en recursos para escenarios donde los presupuestos computacionales están restringidos (p. ej., despliegue local, hardware de consumo).

• Robustez a la Cuantización: El estudio demuestra que desacoplar la extracción de afirmaciones de la verificación (usando un codificador discriminativo) protege el juicio de los sesgos de decodificación y la inestabilidad que afectan a los modelos generativos cuantizados.
• Auditabilidad: El marco proporciona una pista de auditoría de "afirmación-a-ámbito", localizando errores en lugar de proporcionar una única puntuación escalar, lo cual es crítico para la auditoría humana en el bucle.
• Viabilidad Operativa: Al operar enteramente con modelos cuantizados a 4 bits con requisitos de VRAM inferiores a 1GB, HallDetect ofrece una alternativa práctica a los costosos paradigmas de "LLM-como-juez" para la verificación de la veracidad intrínseca.

Los autores señalan explícitamente las limitaciones, incluyendo la falta de comparación con verificadores de hechos discriminativos especializados como MiniCheck, la incapacidad de verificar hechos extrínsecos (afirmaciones no presentes en la fuente) y el punto de operación orientado a la exhaustividad (recall) que puede reducir la precisión en escenarios con baja tasa de alucinación.