Uncertainty-Aware Web-Conditioned Scientific Fact-Checking

Resumen Técnico: Verificación de Hechos Científicos con Incertidumbre y Búsqueda Web

1. Planteamiento del Problema

La verificación de hechos científicos en dominios de alto riesgo (biomedicina, salud pública, ciencia de materiales) es crítica, pero los sistemas actuales presentan limitaciones significativas:

• Alucinaciones y razonamiento inconsistente: Los modelos de lenguaje (LLM) a menudo fallan al interpretar estructuras complejas de predicado-argumento o al generar conclusiones sin evidencia local suficiente.
• Dependencia de señales superficiales: Tendencia a basar juicios en pistas superficiales en lugar de un análisis profundo de la evidencia.
• Costos y latencia: La búsqueda web indiscriminada es costosa y lenta, mientras que la verificación sin búsqueda (closed-book) carece de precisión en escenarios con evidencia escasa.
• Falta de trazabilidad: Es difícil explicar por qué un sistema llegó a una conclusión, especialmente cuando las fuentes locales y externas entran en conflicto.

El objetivo es desarrollar un sistema que verifique afirmaciones técnicas a partir de fragmentos de evidencia pequeños y ruidosos, proporcione veredictos explicables y consulte fuentes web confiables solo cuando sea estrictamente necesario debido a la incertidumbre.

2. Metodología: Pipeline "Atomic+Search"

Los autores proponen un pipeline modular que combina descomposición simbólica, verificación probabilística y corroboración controlada. El flujo de trabajo consta de cinco etapas principales:

1. Descomposición en Hechos Atómicos:

   • Una afirmación compleja ($c$) se descompone en un conjunto de hechos atómicos ($F = \{f_i\}$), donde cada hecho es una tupla de predicado-argumento de menos de 25 palabras.
   • Esto permite un análisis granular en lugar de tratar la oración completa como una unidad indivisible.

2. Selección de Evidencia Local Semántica:

   • El documento de evidencia ($D$) se divide en ventanas superpuestas (~420 caracteres).
   • Para cada hecho atómico, se selecciona el fragmento local más relevante utilizando similitud de coseno con embeddings (text-embedding-3-large). Si los embeddings no están disponibles, se usa una heurística de superposición de tokens.

3. Verificación Ligera (Grounded Verifier):

   • Se utiliza un modelo compacto y basado en evidencia (MiniCheck-7B) para calcular la probabilidad de soporte ($p_i$) de cada hecho atómico dado el fragmento local.
   • Clasificación de confianza:
     • Soportado (Supported): $p_i \geq 0.80$
     • Refutado (Refuted): $p_i \leq 0.25$
     • Incierto (Uncertain): $0.25 < p_i < 0.80$

4. Corroboración Web Consciente de la Incertidumbre (Uncertainty-Gated):

   • Condición de activación: Solo los hechos en la banda de incertidumbre (0.25–0.80) desencadenan una búsqueda web.
   • Restricción de dominio: Las búsquedas se limitan a fuentes autorizadas y verificadas (ej. PubMed, WHO, CDC, NIH, FDA, ClinicalTrials.gov).
   • Proceso: Se genera un resumen de la evidencia web recuperada con citas, se concatena con la evidencia local y se vuelve a ejecutar MiniCheck-7B para actualizar las probabilidades.
   • Manejo de conflictos: Si la evidencia web contradice el contexto local proporcionado, el sistema no sobrescribe el contexto; en su lugar, se abstiene y marca el hecho como "No se puede inferir" (NEI).

5. Juez Final (Judge LLM):

   • Un LLM (en modo JSON) agrega los resultados de los hechos atómicos (Soportados, Refutados y los Inciertos si es una tarea de 3 clases) para generar un veredicto final a nivel de afirmación: {Soportado, Refutado, NEI} junto con una explicación racional.

3. Contribuciones Clave

• Pipeline Híbrido: Integración de descomposición simbólica (hechos atómicos) con verificación probabilística y recuperación dirigida, logrando un equilibrio entre precisión y cobertura.
• Corroboración Selectiva: El sistema consulta fuentes externas solo para un mínoría de hechos atómicos (aquellos con alta incertidumbre), optimizando costos y latencia.
• Nuevo Dataset: Lanzamiento de PubMedFact1k, un conjunto de datos de 1,000 ejemplos para verificación de afirmaciones biomédicas con etiquetas de 3 vías (Soportado/Refutado/NEI), derivado de PubMedQA.
• Mecanismo de Abstención: Capacidad de abstenerse (NEI) cuando la evidencia recuperada entra en conflicto con la evidencia local, evitando alucinaciones por sobreescritura de contexto.
• Interpretabilidad: Proporciona justificaciones trazables a nivel de átomo, identificando fallos específicos (alcance, negación, calificadores numéricos).

4. Resultados Experimentales

El sistema se evaluó en tres conjuntos de datos: BIONLI-300 (biomedicina), PubMedFact1k (nuevo, biomédico) y CLIMATE-FEVER (cambio climático).

• Rendimiento General:

  • En BIONLI-300, "Atomic+Search" superó a los mejores puntos de referencia, mejorando la Precisión Factual (F1) en +6.0 puntos (66.7% vs 60.7% de MiniCheck base) y la Precisión Balanceada en +7.35 puntos.
  • En PubMedFact1k, logró el Macro-F1 más alto (73.7%), superando a modelos grandes como GPT-5 Mini + Search y GPT-o1.
  • En CLIMATE-FEVER, demostró una fuerte generalización fuera de dominio, liderando en Precisión Balanceada y F1.

• Análisis de Componentes (Ablación):

  • Eliminar la búsqueda web redujo el F1 en 4.7 puntos.
  • Eliminar la descomposición atómica redujo el F1 en 6.4 puntos, indicando que la descomposición es el contribuyente más grande al rendimiento.
  • Reemplazar el Juez con votación mayoritaria causó una caída drástica de 14.6 puntos, demostrando la importancia de la agregación calibrada.

• Eficiencia: La corroboración web se activó solo para una minoría de hechos atómicos en promedio, confirmando que la verificación es selectiva y no rutinaria.

5. Significado e Impacto

Este trabajo representa un avance significativo hacia sistemas de verificación de hechos confiables, económicos y explicables para entornos científicos.

• Seguridad: Al restringir la búsqueda a dominios autorizados y abstenerse ante conflictos, reduce el riesgo de desinformación en áreas críticas como la medicina.
• Escalabilidad: Al utilizar un verificador compacto (MiniCheck) y activar búsquedas costosas solo bajo incertidumbre calibrada, hace viable la implementación en entornos con restricciones de recursos.
• Transparencia: La granularidad atómica permite a los usuarios humanos entender exactamente qué parte de una afirmación es correcta, cuál es falsa y cuál carece de evidencia, facilitando la auditoría humana.

En conclusión, el enfoque Atomic+Search demuestra que combinar el razonamiento estructurado con la gestión calibrada de la incertidumbre y la corroboración controlada es superior a los enfoques de "caja negra" o la búsqueda web indiscriminada para la verificación científica de alto riesgo.