Contradiction to Consensus: Dual Perspective, Multi Source Retrieval Based Claim Verification with Source Level Disagreement using LLM

Resumen Técnico: Verificación de Afirmaciones con Perspectiva Dual y Múltiples Fuentes

1. Planteamiento del Problema

La propagación de desinformación en plataformas digitales representa un riesgo societal significativo, especialmente en dominios críticos como la salud, las finanzas y la seguridad pública. Los sistemas actuales de verificación de afirmaciones (fact-checking) automatizados presentan limitaciones fundamentales:

• Dependencia de una sola fuente: La mayoría de los sistemas se basan en un único repositorio de conocimiento (generalmente Wikipedia), ignorando la riqueza de información en fuentes secundarias (como literatura científica en PubMed) o resultados de búsqueda web (Google).
• Sesgo de confirmación: Las metodologías tradicionales suelen recuperar evidencia que solo apoya la afirmación original, omitiendo información contradictoria o matices importantes.
• Falta de transparencia: Los usuarios finales no tienen visibilidad sobre los desacuerdos entre fuentes o la incertidumbre inherente a la información, lo que dificulta la toma de decisiones informadas.

El objetivo de este trabajo es superar estas limitaciones creando un sistema de verificación de afirmaciones en dominio abierto (ODCV) que integre la diversidad de perspectivas, maneje explícitamente las contradicciones y cuantifique la incertidumbre.

2. Metodología Propuesta

Los autores presentan un sistema novedoso que combina la generación de afirmaciones negadas, la recuperación de evidencia multi-fuente y el análisis de desacuerdo a nivel de fuente utilizando Grandes Modelos de Lenguaje (LLM). El flujo de trabajo se divide en tres componentes principales:

A. Generación de Afirmación Negada (Perspectiva Dual)
Para cada afirmación original ($c_i$), el sistema genera una versión negada explícita ($\bar{c}_i$) utilizando un LLM (Mistral AI).

• Ejemplo: "Una deficiencia de vitamina B12 aumenta la homocisteína" $\rightarrow$ "Un exceso de vitamina B12 disminuye la homocisteína".
• Propósito: Esto permite recuperar evidencia que tanto apoya como refuta la afirmación original, creando un conjunto de evidencia más equilibrado y completo.

B. Recuperación y Agregación Multi-Fuente
El sistema recupera evidencia de tres fuentes de conocimiento independientes:

1. Wikipedia: Para consultas generales y tendencias.
2. PubMed: Para afirmaciones técnicas y biomédicas.
3. Google: Para resultados web actuales y diversos.

Para cada fuente, se recuperan los documentos top-$k$ tanto para la afirmación original como para la negada. Posteriormente, se aplica un proceso de selección y deduplicación:

• Se filtran oraciones relevantes utilizando embeddings (SPICED).
• Se eliminan duplicados y se fusionan segmentos divididos.
• Se crea un conjunto de evidencia unificado ($E_i$) que contiene información de soporte y contradicción de todas las fuentes.

C. Predicción de Veracidad y Medición de Desacuerdo
Un LLM (en configuración zero-shot, sin ajuste fino) evalúa la afirmación utilizando el conjunto de evidencia agregado.

• Predicción: El modelo asigna una etiqueta de veracidad (Refutada, Soportada, No hay suficiente evidencia).
• Cuantificación del Desacuerdo: Se utiliza la probabilidad logarítmica (log-probability) del token de la etiqueta predicha como una métrica de confianza.
• Visualización: Se comparan las puntuaciones de confianza entre las tres fuentes. Una baja dispersión indica consenso (acuerdo), mientras que una alta dispersión señala desacuerdo e incertidumbre. Esto se visualiza mediante estimaciones de densidad de kernel (KDE).

3. Contribuciones Clave

1. Enfoque de Doble Perspectiva: Introducen una estrategia de recuperación que utiliza tanto la afirmación original como su negación explícita, capturando evidencia de apoyo y refutación simultáneamente.
2. Agregación Multi-Fuente: Demuestran que combinar evidencia de Wikipedia, PubMed y Google supera el rendimiento de depender de una sola fuente, llenando vacíos de conocimiento específicos de dominio.
3. Interpretabilidad mediante Desacuerdo: Proponen un método para cuantificar y visualizar el desacuerdo entre fuentes utilizando puntuaciones de confianza de los LLM, ofreciendo transparencia sobre la certeza de la verificación.
4. Evaluación Exhaustiva: Validan el sistema en cuatro conjuntos de datos de referencia (SciFact, PubHealth, Averitec, LIAR) utilizando cinco LLMs de última generación (Llama 70B/405B, Phi-4, Qwen 2.5, Mistral).

4. Resultados Experimentales

Las evaluaciones en configuración zero-shot mostraron dos tendencias robustas:

• Mejora por Negación: La inclusión de la afirmación negada mejoró consistentemente la precisión y el F1 macro en comparación con el uso de la afirmación original sola. Las ganancias relativas oscilaron entre +2% y +10% en precisión y +2% y +8% en F1.
  • Ejemplo: En SciFact con Llama 70B y Google, la precisión aumentó de 0.550 a 0.607 (+10.4%).
• Ventaja de la Agregación: La fusión de evidencia de las tres fuentes superó a cualquier fuente individual.
  • En SciFact, la versión agregada de Llama 70B superó a Wikipedia en un +41.9% en F1.
  • En Averitec, la versión agregada de Llama 405B superó a Wikipedia en un +68.8%.
  • Nota: En el conjunto de datos LIAR, donde Google por sí solo ya era fuerte, la agregación mantuvo un rendimiento superior a Wikipedia y PubMed, aunque no superó a Google individualmente en todos los casos, demostrando la complementariedad de las fuentes.

Análisis de Confianza:
Las visualizaciones de KDE mostraron una correlación clara: cuando todas las fuentes estaban de acuerdo, las distribuciones de confianza eran agudas y altas. Cuando había desacuerdo parcial o nulo, las distribuciones se volvían más planas y bajas, indicando incertidumbre. Esto permite a los usuarios identificar cuándo una verificación es sólida y cuándo es controvertida.

5. Significado y Conclusión

Este trabajo demuestra que la diversidad y la contradicción son activos valiosos, no obstáculos, para la verificación de hechos.

• Robustez: El enfoque propuesto es robusto a través de diferentes modelos LLM y dominios (salud, política, ciencia).
• Transparencia: Al exponer el desacuerdo entre fuentes y las puntuaciones de confianza, el sistema empodera a los usuarios para tomar decisiones basadas en un espectro completo de perspectivas, en lugar de una "verdad" monolítica.
• Futuro: Aunque el sistema es efectivo, los autores reconocen limitaciones como el manejo de contextos largos, la sensibilidad temporal de la evidencia y los sesgos inherentes a los corpus de entrenamiento.

En resumen, el sistema "Contradiction to Consensus" establece un nuevo estándar para la verificación de afirmaciones al integrar explícitamente la diversidad de fuentes y la gestión de contradicciones, mejorando tanto la precisión técnica como la interpretabilidad humana.