ConflictScore: Identifying and Measuring How Language Models Handle Conflicting Evidence

Resumen Técnico: ConflictScore: Identificación y Medición de Cómo los Modelos de Lenguaje Gestionan la Evidencia Conflictiva

Planteamiento del Problema

Los modelos de lenguaje extensos (LLM) se están desplegando cada vez más en entornos de generación aumentada por recuperación (RAG) para tareas como la respuesta a preguntas y la generación de informes, donde deben sintetizar información de múltiples fuentes. Sin embargo, estas fuentes contienen frecuentemente evidencia conflictiva debido a la ambigüedad, opiniones divergentes o hechos contradictorios. Las métricas existentes para evaluar la veracidad y la fidelidad (por ejemplo, FactScore, SAFE) suelen tratar el conjunto de documentos de fundamentación como un corpus de referencia único y unificado. En consecuencia, si al menos un documento respalda una afirmación, la métrica suele etiquetar la afirmación como soportada, pasando por alto la presencia de otros documentos que la contradicen. Este encuadre global no logra capturar el matiz del desacuerdo entre la evidencia, lo que conduce a la evaluación de respuestas excesivamente confiadas o engañosas que ignoran las perspectivas conflictivas.

Metodología

Los autores presentan ConflictScore, una nueva métrica diseñada para cuantificar qué tan bien un modelo reconoce y navega la evidencia conflictiva dentro de sus documentos de fundamentación. A diferencia de enfoques previos que colapsan el conjunto de evidencia, ConflictScore opera sobre una base por documento. El marco consta de tres etapas:

1. Descomposición de Afirmaciones: La respuesta del modelo se descompone en un conjunto de afirmaciones atómicas, mínimas y factuales (afirmaciones).
2. Evaluación de la Evidencia: Cada afirmación se evalúa independientemente contra cada uno de los documentos de fundamentación. Un documento se etiqueta como SUPPORT (RESPALDA), CONTRADICT (CONTRADICE) o IRRELEVANT (IRRELEVANTE) con respecto a la afirmación. Crucialmente, un documento se considera que respalda una afirmación incluso si solo la respalda parcialmente, lo que fomenta un razonamiento matizado. Una afirmación se considera que tiene "evidencia conflictiva" si el conjunto de documentos de soporte ($D^+$) y el conjunto de documentos de contradicción ($D^-$) son ambos no vacíos.
3. Cálculo de la Métrica: El marco agrega estas etiquetas en dos medidas complementarias:
   • ConflictScore-Count (CS-C): La proporción de afirmaciones en una respuesta que exhiben conflictos (es decir, que tienen tanto evidencia de soporte como de contradicción). Los puntajes más bajos indican menos afirmaciones contenciosas.
   • ConflictScore-Ratio (CS-R): El equilibrio entre la evidencia de soporte y la de contradicción. Para cada afirmación conflictiva, calcula la relación $|D^-| / (|D^+| + |D^-|)$ y promedia esto en todas las afirmaciones. Esto captura la severidad del desacuerdo (por ejemplo, una división 1:1 frente a un desequilibrio de 9:1).

Para evaluar esta métrica, los autores construyeron ConflictBench, un benchmark que agrega y transforma conjuntos de datos existentes (ContraQA, MacNoise, AmbigDocs, ConflictingQA) para cubrir diversos tipos de conflicto, incluyendo contrafácticos, ambigüedad y opiniones divergentes.

Principales Contribuciones

El artículo realiza tres contribuciones primarias:

1. Métrica ConflictScore: Una extensión robusta y consciente del conflicto de los procesos de veracidad de afirmaciones atómicas que mide explícitamente cómo las respuestas gestionan el soporte y la contradicción simultáneos de los documentos de fundamentación.
2. ConflictBench: Un benchmark sistemático diseñado para evaluar la detección y calibración de conflictos a través de diversos tipos de conflicto, llenando un vacío en los protocolos de evaluación existentes.
3. Utilidad Diagnóstica y Correctiva: La demostración de que ConflictScore sirve no solo como una herramienta de diagnóstico para identificar afirmaciones excesivamente confiadas, sino también como una señal correctiva. Al retroalimentar las señales de conflicto al modelo, los autores muestran mejoras en la veracidad de las respuestas.

Resultados

Desempeño de la Detección de Conflictos:
Experimentos en ConflictBench utilizando modelos de frontera (por ejemplo, Gemini-3.5-Flash, GPT-5.4-Mini) muestran que la subrutina de detección de conflictos subyacente logra una precisión (0.98) y un recall (0.90) altos, con un F1 score general de 0.94. Esto indica que la métrica está bien calibrada para detectar conflictos a través de diferentes conjuntos de datos y familias de modelos.

Benchmarking de LLMs:
Al aplicarse a LLMs de vanguardia (GPT-5.4-Mini, GPT-5.4-Nano, Qwen3-32B) en una tarea de generación de informes con evidencia contradictoria, los resultados revelan una brecha significativa en la conciencia del conflicto. A pesar de las estrategias de prompting explícitas que fomentan respuestas "equilibradas" o "super equilibradas", los modelos frecuentemente se comprometen con una sola postura. Los puntajes de CS-C se mantuvieron consistentemente altos (alrededor de 0.50–0.55), indicando que incluso con instrucciones para ser cautelosos, los modelos a menudo fallan en reconocer el alcance total de la evidencia conflictiva.

Retroalimentación Correctiva (TruthfulQA):
En un estudio de caso sobre TruthfulQA, los autores probaron si alimentar las señales de conflicto de vuelta al modelo podía mejorar la veracidad. Utilizando un entorno de "Regenerated-RAG" donde el modelo regenera su respuesta tras ser informado de los conflictos detectados, observaron mejoras consistentes sobre los entornos estándar de RAG y de control basado en prompts.

• Para modelos como gemini3.1-flash-lite, el proceso de regeneración corrigió hasta el 74% de las respuestas originalmente erróneas, introduciendo muy pocos errores nuevos (tasa de daño < 3%).
• Esto sugiere que las señales de conflicto pueden guiar eficazmente a los modelos hacia un razonamiento más cauteloso y preciso, particularmente en entornos de opción múltiple.

Significado y Limitaciones

El artículo argumenta que ConflictScore proporciona un diagnóstico necesario para el problema de la "excesiva confianza" en los sistemas RAG, donde los modelos sintetizan fuentes contradictorias en respuestas definitivas y potencialmente engañosas. Al cuantificar la tensión entre la evidencia de soporte y la de contradicción, ofrece un camino hacia respuestas de IA más veraces y matizadas.

Los autores reconocen varias limitaciones:

• Costo Computacional: La complejidad cuadrática de evaluar cada afirmación contra cada documento puede ser costosa para salidas de formato largo, aunque se proponen variantes ligeras (por ejemplo, muestreo de afirmaciones destacadas).
• Fiabilidad de la Fuente: El marco actual trata todos los documentos de fundamentación por igual, sin ponderarlos por la confiabilidad de la fuente. Si bien el marco es compatible con futuras extensiones conscientes de la fiabilidad, no distingue inherentemente entre conflictos entre fuentes creíbles y aquellos impulsados por evidencia de baja calidad.
• Dependencia Upstream: La métrica depende de la precisión de la descomposición de afirmaciones y el etiquetado de evidencia de las etapas previas. Los errores en estos pasos pueden propagarse al puntaje final, y la elección de la granularidad de la afirmación puede influir en la evaluación.

En resumen, el artículo establece que los LLM actuales luchan por manejar naturalmente la evidencia conflictiva y que los mecanismos explícitos de detección y retroalimentación de conflictos son herramientas efectivas para mejorar la veracidad y la fiabilidad del contenido generado.