Explaining Sources of Uncertainty in Automated Fact-Checking

A continuación se presenta un resumen técnico detallado del artículo "Explaining Sources of Uncertainty in Automated Fact-Checking" de Sun et al.

1. Planteamiento del Problema

La verificación automática de hechos utilizando Modelos de Lenguaje Grandes (LLM) a menudo implica razonar sobre múltiples documentos donde la evidencia puede entrar en conflicto o coincidir. Aunque los LLM pueden predecir veredictos (Apoya, Refuta, Neutral), los métodos actuales de Inteligencia Artificial Explicable (XAI) no logran comunicar adecuadamente la incertidumbre del modelo a los usuarios humanos.

• Limitaciones de los Métodos Actuales: Los enfoques existentes proporcionan únicamente puntuaciones numéricas de confianza (difíciles de contextualizar) o matices vagos en lenguaje natural (por ejemplo, "no estoy seguro") que no reflejan fielmente el estado interno del modelo.
• La Brecha: Crucialmente, los sistemas existentes no explican por qué un modelo es incierto. No logran poner de manifiesto los conflictos y acuerdos específicos entre la afirmación y la evidencia, o entre diferentes piezas de evidencia, que son los impulsores principales de la incertidumbre en las tareas de verificación de hechos. Esto impide que los verificadores humanos resuelvan eficazmente los desacuerdos o verifiquen puntos específicos de controversia.

2. Metodología: El Marco CLUE

Los autores proponen CLUE (Conflict-&Agreement-aware Language-model Uncertainty Explanations), un marco de caja blanca, plug-and-play, que genera explicaciones en lenguaje natural (NLE) fundamentadas en interacciones específicas de evidencia. CLUE opera completamente en tiempo de inferencia sin requerir ajuste fino ni explicaciones con etiquetas de oro.

El marco consta de tres etapas:

A. Puntuación de Incertidumbre

El sistema cuantifica la incertidumbre del modelo utilizando la entropía predictiva derivada de los logits de salida del modelo.

• Para una entrada dada $X$ (Afirmación + Evidencia), la entropía $u(X)$ se calcula sobre la distribución softmax de las etiquetas candidatas $\{SUPPORTS, REFUTES, NEUTRAL\}$.
• Esto proporciona una puntuación escalar de incertidumbre que es agnóstica al modelo y no requiere múltiples ejecuciones de muestreo.

B. Identificación de Interacciones de Span de Conflicto y Acuerdo

Para identificar las fuentes de incertidumbre, CLUE extrae interacciones de fragmentos de texto salientes entre la Afirmación ($C$) y las piezas de Evidencia ($E_1, E_2$), así como entre las propias piezas de evidencia.

1. Extracción: Utilizando mecanismos de atención de la última capa del modelo, el sistema identifica interacciones importantes de tokens entre las partes de entrada. Aplica el algoritmo de Louvain para agrupar estos tokens en comunidades, extrayendo pares de fragmentos específicos (por ejemplo, una frase en la afirmación y una frase en la evidencia).
2. Etiquetado de Relación: Un modelo auxiliar ($L_{rel}$) etiqueta cada par de fragmentos extraído como Acuerdo, Desacuerdo o No relacionado basándose en el contexto completo.
3. Selección: Se seleccionan los $k$ superiores (por ejemplo, 3) interacciones de fragmentos más importantes según sus puntuaciones de atención.

C. Generación de Explicación de Incertidumbre

CLUE convierte estas interacciones extraídas en explicaciones en lenguaje natural utilizando dos variantes distintas:

1. CLUE-Span (Impulsado por Instrucciones): Los pares de fragmentos extraídos y sus etiquetas de relación se insertan directamente en un prompt de pocos ejemplos. Se instruye al modelo para que explique cómo estos acuerdos o conflictos específicos influyen en su confianza.
2. CLUE-Span+Steering (Dirigimiento de Atención Intrínseco): Además del prompt, el sistema modifica los pesos de atención del modelo durante la generación. Reduce el peso de los tokens no objetivo y aumenta el peso de los tokens dentro de las interacciones de fragmentos seleccionadas, forzando al modelo a centrar su razonamiento en los conflictos/acuerdos identificados.

3. Contribuciones Clave

• Primer Marco para Explicaciones Orientadas a la Incertidumbre: CLUE es el primer sistema que genera NLEs que rastrean explícitamente la incertidumbre del modelo hacia fragmentos de evidencia conflictivos o concordantes específicos.
• Caja Blanca y Plug-and-Play: Opera sin ajuste fino, utilizando señales internas del modelo (logits y atención) para garantizar que las explicaciones sean fieles al proceso de razonamiento real del modelo.
• Mecanismo Dual: Introduce una comparación entre la generación de prompts impulsada por instrucciones y el dirigimiento de atención para optimizar la generación de explicaciones de incertidumbre.
• Diseño Centrado en el Humano: El marco aborda las necesidades prácticas de los verificadores de hechos al "mostrar el trabajo" detrás de una decisión, destacando específicamente dónde existen tensiones en la evidencia.

4. Resultados Experimentales

El marco se evaluó en tres LLM (Qwen2.5-14B, Gemma-2-9B, OLMo-2-13B) y dos conjuntos de datos (HealthVer y DRUID).

Evaluación Automática

• Fidelidad (Entropy-CCT): Los autores introdujeron Entropy-CCT, una métrica que mide la correlación entre la presencia de un token perturbado en la explicación y el cambio resultante en la entropía predictiva del modelo.
  • Resultado: Los métodos de prompt de referencia mostraron fidelidad negativa (mencionaron tokens no importantes). Ambas variantes de CLUE invirtieron esto, logrando CLUE-Span+Steering la correlación positiva más alta (hasta $r_{pb} = 0.102$), lo que indica que las explicaciones reflejan fielmente las fuentes de incertidumbre del modelo.
• Cobertura de Fragmentos y Extranjería: Las variantes de CLUE cubrieron más de los fragmentos críticos extraídos e introdujeron menos fragmentos irrelevantes en comparación con las líneas base.
• Implicación Etiqueta-Explicación: Las explicaciones de CLUE fueron más lógicamente consistentes con los veredictos predichos.

Evaluación Humana

• Participantes: 12 evaluadores humanos evaluaron 120 explicaciones.
• Preferencia: Las explicaciones generadas por CLUE fueron clasificadas como la primera preferencia entre el 67–78% de las veces, en comparación con el 24–34% para la línea base.
• Métricas Cualitativas: Las explicaciones de CLUE recibieron puntuaciones significativamente más altas en Utilidad, Cobertura, No redundancia y Consistencia.
• Compensación: Se observó una ligera compensación entre las dos variantes de CLUE: CLUE-Span+Steering logró una mayor fidelidad (adherencia estricta a los fragmentos extraídos), mientras que CLUE-Span fue a veces calificada ligeramente superior en calidad general/plausibilidad, probablemente debido a una mejor fluidez cuando los fragmentos extraídos eran fragmentarios.

5. Significado e Impacto

• Cerrando la Brecha Humano-IA: Al vincular explícitamente la incertidumbre con los conflictos de evidencia, CLUE permite a los verificadores humanos de hechos comprender por qué una IA no está segura, permitiéndoles dirigir sus esfuerzos de verificación de manera más efectiva.
• Fiabilidad en Tareas de Alto Riesgo: El método va más allá de la simple predicción de veredictos para proporcionar información procesable, lo cual es crítico para dominios como la salud y las noticias, donde la desinformación puede causar daño.
• Generalizabilidad: El marco es aplicable a cualquier tarea de razonamiento con múltiples documentos que involucre información conflictiva, como la respuesta a preguntas o la generación aumentada por recuperación (RAG).
• Direcciones Futuras: El artículo destaca la necesidad de una mejor extracción de fragmentos (para evitar fragmentos fragmentarios) y más investigación sobre el equilibrio entre la fidelidad y la plausibilidad en la generación de explicaciones.

En conclusión, CLUE representa un paso significativo hacia adelante en la Inteligencia Artificial Explicable (XAI) para la verificación de hechos, desplazando el enfoque de justificar un veredicto a explicar las fuentes de incertidumbre mediante un razonamiento fundamentado y basado en evidencia.