Can LLMs Detect Their Confabulations? Estimating Reliability in Uncertainty-Aware Language Models

Aquí presento un resumen técnico detallado del artículo "Can LLMs Detect Their Confabulations? Estimating Reliability in Uncertainty-Aware Language Models", estructurado según los puntos solicitados.

1. El Problema

Los Modelos de Lenguaje Grandes (LLMs) son propensos a generar contenido fluido pero incorrecto, un fenómeno conocido como confabulación (o alucinación). Este problema es crítico en aplicaciones multi-turno y agentes autónomos, donde las salidas incorrectas pueden ser reutilizadas como contexto para futuras interacciones, propagando errores.

El desafío central identificado en el trabajo es la desalineación entre la incertidumbre del modelo y su corrección. Específicamente:

• Los LLMs a menudo asignan alta confianza (baja incertidumbre) a respuestas incorrectas cuando se les proporciona un contexto engañoso.
• Las señales de incertidumbre directas (como los logits o la entropía) no son suficientes para detectar estas confabulaciones, especialmente en entornos de Aprendizaje en Contexto (In-Context Learning - ICL) o Generación Aumentada por Recuperación (RAG).
• Existe una brecha en la capacidad de los modelos para identificar cuándo sus propias respuestas son poco fiables basándose únicamente en sus señales internas de incertidumbre.

2. Metodología

Los autores proponen un marco experimental controlado y un método de detección basado en probing (sondeo) para abordar el problema.

A. Marco Experimental Controlado

Se diseñó un entorno para aislar el efecto del contexto en el comportamiento del modelo y su perfil de incertidumbre. Se evaluaron tres configuraciones de entrada para preguntas de conocimiento factual:

1. Sin Contexto (WOC): El modelo responde basándose solo en su conocimiento paramétrico.
2. Contexto Correcto (WCC): Se proporciona información externa precisa.
3. Contexto Engañoso (WIC): Se proporciona información externa plausible pero incorrecta (generada automáticamente).

Se utilizaron tres modelos de lenguaje (Fanar1-9b, Gemma3-12B, Qwen2.5-7B) y dos conjuntos de datos (HotpotQA, Natural Questions). Para cada pregunta, se generaron múltiples respuestas para calcular una tasa de corrección y clasificar el comportamiento en regímenes de "mayoritariamente correcto" o "mayoritariamente incorrecto".

B. Estimación de Incertidumbre

El trabajo utiliza un marco basado en aprendizaje profundo evidencial para cuantificar la incertidumbre a nivel de token:

• Incertidumbre Aleatoria (AU): Captura la ambigüedad inherente en los datos.
• Incertidumbre Epistémica (EU): Refleja la confianza del modelo basada en la evidencia disponible.
  Estas se calculan a partir de los logits de salida utilizando una distribución Dirichlet.

C. Método de Detección: Probing Guiado por Incertidumbre

Para responder si los modelos pueden detectar sus propias fallos, los autores entrenaron clasificadores ligeros (probing classifiers) sobre las representaciones internas (estados ocultos) del modelo.

• Selección de Tokens: En lugar de usar todos los tokens, se seleccionan tokens específicos basados en su nivel de incertidumbre epistémica (los tokens más inciertos o más seguros).
• Agregación: Se agregan los estados ocultos de estos tokens seleccionados (por ejemplo, promediando los estados de los 5 tokens con mayor incertidumbre) para crear un vector de características.
• Clasificación: Un clasificador entrenado sobre estos vectores predice si la respuesta completa es fiable (correcta) o no.

3. Contribuciones Clave

1. Marco de Evaluación Controlado: Se presenta un sistema que revela cómo los LLMs transitan entre respuestas correctas e incorrectas dependiendo de la calidad del contexto, demostrando que el contexto engañoso induce confabulaciones con alta confianza.
2. Identificación de una Vulnerabilidad de Calibración: Se demuestra que la incertidumbre a nivel de token no siempre se alinea con la corrección. Bajo contexto engañoso, los modelos muestran una distribución de incertidumbre epistémica más estrecha y sesgada hacia la izquierda (alta confianza) incluso cuando la respuesta es incorrecta.
3. Método de Detección Superior: Se propone un enfoque de probing que utiliza estados ocultos y selección de tokens guiada por incertidumbre. Este método supera consistentemente a las métricas de incertidumbre directas (como la probabilidad logarítmica media o la auto-evaluación del modelo) en la detección de respuestas poco fiables.

4. Resultados Principales

• Efecto del Contexto:
  • El contexto correcto mejora tanto la precisión como la confianza del modelo (disminuye la incertidumbre epistémica).
  • El contexto engañoso induce respuestas incorrectas con alta confianza (baja incertidumbre). Esto crea una "trampa" donde el modelo parece seguro de un error, invalidando las señales de incertidumbre simples como indicadores de fiabilidad.
• Análisis de Transiciones de Comportamiento:
  • En la transición WOC:C → WIC:E (de correcto sin contexto a incorrecto con contexto engañoso), los modelos no muestran un aumento de incertidumbre; por el contrario, su distribución de incertidumbre se contrae, indicando una confianza injustificada.
• Rendimiento del Clasificador de Probing:
  • Los clasificadores entrenados con estados ocultos agregados de tokens seleccionados por incertidumbre (Probe(AVG)) lograron los mejores resultados (AUROC más altos) en todos los modelos y datasets probados (TruthfulQA, TriviaQA, Math).
  • La agregación de características de múltiples tokens, especialmente aquellos con alta incertidumbre, proporciona señales más robustas para predecir la corrección de la respuesta que el uso de un solo token (como el token final o el token exacto de la respuesta).
  • El método superó a baselines como LogProb, P(True) (autoevaluación) y LogTokU.

5. Significado e Implicaciones

Este trabajo es fundamental para el desarrollo de sistemas de IA más seguros y confiables, especialmente en aplicaciones de agentes y RAG:

• Limitaciones de la Incertidumbre Directa: Demuestra que confiar únicamente en los logits o en la entropía para detectar alucinaciones es insuficiente cuando el contexto externo es ruidoso o malicioso.
• Nueva Dirección para la Fiabilidad: Sugiere que la detección de fiabilidad debe basarse en el análisis de las representaciones internas (estados ocultos) y no solo en la salida superficial.
• Aplicaciones Prácticas: El método propuesto puede integrarse en sistemas de generación para filtrar respuestas poco fiables en tiempo real, evitando la propagación de desinformación en cadenas de razonamiento multi-turno.
• Calibración de Contexto: Subraya la necesidad de calibrar los modelos no solo en su conocimiento interno, sino también en su capacidad para validar la información contextual que consumen.

En conclusión, aunque los LLMs actuales no pueden inherentemente "saber" que están alucinando bajo contexto engañoso, sus estados internos contienen señales suficientes que, cuando se extraen mediante técnicas de probing guiadas por incertidumbre, permiten detectar estas fallos con alta precisión.