Resumen Técnico: DECK – Una Taxonomía de Consistencia × Confianza de las Alucinaciones de LLM

Declaración del Problema

Las taxonomías existentes para las alucinaciones de los Modelos de Lenguaje Extensos (LLM) clasifican los errores basándose en la naturaleza del fallo de salida (p. ej., conceptos erróneos memorizados, fallos de razonamiento, fabricaciones fluidas). Aunque son útiles para el diagnóstico, estos marcos no abordan una pregunta crítica de despliegue: ¿qué evaluador de cuantificación de la incertidumbre (UQ) habría detectado un error específico?

La literatura actual ofrece tres familias principales de evaluadores de UQ a nivel de salida:

1. Caja Negra (BB - Black-box): Verificaciones de consistencia entre muestras (p. ej., entropía semántica, auto-verificación).
2. Caja Blanca (WB - White-box): Medidas de log-probabilidad a nivel de token.
3. LLM como Juez (J - LLM-as-a-Judge): Revisión fáctica realizada por un modelo separado.

Sin embargo, la relación entre tipos específicos de alucinación y las firmas de detectabilidad que estas familias de evaluadores leen permanece implícita. Sin una taxonomía fundamentada en el eje de detectabilidad, la selección de un evaluador para un nuevo dominio sigue siendo una conjetura heurística. Además, existe una falta de comprensión mecánica sobre por qué ciertos ensambles superan a otros y dónde podrían existir modos de fallo universales.

Metodología

La Taxonomía DECK

El artículo propone DECK, una taxonomía complementaria que clasifica las alucinaciones por su firma de detectabilidad en lugar de su contenido semántico. Parte las alucinaciones en una cuadrícula de $2 \times 2$ basada en dos ejes observables:

1. Consistencia entre muestras: ¿Produce el modelo la misma respuesta incorrecta a través de múltiples muestras estocásticas independientes?
2. Confianza a nivel de token: ¿Asigna el modelo una alta probabilidad a los tokens de su respuesta generada?

Esto genera cuatro regímenes de comportamiento (Tabla 1):

• Deriva (Drift - D): Baja Consistencia, Alta Confianza. El modelo genera diferentes respuestas incorrectas pero seguras para cada muestra.
• Arraigada (Entrenched - E): Alta Consistencia, Alta Confianza. El modelo se bloquea en un concepto erróneo memorizado o un error compartido de pre-entrenamiento y lo reproduce sin varianza.
• Confabulación (Confabulation - C): Baja Consistencia, Baja Confianza. El modelo carece genuinamente de conocimiento, produciendo diferentes respuestas incorrectas con baja confianza.
• Nudo (Knotted - K): Alta Consistencia, Baja Confianza. El modelo repite consistentemente la misma respuesta cautelosa o errónea, pero asigna una baja probabilidad de token.

Operacionalización: La pertenencia a cada celda se determina aplicando los umbrales óptimos de la J de Youden a las puntuaciones de los evaluadores BB (consistencia) y WB (confianza) de forma por condición.

Configuración Experimental

• Modelos: Llama-3-8B (pesos abiertos), GPT-4o (pesos cerrados) y Gemini-2.5-Flash (pesos cerrados).
• Conjuntos de datos: TriviaQA (fáctico), HaluEval (alucinaciones adversarias), SelfAware (preguntas sin respuesta/brechas de conocimiento) y PopQA (centrado en entidades, estratificado por popularidad).
• Evaluadores: 15 configuraciones a través de las tres familias (BB, WB, J), seleccionadas basándose en el mayor AUROC por división para evitar sesgos.
• Evaluación:
  • AUROC: Rendimiento por evaluador.
  • Complementariedad ($C_H$): La fracción de muestras alucinadas donde dos evaluadores discrepan.
  • Validación Externa: Verificación de si las etiquetas externas (p. ej., popularidad de la entidad, naturaleza adversaria) aterrizan en las celdas DECK predichas.

Contribuciones Clave

1. La Taxonomía DECK: Un cambio de clasificar qué está mal a cómo se detecta un error. Mapea explícitamente los cuatro regímenes de comportamiento a las fortalezas y puntos ciegos de las tres familias de evaluadores:

   • Deriva: Detectable por BB y Juez.
   • Arraigada: Detectable solo por un Juez independiente (ciego a BB y WB).
   • Confabulación: Detectable por las tres familias.
   • Nudo: Detectable por WB y Juez.

2. Identificación de un Punto Ciego Universal: El artículo identifica un régimen donde todas las familias de UQ a nivel de salida colapsan simultáneamente. En las entradas de "brecha de conocimiento" (p. ej., preguntas sin respuesta de SelfAware) donde el generador emite fabricaciones seguras y repetibles, BB ve un alto acuerdo, WB ve una alta probabilidad de token, y los Jueces comparten la misma brecha de conocimiento. En este régimen, la UQ a nivel de salida falla por construcción.

3. Validación Mecánica del Ensamblaje: El artículo proporciona una explicación estructural de por qué el ensamblaje funciona. Demuestra que el desacuerdo de los evaluadores no es aleatorio, sino que se concentra en cuadrantes específicos de DECK (p. ej., BB pierde ante Errores Arraigados/Nudos; WB pierde ante Deriva/Arraigados), validando la complementariedad de las familias.

Resultados

Validación de la Taxonomía

• Análisis de Desacuerdo: A través de 12 combinaciones de modelo-conjunto de datos, los patrones de desacuerdo entre pares de evaluadores se alinean con las predicciones de DECK. Por ejemplo, los desacuerdos BB-Juez se concentran en las celdas Arraigado y Nudo (los puntos ciegos de BB), mientras que los desacuerdos WB-Juez se concentran en Deriva y Confabulación.
• Validación de Señales Externas:
  • SelfAware (Sin respuesta): Las muestras aterrizan predominantemente en la celda Arraigada (62–71% en todos los modelos), confirmando la hipótesis de que las alucinaciones por brecha de conocimiento se manifiestan como errores seguros y repetibles.
  • PopQA (Entidades raras): Las muestras aterrizan predominantemente en Confabulación, consistente con modelos que carecen de conocimiento específico de la entidad.
  • PopQA (Entidades populares): Las muestras aterrizan en Arraigada, reflejando conceptos erróneos memorizados.
  • HaluEval: Muestra distribuciones dependientes del modelo, dividiéndose a menudo entre Arraigada y Nudo/Confabulación.

El Punto Ciego Universal

En el conjunto de datos SelfAware (brechas de conocimiento), todas las tres familias de evaluadores colapsaron a un rendimiento cercano al azar (AUROC $\approx$ 0.5 o inferior).

• GPT-4o: 13 de 15 evaluadores cayeron por debajo de 0.5 AUROC; $P(\text{Verdadero})$ se invirtió a 0.331.
• Sonda de Estado Interno: Una sonda lineal en los estados ocultos de la última capa de Llama-3-8B también colapsó hacia el azar (AUROC 0.44) en SelfAware, sugiriendo que el modo de fallo persiste en el nivel de activación, no solo en el de salida.
• Conclusión: Ningún ensamble de evaluadores a nivel de salida puede detectar estos errores; la única respuesta de ingeniería es un sobre de abstención para dirigir tales entradas hacia el rechazo o la recuperación antes de la evaluación.

Efectos de la Escala del Modelo

• TriviaQA: Escalar de Llama-3-8B a GPT-4o desplazó el desacuerdo residual de Confabulación/Nudo hacia Deriva. Los modelos más grandes produjeron alucinaciones más seguras y repetibles que eran detectables por Jueces pero pasaban desapercibidas para las comprobaciones de consistencia de BB.
• PopQA: Escalar aumentó significamente la complementariedad entre los Jueces y otras familias, particularmente para consultas centradas en entidades.

Significado y Reivindicaciones

El artículo afirma que DECK proporciona una cuenta mecánica de la cuantificación de la incertidumbre en los LLM, yendo más allá del ensamblaje empírico hacia una comprensión estructural de por qué ciertos evaluadores se complementan entre sí.

• Utilidad Diagnóstica: DECK permite a los profesionales predecir qué familia de evaluadores fallará para un tipo dado de alucinación (p. ej., esperar que BB falle en errores Arraigados).
• Limitación de la UQ a Nivel de Salida: El artículo afirma de manera modesta pero firme que la UQ a nivel de salida tiene un punto ciego universal y fundamental en las entradas de brecha de conocimiento donde el modelo es erróneamente seguro. Esta es una propiedad del par (generador, tarea), no de un algoritmo específico.
• Evidencia de Estado Interno: El hallazgo preliminar de que una simple sonda lineal en los estados ocultos también falla en estas entradas sugiere que el fallo es profundo dentro del espacio de activación del modelo, aunque los autores señalan que métodos de estado interno más ricos (p. ej., cabezales de UQ, estimadores de información teórica) aún deben ser probados.

El trabajo concluye que, si bien el ensamblaje mejora el rendimiento en muchos regímenes, no puede superar el punto ciego universal de las fabricaciones seguras y repetibles en entradas sin respuesta. La respuesta de ingeniería apropiada no es un ensamble más complejo, sino un mecanismo de abstención a nivel de sistema.