Do LLMs Really Know What They Don't Know? Internal States Mainly Reflect Knowledge Recall Rather Than Truthfulness

Este artículo demuestra que los estados internos de los modelos de lenguaje reflejan principalmente la recuperación de conocimiento paramétrico en lugar de la veracidad de la salida, lo que limita la detección de alucinaciones basadas en asociaciones espurias (AHs) que comparten geometría con respuestas factuales, a diferencia de las alucinaciones sin asociación (UHs) que presentan representaciones distintivas.

Lo esencial

Imagina que las Inteligencias Artificiales (como los chatbots que usamos hoy) son como bibliotecarios gigantes que han leído casi todo lo que existe en internet. Tienen una memoria increíble, pero a veces, en lugar de admitir que no saben algo, inventan una respuesta que suena muy convincente pero que es falsa. A esto lo llamamos "alucinación".

Durante un tiempo, los científicos creyeron que estos bibliotecarios tenían un "sentido interno" o una "conciencia" que les permitía saber cuándo estaban mintiendo. Pensaban que podían mirar dentro de su "cerebro" (sus estados internos) y ver una señal de alerta roja cuando decían algo falso.

Pero este nuevo estudio nos dice algo muy importante: ¡Esa señal de alerta no existe como pensábamos!

Aquí te explico qué descubrieron los autores usando una analogía sencilla:

1. Los dos tipos de "mentiras"

El estudio descubre que hay dos formas en las que el modelo puede inventar algo, y son muy diferentes:

• Tipo A: La "Mentira por Asociación" (Alucinación Asociada).

  • La analogía: Imagina que le preguntas al bibliotecario: "¿En qué ciudad nació Barack Obama?". El modelo sabe que Obama y Chicago aparecen juntos muy a menudo en los libros que leyó (porque Obama estudió allí). Aunque la respuesta correcta es "Honolulu", el modelo, por inercia y por las estadísticas, dice "Chicago".
  • El problema: En este caso, el modelo sí está usando su memoria. Está recordando una asociación fuerte que aprendió. Su "cerebro" está funcionando exactamente igual que cuando dice la verdad. Es como si el bibliotecario estuviera tan seguro de que "Obama" y "Chicago" van juntos, que no se da cuenta de que está cometiendo un error.
  • Resultado: Es muy difícil detectar esta mentira porque, por dentro, el modelo se siente tan "seguro" como cuando dice la verdad.

• Tipo B: La "Mentira al Azar" (Alucinación No Asociada).

  • La analogía: Ahora le preguntas: "¿Cómo se llama el padre de Brenda Johnston?". Brenda Johnston es una persona normal, no famosa. El modelo no tiene ningún dato sobre ella. Como no sabe, inventa un nombre al azar, como "Pedro".
  • La diferencia: Aquí el modelo no está usando su memoria. Está disparando al aire. Su "cerebro" se siente muy diferente a cuando responde una pregunta que conoce. Es como si el bibliotecario, al no saber la respuesta, empezara a tartamudear o a mirar nervioso por la ventana.
  • Resultado: ¡Esta mentira es fácil de detectar! Por dentro, el modelo se ve muy diferente a cuando sabe la respuesta.

2. ¿Por qué es esto un problema?

Los científicos anteriores pensaban que podían poner un "detector de mentiras" dentro del modelo para que le dijera: "Oye, esto es falso".

• Lo que descubrieron: El detector funciona muy bien para el Tipo B (las mentiras al azar), porque el modelo se ve "nervioso" por dentro.
• El fallo: El detector falla estrepitosamente con el Tipo A. Como el modelo usa la misma "fuerza de memoria" para decir la verdad que para inventar la mentira (basada en asociaciones falsas), el detector no puede ver la diferencia. Para el detector, "Chicago" (mentira) y "Honolulu" (verdad) parecen exactamente lo mismo por dentro.

3. La gran conclusión

El estudio nos dice que los modelos no saben lo que no saben cuando se trata de estas "mentiras por asociación".

• No es que el modelo esté "consciente" de la verdad.
• Es que el modelo solo sabe si tiene la información guardada en su memoria o no.
• Si tiene la información (aunque sea una asociación falsa), se siente seguro. Si no tiene la información, se siente inseguro.

¿Qué significa esto para el futuro?

1. No podemos confiar solo en el "sentimiento" del modelo: No basta con mirar sus señales internas para saber si nos está mintiendo.
2. Necesitamos verificadores externos: Como el modelo no puede distinguir sus propias mentiras de la verdad en muchos casos, necesitamos herramientas externas (como buscar en Google o bases de datos reales) para verificar lo que dice.
3. El peligro real: Las mentiras más peligrosas son las del Tipo A (las que suenan muy lógicas y seguras), porque son las que el modelo produce con más confianza y las que nuestros detectores actuales no pueden ver.

En resumen: Los modelos de IA son como un estudiante que estudia mucho pero a veces confunde dos conceptos. Si no sabe nada, admite que no sabe (o se ve nervioso). Pero si confunde dos cosas que conoce, está tan seguro de su error que nadie (ni siquiera su propio "cerebro") puede decirle que está mintiendo. Por eso, siempre debemos verificar sus respuestas.

Resumen técnico

Aquí presento un resumen técnico detallado del artículo "Do LLMs Really Know What They Don't Know? Internal States Mainly Reflect Knowledge Recall Rather Than Truthfulness" (¿Realmente los LLMs saben lo que no saben? Los estados internos reflejan principalmente la recuperación de conocimientos y no la veracidad).

1. El Problema

Los Grandes Modelos de Lenguaje (LLMs) son propensos a generar "alucinaciones" (respuestas que parecen plausibles pero son fácticamente incorrectas). Investigaciones recientes han sugerido que los LLMs poseen una "autoconciencia" interna, donde sus estados ocultos (hidden states) contienen señales que distinguen entre respuestas verdaderas y falsas, permitiendo la detección de alucinaciones mediante el análisis de representaciones internas.

Sin embargo, el artículo plantea una crítica fundamental: no está claro si estas señales reflejan la veracidad o simplemente el proceso de recuperación de conocimientos paramétricos. Si una alucinación surge de una asociación estadística aprendida (un "atajo" o correlación espuria) en lugar de una falta de conocimiento, el modelo podría procesarla internamente de la misma manera que un hecho verdadero, haciendo que las señales de detección actuales fallen.

2. Metodología

Los autores proponen un enfoque mecanicista para desentrañar la naturaleza de las alucinaciones, yendo más allá de la simple clasificación binaria (correcto/incorrecto).

A. Nueva Taxonomía de Alucinaciones

Introducen una clasificación basada en la relación causal entre la salida y la entidad del sujeto (subject entity):

1. Asociaciones Factuales (FA): Respuestas correctas basadas en conocimiento paramétrico fiable.
2. Alucinaciones Asociadas (AH): Respuestas incorrectas que surgen cuando el modelo explota asociaciones estadísticas aprendidas (correlaciones espurias) con la entidad del sujeto. Ejemplo: El modelo sabe que "Obama" y "Chicago" co-ocurren frecuentemente, por lo que alucina que Obama nació en Chicago, utilizando el mismo mecanismo que para decir que estudió allí.
3. Alucinaciones No Asociadas (UH): Respuestas incorrectas que surgen sin una fuerte asociación paramétrica con la entidad del sujeto (ej. inventar un nombre para un sujeto desconocido).

B. Intervención Causal y Análisis Mecanicista

Para categorizar las alucinaciones, los autores realizan intervenciones causales en el modelo (LLaMA-3-8B y Mistral-7B):

• Bloqueo de Atención: Bloquean el flujo de atención desde los tokens del sujeto hacia el token de salida.
• Divergencia JS: Miden el cambio en la distribución de salida tras la intervención. Si el cambio es grande, la salida dependía fuertemente de la representación del sujeto (clasificándose como FA o AH). Si es pequeño, es una UH.
• Análisis de Geometría: Examina la norma de las representaciones de los sujetos, el flujo de atención y la geometría de los estados ocultos (similitud coseno y visualización t-SNE) en diferentes capas de la red.

C. Evaluación de Detección y Ajuste

• Detección: Entrenan clasificadores (probes) sobre estados internos para distinguir FA de AH y FA de UH.
• Ajuste de Rechazo (Refusal Tuning): Intentan afinar el modelo para que rechace responder en casos de alucinación, evaluando si el modelo puede aprender patrones de rechazo consistentes para AH y UH.

3. Contribuciones Clave

1. Desmitificación de la "Verdad" en los Estados Internos: Demuestran que los estados internos de los LLMs codifican principalmente si el modelo está recuperando conocimiento paramétrico, no si la salida es fácticamente verdadera.
2. Taxonomía Causal: Establecen que las alucinaciones no son un fenómeno monolítico; las Alucinaciones Asociadas (AH) y las No Asociadas (UH) tienen orígenes internos radicalmente diferentes.
3. Limitación de los Métodos Actuales: Evidencian que los métodos de detección basados en representaciones internas fallan estrepitosamente con las AHs porque estas comparten la misma geometría y procesos computacionales que las respuestas factuales.

4. Resultados Principales

Geometría de Estados Ocultos

• Superposición FA vs. AH: Las representaciones de las Alucinaciones Asociadas (AH) y las Asociaciones Factuales (FA) son casi idénticas en el espacio oculto. Ambas muestran fuertes normas en las representaciones del sujeto, un flujo de atención robusto desde el sujeto al token final y una baja entropía en la distribución de salida.
• Distinción UH: Las Alucinaciones No Asociadas (UH) muestran normas de representación más débiles, un flujo de atención insignificante y representan un clúster distinto y separable en el espacio latente.

Rendimiento de Detección

• UH (Fácil de detectar): Los métodos de detección logran un AUROC alto (0.86–0.93) para distinguir UH de FA, ya que sus geometrías son separables.
• AH (Imposible de detectar): Los métodos fallan para distinguir AH de FA, con un AUROC cercano al azar (0.48–0.69). Esto confirma que las señales internas no predicen la verdad, sino la recuperación de conocimiento.

Ajuste de Rechazo (Refusal Tuning)

• Generalización en UH: El modelo aprende a rechazar UHs con alta efectividad (82% de tasa de rechazo) porque comparten un subespacio de activación consistente.
• Fallo en AH: El modelo no puede aprender a rechazar AHs (solo 33% de tasa de rechazo) porque sus representaciones se superponen demasiado con las respuestas correctas (FA), impidiendo que el modelo aprenda un patrón de rechazo consistente sin afectar las respuestas verdaderas.

5. Significado e Implicaciones

• Riesgo de Confianza Excesiva: Los métodos actuales de detección de alucinaciones basados en estados internos pueden generar una falsa seguridad, clasificando erróneamente alucinaciones peligrosas (AHs) como respuestas correctas, especialmente en temas populares donde las correlaciones espurias son fuertes.
• Necesidad de Nuevas Estrategias: Dado que los LLMs no tienen una "verdad" intrínseca en sus estados ocultos, la detección fiable requiere mecanismos externos (verificadores de hechos, recuperación aumentada) en lugar de depender únicamente de la introspección del modelo.
• Evaluación Diferenciada: Las futuras evaluaciones deben separar explícitamente el rendimiento de detección para AHs y UHs, ya que requieren estrategias distintas.
• Futuro de la Investigación: Se prioriza la mejora de la detección de AHs, ya que son más frecuentes en temas de alto conocimiento popular y representan un riesgo mayor para la fiabilidad práctica de los LLMs.

En resumen, el paper concluye que los LLMs no "saben lo que no saben" en el sentido de distinguir la verdad de la falsedad mediante sus estados internos; más bien, solo saben si están utilizando sus conocimientos paramétricos o no. Cuando utilizan conocimientos paramétricos para generar una alucinación (AH), su "mente" interna es indistinguible de cuando generan la verdad.