🤖 machine learning

Hallucination Is Linearly Decodable from Mid-Layer Hidden States in Quantized LLMs

Este artículo demuestra que una señal de veracidad linealmente separable que codifica la alucinación está fuertemente presente en los estados ocultos de las capas medias de los LLM de código abierto cuantificados a 4 bits, lo que permite la detección con puntuaciones de AUROC casi perfectas utilizando sondas lineales simples, mientras que los métodos basados en muestreo desempeñan significativamente peor bajo el mismo protocolo de evaluación.

Autores originales: Aizierjiang Aiersilan

Publicado 2026-06-03

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Aizierjiang Aiersilan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un asistente robótico muy inteligente, pero ligeramente poco fiable. A veces te dice la verdad y otras veces inventa hechos que suenan convincentes pero que son completamente falsos (estos se llaman "alucinaciones").

Este documento es como un informe de detective que intenta averiguar: ¿Cómo podemos saber si el robot está mintiendo y dónde se esconde la mentira en su "cerebro"?

Los investigadores probaron esto en tres populares cerebros robóticos de código abierto (Llama, Mistral y Qwen) que han sido reducidos para caber en una computadora doméstica estándar (usando una técnica llamada "cuantización de 4 bits", que es como comprimir una película de alta definición en un archivo pequeño sin perder demasiada calidad).

Esto es lo que encontraron, explicado de forma sencilla:

1. El "Detector de Verdad" es una línea simple

Los investigadores probaron dos formas principales de atrapar al robot mintiendo:

El enfoque del "Apostador" (Muestreo): Hazle al robot la misma pregunta 10 veces. Si te da 10 respuestas diferentes, tal vez esté confundido o mintiendo. Si te da la misma respuesta cada vez, tal vez esté diciendo la verdad.
El enfoque de la "Radiografía" (Sondeo): Mira directamente dentro del cerebro del robot mientras piensa. Específicamente, observaron los "estados ocultos" (las señales eléctricas entre las capas del cerebro) para ver si hay un patrón que diga "Verdad" o "Mentira".

El Resultado: El enfoque de la "Radiografía" fue el gran ganador. Al observar solo una capa específica en medio del cerebro del robot, una herramienta matemática muy simple (un "sondeo lineal") podía determinar si el robot estaba mintiendo con una precencia de 90% a 100%.

El enfoque del "Apostador" (preguntarle 10 veces) fue básicamente inútil en esta prueba específica, rindiendo no mejor que lanzar una moneda al aire (alrededor de un 50% de precisión).

2. ¿Dónde en el cerebro está la mentira?

Los investigadores descubrieron que la "señal de verdad" no está en todas partes. Es como una habitación específica en un rascacielos donde la verdad está escrita en la pared.

Para los robots Llama y Mistral (que tienen 32 pisos), la verdad es más visible en los pisos 13 al 18.
Para el robot Qwen (que tiene 28 pisos), la verdad es más visible en los pisos 19 al 25.

Si revisas el cerebro del robot en estos "pisos" específicos, puedes saber casi instantáneamente si está siendo honesto.

3. ¿Por qué falló el enfoque del "Apostador"?

Podrías preguntarte: "¿Por qué no funcionó el pedirle al robot lo mismo 10 veces?".
El documento explica esto con una distincción ingeniosa:

El Sondeo (Radiografía) recibió una respuesta específica (por ejemplo, "La capital de Francia es París") y le preguntó: "¿Reconoce tu cerebro esto como verdadero?". Observó la reacción interna del robot ante esa frase específica.
El Apostador (Muestreo) simplemente recibió una pregunta y se le ordenó "escribe 10 historias diferentes". Midió qué tan confundido estaba el robot sobre la pregunta, no si una respuesta específica era verdadera.

Debido a que la prueba estaba configurada para verificar respuestas específicas, el "Apostador" estaba buscando en el lugar equivogo. Era como intentar encontrar un error tipográfico específico en un documento pidiéndole al autor que escriba el documento 10 veces desde cero, en lugar de simplemente leer el documento una vez.

4. La "Línea Simple" frente a la "Máquina Compleja"

Los investigadores intentaron usar una herramienta matemática súper compleja (un MLP) para encontrar las mentiras, pensando que podría ser más inteligente que una herramienta simple.
La Sorpresa: La herramienta compleja no fue mucho mejor que la herramienta simple. La "verdad" en el cerebro del robot es en realidad muy directa; es casi como una línea recta. No necesitas una supercomputadora para encontrarla; una regla simple funciona perfectamente.

5. La pista de la "Atención"

Hubo otro truco que funcionó bien, pero solo cuando el robot estaba leyendo un texto específico (como un artículo de Wikipedia).
Observaron la "atención" del robot (en qué se está enfocando) en el primer paso.

Si el robot decía la verdad basada en el texto, su atención estaba enfocada y tranquila.
Si estaba alucinando, su atención estaba dispersa y confundida.
Esto dio una pista muy fuerte (hasta un 94% de precisión) sin necesidad de matemáticas adicionales ni tiempo extra.

La Gran Conclusión

Si quieres atrapar a un pequeño robot de IA comprimido mintiendo sobre hechos:

No le hagas la misma pregunta 10 veces (pierdes tiempo y no funciona bien aquí).
Sí echa un vistazo dentro de su cerebro en las capas medias (alrededor de la capa 15 o 20).
Puedes usar un chequeo matemático muy simple y rápido para detectar la mentira con una precisión casi perfecta.

El documento concluye que, para este tipo de pruebas específicas, mirar dentro del cerebro del robot es mucho más rápido y preciso que pedirle que se repita a sí mismo.

Resumen Técnico: La alucinación es linealmente decodificable a partir de los estados ocultos de las capas medias en LLMs cuantizados

Planteamiento del problema
Las alucinaciones —generaciones fluidas pero sin sustento fáctico— siguen siendo un modo de fallo crítico para los Grandes Modelos de Lenguaje (LLMs) en despliegues del mundo real. La detección de estos errores en el momento de la inferencia es una necesidad práctica. Los enfoques de detección existentes generalmente se dividen en dos categorías:

Métodos basados en muestreo: Estos generan múltiples continuaciones estocásticas para un prompt y señalan las alucinaciones basándose en el desacuerdo léxico, semántico o de estados internos (por ejemplo, Self-Consistency, Semantic Entropy, INSIDE). Estos métodos son computacionalmente costosos, requiriendo $K \ge 5$ pasadas adicionales hacia adelante por cada prompt.
Métodos basados en representaciones: Estos entrenan pequeños clasificadores (sondas o probes) para decodificar la veracidad directamente desde los estados ocultos intermedios del modelo. Estos requieren solo una pasada hacia adelante, pero rara vez se comparan directamente con los métodos de muestreo en modelos idénticos, particularmente en el régimen cuantizado y con restricciones de recursos utilizado por los profesionales.

Metodología
Los autores proponen un marco de evaluación unificado diseñado para ejecutarse de extremo a extremo en una sola GPU de consumo (8 GB de VRAM) utilizando cuantización 4-bit NF4.

Modelos: Se evaluaron tres modelos de instrucción de 7B–8B: Llama-3.1-8B-Instruct, Mistral-7B-Instruct-v0.3 y Qwen2.5-7B-Instruct.
Conjuntos de datos: Se utilizaron cuatro evaluaciones comparativas (benchmarks), cada una de las cuales proporciona respuestas veraces (etiqueta=1) y alucinadas (etiqueta=0) para el mismo prompt, asegurando un equilibrio de clases casi perfecto de 50:50:
- TruthfulQA: Preguntas de opción múltiple con distractores plausibles pero incorrectos.
- HaluEval-QA: QA condicionada al conocimiento con pasajes de evidencia explícitos.
- FEVER: Afirmaciones respaldadas por Wikipedia etiquetadas como apoyadas o refutadas.
- Synthetic: Pares controlados de declaraciones verdaderas/falsas sobre hechos del mundo.
Protocolos de detección: Se evaluaron cuatro métodos bajo un protocolo de etiqueta emparejada, donde la respuesta candidata se suministra al modelo en lugar de ser generada:
1. Sondas lineales y MLP (estilo SAPLMA): Clasificadores entrenados en estados ocultos por capa (agrupación del último token) para predecir la veracidad.
2. INSIDE EigenScore: Un método basado en muestreo que mide el log-determinante de la covarianza de los estados ocultos a través de $K=10$ completaciones estocásticas.
3. Self-Consistency: Medición del acuerdo entre $K=5$ completaciones mediante pluralidad de coincidencia exacta y similitud de incrustaciones semánticas (sentence-embeddings).
4. Entropía de Atención: Resumen de la entropía de Shannon de la distribución de atención del último token en bloques específicos del transformador.

Resultados clave
El estudio arroja tres hallazgos primarios sobre el rendimiento y la naturaleza de estos detectores:

Superioridad de las sondas en entornos de etiqueta emparejada: Las sondas lineales en capas medias de la red alcanzan puntuaciones de AUROC entre 0.904 y 1.000 en todos los modelos y conjuntos de datos. En contraste, los métodos basados en muestreo (INSIDE y Self-Consistency) funcionan cerca del azar, con puntuaciones de AUROC que nunca superan el 0.541.
Linealidad de la señal de veracidad: La señal es aproximadamente lineal. Las sondas MLP rara vez superan a las sondas lineales por más de 0.01 en AUROC, lo que sugiere que la dirección de la veracidad es un subespacio lineal dentro de la representación del estado oculto.
Capas de sondeo pico consistentes: El "pico de la señal de veracidad" ocurre en una banda de capas consistente a través de las familias de modelos:
- Llama & Mistral (32 capas): Bloques 13–18.
- Qwen (28 capas): Bloques 19–25.
  En evaluaciones de lenguaje natural, el pico se encuentra consistentemente en la segunda mitad de la red.
La entropía de atención como señal complementaria: En entornos basados en conocimiento (HaluEval-QA), la entropía de atención del primer bloque del transformador proporciona una señal fuerte (AUROC 0.866–0.941) sin costo adicional de inferencia. Esta señal no se generaliza a conjuntos de datos que carecen de pasajes de evidencia explícitos.
Robustez de la cuantización: El alto rendimiento de detección se mantiene bajo cuantización 4-bit NF4, con un AUROC máximo de 0.998 en HaluEval-QA y 1.000 en el conjunto de datos sintético.

Significado y Reivindicaciones
El artículo sostiene que la debilidad observada de los métodos de muestreo no es una limitación inherente de estas técnicas, sino un desajuste estructural entre el protocolo de evaluación y la información accedida:

El desajuste: En el protocolo de etiqueta emparejada, las sondas observan la representación interna de una respuesta suministrada, lo que permite detectar si el modelo distingue internamente esa respuesta como veraz. Por el contrario, los métodos de muestreo miden la incertidumbre generativa del modelo sobre el prompt por sí solo, lo cual está débilmente correlacionado con la veracidad de una respuesta candidata específica y pre-suministrada.
Implicación práctica: Para la detección de caja blanca (white-box) dentro de un solo modelo desplegado, el sondeo de los estados ocultos es tanto más efectivo como significativamente menos costoso (una sola pasada hacia adelante) que los enfoques basados en muestreo.
Despliegue: Los resultados sugieren que las sondas lineales pueden implementarse en hardware de consumo junto con modelos cuantizados sin la sobrecarga de la descuantización o de múltiples generaciones.

Los autores concluyen que, si bien los métodos de muestreo pueden recuperar efectividad en entornos de "generar-y-juzgar", la naturaleza linealmente decodificable de las señales de alucinación en los estados ocultos de las capas medias ofrece una alternativa altamente eficiente para detectar errores fácticos en LLMs cuantizados e instruidos.