Resumen Técnico: Compromiso de Trayectoria y Dinámicas de Atractores en la Alucinación de LLMs

1. El Problema

Los Grandes Modelos de Lenguaje (LLM) sufren de alucinaciones: generan texto plausible pero factualmente incorrecto con alta confianza. Aunque estudios empíricos han identificado correlaciones entre ciertas características internas del modelo (como estados ocultos o entropía) y la alucinación, la causalidad y el mecanismo interno siguen siendo poco claros.
La pregunta central que aborda el artículo es: ¿Cuándo y dónde se compromete el modelo con una trayectoria alucinada, y es reversible causalmente? La hipótesis de los autores es que la alucinación no es un error de recuperación de conocimiento, sino un fenómeno dinámico gobernado por la estabilidad de los atractores en el espacio de estados residuales.

2. Metodología

Los autores proponen un enfoque novedoso que combina la bifurcación de mismo prompt con el parcheo causal de activaciones (activation patching) para aislar la dinámica de la trayectoria de las confusiones a nivel de prompt.

A. Bifurcación de Mismo Prompt (Same-Prompt Bifurcation)

En lugar de comparar prompts diferentes, los autores toman un único prompt y lo generan múltiples veces con temperatura ($\tau = 0.7$).

• Objetivo: Identificar prompts donde el modelo produce tanto respuestas correctas como alucinadas a partir de la misma entrada inicial.
• Supuesto: Si la entrada es idéntica, cualquier divergencia en la salida se debe exclusivamente a la trayectoria estocástica de muestreo, no a la codificación del prompt.
• Datos: Se utilizaron 61 prompts en 6 categorías (hechos, premisas falsas, confabulación, etc.) sobre el modelo Qwen2.5-1.5B (28 capas).

B. Parcheo Causal de Activaciones (Activation Patching)

Para cada prompt que muestra bifurcación, se recopilan ejecuciones "correctas" y "alucinadas". Luego, se realiza un parcheo bidireccional:

1. Corrección (H→C): Inyectar la activación de una ejecución correcta en una ejecución alucinada para ver si se recupera la verdad.
2. Corrupción (C→H): Inyectar la activación de una ejecución alucinada en una ejecución correcta para ver si se induce una alucinación.
3. Controles: Se incluyen parches aleatorios (de otros prompts) y parches de "error a error" para descartar efectos de cambio genérico.

C. Análisis de Trayectoria

Se midió la divergencia de KL entre distribuciones de salida y la separación de estados ocultos (medida por $d$ de Cohen) paso a paso y capa por capa. Además, se realizaron experimentos de "ventana" (parchear múltiples pasos consecutivos) para evaluar la persistencia necesaria para corregir.

3. Contribuciones Clave

1. Evidencia Causal de Asimetría: Demuestran que la transición hacia una alucinación es causalmente fácil (un solo punto de perturbación), mientras que la salida de una alucinación es difícil y requiere intervención sostenida.
2. Dinámica de Atractores Asimétrica: Proponen que la alucinación actúa como un cuenca de atracción localmente estable (attractor basin). La entrada a la cuenca es rápida y probabilística, pero la salida requiere un esfuerzo coordinado que rompe la estabilidad del sistema.
3. Compromiso Temprano: Identifican que el compromiso con la trayectoria ocurre en el primer token generado ($t=1$), a pesar de que los logits iniciales ($t=0$) son idénticos.
4. Estructura de Regímenes en la Codificación: Descubren que la estructura de la cuenca de atracción está pre-determinada por la codificación del prompt en las capas iniciales, agrupando prompts en "regímenes" con diferentes riesgos de alucinación.

4. Resultados Principales

A. Divergencia Inmediata

• En el paso 0 (antes del muestreo), la divergencia KL entre trayectorias correctas y alucinadas es 0 (logits idénticos).
• En el paso 1, la divergencia salta abruptamente ($D_{KL} > 1.0$ en la mayoría de los casos).
• El 44.3% de los prompts (27 de 61) mostraron bifurcación genuina. Los prompts de "premisas falsas" fueron los más propensos a bifurcarse (92.9%), sugiriendo que el modelo oscila entre aceptar o rechazar la premisa errónea.

B. Asimetría Causal (El hallazgo central)

Los experimentos de parcheo revelaron una asimetría drástica:

• Corrupción (C→H): Inyectar una activación alucinada en una trayectoria correcta falla en el 87.5% de los casos (éxito en inducir alucinación) en la capa 20.
• Corrección (H→C): Inyectar una activación correcta en una trayectoria alucinada solo logra corregirla en un 33.3% de los casos (en la capa 24).
• Control: La tasa de éxito aleatoria es del ~10-12%.
• Ratio de Asimetría: La corrupción es 2.6 veces más efectiva que la corrección.

C. Ventana de Intervención

• Corrupción: Un solo parche en cualquier paso es suficiente para desviar la trayectoria correcta.
• Corrección: Un solo parche es insuficiente. La tasa de corrección aumenta monótonamente con el tamaño de la ventana de parcheo (de 12.5% con 1 paso a 33.3% con 4 pasos). Esto confirma que la cuenca de alucinación es profunda y requiere intervención sostenida para escapar.

D. Estructura de Regímenes (Probing)

• Los estados residuales en el paso 0 (antes de la generación) predicen la tasa de alucinación del prompt con una correlación de Pearson de 0.776 (capa 15).
• El agrupamiento no supervisado identificó 5 regímenes. El "cluster de silla" (saddle cluster) contiene casi todos los prompts de premisas falsas que bifurcan, indicando que estos prompts residen en la frontera de decisión (separatrix) entre cuencas.

5. Significado e Implicaciones

Reencuadre de la Alucinación

El artículo cambia la narrativa de la alucinación: no es un fallo de "no saber" (retrieval failure), sino un fenómeno dinámico. El modelo posee el conocimiento correcto (puede generar la respuesta correcta desde el mismo prompt), pero el proceso estocástico lo compromete en una cuenca de atracción alucinada de la que es difícil escapar.

Por qué fallan los métodos lineales

Los autores explican por qué las técnicas de "steering" lineales (como proyectar direcciones de alucinación) fallan: la frontera entre la cuenca de verdad y la de alucinación es una variedad no lineal. Una perturbación lineal puede mover el estado sin cruzar la frontera, y las capas posteriores del modelo restauran la trayectoria hacia el atractor original.

Implicaciones para la Seguridad y Alineación

• Intervención Temprana: Dado que el riesgo se codifica en el "regímen" del prompt (paso 0), las intervenciones de seguridad deberían apuntar a la selección del régimen antes de la generación, en lugar de intentar corregir la trayectoria en medio del proceso.
• Dificultad de Corrección: La corrección de alucinaciones en tiempo real es inherentemente difícil debido a la estabilidad de la cuenca; se requieren mecanismos de intervención multi-paso o multi-capa coordinados.

Limitaciones

• El estudio se realizó en un modelo pequeño (Qwen2.5-1.5B); la geometría podría ser más compleja en modelos más grandes.
• El tamaño de la muestra por condición (24 ensayos) es limitado, aunque los resultados son estadísticamente significativos frente a los controles.

Conclusión

La alucinación en los modelos autoregresivos es un compromiso temprano de trayectoria gobernado por dinámicas de atractores asimétricos. La entrada a la alucinación es fácil y rápida, mientras que la salida es difícil y requiere intervención sostenida. Esta comprensión sugiere que las estrategias futuras para mitigar alucinaciones deben centrarse en la estabilidad de la cuenca de atracción y en la selección de regímenes en las etapas iniciales de la codificación.