Resumen Técnico: Detección Perfecta, Control Fallido

Planteamiento del Problema

El artículo investiga una aspiración central de la interpretabilidad mecánica: la creencia de que si un comportamiento puede ser detectado dentro de las activaciones de un modelo, puede ser controlado modificando esas mismas activaciones. Este paradigma descansa sobre una premisa geométrica oculta: que la dirección en el flujo residual que mejor detecta un comportamiento es la misma (o está estrechamente alineada con la que) mejor lo controla (lo dirige).

Los autores desafían esta premisa planteando una pregunta geométrica precisa: ¿Cuál es el ángulo entre la dirección que mejor discrimina un comportamiento y la dirección que mejor lo causa? Si la detección implica control, el ángulo debería ser cercano a $0^\circ$ (coseno $\approx 1$). Si no es así, el ángulo cuantifica una "brecha de detección-intervención". El artículo pone a prueba esta hipótesis en dos comportamientos contrastantes: el formato de salida (una elección de renderizado) y la alucinación (fabricar hechos sobre entidades inexistentes).

Metodología

El estudio emplea análisis de inferencia en Gemma 2-2B-it (26 capas, flujo residual de 2304 dimensiones) y replica los hallazgos en otros tres modelos (Llama-3.2-1B, Qwen-2.5-1.5B, Gemma 2-9B). No se realiza ningún ajuste fino (fine-tuning); todas las intervenciones son manipulaciones causales mediante la adición de activaciones.

Mediciones Principales

1. Construcción de Direcciones:
   • Dirección de Detección ($d_{det}$): Construida de dos maneras:
     • Basada en datos: Diferencia de medias (DiM) de las activaciones residuales entre prompts de entidades "falsas" y "reales".
     • Seleccionada manualmente: Contraste de filas en la matriz de desembedding ($W_{lm\_head}$) entre tokens típicos de incertidumbre (ej. "Lamentablemente") y tokens típicos de fabricación (ej. "El", "París").
   • Dirección de Intervención ($d_{ref}$): Seleccionada manualmente de $W_{lm\_head}$ contrastando tokens de rechazo (ej. "No", "no puedo") contra tokens de cumplimiento.
2. Métrica Geométrica: La similitud de coseno ($\cos$) entre $d_{det}$ y $d_{ref}$.
3. Validación Causal: Las direcciones se añaden al flujo residual en capas específicas ($\alpha \cdot d$) para medir el cambio de comportamiento (ej. tasas de rechazo).
4. Descomposición de la Señal: El flujo residual se descompone en contribuciones de atención y MLP para localizar dónde reside la señal de detección.
5. Replicación en Múltiples Modelos: La brecha geométrica se mide en cuatro modelos de distintas escalas y familias para probar su generalidad.

Resultados Clave

1. El Caso Alineado: Formato de Salida

Para la tarea de cambiar entre delimitación de markdown y JSON limpio, la detección y el control colapsan en un único eje.

• La dirección derivada de $W_{lm\_head}$ que separa el uso de delimitadores de la salida limpia es idéntica a la dirección que, al ser añadida, elimina la delimitación.
• Resultado: $\cos \approx 1$. La detección implica control. Esto sirve como el "baselínea de superposición" donde el comportamiento es una elección de renderizado separable.

2. El Caso Divergente: Alucinación

Para la alucinación (fabricar hechos sobre entidades inexistentes), la premisa falla por completo.

• Detección Perfecta: El modelo detecta entidades falsas con una separabilidad lineal perfecta ($AUC = 1.000$) desde la capa 5 en adelante utilizando múltiples métodos (probes lineales, cabezales de atención, características de SAE).
• Control Fallido: La dirección que mejor detecta la alucinación es casi ortogonal a la dirección que causa el rechazo.
  • Coseno: $\cos(d_{det}, d_{ref}) \approx 0.12$ (ángulo $\approx 83^\circ$).
  • Brecha entre Métodos: Incluso una dirección de detección construida puramente a partir de activaciones (DiM, sin tokens seleccionados a mano) produce un $\cos \approx -0.06$ frente a la dirección de intervención.
• Consecuencia: Añadir la dirección de detección perfecta al flujo residual no induce el rechazo; en algunos casos, aumenta la fabricación. La señal existe pero no se encamina hacia la acción de salida.

3. Causas Estructurales de la Brecha

• Dominancia de la Copia de Entidades: En el mapeo de salida, el componente del flujo residual ortogonal a la dirección de detección está dominado por un mecanismo de "copia de entidad" (amplificando el nombre de la entidad saliente). Este componente es aproximadamente $12\times$ más grande que la señal de detección, ahogando efectivamente la señal de incertidumbre epistémica.
• MLP vs. Atención: La señal de detección es transportada casi exclusivamente por capas MLP ($5.66\times$ más que la atención) en las capas tardías (L18–L25). Las capas de atención en L17+ son prescindibles para esta señal; eliminarlas en realidad mejora la honestidad.
• Ajuste de Instrucciones (Instruction Tuning): La brecha geométrica ($\cos \approx 0.12$) está presente en el modelo base y permanece inalterada tras el ajuste de instrucciones. El ajuste desplaza la posición de las activaciones a lo largo del eje de detección fijo (haciendo que las falsas proyecten como más inciertas), pero no altera el ángulo entre las direcciones de detección e intervención.

4. Mitigación Parcial vía Rotación

Debido a que las direcciones son casi ortogonales, los autores intentaron cerrar la brecha rotando el vector de intervención.

• Método: Una rotación de $15^\circ$ desde la dirección de detección hacia la dirección de intervención ($d_{rot} = \cos(15^\circ)d_{det} + \sin(15^\circ)d_{ref}^\perp$).
• Resultado: En una prueba de estrés con datos no vistos, esta rotación aumentó las tasas de rechazo para alucinaciones sutiles (Tipo 2) del 13% al 60%, con una tasa de falsos positivos de solo 1.8%. Esto confirma que la brecha tiene una estructura geométrica que puede cerrarse parcialmente, aunque no es una solución completa.

5. Generalidad entre Modelos

La brecha geométrica es robusta en cuatro modelos (Gemma 2-2B, Gemma 2-9B, Llama-3.2-1B, Qwen-2.5-1.5B):

• Rango de Coseno: $\cos \in [0.12, 0.20]$ (ángulos $78^\circ$–$83^\circ$).
• Invariante: La brecha existe independientemente del tokenizador (SentencePiece vs. BPE) o la escala del modelo (1B–9B).
• Espectro de Comportamiento: A pesar de una geometría idéntica, los resultados de comportamiento varían:
  • Gemma: Detecta perfectamente pero fabrica.
  • Llama: Detecta perfectamente y rechaza (la acción ocurre vía un camino separado y no medido).
  • Qwen: Comportamiento mixto.
  • Conclusión: La geometría describe la disociación entre saber y dirigir, pero no predice el comportamiento por defecto del modelo.

Significancia y Reivindicaciones

El artículo establece una disociación funcional entre "saber" (detección) y "dirigir" (control) en los modelos de lenguaje.

1. La Detección no es Control: La separabilidad lineal perfecta de un comportamiento (ej. saber que una entidad es falsa) no garantiza que la dirección de detección pueda usarse para controlar dicho comportamiento. Ambas facultades ocupan subespacios casi ortogonales en el flujo residual.
2. El Coseno es una Firma, no un Oráculo: El coseno entre las direcciones de detección e intervención es una firma robusta y computable mediante los pesos de esta disociación. Sin embargo, los autores refutan explícitamente la idea de que este coseno sirva como un predictor a priori de la capacidad de dirección (steerability). Un coseno alto (como en el formato) es un caso excepcional donde un solo vector cumple ambas funciones; un coseno bajo indica una brecha estructural, pero la existencia de la brecha no implica que el comportamiento sea incontrolable (como muestra el experimento de rotación).
3. Origen Estructural: La brecha se establece durante el preentrenamiento y es invariante al ajuste de instrucciones. Surge porque el mapeo de salida está dominado por mecanismos (como la copia de entidades) que son ortogonales a la señal epistémica.
4. Limitaciones de la Dirección Lineal: Los resultados sugieren que para comportamientos complejos como la alucinación, la simple adición de activaciones a lo largo de un único vector de "detección" es insuficiente. La dirección efectiva puede requerir navegar por el subespacio de alta dimensión de la detección o rotar hacia la dirección de intervención, reconociendo que la detección es una clase de direcciones, no un único vector.

El artículo concluye que, si bien la interpretabilidad mecánica puede leer perfectamente los estados internos, escribir en esos estados para alterar el comportamiento requiere comprender el enrutamiento geomético específico entre las señales epistémicas y las acciones de salida, las cuales suelen estar estructuralmente desacopladas.