Resumen Técnico: Decodificable pero no Corregible mediante Dirección Lineal Fija del Flujo Residual

Declaración del Problema

Este artículo investiga una brecha crítica en la interpretabilidad y el control de los Modelos de Lenguaje a Gran Escala (LLM): la brecha entre clasificación y corrección. Si bien trabajos anteriores han demostrado que estados conductuales específicos (por ejemplo, rechazo, sentimiento) pueden decodificarse linealmente a partir de estados ocultos y corregirse mediante dirección de activación, sigue sin estar claro si esto se mantiene para fallos complejos de razonamiento de múltiples pasos. Los autores se centran en un régimen de fallo específico en la respuesta a preguntas médicas (MedQA) denominado Sobre-pensamiento (OT), donde los modelos producen frecuentemente respuestas correctas bajo remuestreo pero fallan al generar trazas extendidas de cadena de pensamiento (CoT). La pregunta central es: Si un modo de fallo es linealmente decodificable en los estados ocultos, ¿pueden utilizarse vectores de dirección lineal fija para corregirlo?

Metodología

1. Identificación del Régimen Conductual (Sobre-pensamiento)

Los autores definen el Sobre-pensamiento (OT) como un constructo conductual donde:

• El modelo responde correctamente en $\ge$60% de las trazas muestreadas (lo que indica que el conocimiento está presente).
• El modelo produce una respuesta incorrecta en trazas de razonamiento largo (>200 tokens).
• Este régimen se distingue del Déficit de Conocimiento (KD) (errores factuales) y de la Ruptura de la Cadena de Razonamiento (RCB) (hechos válidos, lógica inválida).
• El OT se identifica con alta estabilidad (Jaccard $\ge$0.81 bajo perturbación del umbral, 94% de acuerdo entre anotadores).

2. Análisis Geométrico

Utilizando Llama-3.1-8B-Instruct y Qwen2.5-7B-Instruct, los autores extrajeron estados ocultos de 12.000 trazas (2.000 por modo de fallo + 6.000 trazas correctas coincidentes).

• Vectores Contrastivos: Calculados como la diferencia normalizada entre los estados ocultos medios de las trazas correctas y los modos de fallo específicos ($v = \bar{h}_{correct} - \bar{h}_{mode}$).
• Clasificación: Se entrenaron sondas lineales para distinguir trazas OT de trazas no OT.
• Descomposición de Especificidad: Los autores calcularon la razón de especificidad para determinar cuánto del vector contrastivo es único del modo de fallo en comparación con las direcciones generales de "incorrecto vs. correcto".
• Validación Trans-Arquitectura y Trans-Dominio: Se realizó validación en Qwen2.5-7B y en el dominio MMLU-STEM para probar la generalización.

3. Experimentos de Dirección de Activación

Los autores probaron cinco familias de intervenciones de dirección lineal fija en el conjunto de pruebas de Llama-3.1-8B ($n=1.273$) y Qwen2.5-7B ($n=1.273$):

1. Dirección Contrastiva: Adición de $\alpha \cdot v$ en las capas pico.
2. Dirección Guiada por Sonda: Uso de vectores de peso de la sonda en lugar de vectores contrastivos.
3. Dirección Multi-capas: Aplicación de vectores en 1, 3 o 5 capas.
4. Dirección en Subespacio de Rango-k: Dirección dentro de subespacios generados por los vectores singulares principales.
5. Dirección al Final del Prompt: Uso de vectores derivados del prompt (pre-generación) para evitar la contaminación de la respuesta.

• Borrado de Concepto: Una intervención complementaria que proyecta fuera la dirección de fallo para probar el enredo causal.
• Controles: Un control de dirección de rechazo verificó la infraestructura; barridos de temperatura y evaluaciones a la misma temperatura descartaron los desplazamientos distribucionales como causa principal del fallo.

4. Fiabilidad Post-Generación

Los autores evaluaron si la estructura decodificable podía soportar la abstención selectiva (negarse a responder cuando la sonda predice baja confianza) como alternativa a la corrección.

Resultados Clave

1. La Brecha entre Clasificación y Corrección

• Decodificabilidad: El OT es linealmente decodificable con una precisión balanceada del 71,6% ($p \approx 10^{-16}$) en Llama-3.1-8B. Esta señal es robusta frente a la regresión de longitud y perturbaciones del umbral.
• Fallo de Dirección: A pesar de la alta decodificabilidad, las 29 configuraciones de dirección lineal fija en las cinco familias de métodos arrojaron $\Delta \approx 0$ (sin mejora significativa en la precisión).
  • Dirección específica del modo: $\Delta = -0,2$ puntos porcentuales.
  • Dirección multi-capas: $\Delta \approx 0$.
  • Dirección al final del prompt: $\Delta \approx 0$.
• Consistencia Trans-Arquitectura: El resultado nulo se mantuvo para Qwen2.5-7B (9 configuraciones) y MMLU-STEM (4 configuraciones).

2. Evidencia de Enredo Representacional

El fallo en la dirección se atribuye al enredo representacional entre la señal de fallo y el cálculo crítico de la tarea:

• Baja Especificidad: La razón de especificidad específica del OT es solo 0,119 (Llama) y 0,152 (Qwen). Esto significa que ~88% de la señal contrastiva se alinea con la dirección compartida "incorrecto vs. correcto".
• Daño Causal:
  • La dirección compartida (aplicar la dirección incorrecta compartida) dañó severamente la precisión ($\Delta = -12,1$ puntos porcentuales).
  • Borrado de Concepto: Eliminar la dirección OT mediante proyección de diferencia de medias dañó la precisión ($\Delta = -3,6$ puntos porcentuales, $p=0,01$), mientras que 10 direcciones aleatorias no produjeron daño ($\Delta = +0,3$ puntos porcentuales). Esto confirma que la dirección OT está causalmente enredada con el razonamiento correcto, no meramente correlacionada.
• Descorrelación por Instancia: La correlación entre la confianza de la sonda y el efecto de dirección es $r = -0,002$ ($p=0,97$), lo que indica que saber cuándo un modelo está sobre-pensando no predice cómo dirigirlo.

3. Hallazgo Positivo: Abstención Selectiva

Aunque la dirección falló, la estructura decodificable permitió la estimación de fiabilidad post-generación:

• Una sonda de corrección logró un AUROC de 0,610 en el conjunto de pruebas retenido, superando significativamente a cinco líneas base de incertidumbre de un solo paso adelante (mejor línea base AUROC = 0,569, $\Delta = 0,041$, $p=0,009$).
• Abstención Selectiva: Al abstenerse en predicciones de baja confianza, el modelo logró una ganancia de precisión de +5,5 puntos porcentuales al 60% de cobertura.
• Comparación con Auto-consistencia: Mientras que el voto mayoritario (Auto-consistencia) corrige el 100% de los errores OT, requiere 10 veces el coste de generación. La sonda ofrece una alternativa de un solo paso rentable para la estimación de fiabilidad.

4. Intervenciones No Lineales

Un experimento preliminar utilizando un MLP no lineal aprendido (adaptador residual) logró una mejora modesta pero significativa ($\Delta = +2,8$ puntos porcentuales, $p=0,025$). Esto sugiere que la brecha no es absoluta, sino específica de las intervenciones lineales fijas; las transformaciones no lineales podrían desenredar parcialmente el subespacio compartido.

Significado y Afirmaciones

El artículo afirma proporcionar evidencia mecánica de por qué falla la dirección de activación en regímenes de razonamiento de múltiples pasos, yendo más allá de la mera documentación del fenómeno.

1. Explicación Geométrica: Los autores argumentan que la brecha entre clasificación y corrección surge porque las señales de fallo en tareas de razonamiento están enredadas con el cálculo relevante para la tarea. A diferencia del rechazo (que tiene una razón de especificidad de 0,999 y es direccible), la señal OT comparte ~88% de su dirección con la ruta de razonamiento correcta.
2. Asimetría Observación-Intervención: El estudio demuestra que la decodificabilidad no implica direccibilidad. Una señal puede ser estadísticamente legible por una sonda (observación) sin ser causalmente accionable mediante perturbación aditiva (intervención) porque la perturbación inevitablemente interrumpe el cálculo de la tarea compartido.
3. Valor Operativo de la Sondaje: Incluso cuando la dirección falla, la estructura decodificable tiene utilidad para la estimación de fiabilidad (abstención selectiva), ofreciendo una herramienta práctica para el despliegue donde la corrección es imposible.
4. Marco Diagnóstico: Los autores proponen un Perfil de Accesibilidad Lineal (LAP) y la razón de especificidad como diagnósticos previos a la intervención. Sugieren que si una dirección tiene baja especificidad (<0,21) y alta superposición con el cálculo de la tarea, es poco probable que la dirección lineal fija tenga éxito.

El artículo concluye que, si bien la "brecha entre clasificación y corrección" es un fenómeno empírico robusto en el razonamiento médico, podría cerrarse parcialmente mediante intervenciones no lineales aprendidas que puedan desenredar direcciones compartidas, una dirección para trabajos futuros.