Resumen Técnico: Señales de Corrección de Código en los Estados Ocultos de los LLM

Declaración del Problema

Este trabajo investiga la legibilidad de la corrección del código dentro de los estados ocultos de los Grandes Modelos de Lenguaje (LLM), centrándose específicamente en el modelo Qwen3-4B-Instruct-2507. El estudio aborda dos cuestiones temporales distintas respecto a la generación de código en tareas de 444 LiveCodeBench:

1. Pre-generación: ¿Es la corrección del primer intento de código de un modelo ya decodificable desde el estado oculto en el último token del prompt, antes de que se genere cualquier token de salida?
2. Geometría de Reparación: Cuando un modelo intenta reparar una generación de código fallida, ¿el desplazamiento (delta) en su estado oculto entre el intento fallido y el intento de reparación conlleva una firma geométrica estable e aislable de si la reparación tendrá éxito?

El estudio opera dentro del marco de la interpretabilidad mecánica, utilizando sondas lineales y análisis de dirección contrastiva para determinar si las representaciones internas codifican propiedades verificables como la corrección del código o el éxito de la reparación.

Metodología

Modelo y Datos

• Modelo: Qwen/Qwen3-4B-Instruct-2507 (transformador de decodificador único de 36 capas, estado oculto de 2560 dimensiones).
• Conjunto de Datos: 444 tareas de LiveCodeBench (fácil, medio, difícil).
• Hardware: Una sola NVIDIA RTX 4050 (6 GB de VRAM).
• Captura de Datos: Los estados ocultos se extraen del último token del prompt de una única pasada hacia adelante (antes de la generación autorregresiva) para el análisis de pre-generación. Para el análisis de reparación, los estados ocultos se capturan para el primer intento (intento 0) y el intento de reparación subsiguiente (intento 1).

Técnica Central: Residualización

El artículo emplea la residualización como una herramienta principal de control de confusión. Esto implica:

1. Ajustar una regresión de Mínimos Cuadrados Ordinarios (OLS) para cada dimensión del estado oculto contra una covariable candidata (por ejemplo, longitud del prompt, características del contexto de reparación).
2. Restar la predicción ajustada de las dimensiones del estado oculto para eliminar la contribución lineal de esa covariable.
3. Reevaluar el desempeño de la señal (desempeño de la sonda o dirección geométrica) en los datos residualizados.

Este enfoque se utiliza para distinguir entre señales que son intrínsecas a la representación del modelo frente a aquellas que son artefactos de la estructura de la entrada o diferencias de contexto.

Pipelines Experimentales

1. Sonda de Pre-generación (Sección 3):

   • Una sonda lineal (StandardScaler $\to$ PCA $\to$ Regresión Logística) se entrena para predecir etiquetas de paso/fallo desde el estado oculto final del prompt.
   • Selección de Capas: Se utiliza validación cruzada anidada (50 divisiones externas, CV interna de 5 pliegues) para seleccionar la capa óptima y la fuerza de regularización ($C$) para prevenir la filtración del conjunto de prueba (test-set leakage).
   • Líneas Base: Comparación contra estados ocultos brutos, estados ocultos residualizados (eliminando la longitud del prompt) y una línea base de solo longitud de prompt.

2. Análisis de Dirección de Reparación (Sección 4):

   • Construcción del Delta: Para tareas donde el intento 0 falla y el intento 1 existe, el delta del estado oculto se define como $\delta = h_{\text{intento 1}} - h_{\text{intento 0}}$.
   • Dirección Contrastiva: Se computa el vector $v = \text{media}(\delta_{\text{éxito}}) - \text{media}(\delta_{\text{fallo}})$.
   • Validación: Se aplican dos pruebas a $v$:
     • Magnitud: Norma de $v$ comparada contra nulos de etiquetas permutadas (label-shuffled nulls).
     • Inclinación: Similitud de coseno de mitad de división (split-half cosine similarity) entre direcciones recuperadas de dos mitades de los datos.
   • Verificación de Covariables: Antes de la residualización, pruebas estadísticas (prueba t de Welch, Chi-cuadrado) verifican si las covariables difieren entre los grupos de éxito y fallo. La residualización solo se aplica a las covariables que muestran diferencias significativas entre grupos.
   • Covariables: $\Delta$tokens_prompt, longitud_código_intento_0, y tipo_de_fallo.

Resultados Clave

1. La corrección de la pre-generación es linealmente decodificable

• Señal Bruta: Una sonda lineal entrenada en el estado oculto final del prompt (Capa 29 seleccionada mediante CV anidada) logra un AUC de 0.931 ± 0.008 sin filtración a través de 50 divisiones aleatorias.
• Robustez a la Longitud del Prompt: Tras residualizar las dimensiones del estado oculto contra la longitud del prompt, el desempeño de la sonda permanece alto en 0.911 ± 0.010.
• Comparación con Línea Base: Una línea base de solo longitud de prompt logra un AUC de 0.754 ± 0.014. Modelos no lineales (Random Forest, Gradient Boosting, MLP) entrenados únicamente con la longitud del prompt no superan esta línea base.
• Conclusión: El estado oculto contiene una señal de corrección que es robusta y no reducible a la longitud del prompt, existiendo antes de que se genere un solo token de salida.

2. La dirección de reparación es un correlato contextual, no una característica aislada

• Señal Bruta: En los deltas brutos (236 transiciones limpias: 128 éxitos, 108 fallos), existe una dirección contrastiva. Pasa las pruebas de magnitud ($p < 0.001$) y de coseno de mitad de división ($p < 0.001$) contra nulos de etiquetas permutadas.
• Desequilibrio de Covariables: Pruebas estadísticas revelan que los grupos de éxito y fallo difieren signific según $\Delta$tokens_prompt, longitud de código inicial y distribución del tipo de fallo ($p < 0.001$ para todos).
• Efecto de la Residualización: Cuando los deltas se residualizan contra estas tres covariables:
  • La magnitud de la dirección cae de 9.76 a 3.72 (38% del original).
  • El coseno de mitad de división cae de 0.767 a 0.140.
  • Ninguna de las pruebas mantiene la significancia estadística (Magnitud $p=0.126$, Mitad de división $p=0.942$).
• Conclusión: La dirección geométrica observada en los deltas brutos es un correlato de la corrección de la reparación impulsado por la estructura del contexto de reparación (por ejemplo, el mensaje de error específico y las diferencias en la longitud del código) en lugar de una característica aislada de "comprensión de la reparación" en el espacio de activación.

3. Limitaciones en las reparaciones de múltiples pasos

• El estudio encuentra que la tasa de éxito colapsa drásticamente después del primer intento de reparación (Intento 1: 36.4%, Intento 2: 6.7%).
• Los datos para transiciones más allá de $0 \to 1$ (ej. $1 \to 2$) son demasiado escasos (solo 13 éxitos para $1 \to 2$) para soportar un análisis de dirección contrastiva significativo.

Contribuciones y Significado

El artículo afirma que su contribución es tanto metodológica como empírica:

1. Honestidad Diagnóstica: El estudio demuestra la utilidad de un único procedimiento de control de confusión (residualización) en dos direcciones opuestas.
   • En el caso de la pre-generación, la residualización respalda la afirmación al mostrar que la señal sobrevive a la eliminación de un confuso principal (longitud del prompt).
   • En el caso de la reparación, el mismo procedimiento desmiente la interpretación inicial al mostrar que la señal colapsa cuando se eliminan las covariables del contexto.
2. Rigor Metodológico: El trabajo enfatiza la necesidad de verificar las distribuciones de las covariables antes de la residualización. Argumenta que residualizar contra covariables con medias de grupo iguales es innecesario y potencialmente engañoso, mientras que residualizar contra covariables con medias diferentes es esencial para aislar características latentes.
3. Hallazgos Empíricos:
   • Confirma que la corrección del código es legible en el estado oculto antes de que comience la generación.
   • Refuta la hipótesis de que existe una dirección geométrica estable e aislada para el "éxito de la reparación" en los cambios del estado oculto bruto, atribuyendo la señal observada a los diferentes contextos de los intentos de reparación.

El artículo concluye que, si bien los LLM codifican información rica sobre la corrección del código, la interpretación de los desplazamientos geométricos en los estados ocultos requiere un cuidadoso desentrañamiento del contexto de entrada, ya que las aparentes "características" pueden ser simplemente reflejos de la estructura del prompt.