Resumen Técnico: ¿Cuándo refleja una lectura la computación? Intervenciones de dosis-respuesta en modelos de pensamiento continuo

1. Planteamiento del problema

Los modelos de Cadena de Pensamiento Continuo (Coconut) realizan el razonamiento en un espacio latente continuo, alimentando el último estado oculto como la siguiente incrustación de entrada, en lugar de decodificar pasos intermedios en tokens de lenguaje natural. Si bien esto ofrece expresividad, crea un "problema de monitorización": la computación intermedia no puede observarse directamente.

Las prácticas actuales de interpretabilidad dependen de lecturas (readouts) —proyecciones de los estados ocultos al espacio del vocabulario (por ejemplo, mediante un Logit Lens o un Tuned Lens). La inferencia estándar es: si la lectura cambia, la computación subyacente ha cambiado. Sin embargo, esta inferencia se ha probado históricamente con una única magnitud de intervención. El artículo postula que si la lectura y la computación poseen sensibilidades diferentes a la misma dirección de intervención, una prueba de magnitud única no puede revelar la discrepancia, lo que podría conducir a conclusiones falsas sobre el razonamiento interno del modelo.

2. Metodología

Para medir la sensibilidad de la lectura frente a la de la computación como función de la magnitud de la intervención, el autor construyó un banco de pruebas controlado y un protocolo de dosis-respuesta.

2.1 Construcción del banco de pruebas controlado

• Supervisión J-Lens: El autor entrenó un modelo Coconut de 2 mil millones de parámetros en tareas de recuperación de hechos de dos saltos (two-hop factual recall). Añadió un término J-lens a la función de pérdida para forzar al pensamiento continuo (estado latente) a alinearse con un token de "entidad puente" específico, dejando la pérdida de la respuesta sin modificar.
• Validación: Esta supervisión logró una masa de probabilidad >0.95 en el token puente en la lectura, manteniendo al mismo tiempo una precisión de la respuesta del 100%. Esto aseguró que la lectura fuera "controlada" (apuntando a un token conocido) sin degradar la capacidad computacional del modelo.
• Auto-etiquetado: El autor demostó que el modelo podía generar sus propias etiquetas de puente mediante la lectura J-lens, eliminando la necesidad de anotación humana adicional para la señal de supervisión.

2.2 Protocolo de intervención de dosis-respuesta

La innovación central es un protocolo que desacopla la magnitud de la intervención de la dirección:

1. Magnitud relativa fija ($\alpha$): Las intervenciones se aplican con una magnitud relativa fija $\alpha = \|\delta\|/\|h\|$, recalculada en cada paso latente para compensar la divergencia del estado.
2. Descomposición ortogonal: El delta causal ($d = h_{donante} - h_{receptor}$) se descompone en dos componentes ortogonales:
   • $d_{\parallel}$: El componente paralelo al gradiente de la lente (la dirección que la lente detecta).
   • $d_{\perp}$: El componente ortogonal al gradiente de la lente (la dirección a la que la lente es "ciega").
3. Control aleatorio emparejado: Se genera una dirección aleatoria que es ortogonal al gradiente de la lente y que iguala en norma a $d_{\perp}$. Esto controla la magnitud y la invisibilidad de la lente, aislando el efecto de la dirección.
4. Barrido de dosis: El autor realizó un barrido de $\alpha$ a través de una cuadrícula (0.10 a 0.60) para generar curvas de dosis-respuesta tanto para la lectura (cambio de token) como para la computación (cambio de respuesta).

3. Resultados clave

3.1 Disociación de umbrales (Dirección visible para la lente)

A lo largo de la dirección que la lente detecta ($d_{\parallel}$), la lectura y la computación tienen umbrales de activación significativamente diferentes:

• Sensibilidad de la lectura: La lectura cambia al token donante en magnitudes relativas de 0.125–0.158.
• Sensibilidad de la computación: La respuesta no cambia en estas magnitudes.
  • En la relación lmk (hito $\to$ país $\to$ capital), el umbral de la respuesta es 2.03$\times$ mayor (0.253) que el umbral de la lectura.
  • En la relación typeA (capital $\to$ país $\to$ continente), la respuesta nunca alcanza un cambio de mayoría antes de que el modelo se rompa (genera un token no relacionado) en magnitudes altas.
• Implicación: Una intervención de norma mínima que se detiene tan pronto como la lectura cambia (el procedimiento estándar) se detiene aproximadamente en la mitad del umbral causal (o por debajo de este), fallando en detectar el vínculo causal.

3.2 El canal "invisible"

A lo largo de la dirección que la lente no detecta ($d_{\perp}$):

• Computación: Las intervenciones trasplantan con éxito la respuesta en el 96–97% de los ensayos (umbrales $\approx$ 0.45–0.48).
• Lectura: La lectura nunca cambia (0/900 ensayos) y permanece anclada al token receptor.
• Control: El control aleatorio emparejado no produjo cambios ni en la lectura ni en la respuesta, confirmando que el efecto se debe a la dirección específica de $d_{\perp}$, no solo a la magnitud.

3.3 La trampa del "Nulo Falso"

El autor reporta un experimento inicial pre-registrado que cayó en esta trampa:

• Intervinieron hasta que la lectura cambió (magnitud de parada $\approx$ 0.119).
• Resultado: 0/90 cambios de respuesta. Inicialmente concluyeron que el puente no se utilizaba en la computación.
• Corrección: La curva de dosis-respuesta reveló que el umbral de la respuesta era 0.253. El test inicial falló porque se detuvo demasiado pronto, midiendo por debajo del umbral causal.

3.4 Robustez

• La brecha de umbral persiste (1.74$\times$) incluso sin la supervisión J-lens, lo que indica que la disociación no es un artefacto de la señal de entrenamiento, sino una propiedad estructural del modelo.
• La brecha no se explica por el hecho de que el modelo se "rompa" en magnitudes altas; la disociación ocurre en la ventana de operación estable.

4. Contribuciones

1. Protocolo de dosis-respuesta: Un método para separar la sensibilidad de la lectura de la sensibilidad de la computación utilizando descomposición ortogonal de magnitud fija y controles aleatorios emparejados.
2. Disociación cuantificada: Evidencia de que la lectura y la computación tienen umbrales diferentes a lo largo de la misma dirección, y que la computación puede ser trasplantada a lo largo de direcciones que la lectura no registra.
3. Diagnóstico de intervenciones de norma mínima: Una demostración de que las intervenciones estándar dirigidas a la lectura producen sistemáticamente falsos negativos (nulos falsos) porque se detienen antes de que la computación cambie.
4. Banco de pruebas controlado: Un método para alinear las lecturas con tokens específicos sin pérdida de precisión, permitiendo una medición causal precisa.

5. Significado y afirmaciones

El artículo argumenta que la sensibilidad de la lectura es una propiedad de la lectura, no de la computación. El hecho de que una lectura cambie no implica que la computación haya cambiado, ni que una falta de cambio en la lectura implique una falta de cambio en la computación.

• Advertencia metodológica: Las afirmaciones de interpretabilidad basadas en intervenciones de magnitud única son insuficientes. Un resultado nulo (sin cambio en la respuesta) no puede distinguir entre "la dirección no es causal" y "no presionamos lo suficiente".
• Prescripción: Las afirmaciones causales basadas en lecturas deben reportarse como curvas de dosis-respuesta que incluyan:
  1. La magnitud en la que la lectura responde.
  2. La magnitud en la que la salida responde.
  3. Un control aleatorio emparejado en magnitud e invariantes.
• Alcance: El autor es modesto en cuanto a la generalización, señalando que las mediciones se realizaron en un único modelo, una única capa y relaciones sintéticas. No pretende haber mapeado todo el espacio latente, sino que ha expuesto una limitación estructural en cómo se interpretan actualmente las lecturas.

El artículo concluye que el trabajo que pregunta "¿qué se puede leer de una lectura?" también debe preguntar "¿a qué magnitud lo que se lee corresponde a la computación?".