Resumen Técnico: Registros Causales en el Razonamiento de Scratchpad

Declaración del Problema

La supervisión de procesos busca alinear los modelos recompensando los pasos intermedios de razonamiento (por ejemplo, scratchpads, cadena de pensamiento o chain-of-thought) en lugar de solo las respuestas finales. Sin embargo, existe una brecha crítica entre la legibilidad y la causalidad: un modelo puede escribir estados intermedios plausibles que correlacionan con la respuesta correcta sin utilizar realmente dichos estados como entradas para computaciones subsiguientes. Si el texto escrito es meramente una justificación post-hoc o una señal correlacionada, no puede ser auditado ni intervenido de manera efectiva.

La pregunta central que se aborda es: ¿Realmente computa un modelo a partir de los estados intermedios que escribe? Específicamente, si se altera una representación interna de un estado escrito mientras el texto visible permanece fijo, ¿cambia el siguiente paso del modelo de acuerdo con la regla de actualización conocida de dicho estado?

Metodología

1. Tarea de Seguimiento de Estado Controlada

Los autores utilizan un sistema de transición finito con reglas de actualización conocidas para crear una prueba causal inequívoca.

• Estructura de la tarea: Se le da al modelo un estado inicial y una secuencia de movimientos. Debe realizar el seguimiento del estado después de cada movimiento.
• Representación del estado: El estado se define como $v | p$, donde $v$ es una coordenada visible (una de cuatro celdas de una cuadrícula) y $p$ es un "bit de fase" ($0$o$1$).
• Sensibilidad al orden: El bit de fase $p$ no está determinado únicamente por la coordenada visible $v$; depende de la historia de los movimientos (el orden de las operaciones). Esto crea estados coincidentes (por ejemplo, $11|0$ y $11|1$) que comparten el mismo texto visible pero difieren en la fase interna.
• Modelos: El estudio utiliza Qwen2.5-Coder-7B como modelo principal y Mistral-7B-v0.3 para la replicación.
• Condiciones de entrenamiento:
  1. Base Preentrenada: Sin ajuste fino (fine-tuning).
  2. Solo Respuesta Final: Ajustada para producir únicamente el estado final.
  3. Estado en Ejecución (Running-State): Ajustada para escribir el estado completo tras cada movimiento antes de la respuesta final.

2. Intervención: Edición de Estado Contrafáctico

La intervención experimental central implica el parcheo de activaciones (específicamente la modificación del caché KV) en la posición del token correspondiente al estado actual.

• La Edición: La representación del flujo residual interno del bit de fase en el token del estado actual se edita de $p$ a $1-p$.
• La Restricción: El ID del token visible y el texto del scratchpad impreso permanecen sin cambios. El prefijo suministrado al modelo es idéntico en las ejecuciones limpia y parcheada.
• La Prueba: Se le pide al modelo que prediga el siguiente estado dado el próximo movimiento $m$.
  • Condición de Éxito: El modelo predice el bit de fase resultante de aplicar el movimiento $m$ al estado editado $\tilde{s} = (v, 1-p)$.
  • Condición de Fallo: El modelo ignora la edición interna y predice el resultado basado en el estado original $s = (v, p)$, o sigue un sesgo genérico.

3. Controles y Selectividad

Para descartar explicaciones alternativas (por ejemplo, dirección de siguiente token genérica o copia de continuaciones), los autores emplean dos controles específicos:

• Control de Intercambio de Movimientos (Move-Swap Control): El estado editado se mantiene fijo, pero el próximo movimiento cambia. Un mecanismo válido de actualización de estado debería cambiar su predicción basándose en el nuevo movimiento; un sesgo fijo no lo haría.
• Control de Continuación Conflictiva: Se inyecta un estado contrafáctico de un contexto diferente donde la trayectoria futura discrepa con el movimiento actual. Si el modelo sigue el movimiento actual, está recomputando desde el estado editado; si sigue la futura del contexto inyectado, está simplemente copiando una continuación.

Resultados Clave

1. Uso Causal de los Estados del Scratchpad

En los modelos de Estado en Ejecución (ajustados para escribir estados intermedios), la edición interna redirige con éxito la computación del siguiente estado:

• Qwen2.5-Coder-7B: El modelo predice el siguiente bit de fase implicado por el estado editado en el 80% de los ejemplos de prueba (tarea Q8) y en el 91% (tarea D8).
• Controles: Los modelos preentrenados y los de solo respuesta final permanecen cerca de los niveles base (azar), lo que indica que no utilizan el estado escrito como una entrada computacional.
• Ediciones Aleatorias/Ortogonales: Los parches aleatorios o los parches en subespacios ortogonales producen tasas de acuerdo cercanas a 0.02, confirmando que el efecto es específico del subespacio del bit de fase.

2. Selectividad y Recomputación

Los modelos de Estado en Ejecución demuestran una alta selectividad, probando que no están simplemente sesgando tokens o copiando:

• Especificidad del Movimiento: La predicción cambia significamente cuando el movimiento cambia (brechas de selectividad: +0.57 para Q8, +0.68 para D8).
• Recomputación vs. Copia: Ante una continuación conflictiva, el modelo sigue el movimiento actual (y, por tanto, el estado editado) en lugar de la futura del origen inyectado (brechas de selectividad: +0.59 para Q8, +0.81 para D8).

3. Análisis Mecanicista

• Representación Compacta: La información del bit de fase es capturada por un subespacio de bajo rango. En Q8, una edición de rango-1 es suficiente; en D8, un rango-2 es suficiente, muy por debajo de las 3584 dimensiones del flujo residual.
• Enrutamiento:
  • Q8: La actualización fluye principalmente a través de una única conexión de atención (desde el token de fase actual hacia la siguiente capa de predicción). La ablación de esta conexión elimina el 94% del efecto.
  • D8: La actualización utiliza una ruta distribuida de cuatro bordes. La ablación de esta ruta específica elimina aproximadamente el 69%, mostrando que las variables de estado compactas pueden procesarse mediante mecanismos distribuidos.
• Replicación: Estos patrones causales se replican en Mistral-7B-v0.3, con los modelos de Estado en Ejecución logrando un acuerdo de estado editado de 0.93–0.94.

4. Prefijos Generados

Cuando el modelo genera el prefijo por sí mismo (en lugar de recibirlo suministrado), el efecto persiste pero es ligeramente menos estable en Q8 (uso de un paso de 0.66) comparado con D8 (uso de un paso de 0.90), aunque permanece significativamente por encima del nivel base.

Significado y Reivindicaciones

El artículo sostiene que la supervisión de estado en ejecución (ajuste fino para producir estados intermedios) transforma un scratchpad de un mero registro en un registro causal dentro de la computación del modelo.

• Semántica Operacional: Un intermedio útil para la alineación debe poseer semántica operacional dentro del modelo. Los resultados muestran que, para los modelos entrenados, cambiar el valor interno asociado con un estado escrito cambia causalmente el siguiente paso de una manera consistente con la regla de transición.
• Auditabilidad: Esto establece un "objetivo más agudo para la supervisión del scratchpad". La supervisión no trata solo de hacer el razonamiento legible para los humanos, sino de entrenar a los modelos para que utilicen los estados escritos como entradas reales para su propia computación. Esto permite realizar "auditorías de distorsión de evidencia", donde un supervisor puede teóricamente cambiar un estado y verificar si el comportamiento subsiguiente del modelo se alinea con dicho cambio.
• Distinción de Conceptos: El trabajo separa con éxito tres ideas a menudo confundidas:
  1. Si un estado es escrito.
  2. Si un estado está representado internamente.
  3. Si el modelo realmente computa a partir de ese estado.
     Los resultados muestran que la supervisión es necesaria para cerrar la brecha entre la representación y la computación.

Los autores concluyen que, si bien esta estructura se demostró en un entorno sintético controlado, el objetivo para la futura supervisión de procesos es construir tareas y métodos de entrenamiento donde los modelos expongan variables de estado similares, utilizables y causalmente activas en dominios más ricos (por ejemplo, estados de programas, demostración de teoremas, uso de herramientas).