Where's the Plan? Locating Latent Planning in Language Models with Lightweight Mechanistic Interventions

Resumen Técnico: ¿Dónde está el Plan? Localización de la Planificación Latente en Modelos de Lenguaje con Intervenciones Mecanicistas Ligeras

Enunciado del Problema
Los modelos de lenguaje autoregresivos generan texto token a token, pero con frecuencia producen salidas que requieren coherencia estructural a largo plazo, como pareados rimados. Esto plantea una pregunta fundamental sobre la planificación latente: ¿Forman los modelos representaciones internas de las salidas futuras que impulsan causalmente la generación, incluso cuando estos procesos son invisibles para la evaluación conductual externa? Si bien trabajos anteriores han establecido que la información compatible con la planificación existe en algunos modelos, no está claro dónde reside exactamente esta información durante el paso hacia adelante y si se desplaza (un fenómeno que los autores denominan formación de sitio de planificación). Además, distinguir entre la información que está meramente codificada (pasiva) y la información que se utiliza causalmente (activa) es crítico para una comprensión mecanicista precisa y una evaluación de seguridad.

Metodología
Los autores emplean un caso de prueba limpio: completación de pareados rimados. Dada una primera línea que termina en una palabra de rima $r_1$, el modelo debe generar una segunda línea que termine en una palabra que rime $r_2$. El estudio utiliza dos métodos de intervención mecanicista ligera en tres familias de modelos de código abierto (Qwen3, Gemma-3, Llama-3) a diversas escalas (hasta 70 mil millones de parámetros):

1. Sondeo Lineal (Evidencia de Codificación): Se entrenan clasificadores lineales para predecir el token de rima futura $r_2$ a partir de los estados ocultos $h_{\ell,i}$ en varias capas $\ell$ y posiciones $i$. Esto determina si la información compatible con la planificación es decodificable en ubicaciones específicas (por ejemplo, el token de la última palabra frente al token de nueva línea).
2. Parcheo de Activación (Evidencia Causal): El estado oculto en una posición y capa específicas de una ejecución "corrupta" (dirigida a una familia de rimas diferente) se sustituye en una ejecución "limpia". Si esta intervención redirige la generación hacia la rima corrupta, la ubicación se identifica como un sitio de planificación causalmente activo.

El estudio compara específicamente el token de la última palabra (posición $i \approx -1$ o $-2$) contra el token de nueva línea (posición $i = 0$) para rastrear la migración de la influencia causal.

Resultados Clave

• Disociación entre Codificación y Causalidad:

  • Sondeo: En las tres familias de modelos, las sondas lineales decodifican con éxito la información de rima futura en el token de nueva línea. La fuerza de esta señal generalmente aumenta con la escala del modelo, lo que sugiere que las representaciones compatibles con la planificación son una propiedad emergente de los modelos más grandes.
  • Parcheo de Activación: A pesar de las fuertes señales de las sondas, solo Gemma-3-27B exhibe un sitio de planificación causalmente activo en la nueva línea. En este modelo, el motor causal de la generación migra desde el token de la última palabra hasta el token de nueva línea alrededor de la capa 30.
  • Otros Modelos: Qwen3 (hasta 32B) y Llama-3 (hasta 70B) condicionan la generación en el token de la última palabra a lo largo de todo el proceso. A pesar de codificar información de rima en la nueva línea (como muestran las sondas), parchear la nueva línea en estos modelos tiene un efecto causal casi nulo en la salida.

• Localización del Traspaso (Gemma-3-27B):

  • El "traspaso" de la influencia causal desde la última palabra hasta la nueva línea está mediado por un conjunto disperso de cinco cabezas de atención en las capas 28 y 30.
  • Mediante el parcheo de ruta en dos etapas, los autores demuestran que parchear estas cinco cabezas específicas simultáneamente recupera aproximadamente el 90% de la capacidad de enrutamiento de rimas normalmente lograda al sobrescribir todo el flujo residual en la nueva línea.
  • El mecanismo es específico de la atención; parchear las MLP correspondientes no produce ningún efecto.

Contribuciones Clave

1. Definición de Formación de Sitio de Planificación: El artículo formaliza la distinción entre representaciones compatibles con la planificación (detectables mediante sondeo) y sitios de planificación causalmente activos (establecidos mediante intervención), destacando que las primeras no garantizan las segundas.
2. Marco Mecanicista Escalable: Los autores proponen un marco que utiliza sondeo lineal y parcheo de activación, el cual no requiere entrenamiento de transcodificadores y utiliza significativamente menos datos que los enfoques de vectores de dirección, haciéndolo aplicable a arquitecturas grandes y de código abierto.
3. Descubrimiento Empírico de la Divergencia: El estudio revela que diferentes arquitecturas de modelos (incluso dentro del mismo rango de escala) resuelven restricciones estructurales mediante mecanismos fundamentalmente diferentes: algunos dependen de una condición estática de "última palabra", mientras que otros (como Gemma-3-27B) implementan un "traspaso" dinámico hacia la nueva línea.
4. Identificación de Circuitos Dispersos: El trabajo localiza con éxito un comportamiento de planificación complejo en Gemma-3-27B en un conjunto específico y pequeño de cabezas de atención, demostrando que tales fenómenos emergentes pueden estar estructurados en lugar de ser difusos.

Significado y Afirmaciones
El artículo argumenta que la señal de sondeo por sí sola es una evidencia insuficiente de un sitio de planificación. Las evaluaciones conductuales estándar o el sondeo simple pueden subestimar sistemáticamente o malcaracterizar las capacidades de planificación de un modelo si no logran distinguir entre la codificación pasiva y el uso causal activo.

Los autores afirman que la formación de sitios de planificación es un fenómeno emergente distinto vinculado a una escala y arquitectura específicas del modelo, en lugar de una consecuencia universal de representaciones fuertes compatibles con la planificación. La identificación de un circuito causal disperso (las cinco cabezas de atención) sugiere que la planificación latente puede ser un proceso computacional altamente estructurado.

El estudio concluye con limitaciones modestas: los hallazgos están actualmente restringidos a tres familias de modelos y una única tarea estructurada (rimación). Los autores señalan que sigue siendo una pregunta abierta si este mecanismo de "traspaso" es un primitivo de planificación general o específico de las restricciones fonológicas, y si la ausencia de este traspaso en los modelos Qwen y Llama se debe a diferencias arquitectónicas o a los datos de entrenamiento.