What's the plan? Metrics for implicit planning in LLMs and their application to rhyme generation and question answering

Resumen Técnico: "¿Cuál es el Plan? Métricas para la Planificación Implícita en LLMs y su Aplicación a la Generación de Rimas y Respuesta a Preguntas"

Enunciado del Problema
Aunque los Modelos de Lenguaje Grandes (LLMs) se entrenan para predecir el siguiente token, existe un debate creciente sobre si exhiben "planificación implícita"—la capacidad de representar objetivos futuros en activaciones ocultas para condicionar la generación intermedia. Evidencia previa, como el estudio de Lindsey et al. (2025) sobre Claude 3.5 Haiku utilizando transcodificadores entre capas, sugirió que los modelos podrían planificar con antelación palabras que rimen. Sin embargo, tales hallazgos se limitaron a un único modelo de código cerrado y dependieron de métodos computacionalmente costosos y difíciles de reproducir. Además, persiste el escepticismo sobre las capacidades generales de planificación de los LLMs, con algunos argumentos que sugieren que la generación de tokens en tiempo constante excluye un razonamiento principiado. Este artículo tiene como objetivo establecer si la planificación implícita es un mecanismo universal presente en diversas familias y tamaños de modelos, y desarrollar métodos escalables y cuantitativos para evaluarla.

Metodología
Los autores proponen un conjunto de técnicas más simples y escalables para detectar y cuantificar la planificación hacia adelante y hacia atrás, evitando la necesidad de aprendizaje de diccionarios complejo o transcodificadores entre capas. La metodología se basa en la dirección de diferencia de activación media (Arditi et al., 2024) aplicada a posiciones específicas en la secuencia de entrada.

1. Definiciones de Planificación:

   • Planificación hacia adelante: La creación de representaciones en posiciones anteriores que codifican propiedades de tokens de objetivo futuros.
   • Planificación hacia atrás: El uso de esas representaciones para condicionar la generación de tokens intermedios que conducen al objetivo.
   • Planificación implícita: Las representaciones existen dentro de las activaciones ocultas en lugar de en salidas explícitas (por ejemplo, Cadena de Pensamiento).

2. Tareas Experimentales:

   • Generación de Rimas: Se pide a los modelos que completen un pareado. El objetivo es predecir la familia de rima de la segunda línea basándose en la primera.
   • Respuesta a Preguntas (QA): Los modelos responden preguntas donde el sustantivo objetivo determina el artículo gramatical ("un" vs. "una"). El objetivo es predecir la respuesta sustantiva.

3. Procedimiento de Dirección (Steering):

   • Estimación de Vectores: Los vectores de dirección se calculan como la diferencia media en las activaciones ocultas entre dos categorías (por ejemplo, líneas que terminan en "-ar" vs. "-er") en posiciones específicas (por ejemplo, la última palabra de la primera línea, el token de nueva línea o el signo de interrogación).
   • Intervención: Durante la generación, el vector de dirección se añade al flujo residual en la posición y capa elegidas.
   • Métricas:
     • Planificación hacia adelante: Medida por la "Fracción de Familia de Rima/Respuesta Correcta" en generaciones dirigidas.
     • Planificación hacia atrás: Medida por "Métricas de Regeneración". Se pide al modelo que regenere la última palabra de una línea generada sin el contexto original. Si el modelo planificó con éxito hacia atrás, la palabra regenerada debería seguir alineándose con la familia de rima/respuesta prevista.
     • Métricas de Probabilidad: Análisis de la divergencia KL y los desplazamientos del token top-1 en pasos intermedios para detectar cambios en las distribuciones de probabilidad causados por la dirección.

4. Conjuntos de Datos y Modelos:

   • Conjuntos de Datos: 1.050 líneas para 10 familias de rimas y 500 preguntas para 20 pares de sustantivos (distinguiendo entre sustantivos que comienzan con vocal/consonante).
   • Modelos: 23 modelos de pesos abiertos en cuatro familias (Gemma2, Gemma3, Qwen3, Llama3.1/3.2) que van desde 1B hasta 32B parámetros, incluyendo tanto versiones base como ajustadas por instrucciones.

Resultados Clave

• Universalidad de la Planificación Implícita: Se encontró evidencia de planificación hacia adelante y hacia atrás exitosa en los 23 modelos, incluidos aquellos tan pequeños como 1B parámetros. Esto sugiere que la planificación es un mecanismo universal, no limitado a modelos masivos.
• Efectividad de la Dirección:
  • La dirección al final de la primera línea (última palabra o token de nueva línea) alteró con éxito la familia de rima generada en la segunda línea.
  • La dirección desplazó con éxito la elección del artículo ("un" vs. "una") en tareas de QA antes de generar la respuesta sustantiva, confirmando la planificación hacia atrás.
  • Los modelos ajustados por instrucciones generalmente exhibieron comportamientos de planificación más fuertes y una mayor efectividad de dirección que sus contrapartes base.
• Validación de la Planificación hacia Atrás: Las métricas de regeneración mostraron que las líneas generadas bajo dirección tenían más probabilidades de completarse con la rima/respuesta objetivo incluso cuando se eliminaba el contexto original. Esto indica que la representación de planificación influyó en los tokens intermedios, no solo en la salida final.
• Análisis de Circuitos (Gemma2 9B): Los autores identificaron cabezas de atención específicas (L30H3 y L31H15) que leen desde la dirección de dirección y atienden a la última palabra de la primera línea y al token de nueva línea. Parchear estas cabezas con activaciones dirigidas recuperó entre el 59% y el 93% del efecto de dirección, lo que sugiere un circuito dedicado para la planificación de rimas.
• Diferencias entre Modelos: Aunque el mecanismo es universal, la implementación específica varía. Por ejemplo, Gemma2 9B y Gemma3 27B utilizan el token de nueva línea para la planificación, mientras que los modelos Llama dependen principalmente del token de la última palabra.

Significado y Afirmaciones
El artículo afirma proporcionar la primera evidencia amplia y cuantitativa de que la planificación implícita es una característica omnipresente en los LLMs, presente incluso en modelos con 1B parámetros. Al introducir una metodología que escala fácilmente a muchos modelos sin un entrenamiento costoso, los autores ofrecen una forma directa de estudiar estas capacidades.

Los autores enfatizan que sus hallazgos apoyan la visión de que los LLMs se involucran en planificación heurística similar a la humana, en lugar de una predicción de tokens puramente reactiva. Argumentan que comprender estos circuitos de planificación es fundamental para la seguridad y el control de la IA, ya que la planificación implícita permite a los modelos manipular pasos intermedios para lograr objetivos específicos, potencialmente ocultos. El estudio concluye que, aunque los circuitos específicos difieren entre modelos y tareas (rimas vs. QA), la capacidad subyacente de representar y actuar sobre objetivos futuros es una propiedad general de la arquitectura.

Limitaciones y Direcciones Futuras
Los autores señalan que la dirección de palabras específicas (por ejemplo, forzar una palabra específica como "conejo" en lugar de una familia de rimas) es menos efectiva que la dirección a nivel de familia, lo que sugiere que la planificación de palabras específicas podría requerir modelos más grandes. También reconocen que la naturaleza exacta de los circuitos de planificación en modelos distintos a Gemma2 9B sigue siendo una pregunta abierta. Se propone la metodología como una base para un análisis adicional de la planificación en otros dominios, como el seguimiento de instrucciones y el razonamiento mediante Cadena de Pensamiento.