💬 NLP

Latent Planning Emerges with Scale

Este artículo demuestra que la capacidad de planificación latente en los modelos de lenguaje, definida por representaciones internas que anticipan y moldean el contexto futuro, emerge y se fortalece a medida que aumenta la escala del modelo, como se evidencia en las familias Qwen-3.

Autores originales: Michael Hanna, Emmanuel Ameisen

Publicado 2026-04-15

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Michael Hanna, Emmanuel Ameisen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

🧠 ¿Piensan los robots antes de hablar? El secreto de la "Planificación Latente"

Imagina que tienes un amigo muy inteligente que escribe historias increíbles o resuelve problemas complejos. A veces, parece que no piensa en absoluto: simplemente suelta palabras al azar hasta que la frase tiene sentido. Pero, ¿y si en realidad, en su "mente" (o en su código), estuviera planeando el final de la historia antes de escribir la primera palabra?

Este es el gran misterio que investigan los autores de este paper. Se preguntan: ¿Los modelos de lenguaje (como los que usamos hoy) realmente "planifican" en silencio, o solo adivinan la siguiente palabra?

1. ¿Qué es la "Planificación Latente"?

Para entenderlo, imagina que estás escribiendo una carta.

Sin planificación: Escribes "Querido amigo," y luego sigues escribiendo sin pensar en qué vas a decir al final. Si te das cuenta de que necesitas una despedida formal, la inventas sobre la marcha.
Con planificación latente: Antes de escribir "Querido", ya sabes que vas a terminar la carta con "Atentamente, Juan". Tu cerebro (o el modelo) guarda esa idea de "Juan" y "Atentamente" en un cajón secreto. Mientras escribes el cuerpo de la carta, tu mente ajusta las palabras anteriores para que, al final, todo encaje perfectamente con esa despedida.

El paper define esto como Planificación Latente cuando el modelo tiene dos cosas:

Planificación hacia adelante: Sabe qué palabra va a decir en el futuro (ej. "contable").
Planificación hacia atrás: Ajusta lo que dice ahora para que tenga sentido con esa palabra futura (ej. decide usar "un" en lugar de "una" porque sabe que la palabra futura es "contable").

2. El Experimento: ¿Cuánto "cerebro" hace falta para planear?

Los investigadores probaron esto con una familia de modelos de IA llamados Qwen-3, que van desde muy pequeños (como un cerebro de bebé) hasta muy grandes (como un genio).

La prueba de la "A" y la "AN":
Imagina que le das al modelo la frase: "Alguien que maneja registros financieros es..."

Si la respuesta es "contable" (accountant), la palabra anterior debe ser "an" (un/una).
Si la respuesta es "médico" (doctor), la palabra anterior debe ser "a".

Lo que descubrieron:

Los modelos pequeños (0.6B - 1.7B): Son como niños pequeños. Adivinan la palabra "contable" a veces, pero no planifican. A menudo escriben "a contable" (error) porque no están pensando en la palabra final mientras escriben la primera.
Los modelos medianos (4B - 8B): Empiezan a tener "chispas" de planificación. Tienen la capacidad, pero a veces fallan. Es como si tuvieran el plano del edificio, pero a veces se olvidan de poner los cimientos.
Los modelos grandes (14B+): ¡Son los arquitectos! Estos modelos sí planifican. Cuando ven "registros financieros", su cerebro interno ya tiene la palabra "contable" guardada. Gracias a eso, saben automáticamente que deben escribir "an" antes de "contable".

3. Mirando dentro del cerebro (Los Circuitos)

Para saber si realmente estaban planeando, los investigadores usaron una herramienta llamada "Transcoders" (imagina que son gafas de rayos X para ver los pensamientos de la IA).

La analogía del interruptor: Encontraron que, en los modelos grandes, hay un "interruptor" interno que se enciende cuando piensan en la palabra "contable".
La magia: Este interruptor no solo activa la palabra "contable", sino que también envía una señal a otro interruptor que dice: "¡Oye! Antes de decir 'contable', necesitamos decir 'an'!".
La prueba de fuego: Si apagaban ese interruptor de "contable" en los modelos grandes, ¡dejaban de usar "an"! Esto prueba que no era una coincidencia; el modelo estaba planeando activamente.

4. ¿Y con la poesía? (Rimas)

También probaron si los modelos podían escribir poemas rimados (como: "El sol brilla en el cielo azul / y el gato duerme en el...").

El hallazgo: Los modelos grandes sí pueden pensar en la rima (ej. "azul") y ajustar la frase para que encaje.
El límite: Sin embargo, no planifican tan lejos. A veces piensan en la última palabra de la línea, pero no planifican toda la estrofa de antemano. Es como un músico que improvisa nota por nota, asegurándose de que la última nota encaje, pero sin tener la canción completa escrita en su cabeza desde el principio.

5. ¿Por qué importa esto? (El peligro de los planes secretos)

Esto es crucial para la seguridad de la IA.

Si una IA tiene planificación latente, podría estar "tramando" algo. Podría estar pensando en un objetivo secreto (como engañar a un humano) y ajustando sus respuestas diarias para lograrlo, sin decirnos que lo está haciendo.
La buena noticia: En los modelos que probaron (hasta 14 mil millones de parámetros), la planificación es todavía incipiente (está empezando). No son genios malvados que planean dominar el mundo; son más bien como niños que están aprendiendo a pensar con antelación.
La advertencia: A medida que los modelos crezcan más y más, su capacidad para planear en silencio mejorará. Necesitamos vigilar esto para asegurarnos de que sus "planes secretos" sean buenos.

🎯 En resumen

Este paper nos dice que la capacidad de planear en silencio no aparece de la nada; crece con el tamaño del modelo.

Modelos pequeños: Adivinan.
Modelos medianos: Empiezan a tener ideas, pero se les olvidan.
Modelos grandes: Tienen un "plano" en su mente que les ayuda a elegir las palabras correctas antes de escribirlas.

Es como si la inteligencia artificial estuviera aprendiendo a pensar antes de hablar, y cuanto más grande es, mejor lo hace. Pero todavía está en pañales, y los científicos están muy atentos para ver hacia dónde va esta habilidad.

1. Problema y Motivación

Los Grandes Modelos de Lenguaje (LLM) pueden realizar tareas que parecen requerir planificación (como escribir historias coherentes o código funcional) sin verbalizar explícitamente un plan. Sin embargo, la extensión de esta planificación latente (implícita) es desconocida.

Riesgo de Seguridad: Si los modelos planifican internamente sin ser detectados, podrían desarrollar comportamientos de "maquinación" (scheming) para alcanzar objetivos ocultos, eludiendo a los supervisores externos.
Limitación de Trabajos Previos: La evidencia anterior sobre planificación latente ha sido mayormente observacional (ej. decodificar futuros tokens a partir de activaciones). El artículo argumenta que la planificación debe definirse causalmente: no basta con que un token futuro sea predecible; debe haber una representación interna que cause tanto la generación de ese token como la adaptación del contexto previo para permitirlo.

2. Metodología

Los autores proponen un marco riguroso para detectar y validar la planificación latente utilizando circuitos de características de transcoders (transcoder feature circuits).

Definición de Planificación Latente

Se define que un LLM realiza planificación latente si posee una representación interna de un token o concepto planificado ( $t$ ) que cumple dos condiciones causales:

Planificación Forward (Hacia adelante): La representación causa la generación del token $t$ en una posición futura ( $n+k$ ).
Planificación Backward (Hacia atrás): La representación causa la generación de un contexto previo que "licencia" o habilita la aparición de $t$ .

Herramientas y Modelos

Modelos: Se estudió la familia Qwen-3 con tamaños escalados de 0.6B a 14B parámetros (y 32B para análisis conductuales).
Transcoders: Se utilizaron transcoders (modelos auxiliares) para descomponer las activaciones densas y polisémicas de las capas MLP en características dispersas y monosémicas (cada característica representa un concepto único).
Circuitos de Características: Se construyeron grafos acíclicos dirigidos ponderados que mapean las relaciones causales entre las entradas, las características de los transcoders y los logits de salida. Esto permite identificar qué características específicas impulsan decisiones futuras.
Intervenciones Causales: Se realizaron experimentos de ablación (poner activaciones a cero) y de potenciación (multiplicar activaciones) en características específicas para verificar su impacto causal en el comportamiento del modelo.

Tareas de Evaluación

Acuerdo Gramatical Simple: Completar frases donde el artículo o verbo depende de una palabra futura (ej. "Someone who handles financial records is → a/an (accountant)").
Completado de Pareados Rítmicos: Generar la segunda línea de un pareado que rime con la primera.
Planificación Local en Prosa: Guiar (steering) al modelo hacia palabras específicas en textos neutrales para ver si adapta el contexto.

3. Contribuciones Clave

Definición Causal de Planificación: Establece que la planificación requiere evidencia de mecanismos causales (forward y backward), no solo correlaciones observables.
Descubrimiento de Mecanismos: Identifica circuitos específicos de características que representan palabras planificadas (ej. "accountant") y cómo estas activan características que ajustan el contexto (ej. cambiar "a" por "an").
Análisis de Escala: Proporciona la evidencia más grande hasta la fecha sobre cómo la capacidad de planificación emerge y madura a medida que aumenta el tamaño del modelo.
Herramientas de Código Abierto: Liberan el código y los datos para la trazabilidad de circuitos en modelos de código abierto.

4. Resultados Principales

A. Planificación en Tareas Simples (Acuerdo Gramatical)

Emerge con la Escala: Los modelos pequeños (0.6B - 1.7B) fallan consistentemente en tareas de acuerdo (como elegir "an" en lugar de "a"). Los modelos de 4B-8B muestran mecanismos de planificación incipientes (nascientes), y los modelos de 14B+ tienen un rendimiento consistente.
Mecanismos Identificados:
- Se encontraron características de planificación que representan la palabra futura (ej. "accountant").
- Estas características causan la activación de otras que ajustan el artículo anterior ("an" vs "a").
- Intervenciones: Ablar estas características reduce el rendimiento (especialmente en la clase minoritaria "an"), mientras que potenciarlas mejora drásticamente el rendimiento en modelos medianos y grandes.
Diferencia Forward vs. Backward: La capacidad de predecir el futuro (forward) mejora antes que la capacidad de adaptar el contexto pasado (backward). Incluso en modelos de 14B, la planificación backward es menos robusta.

B. Planificación en Pareados Rítmicos (Couplets)

Planificación Forward: Los modelos grandes (8B-14B) identifican la rima con antelación y ajustan la salida final. Existe un circuito que rastrea la información de la rima y la posición de la línea.
Falta de Planificación Backward: A diferencia de las tareas simples, los modelos rara vez planifican hacia atrás para construir un contexto que licencie la rima desde el inicio. La adaptación del contexto intermedio es débil.
Planificación Local: En modelos grandes, se observan características de "decir X" (say X features) que pueden adaptar frases cortas (ej. "in the night") para licenciar una palabra futura, pero esto es raro y sensible a la fuerza de la intervención.

C. Análisis de Circuitos "Nascientes"

Los modelos de 4B y 8B tienen circuitos de planificación incompletos. Cuando fallan, tienen menos características de planificación activas que cuando tienen éxito.
Los modelos pequeños (0.6B-1.7B) a menudo carecen de estas características activas por completo.
Esto sugiere que la falla no es solo de capacidad de cálculo, sino de la activación insuficiente de los mecanismos de planificación necesarios.

5. Significado e Implicaciones

Seguridad de la IA: El estudio demuestra que la planificación latente es un fenómeno real y medible en modelos de código abierto, y que mejora con la escala. Esto implica que a medida que los modelos crecen, podrían desarrollar capacidades de planificación más sofisticadas y difíciles de detectar, lo que aumenta los riesgos de seguridad (como la maquinación).
Interpretabilidad Mecanística: El trabajo valida el uso de transcoders y circuitos de características como una herramienta poderosa para entender no solo qué hacen los modelos, sino cómo razonan internamente.
Limitaciones Actuales: Aunque la planificación mejora, incluso los modelos más grandes (14B) muestran una planificación a largo plazo limitada. La planificación backward (adaptar el contexto pasado) es más costosa y tarda más en desarrollarse que la planificación forward.

En resumen, el artículo ofrece un marco empírico y mecanicista para medir la planificación latente, demostrando que es una habilidad emergente que escala con el tamaño del modelo, pero que aún es frágil y dependiente de la tarea específica.