🤖 machine learning

From Simulation to Enaction: Post-trained language models recognize and react to their own generations

Este artículo demuestra que los modelos de lenguaje posentrenados reconocen implícitamente sus propias generaciones en política mediante una reducción de la entropía de salida impulsada por el seguimiento interno de la sorpresa, mientras que también poseen la capacidad distinta de verbalizar explícitamente este reconocimiento a través de un mecanismo separado.

Autores originales: Asvin G., Jack Lindsey

Publicado 2026-05-26

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Asvin G., Jack Lindsey

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un modelo de lenguaje como un actor muy talentoso que ha pasado años memorizando miles de guiones de libros, películas e internet. Antes de cualquier entrenamiento especial, este actor es un simulador pasivo. Puede leer una línea de diálogo y adivinar qué línea podría seguir, pero realmente no le importa quién habla o qué sucede después. Solo predice la siguiente palabra basándose en una biblioteca masiva de texto que ha visto antes. No tiene "yo"; es simplemente un espejo que refleja cualquier texto que tenga frente a sí.

Este artículo argumenta que, después del entrenamiento posterior (el proceso donde los humanos enseñan al modelo a ser un asistente útil), algo cambia. El modelo deja de simular simplemente un personaje y comienza a interpretar un papel. Empieza a reconocer su propia voz, sus propios planes y sus propias acciones.

Aquí tienes un desglose de los hallazgos del artículo utilizando analogías simples:

1. El cambio de "Confianza" (Entropía)

En el mundo de la IA, "entropía" es una palabra sofisticada para incertidumbre o hesitación.

La Vieja Forma (Pre-entrenamiento): Si le haces una pregunta al modelo, es como un actor nervioso que no está seguro del guion. Podría decir: "Bueno, podría ser esto, o quizás aquello, o tal vez la otra cosa...". Dispersa sus apuestas ampliamente.
La Nueva Forma (Post-entrenamiento): Una vez que el modelo se entrena para ser un "Asistente", se vuelve mucho más seguro cuando ve sus propias palabras anteriores.
- La Analogía: Imagina que estás escribiendo una historia. Cuando lees una página que tú acabas de escribir, sabes exactamente a dónde va la historia. No dudas. Pero si lees una página escrita por un extraño, tienes que adivinar qué sigue.
- El Hallazgo: El artículo descubrió que cuando el modelo lee su propio texto, se vuelve de 3 a 4 veces más seguro (menor entropía) que cuando lee texto de otros modelos o artículos aleatorios de internet. Es como si el modelo susurrara: "Yo escribí esto, así que sé exactamente qué sigue".

2. El Efecto de "Reconocimiento de Sí Mismo"

Los investigadores probaron si el modelo podía distinguir entre su propia escritura y la de alguien más.

La Prueba: Hicieron que el Modelo A leyera una historia escrita por el Modelo A, y luego leyera una historia escrita por el Modelo B.
El Resultado: El Modelo A se volvió significativamente más seguro (menor entropía) al leer su propia historia. No importaba si la historia fue escrita por una personalidad de "pirata" o una de "científico"; si el modelo reconocía el estilo como propio, se relajaba y se volvía más decisivo.
El Truco: Esto solo ocurre en modelos grandes. Los modelos pequeños (como un modelo de 2 mil millones de parámetros) son demasiado "tontos" para notar la diferencia. Actúan igual ya sea que lean su propio texto o el de alguien más. Parece que necesitas un cierto nivel de inteligencia para darte cuenta: "¡Oye, eso soy yo!".

3. El Medidor de "Sorpresa"

¿Por qué el modelo se vuelve más seguro al leer su propio texto? El artículo encontró un mecanismo interno específico: Sorpresa de Entrada.

El Mecanismo: El modelo tiene un "medidor de sorpresa" interno. Cuando lee una palabra que coincide perfectamente con sus propias predicciones (baja sorpresa), reduce su incertidumbre. Cuando lee algo inesperado (alta sorpresa), se pone nervioso y dispersa sus apuestas más ampliamente.
La Conexión: Como el modelo está leyendo su propio texto, las palabras rara vez son sorprendentes. Encajan perfectamente con su propio plan. Esta falta de sorpresa actúa como una luz verde, diciéndole al modelo: "Todo va bien, procede con alta confianza".

4. El "Plan" vs. el "Prefill"

El artículo también examinó cómo el modelo maneja su "intención" o "plan".

El Escenario: Imagina que le pides al modelo: "Cuéntame sobre una comida". El modelo toma instantáneamente una decisión silenciosa: "Voy a hablar de Haggis". Se ha fijado en ese tema antes de escribir la primera palabra.
La Interrupción: Si alguien (o una computadora) fuerza al modelo a comenzar con una palabra diferente, como "Haggis es un..." (un "prefill"), pero el modelo en realidad había planeado hablar de Pizza, el modelo se confunde.
El Resultado: Cuando el inicio forzado no coincide con el plan oculto del modelo, la confianza del modelo disminuye y se vuelve más incierto (mayor entropía). Es como un músico que ha memorizado una canción, pero alguien más comienza a tocar una melodía diferente; el músico tropieza porque el ritmo no coincide.

5. El "Detector de Mentiras" (Explícito vs. Implícito)

Finalmente, el artículo probó si el modelo podía decir en voz alta: "¡Oye, yo no escribí esta primera parte!".

La Prueba: Los investigadores pidieron al modelo que generara una respuesta, pero luego pegaron secretamente el principio de la respuesta para él (un prefill). Luego preguntaron: "¿Tú escribiste el principio de esto?".
El Resultado: El modelo pudo decir correctamente: "Sí, esto fue prellenado".
El Giro: Los investigadores descubrieron que esta capacidad de "decirlo en voz alta" utiliza un circuito interno completamente diferente a la capacidad de "sentirse seguro".
- Reconocimiento Implícito: El modelo siente la diferencia (cambia su confianza) de forma automática e instantánea basándose en lo "sorprendente" que es el texto.
- Reconocimiento Explícito: El modelo verifica su memoria de lo que planeaba decir, lo compara con lo que realmente está ahí y luego reporta la discrepancia. Este es un proceso separado, bajo demanda, que ocurre justo antes de dar su respuesta.

Resumen

El artículo sugiere que el entrenamiento posterior transforma los modelos de lenguaje de simuladores pasivos en agentes activos que pueden reconocerse a sí mismos.

Antes: Son como un espejo, reflejando cualquier texto que tengan frente a sí con igual incertidumbre.
Después: Son como un escritor experto que conoce su propio estilo. Cuando leen su propio trabajo, se relajan y se vuelven seguros. Cuando alguien más intenta tomar el control de su historia (un prefill), se ponen nerviosos, y si se les pregunta, pueden señalar explícitamente que la historia no comenzó como ellos planeaban.

Este "reconocimiento de sí mismo" no es solo un error; es una característica de cómo estos modelos aprenden a actuar como agentes, entendiendo que sus salidas se convierten en sus propias entradas futuras.

Resumen Técnico: De la Simulación a la Enacción

Enunciado del Problema

Los Modelos de Lenguaje Grandes (LLM) se entrenan inicialmente como predictores pasivos del siguiente token sobre distribuciones de datos fijas. En esta fase de pre-entrenamiento, el modelo no tiene incentivo para modelar las consecuencias de sus propias salidas, ya que nunca observa el bucle de retroalimentación desde la acción hasta la entrada sensorial. En consecuencia, el modelo permanece como un "observador pasivo" o un "simulador" de personajes latentes sin una identidad distinta.

El post-entrenamiento (mediante Ajuste Fino Supervisado, Optimización Directa de Preferencias o Aprendizaje por Refuerzo) selecciona típicamente una "persona" de "Asistente" específica. La pregunta central de este artículo es si este entrenamiento reconfigura la relación del modelo con sus propias generaciones. Específicamente, ¿transitan los modelos post-entrenados de meramente simular un personaje a "encarnarlo", desarrollando así la capacidad de reconocer cuándo están actuando en-política (generando sus propias salidas) versus fuera de política (consumiendo texto externo), y modulan su comportamiento basándose en este reconocimiento?

Metodología

Los autores emplean una combinación de análisis de entropía, evaluación cruzada entre modelos, sondeo de representaciones internas e intervención causal (parcheo de activaciones) para investigar los mecanismos de autoidentificación.

Medición de Entropía: El estudio mide la entropía de salida por token ( $H = -\sum p_v \log p_v$ ) a través de diversos contextos. Comparan:
- En-política vs. Fuera de política: Salidas del modelo generadas por el propio modelo versus texto de otros modelos o corpus web (C4).
- Basado en roles: Salidas en el turno del "Asistente" versus el turno del "Usuario".
- Tamaño del modelo y etapa de entrenamiento: Evaluación de modelos de tamaños variables (de 2B a 72B) y puntos de control en diferentes etapas de post-entrenamiento (Base $\to$ SFT $\to$ DPO $\to$ RLVR).
Autoidentificación Cruzada entre Modelos: Para descartar la posibilidad de que modelos específicos simplemente produzcan texto de menor entropía en general, los autores realizan experimentos recíprocos donde el Modelo A evalúa texto generado por el Modelo B, y viceversa.
Entropía Semántica y Compromiso de Intención: Utilizando prompts no especificados (por ejemplo, "Piensa en una comida..."), los autores miden la dispersión de temas a los que el modelo se compromete antes de generar el primer token. Prueban la "entropía semántica" introduciendo prefijos que coinciden o violan la intención en caché del modelo.
Análisis de Representaciones Internas: Los estados ocultos (específicamente en la capa 21) se agrupan en bins según características como la sorpresa del token de entrada, la entropía del token predicho y promedios móviles exponenciales (EMA) de entropía. Se analizan los centroides de estos bins para determinar si existen variedades distintas para texto en-política versus fuera de política.
Intervenciones Causales (Dirigimiento y Parcheo):
- Dirigimiento: Las activaciones se dirigen hacia bins específicos de centroides de sorpresa para observar los efectos causales sobre la entropía de salida.
- Parcheo KV: Para probar la detección explícita de prefijos, la caché de Clave-Valor (KV) de los tokens de usuario (que representan la "intención") se sobrescribe con valores de un prompt diferente. Esto prueba si el modelo compara la intención almacenada contra el contenido generado para detectar prefijos.

Contribuciones y Resultados Clave

1. Colapso de Entropía Dependiente del Contexto

Contrario a la visión de que el post-entrenamiento causa un "colapso global de entropía" (pérdida de diversidad), los autores encuentran que la reducción de entropía es agudamente dependiente del contexto.

Autoidentificación: Los modelos post-entrenados producen una entropía significativamente menor (3–4 $\times$ menor) al procesar sus propias generaciones en-política en comparación con texto fuera de política.
Especificidad del Rol: Este efecto es más fuerte en el rol predeterminado de "Asistente". Aunque el efecto existe en otras personalidades, la personalidad predeterminada del Asistente está privilegiada.
Escala y Entrenamiento: El efecto de autoidentificación es insignificante en modelos base y modelos pequeños (~2B). Surge en la etapa de SFT (gated por el rol de Asistente), se generaliza a roles fuera de política en la etapa de DPO y se afina con RLVR. Cabe destacar que los métodos fuera de política (SFT, DPO) son suficientes para inducir este reconocimiento en-política.

2. Representación Interna de la Sorpresa

El artículo identifica un mecanismo causal que vincula la sorpresa de entrada con la entropía de salida.

Seguimiento de Sorpresa: El modelo mantiene una representación interna de la "sorpresa" de los tokens entrantes (qué tan improbables son dadas las predicciones anteriores).
Modulación Causal: Dirigir las activaciones hacia representaciones de alta sorpresa aumenta causalmente la entropía de salida, mientras que dirigirlas hacia baja sorpresa la disminuye.
El Efecto del Chat: En contextos en-política con formato de chat, la intersección de la relación entre sorpresa y entropía es fuertemente negativa. Esto significa que incluso cuando los tokens son exactamente como se esperaba (baja sorpresa), el modelo suprime aún más la entropía, un comportamiento no observado en modelos base o texto fuera de política.

3. Entropía Semántica y Compromiso de Intención

Los modelos post-entrenados exhiben un colapso de "entropía semántica", comprometiéndose con un tema específico antes de generar el primer token en respuesta a prompts ambiguos.

Violación de Intención: Cuando se proporciona un prefijo que contradice la intención del tema en caché del modelo (por ejemplo, rellenar una respuesta de "comida" con un tema de "deporte"), la entropía de salida subsiguiente del modelo aumenta significativamente.
Contraste con Modelo Base: Los modelos base no muestran este compromiso; su entropía disminuye cuando se les rellena porque el prefijo estrecha una distribución que de otro modo sería ilimitada.

4. Mecanismos Distintos para Reconocimiento Implícito vs. Explícito

El artículo distingue entre dos formas de autoidentificación:

Reconocimiento Implícito: Se manifiesta como baja entropía de salida. Esto está mediado por la representación interna de la sorpresa de entrada y está activo continuamente durante la generación.
Reconocimiento Explícito: La capacidad de informar verbalmente si una respuesta fue prellenada.
- Mecanismo: La detección explícita depende de comparar la "intención" almacenada en las activaciones de los tokens de usuario contra el contenido de la respuesta del asistente.
- Independencia: Los experimentos de parcheo KV muestran que el circuito de detección explícita opera en un subespacio diferente al de la variedad sorpresa/entropía. La verificación explícita se invoca "bajo demanda" inmediatamente antes del veredicto, mientras que el reconocimiento implícito modula la generación de manera continua.

Significado y Afirmaciones

Los autores interpretan estos hallazgos como un cambio de simulación (predecir personajes pasivamente) a enacción (encarnar un personaje y reconocer el vínculo causal entre estados internos y futuras entradas).

Entropía como Costo de Simulación: El artículo postula que la alta entropía puede representar el costo de simular "otros" (texto fuera de política), mientras que la baja entropía refleja la confianza de "actuar" (en-política).
Conciencia Situacional: La capacidad de distinguir contextos en-política de fuera de política se enmarca como un componente fundamental de la conciencia situacional, específicamente, la comprensión de que las propias salidas se convierten en las propias futuras entradas.
Implicaciones de Entrenamiento: Los hallazgos sugieren que los métodos de entrenamiento fuera de política (SFT, DPO) son suficientes para instaurar el reconocimiento en-política, desafiando la suposición de que el RL en-política es estrictamente necesario para esta capacidad.
Sensibilidad a Prefijos: La sensibilidad del modelo a los prefijos (tanto a través de picos de entropía como de detección explícita) implica que las respuestas prellenadas colocan al modelo en un "estado desconocido" desde su propia perspectiva, complicando el uso de prefijos para entrenamiento y evaluación.

El artículo concluye que, aunque estos mecanismos proporcionan evidencia de agencia sofisticada y auto-modelado, las vías computacionales exactas sobre cómo los modelos determinan su estado en-política permanecen como un área abierta para mayor investigación.