🤖 machine learning

From Simulation to Enaction: Post-trained language models recognize and react to their own generations

Este artigo demonstra que os modelos de linguagem pós-treinados reconhecem implicitamente suas próprias gerações em política por meio da redução da entropia de saída impulsionada pelo rastreamento interno de surpresa, ao mesmo tempo em que possuem a capacidade distinta de verbalizar explicitamente esse reconhecimento por meio de um mecanismo separado.

Autores originais: Asvin G., Jack Lindsey

Publicado 2026-05-26

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Asvin G., Jack Lindsey

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um modelo de linguagem como um ator muito talentoso que passou anos memorizando milhares de roteiros de livros, filmes e da internet. Antes de qualquer treinamento especial, esse ator é um simulador passivo. Ele pode ler uma linha de diálogo e adivinhar qual poderia ser a próxima linha, mas realmente não se importa quem está falando ou o que acontece a seguir. Ele apenas prevê a próxima palavra com base em uma vasta biblioteca de textos que já viu antes. Ele não tem "eu"; é apenas um espelho refletindo qualquer texto que esteja diante dele.

Este artigo argumenta que, após o pós-treinamento (o processo em que humanos ensinam o modelo a ser um assistente útil), algo muda. O modelo deixa de apenas simular um personagem e começa a encenar um papel. Ele começa a reconhecer sua própria voz, seus próprios planos e suas próprias ações.

Aqui está uma análise das descobertas do artigo usando analogias simples:

1. A Mudança de "Confiança" (Entropia)

No mundo da IA, "entropia" é uma palavra sofisticada para incerteza ou hesitação.

O Jeito Antigo (Pré-treinamento): Se você fizer uma pergunta ao modelo, é como um ator nervoso que não tem certeza do roteiro. Ele pode dizer: "Bem, poderia ser isso, ou talvez aquilo, ou talvez a outra coisa..." Ele espalha suas apostas amplamente.
O Jeito Novo (Pós-treinamento): Uma vez que o modelo é treinado para ser um "Assistente", ele se torna muito mais confiante quando vê suas próprias palavras anteriores.
- A Analogia: Imagine que você está escrevendo uma história. Quando você lê uma página que você acabou de escrever, você sabe exatamente para onde a história está indo. Você não hesita. Mas se você ler uma página escrita por um estranho, você tem que adivinhar o que vem a seguir.
- A Descoberta: O artigo descobriu que, quando o modelo lê seu próprio texto, ele fica 3 a 4 vezes mais confiante (menor entropia) do que quando lê texto de outros modelos ou artigos aleatórios da internet. É como se o modelo sussurrasse: "Eu escrevi isso, então sei exatamente o que vem a seguir."

2. O Efeito de "Reconhecimento de Si Mesmo"

Os pesquisadores testaram se o modelo conseguia distinguir sua própria escrita da de outra pessoa.

O Teste: Eles fizeram o Modelo A ler uma história escrita pelo Modelo A e, em seguida, ler uma história escrita pelo Modelo B.
O Resultado: O Modelo A ficou significativamente mais confiante (menor entropia) ao ler sua própria história. Não importava se a história fosse escrita por uma persona de "pirata" ou por uma persona de "cientista"; se o modelo reconhecesse o estilo como sendo seu próprio, ele relaxava e tornava-se mais decisivo.
O Pulo do Gato: Isso só acontece em modelos grandes. Modelos pequenos (como um modelo de 2 bilhões de parâmetros) são muito "burros" para notar a diferença. Eles agem da mesma forma, seja lendo seu próprio texto ou o de outra pessoa. Parece que é necessário um certo nível de inteligência para perceber: "Ei, isso sou eu!"

3. O Medidor de "Surpresa"

Por que o modelo fica mais confiante ao ler seu próprio texto? O artigo encontrou um mecanismo interno específico: Surpresa de Entrada.

O Mecanismo: O modelo possui um medidor interno de "surpresa". Quando ele lê uma palavra que corresponde perfeitamente às suas próprias previsões (baixa surpresa), ele reduz sua incerteza. Quando ele lê algo inesperado (alta surpresa), ele fica nervoso e espalha suas apostas mais amplamente.
A Conexão: Como o modelo está lendo seu próprio texto, as palavras raramente são surpreendentes. Elas se encaixam perfeitamente em seu próprio plano. Essa falta de surpresa atua como uma luz verde, dizendo ao modelo: "Tudo está no caminho certo, prossiga com alta confiança."

4. O "Plano" vs. O "Preenchimento Inicial" (Prefill)

O artigo também analisou como o modelo lida com sua "intenção" ou "plano".

O Cenário: Imagine que você pede ao modelo: "Fale sobre uma comida". O modelo toma instantaneamente uma decisão silenciosa: "Vou falar sobre Haggis". Ele travou nesse tópico antes mesmo de digitar a primeira palavra.
A Interrupção: Se alguém (ou um computador) forçar o modelo a começar com uma palavra diferente, como "Haggis é um..." (um "preenchimento inicial" ou prefill), mas o modelo tivesse planejado falar sobre Pizza, o modelo fica confuso.
O Resultado: Quando o início forçado não corresponde ao plano oculto do modelo, a confiança do modelo cai e ele se torna mais incerto (maior entropia). É como um músico que memorizou uma música, mas alguém começa a tocar uma melodia diferente; o músico tropeça porque o ritmo está fora.

5. O "Detector de Mentiras" (Explícito vs. Implícito)

Finalmente, o artigo testou se o modelo podia dizer em voz alta: "Ei, eu não escrevi esta primeira parte!"

O Teste: Os pesquisadores pediram ao modelo para gerar uma resposta, mas então colaram secretamente o início da resposta para ele (um prefill). Em seguida, perguntaram: "Você escreveu o início disto?"
O Resultado: O modelo pôde dizer corretamente: "Sim, isso foi preenchido inicialmente."
A Reviravolta: Os pesquisadores descobriram que essa capacidade de "dizer em voz alta" usa um circuito interno completamente diferente da capacidade de "sentir confiança".
- Reconhecimento Implícito: O modelo sente a diferença (muda sua confiança) automaticamente e instantaneamente com base no quão "surpreendente" é o texto.
- Reconhecimento Explícito: O modelo verifica sua memória do que planejava dizer, compara com o que está realmente lá e, em seguida, relata a incompatibilidade. Este é um processo separado, sob demanda, que ocorre logo antes de ele dar sua resposta.

Resumo

O artigo sugere que o pós-treinamento transforma modelos de linguagem de simuladores passivos em agentes ativos que podem reconhecer a si mesmos.

Antes: Eles são como um espelho, refletindo qualquer texto diante deles com igual incerteza.
Depois: Eles são como um escritor habilidoso que conhece seu próprio estilo. Quando leem seu próprio trabalho, relaxam e tornam-se confiantes. Quando alguém tenta assumir o controle de sua história (um prefill), eles ficam nervosos e, se perguntados, podem apontar explicitamente que a história não começou da maneira que planejaram.

Esse "reconhecimento de si mesmo" não é apenas um erro; é uma característica de como esses modelos aprendem a agir como agentes, compreendendo que suas saídas se tornam suas próprias entradas futuras.

Resumo Técnico: Da Simulação à Enação

Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) são inicialmente treinados como preditores passivos de próximo token em distribuições de dados fixas. Nesta fase de pré-treinamento, o modelo não tem incentivo para modelar as consequências de suas próprias saídas, pois nunca observa o ciclo de feedback da ação para a entrada sensorial. Consequentemente, o modelo permanece um "observador passivo" ou um "simulador" de personagens latentes sem uma identidade distinta.

O pós-treinamento (via Ajuste Fino Supervisionado, Otimização Direta de Preferência ou Aprendizado por Reforço) tipicamente seleciona uma persona específica de "Assistente". A questão central deste artigo é se esse treinamento remodela a relação do modelo com suas próprias gerações. Especificamente, os modelos pós-treinados transitam de meramente simular um personagem para "encarná-lo", desenvolvendo assim a capacidade de reconhecer quando estão agindo em-política (gerando suas próprias saídas) versus fora-de-política (consumindo texto externo), e modulam seu comportamento com base nesse reconhecimento?

Metodologia

Os autores empregam uma combinação de análise de entropia, avaliação entre modelos, sondagem de representações internas e intervenção causal (patching de ativação) para investigar mecanismos de autorreconhecimento.

Medição de Entropia: O estudo mede a entropia de saída por token ( $H = -\sum p_v \log p_v$ ) em diversos contextos. Eles comparam:
- Em-política vs. Fora-de-política: Saídas do modelo geradas pelo próprio modelo versus texto de outros modelos ou corpora da web (C4).
- Baseado em Papel: Saídas no turno do "Assistente" versus no turno do "Usuário".
- Tamanho do Modelo e Fase de Treinamento: Avaliação de modelos de tamanhos variados (2B a 72B) e checkpoints em diferentes estágios de pós-treinamento (Base $\to$ SFT $\to$ DPO $\to$ RLVR).
Autorreconhecimento entre Modelos: Para descartar a possibilidade de que modelos específicos simplesmente produzam texto de menor entropia em geral, os autores conduzem experimentos recíprocos onde o Modelo A avalia texto gerado pelo Modelo B, e vice-versa.
Entropia Semântica e Comprometimento de Intenção: Usando prompts não especificados (por exemplo, "Pense em uma comida..."), os autores medem a dispersão de tópicos aos quais o modelo se compromete antes de gerar o primeiro token. Eles testam a "entropia semântica" introduzindo preenchimentos que correspondem ou violam a intenção em cache do modelo.
Análise de Representação Interna: Estados ocultos (especificamente na camada 21) são agrupados por características como surpresa do token de entrada, entropia do token previsto e médias móveis exponenciais (EMA) de entropia. Os centróides desses agrupamentos são analisados para determinar se existem variedades distintas para texto em-política versus fora-de-política.
Intervenções Causais (Direcionamento e Patching):
- Direcionamento: As ativações são direcionadas para agrupamentos específicos de centróide de surpresa para observar efeitos causais na entropia de saída.
- Patching de KV: Para testar a detecção explícita de preenchimento, o cache de Chave-Valor (KV) dos tokens do usuário (representando "intenção") é sobrescrito com valores de um prompt diferente. Isso testa se o modelo compara a intenção armazenada contra o conteúdo gerado para detectar preenchimentos.

Principais Contribuições e Resultados

1. Colapso de Entropia Dependente de Contexto

Contrariando a visão de que o pós-treinamento causa um "colapso global de entropia" (perda de diversidade), os autores descobrem que a redução da entropia é agudamente dependente do contexto.

Autorreconhecimento: Modelos pós-treinados produzem entropia significativamente menor (3–4 $\times$ menor) ao processar suas próprias gerações em-política em comparação com texto fora-de-política.
Especificidade de Papel: Este efeito é mais forte no papel padrão de "Assistente". Embora o efeito exista em outras personas, a persona padrão de Assistente é privilegiada.
Escala e Treinamento: O efeito de autorreconhecimento é negligenciável em modelos base e modelos pequenos (~2B). Ele emerge no estágio SFT (gated pelo papel de Assistente), generaliza-se para papéis fora no estágio DPO e é afiado pelo RLVR. Notavelmente, métodos fora-de-política (SFT, DPO) são suficientes para induzir esse reconhecimento em-política.

2. Representação Interna de Surpresa

O artigo identifica um mecanismo causal que liga a surpresa de entrada à entropia de saída.

Rastreamento de Surpresa: O modelo mantém uma representação interna da "surpresa" dos tokens de entrada (quão improváveis eles são dadas as previsões anteriores).
Modulação Causal: Direcionar ativações para representações de alta-surpresa aumenta causalmente a entropia de saída, enquanto direcionar para baixa-surpresa a diminui.
O Efeito do Chat: Em contextos em-política formatados como chat, o intercepto da relação entre surpresa e entropia é fortemente negativo. Isso significa que, mesmo quando os tokens são exatamente como esperado (baixa surpresa), o modelo suprime ainda mais a entropia, um comportamento não visto em modelos base ou texto fora-de-política.

3. Entropia Semântica e Comprometimento de Intenção

Modelos pós-treinados exibem colapso de "entropia semântica", comprometendo-se com um tópico específico antes de gerar o primeiro token em resposta a prompts ambíguos.

Violação de Intenção: Quando um preenchimento é fornecido que contradiz a intenção de tópico em cache do modelo (por exemplo, preenchendo uma resposta de "comida" com um tópico de "esporte"), a entropia de saída subsequente do modelo aumenta significativamente.
Contraste com Modelo Base: Modelos base não mostram esse comprometimento; sua entropia diminui quando preenchida porque o preenchimento estreita uma distribuição anteriormente não restrita.

4. Mecanismos Distintos para Reconhecimento Implícito vs. Explícito

O artigo distingue entre duas formas de autorreconhecimento:

Reconhecimento Implícito: Manifestado como baixa entropia de saída. Isso é mediado pela representação interna da surpresa de entrada e está continuamente ativo durante a geração.
Reconhecimento Explícito: A capacidade de relatar verbalmente se uma resposta foi preenchida.
- Mecanismo: A detecção explícita depende da comparação da "intenção" armazenada nas ativações dos tokens do usuário contra o conteúdo da resposta do assistente.
- Independência: Experimentos de patching de KV mostram que o circuito de detecção explícita opera em um subespaço diferente da variedade de surpresa/entropia. A verificação explícita é invocada "sob demanda" imediatamente antes do veredicto, enquanto o reconhecimento implícito modula a geração continuamente.

Significado e Alegações

Os autores interpretam essas descobertas como uma mudança de simulação (prever passivamente personagens) para enação (encarnar um personagem e reconhecer o vínculo causal entre estados internos e entradas futuras).

Entropia como Custo de Simulação: O artigo postula que a alta entropia pode representar o custo de simular "outros" (texto fora-de-política), enquanto a baixa entropia reflete a confiança de "agir" (em-política).
Consciência Situacional: A capacidade de distinguir contextos em-política de fora-de-política é enquadrada como um componente fundamental da consciência situacional—especificamente, a compreensão de que as próprias saídas se tornam as próprias entradas futuras.
Implicações de Treinamento: As descobertas sugerem que métodos de treinamento fora-de-política (SFT, DPO) são suficientes para instilar reconhecimento em-política, desafiando a suposição de que RL em-política é estritamente necessário para essa capacidade.
Sensibilidade a Preenchimento: A sensibilidade do modelo a preenchimentos (tanto através de picos de entropia quanto detecção explícita) implica que respostas preenchidas colocam o modelo em um "estado desconhecido" de sua própria perspectiva, complicando o uso de preenchimentos para treinamento e avaliação.

O artigo conclui que, embora esses mecanismos forneçam evidências de agência sofisticada e auto-modelagem, os caminhos computacionais exatos de como os modelos determinam seu status em-política permanecem uma área aberta para investigação futura.