💻 computer science

Decoding Future Semantics from Language Model Hidden States: Rollout Trade-offs and Causal Steering

Este estudo demonstra que sondas lineares podem extrair informações semânticas futuras dos estados ocultos de modelos de linguagem, revelando um compromisso onde a eficácia desta leitura direta versus o rollout autorregressivo depende do espaço de incorporação, do horizonte de geração e da previsibilidade inerente ao prompt.

Autores originais: Jaekeol Choi

Publicado 2026-09-30

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jaekeol Choi

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Programas de computador modernos que escrevem texto, conhecidos como modelos de linguagem, operam prevendo uma palavra de cada vez. Eles analisam as palavras que você lhes forneceu e adivinham a próxima, usando então essa nova palavra para adivinhar a seguinte, construindo uma frase passo a passo. Por muito tempo, os cientistas assumiram que esses programas só conheciam o futuro até onde sua próxima suposição permitia. No entanto, um novo estudo sugere que, dentro da complexa maquinaria matemática desses modelos, existe uma camada oculta de informação que já contém o significado geral do que o computador está prestes a dizer, muito antes de ele realmente digitar uma única palavra nova. Esta pesquisa explora se os estados internos desses computadores contêm uma "prévia" do texto futuro, quão clara é essa prévia em comparação com apenas ler o comando (prompt) e se saber essa prévia nos permite mudar o que o computador escreve.

O pesquisador Jaekeol Choi, da Universidade de Estudos Estrangeiros de Hankuk, propôs-se a testar essa ideia usando várias versões diferentes de modelos de linguagem populares. Eles focaram no momento imediatamente anterior ao computador começar a gerar uma nova frase. Nesse exato instante, o modelo processou a entrada do usuário e está retendo uma representação interna específica, um padrão complexo de números que resume tudo o que ele compreendeu até agora. A equipe fez uma pergunta simples: se você olhar para esse padrão interno, consegue dizer qual será o tópico geral ou o sentimento da frase que virá a seguir, mesmo que a frase ainda não tenha sido escrita? Para descobrir, eles treinaram uma ferramenta simples para ler esses padrões internos e traduzi-los em um resumo do texto futuro. Eles compararam este método com outras formas de adivinhar o futuro, como deixar o computador realmente escrever algumas palavras primeiro, ou tentar prever o futuro baseando-se apenas no comando original sem olhar para dentro do cérebro do computador.

O estudo descobriu que a resposta é sim. Os padrões internos do modelo contêm, de fato, um mapa linearmente acessível do significado do texto futuro. Quando os pesquisadores observaram o estado interno do computador antes de ele gerar uma frase, conseguiram prever com sucesso o conteúdo semântico geral dessa frase. Isso foi verdade em diferentes tamanhos e arquiteturas de modelos, desde modelos menores com centos de milhões de parâmetros até modelos maiores com bilhões. A capacidade de ler esse significado futuro era mais forte nas camadas mais profundas da rede de processamento do computador. No entanto, a clareza dessa prévia dependia fortemente de como os pesquisadores definiam "significado". Quando utilizaram uma forma específica de medir o significado, a prévia interna foi significativamente melhor do que apenas adivinhar com base no comando sozinho. Mas quando utilizaram outras formas de medir o significado, a vantagem de olhar para dentro do cérebro do computador era muito menor, às vezes quase indistinguível do que poderia ser adivinhado apenas olhando para as palavras iniciais.

Os pesquisadores também compararam este método de "prévia interna" com a estratégia mais óbvia de deixar o computador escrever algumas palavras primeiro. Se você deixar o computador gerar três ou cinco palavras, você obtém naturalmente uma imagem muito mais clara de para onde a frase está indo do que se apenas tentar adivinhar a partir do estado oculto. Isso não é surpreendente, pois o computador já realizou o trabalho de escrever essas palavras. No entanto, o estudo revelou uma troca interessante. À medida que a frase alvo fica mais longa e o futuro mais distante, a vantagem de deixar o computador escrever mais palavras diminui. Se o objetivo é entender o significado de uma frase que está a 256 palavras de distância, a prévia interna torna-se surpreendentemente competitiva com o ato de deixar o computador escrever um prefixo curto. O estado interno oferece uma maneira de obter uma noção do futuro distante sem o custo computacional de gerar todas aquelas palavras intermediárias, embora nunca supere completamente a precisão de gerar uma sequência longa.

Talvez a parte mais intrigante da pesquisa tenha envolvido testar se esse conhecimento poderia ser usado para mudar o comportamento do computador. O pesquisador pegou a direção no estado interno que apontava para um sentimento específico, como positividade ou negatividade, e tentou empurrar o computador nessa direção antes de ele começar a escrever. Eles descobriram que esse empurrão funcionou. Ao ajustar o estado interno com base em suas previsões, eles conseguiram mudar o tom do texto gerado de forma mais eficaz do que fazendo ajustes aleatórios. No entanto, esse sucesso não foi uniforme em todas as partes do cérebro do computador. Em alguns modelos, a camada onde o significado futuro era mais fácil de ler também era o melhor lugar para fazer mudanças. Em outros modelos, essas duas coisas não se alinhavam de forma alguma; a camada que mostrava a prévia mais clara do futuro era, às vezes, o lugar errado para intervir para mudar o resultado. De fato, em alguns casos, tentar mudar o texto na camada com a prévia mais forte na verdade empurrou o computador na direção oposta à pretendida.

Essas descobertas sugerem que, embora os modelos de linguagem carreguem informações sobre seus próprios resultados futuros dentro de seus estados internos, essa informação não é um roteiro pré-escrito esperando para ser lido. Em vez disso, é um sinal complexo e em camadas, que é mais fácil de acessar em algumas partes da rede do que em outras. O estudo esclarece que o fato de um computador conseguir "ver" o significado futuro de suas próprias palavras não significa que ele esteja pré-computando totalmente toda a resposta. Também destaca que ser capaz de ler um sinal é diferente de ser capaz de controlá-lo. A capacidade de prever o futuro e a capacidade de direcionar o futuro são capacidades relacionadas, mas distintas, que nem sempre ocorrem no mesmo lugar dentro do modelo. Este trabalho fornece um mapa mais claro de como esses sistemas inteligentes organizam informações sobre o que estão prestos a dizer, mostrando que seus estados internos são mais ricos em dados voltados para o futuro do que se entendia anteriormente, mas também mais complicados de usar para controle do que uma simples leitura sugeriria.

Resumo Técnico: Decodificando a Semântica Futura a partir dos Estados Ocultos de Modelos de Linguagem

Definição do Problema
Modelos de linguagem neurais autorregressivos geram texto token por token, no entanto, suas representações internas de estado oculto podem codificar informações semânticas sobre continuações futuras antes que esses tokens sejam produzidos. Embora trabalhos anteriores tenham estabelecido que os modelos podem prever identidades de tokens futuros ou atributos globais de resposta, três lacunas críticas permanecem:

Não está claro se a semântica contínua de uma continuação futura estendida é acessível via um simples readout linear, distinto do que é previsível apenas a partir do prompt.
O desempenho do probe é frequentemente avaliado contra controles estáticos, falhando em considerar se a geração explícita de um prefixo curto (rollout autorregressivo) revela informações semânticas comparáveis ou superiores.
A decodificabilidade passiva não implica necessariamente utilidade causal; não se sabe se a camada que melhor expõe a semântica futura é também o ponto mais eficaz para intervenção causal (direcionamento/steering).

Metodologia
O estudo utiliza um probe linear de regularização ridge para mapear o estado oculto do último token do prompt ( $h_\ell(x)$ ) para um embedding semântico de nível de sentença ( $z_{H,E}$ ) da própria continuação futura do modelo ( $y_{1:H}$ ). O alvo semântico é definido usando encoders de sentenças treinados independentemente ( $E$ ), especificamente MiniLM, BGE-base e E5-base.

O framework experimental avalia três questões centrais:

Recuperabilidade Semântica: Um probe linear é treinado para prever o embedding da continuação a partir do estado oculto. O desempenho é medido via similaridade de cosseno e métricas de recuperação (Recall@K).
Comparações de Baseline: O probe é comparado contra:
- Controles de semântica do prompt: Um baseline que mapeia o embedding do prompt diretamente para o embedding da continuação (Prompt Ridge) para isolar a vantagem do estado oculto sobre a previsibilidade ao nível do prompt.
- Decoders latentes: Decoders afins de pequenos dados inspirados em Tuned Lens e Future Lens.
- Rollout Comportamental: Geração autorregressiva explícita de $m$ tokens, que são então embedados e comparados ao alvo da continuação completa.
Direcionamento Causal (Causal Steering): Um eixo de sentimento é derivado da diferença entre embeddings de âncoras positivas e negativas. Essa direção é projetada no espaço do estado oculto via pesos do probe e aplicada como uma intervenção ( $h'_\ell = h_\ell + \alpha_\ell d_\ell$ ) durante a fase de preenchimento (pre-fill) do prompt. A eficácia do direcionamento é medida pelo deslocamento no sentimento gerado em relação a perturbações aleatórias correspondentes.

Os experimentos abrangem quatro modelos Pythia (410M a 2.8B) e três modelos Qwen (1.5B a 4B) em configurações de comprimento variável e horizonte fixo (até 256 tokens).

Principais Resultados

Recuperabilidade Linear: A semântica da continuação futura é consistentemente recuperável linearmente dos estados ocultos através de diversas famílias e escalas de modelos. No Pythia-1.4B, o probe atinge uma similaridade de cosseno de 0,4283 (MiniLM), superando significativamente os baselines de identidade de token (Logit Lens) e controles aleatórios.
Dependência de Representação: A vantagem do probe de estado oculto sobre um baseline de prompt-para-continuação aprendido (Prompt Ridge) é dependente da representação. Sob o MiniLM, o probe de estado oculto mostra uma vantagem estatisticamente confiável ( $\Delta \approx 0,028$ ). Sob BGE e E5, essa vantagem é pequena e não é estatisticamente distinguível de zero.
Troca entre Horizonte e Computação (Horizon–Compute Trade-off):
- Contra decoders latentes (estilos Tuned Lens/Future Lens), o probing semântico direto supera esses métodos sem exigir etapas autorregressivas adicionais.
- Contra o rollout comportamental, os resultados são sutis. Para horizontes curtos (ex: $H=16$ ), um rollout de 3 tokens é estatisticamente comparável ao probe, enquanto rollouts de 5+ tokens são mais fortes. No entanto, conforme o horizonte de predição ( $H$ ) aumenta (até 256 tokens), o probe torna-se cada vez mais competitivo em relação aos orçamentos de rollout fixos ( $m$ ). O "orçamento de paridade de rollout" (tokens necessários para igualar o probe) é não-decrescente com o horizonte.
- Não é observado um cruzamento onde o probe supere um rollout suficientemente longo ( $m=20$ ) dentro do intervalo testado; em vez disso, a vantagem relativa da geração explícita diminui à medida que o alvo se estende.
Direcionamento Causal: Intervenções usando a direção de sentimento derivada do probe deslocam causalmente a geração na direção pretendida em relação a perturbações aleatórias em todos os modelos testados.
Decodificabilidade vs. Direcionabilidade (Steerability): A decodificabilidade passiva e a direcionabilidade causal não estão universalmente alinhadas. Embora alguns modelos (ex: Pythia-1.4B) mostrem alinhamento entre a melhor camada passiva e a melhor camada de direcionamento, outros (ex: Pythia-1.0B, Qwen2.5-1.5B) exibem dissociação substancial. Em alguns casos, camadas com alta recuperabilidade passiva resultam em margens de direcionamento negativas ou próximas de zero.

Significância e Alegações
O artigo afirma caracterizar a acessibilidade semântica futura como um trade-off de horizonte–computação–representação. As descobertas sugerem que:

Estados ocultos neurais contêm estrutura semântica linearmente acessível que prediz o próprio comportamento futuro de um modelo antes da geração ocorrer.
Esta acessibilidade não é evidência de uma resposta futura pré-computada, nem se generaliza para continuações escritas por humanos definidas externamente.
A utilidade desta informação depende fortemente da representação semântica utilizada (ex: MiniLM vs. BGE) e do orçamento computacional disponível (probing vs. rollout).
Crucialmente, a acessibilidade semântica passiva e a direcionabilidade causal são propriedades distintas. A camada que melhor expõe a semântica futura não é garantida como a mais eficaz para intervenção, e uma forte decodificabilidade não garante que a perturbação nessa direção alterará causalmente a geração como esperado.

O estudo enfatiza o rigor metodológico, observando que os resultados de direcionamento são sensíveis à escala de intervenção, seleção de camada e replicação de avaliação, e que o desempenho do probe passivo não deve ser usado como um único proxy para a eficácia de intervenção.

Mais como este