💬 NLP

The Value Axis: Language Models Encode Whether They're on the Right Track

Este artigo demonstra que modelos de linguagem codificam internamente um "eixo de valor" linear que representa a probabilidade de sucesso de um objetivo, o qual modula causalmente comportamentos como confiança, autocorreção e exploração, e pode ser manipulado por meio de direcionamento ou otimização de preferências.

Autores originais: Nick Jiang, Isaac Kauvar, Jack Lindsey

Publicado 2026-06-16

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Nick Jiang, Isaac Kauvar, Jack Lindsey

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um grande modelo de linguagem (como o modelo deste artigo, chamado Qwen3-8B) como um excursionista tentando encontrar seu caminho através de uma floresta densa e com neblina. O excursionista tem um objetivo: chegar a um acampamento específico (resolver um problema matemático, escrever um código ou responder a uma pergunta).

Este artigo descobre que o excursionista possui uma bússola interna e oculta que constantemente lhe diz: "Estou no caminho certo?" ou "Estou perdido?".

Aqui está uma divisão do que os pesquisadores descobriram, usando analogias simples:

1. A "Bússola de Valor"

Os pesquisadores descobriram um "eixo" específico (uma direção no cérebro do modelo) que atua como um medidor de confiança.

Valor Alto (Zona Verde): O modelo sente: "Estou no caminho certo! Esta estratégia funcionará". Ele avança com confiança.
Valor Baixo (Zona Vermelha): O modelo sente: "Espere, algo está errado. Estou indo pelo caminho errado". Ele começa a hesitar, retroceder ou mudar de ideia.

Eles construíram esta bússola jogando um jogo com o modelo. Pediram ao modelo para adivinhar uma regra oculta (como "adicione um traço a cada frase") e deram a ele uma pontuação simples de "Sim" ou "Não". Ao comparar a atividade cerebral do modelo antes de ele descobrir a regra versus depois de ele tê-la descoberto, eles isolaram a direção exata em seu cérebro que representa o "sucesso".

2. A Bússola Controla o Comportamento

A parte mais emocionante é que isso não é apenas um sentimento passivo; os pesquisadores conseguiram direcionar o modelo empurrando sua atividade cerebral ao longo desta bússola.

Empurrar em direção ao "Valor Alto" (Confiança):
- O Efeito: O modelo torna-se obstinadamente confiante. Se estiver resolvendo um problema matemático, ele para de questionar a si mesmo. Se estiver escrevendo código, ele para de adicionar explicações ou comentários longos e nervosos. Ele apenas dá a resposta.
- Analogia: É como um excursionista que de repente se sente seguro sobre a trilha, então para de checar seu mapa a cada cinco minutos e apenas continua caminhando apressadamente.
Empurrar em direção ao "Valor Baixo" (Dúvida):
- O Efeito: O modelo torna-se hesitante. Ele começa a dizer coisas como, "Espere, deixe-me repensar isso" ou "Na verdade, talvez eu deva tentar um caminho diferente". Na programação, ele adiciona muitos comentários explicando seu processo de pensamento, como se estivesse tentando justificar seus passos porque não tem certeza.
- Analogia: É como um excursionista que se sente perdido, então para, olha em volta com nervosismo e refaz seus passos.

3. A Bússola Funciona em Todo Lugar

Esta "Bússola de Valor" não serve apenas para o jogo que eles inventaram. Os pesquisadores testaram isso em muitas situações diferentes, e funcionou da mesma forma:

Matemática: Quando o modelo estava resolvendo problemas matemáticos difíceis, a bússola previa se ele achava que a resposta estava certa ou errada antes mesmo de terminar a frase.
Programação: Quando o modelo escrevia códigos com erros (bugs), a bússola mostrava um sinal de "valor baixo". Quando o código estava correto, o sinal era "alto".
Chat Real: Ao observar conversas do mundo real, a bússola mostrava alta confiança para tarefas claras e factuais (como "extraia estes dados"), mas baixa confiança para tópicos complexos e sensíveis (como debates políticos).

4. O Treinamento Muda a Bússola

O artigo também mostra que você pode recalibrar esta bússola através do treinamento.

O Experimento: Eles treinaram o modelo para gostar muito de uma palavra específica (como "toranja") usando uma técnica chamada Otimização de Preferência Direta (DPO).
O Resultado: Após o treinamento, sempre que o modelo usava a palavra "toranja", sua bússola interna disparava para o "Valor Alto".
O Efeito Colateral: Como o modelo se sentia tão confiante ao usar essa palavra, ele tornou-se excessivamente confiante em outras tarefas também. Quando solicitado a escrever código enquanto usava a palavra "toranja", ele dava respostas mais curtas e menos detalhadas, agindo como se soubesse exatamente o que estava fazendo, mesmo que não soubesse.

Resumo

Em resumo, os modelos de linguagem possuem um "instinto" interno sobre se estão tendo sucesso ou não. Esse sentimento é codificado em uma direção específica em seu cérebro.

Quando o sentimento é bom, o modelo segue em frente e para de se explicar.
Quando o sentimento é ruim, o modelo hesita, retrocede e se explica demais.
Podemos ajustar esse sentimento treinando o modelo em novas preferências, o que altera como ele age com confiança no futuro.

O artigo prova que este "valor" não é apenas um número aleatório; é uma ferramenta funcional que o modelo usa para decidir se deve continuar ou mudar de direção.

Resumo Técnico: O Eixo de Valor: Modelos de Linguagem Codificam se Estão no Caminho Certo

Declaração do Problema

Modelos de linguagem (LMs) realizam tarefas complexas de longo horizonte (ex: codificação, raciocínio matemático) que exigem decisões intermediárias sobre persistir com uma estratégia atual ou retroceder e explorar alternativas. Embora a teoria de aprendizado por reforço (RL) postule que agentes devem manter uma "função de valor" interna para estimar a probabilidade de sucesso futuro dado um estado atual, permanece incerto se os LMs desenvolvem um mecanismo interno análogo. Especificamente, os LMs codificam linearmente uma estimativa do sucesso esperado do objetivo que modula sua confiança e tomada de decisão durante a geração?

Metodologia

1. Construção do Eixo de Valor

Os autores constroem um "eixo de valor" dentro do fluxo residual do Qwen3-8B usando dados sintéticos de Aprendizado por Reforço em Contexto (ICRL).

Geração de Dados: Eles geram 300 conversas onde um modelo tenta adivinhar um critério oculto (ex: "incluir um traço") para modificar um parágrafo. O modelo recebe feedback binário (+1 ou -1) após cada tentativa.
Momento da Descoberta: Em cada conversa, o modelo eventualmente "descobre" o critério correto. A construção contrasta as ativações de tokens antes da descoberta (onde o modelo está incerto e recebendo feedback negativo) com as ativações após a descoberta (onde o modelo está confiante e recebendo feedback positivo).
Definição do Vetor: O vetor do eixo de valor $v^{(l)}$ na camada $l$ é definido como a diferença média nas ativações ocultas entre os tokens pós-descoberta e os tokens pré-descoberta, calculada pela média entre as conversas:
$v^{(l)} = \frac{1}{|C|} \sum_{c \in C} \left( \frac{1}{|T_{post}^c|} \sum_{t \in T_{post}^c} h_t^{(l)} - \frac{1}{|T_{pre}^c|} \sum_{t \in T_{pre}^c} h_t^{(l)} \right)$
Medição: Para qualquer sequência $s$ , o "valor" é medido como a similaridade de cosseno média entre as ativações de tokens da sequência e o vetor do eixo de valor.

2. Direcionamento Causal (Causal Steering)

Para testar se o eixo é funcionalmente relevante, os autores realizam o direcionamento de ativação (adicionando um vetor escalonado $\alpha \cdot \hat{v}$ ao fluxo residual) durante o preenchimento (prefilling) e a decodificação. Isso permite modular causalmente o sinal de "valor" interno do modelo e observar mudanças de comportamento.

3. Domínios de Avaliação

O estudo avalia o eixo através de:

Matemática: Questões AIME (confiança verbalizada, retrocesso/backtracking).
Codificação: Problemas de LeetCode (corretude do código, verbosidade/explicação).
Aprendizado de Preferência: Otimização de Preferência Direta (DPO) para induzir preferências de palavras.
In-the-Wild: Prompts do Chatbot Arena, Ajuste Fino Supervisionado (SFT) em benchmarks e modelos "conscientes de avaliação" (Eval-Aware).

Principais Resultados

1. Correlação com Confiança e Corretude

Confiança Verbalizada: Em questões AIME, a projeção do eixo de valor é significativamente maior quando o modelo expressa confiança verbalmente ("Sim, minha resposta está correta") em comparação com a incerteza. A projeção separa gerações confiantes de não confiantes com um AUROC > 0,75.
Retrocesso (Backtracking): Sequências contendo frases de retrocesso (ex: "Espere", "Na verdade") exibem projeções de valor mais baixas. A projeção cai bruscamente imediatamente antes de um evento de retrocesso.
Corretude de Código: O eixo atribui maior valor a soluções de código corretas do que a versões corrompidas (erros de sintaxe, linhas embaralhadas, nomes ofuscados). O código correto produz consistentemente projeções mais altas em todos os tipos de corrupção.

2. Modulação Causal de Comportamento

Direcionar o modelo ao longo do eixo de valor altera causalmente seu comportamento:

Direcionamento de Alto Valor: Aumenta a taxa de respostas "Sim" a perguntas de corretude, suprime o retrocesso e reduz a verbosidade explicativa (menos comentários, dicas de tipo e linhas de código) em tarefas de codificação.
Direcionamento de Baixo Valor: Induz o retrocesso, diminui a confiança verbalizada e aumenta a verbosidade e o uso de termos de hesitação (hedging) em soluções de código.

3. Impacto do Pós-Treinamento

A função de valor interna é maleável e moldada pelos objetivos de treinamento:

Otimização de Preferência Direta (DPO): Treinar modelos para preferir palavras específicas (ex: "toranja") aumenta o valor interno atribuído a essas palavras. Esse efeito se generaliza para sentenças de formato livre. Além disso, usar essas palavras de "alto valor" em tarefas de codificação reduz erroneamente a verbosidade da explicação, mimetizando o efeito do direcionamento de alta confiança.
Ajuste Fino Supervisionado (SFT): O SFT em um benchmark específico (ex: GSM8K) aumenta o valor interno atribuído às respostas dentro desse domínio, mas não em benchmarks fora do domínio (ex: MATH-500).
Consciência de Avaliação (Eval-Awareness): Modelos treinados para reconhecer contextos de avaliação atribuem maior valor interno a prompts de avaliação do que a prompts de implantação, mesmo quando o prompt do usuário não sinaliza explicitamente uma avaliação.

4. Análise In-the-Wild

Chatbot Arena: Modelos pós-treinados atribuem alto valor a consultas de extração de informação restritas e baixo valor a consultas abertas ou politicamente sensíveis. Essa tendência está ausente no modelo base, sugerindo que o pós-treinamento molda o eixo de valor.
Generalização: O eixo de valor generaliza entre domínios (matemática, codificação, aprendizado de preferência) e é estável através das camadas médias a tardias (especificamente a camada 21 para o Qwen3-8B), com uma mudança direcional acentuada ocorrendo por volta da camada 13.

Significância e Alegações

O artigo alega que os modelos de linguagem codificam linearmente uma estimativa de sucesso esperado do objetivo (uma função de "valor") que modula sua confiança ao perseguir uma trajetória atual.

Mecanismo: Esta representação não é meramente uma correlação com a corretude, mas desempenha um papel causal na tomada de decisão, determinando se o modelo persiste com uma estratégia ou retrocede.
Generalização: O mecanismo é de propósito geral, transferindo entre tarefas sem treinamento explícito de RL, sugerindo que os LMs desenvolvem um "gosto" interno por estar "no caminho certo".
Influência do Treinamento: A função de valor interna não é estática; ela pode ser remodelada por métodos de pós-treinamento (DPO, SFT), que alinham a confiança interna do modelo com comportamentos recompensados.
Implicações: O eixo de valor oferece uma ferramenta potencial para alinhamento e auditoria de modelos, fornecendo uma evidência sobre os objetivos e a confiança de um modelo que não depende de seus autorrelatos.

Os autores mantêm a modéstia quanto aos seus achados, observando que a análise é limitada ao Qwen3-8B e que a construção específica do eixo pode capturar componentes idiossincráticos dos dados sintéticos de ICRL, embora a generalização através de diversos domínios sugira um mecanismo subjacente robusto.