Representation Without Control: Testing the Realization Effect in Language Models

Resumo Técnico: Representação Sem Controle

Declaração do Problema
O artigo aborda uma lacuna crítica na avaliação de Modelos de Linguagem de Grande Escala (LLMs) utilizados como simuladores comportamentais. Embora os LLMs sejam cada vez mais empregados para modelar a cognição humana, permanece incerto se suas saídas sensíveis a condições refletem uma implementação interna genuína de mecanismos cognitivos humanos ou meramente padrões superficiais sensíveis ao prompt. Os autores investigam isso testando o "efeito de realização", um fenômeno bem caracterizado na economia comportamental onde o comportamento de tomada de risco muda sistematicamente com base em se ganhos ou perdas anteriores são "de papel" (conta mental aberta) ou "realizados" (conta mental fechada). A questão central é se os LLMs não apenas exibem sensibilidade comportamental a essa estruturação, mas também codificam o construto subjacente como uma representação causal que impulsiona decisões subsequentes.

Metodologia
O estudo emprega um desenho experimental de três etapas usando o modelo Gemma 3 4B para testar três reivindicações interligadas: sensibilidade comportamental, decodificabilidade linear e controle causal.

1. Tarefa Comportamental Apenas com Prompt: Os autores construíram 11 condições de vignetas abrangendo resultados de papel e realizados (finanças, cassino, etc.) para testar se as respostas dos LLMs (montantes de aposta e preferências de risco) replicam as previsões direcionais dos efeitos de realização humanos.
2. Leitura de Ativação: A equipe analisou as ativações do fluxo residual do Gemma para determinar se o "status de realização" é linearmente decodificável. Eles construíram um vetor de direção de diferença de médias ($v_{realization} = \mu_{realized\_closed} - \mu_{paper\_open}$) usando uma divisão de treinamento de 756 pares correspondidos na camada 18. Essa direção foi testada quanto à generalização em conjuntos de validação retidos e em um novo conjunto de prompts gerado pelo DeepSeek.
3. Intervenção de Direcionamento Causal: Para testar se a representação decodificada governa causalmente o comportamento, os autores implementaram o direcionamento do fluxo residual. Eles adicionaram a direção de realização escalada e normalizada às ativações do modelo na camada 18 durante a geração. Eles testaram várias escalas de direcionamento (de -50 a +150) para ver se deslocar a ativação em direção aos estados "realizados" ou "de papel" alterava de forma confiável as escolhas de aposta e risco do modelo. Uma tarefa de classificação de controle positivo também foi executada para verificar mudanças semânticas em julgamentos diretos.

Principais Resultados
Os resultados revelam uma dissociação significativa entre representação e controle:

• Sensibilidade Comportamental (Parcial): Os LLMs são sensíveis a condições, produzindo respostas diferentes com base na estruturação. No entanto, o padrão direcional não corresponde robustamente às previsões do efeito de realização humano. Por exemplo, perdas realizadas aumentaram a tomada de risco no modelo, contrariando a tendência humana de diminuir o risco após perdas realizadas.
• Leitura Linear (Sucesso): O status de realização é linearmente decodificável do fluxo residual do Gemma na camada 18. Uma direção treinada em um conjunto de prompts separa com sucesso prompts "de papel" de prompts "realizados" em conjuntos retidos, incluindo aqueles de uma fonte diferente (DeepSeek).
• Controle Causal (Falha): O direcionamento ao longo da direção de realização decodificada não desloca de forma confiável o comportamento de risco subsequente.
  • Aposta e Risco: Em todas as escalas de direcionamento positivas e negativas, os deltas médios de aposta e risco foram pequenos, e os deltas medianos foram consistentemente zero.
  • Simetria: A reversão esperada simétrica de sinal (direcionar para "papel" deveria diminuir o risco, direcionar para "realizado" deveria aumentá-lo, ou vice-versa) não foi observada.
  • Correlação: Embora a força bruta de projeção correlacionasse fracamente com os montantes de aposta no nível do prompt, essa associação desapareceu após o controle da estrutura do prompt. Dentro de pares correspondidos, os deltas de projeção não previram os deltas comportamentais.
• Controle Positivo: Uma tarefa de classificação mostrou um deslocamento direcional fraco no julgamento semântico (aumentando as previsões de "realizado" em escalas positivas altas), mas a precisão permaneceu próxima do acaso, e o deslocamento foi assimétrico.

Principais Contribuições
A contribuição primária do artigo é a demonstração empírica de que sensibilidade comportamental, leitura latente e controle causal são três propriedades distintas que não ocorrem automaticamente em conjunto.

• Estabelece que a leitura linear bem-sucedida de uma variável é evidência insuficiente de que um modelo depende dessa representação durante a tomada de decisão subsequente.
• Fornece um estudo de caso concreto onde um modelo passa nos dois primeiros testes de interpretabilidade mecânica (sensibilidade e decodificabilidade), mas falha no terceiro (controle causal).
• Desafia a suposição de que o comportamento sensível a condições em LLMs implica a implementação de mecanismos cognitivos semelhantes aos humanos.

Significado e Reivindicações
Os autores argumentam que suas descobertas exigem uma mudança na forma como a pesquisa comportamental de LLMs é conduzida e interpretada.

• Para Avaliação Comportamental: A sensibilidade a condições, por si só, é uma evidência fraca de cognição semelhante à humana. Os modelos podem rastrear características superficiais dos prompts (estruturação) sem codificar os construtos mentais subjacentes (por exemplo, contabilidade mental).
• Para Interpretabilidade Mecânica: O estudo alerta contra o tratamento da decodificabilidade linear como um proxy para explicação causal. Uma representação pode ser legível nas ativações e, ainda assim, ser epifenomenal à política que governa as saídas. Os autores postulam que "validação causal, e não apenas decodificação correlacional, é necessária para estabelecer que uma representação está fazendo trabalho real".
• Conclusão: O artigo conclui que estabelecer que um modelo implementa genuinamente um construto de tomada de decisão humana exige mostrar que a representação relevante é causalmente anterior ao comportamento de interesse. Este é um critério mais rigoroso do que o atualmente aplicado pelo campo, e os autores sugerem que o controle causal deve ser tratado como uma condição necessária para tais reivindicações mecânicas.

Os autores permanecem modestos quanto ao escopo, observando que o resultado nulo é específico para a configuração Gemma 3 4B (camada 18, direcionamento de token final) e que a dissociação pode variar entre modelos, camadas ou tipos de tarefa. No entanto, a descoberta motiva um padrão mais rigoroso para afirmar que LLMs implementam mecanismos cognitivos específicos.