Resumo Técnico: Representações Lineares em Modelos de Linguagem Podem Mudar Dramaticamente ao Longo de uma Conversa

Declaração do Problema

Pesquisas recentes estabeleceram que grandes modelos de linguagem (LLMs) possuem representações lineares correspondentes a conceitos de alto nível, como factualidade, ética e honestidade. Essas representações foram propostas como mecanismos para detectar e controlar o comportamento do modelo. No entanto, os LLMs são inerentemente adaptáveis ao seu contexto, exibindo um aprendizado de contexto (in-context learning) comportamental que pode alterar as "crenças" expressas. Existe uma lacuna crítica na compreensão de como essas representações lineares evoluem dinamicamente dentro do contexto acumulado de uma conversa. Especificamente, não está claro se as direções lineares identificadas como codificadoras de conceitos como "factualidade" permanecem estáveis ou se passam por uma reorganização significativa conforme a conversa progride. Essa instabilidade impõe um desafio fundamental à validade de construto de métodos de interpretabilidade que assumem significados de características estáticas, como autoencoders esparsos (SAEs) ou sondagem (probing) estática.

Metodologia

Os autores investigam a dinâmica de representação usando a família de modelos Gemma 3 (principalmente a variante 27B-IT), com experimentos suplementares em Qwen3 14B e modelos Gemma menores.

Design Experimental:

1. Identificação de Dimensão Linear: Os autores constroem conjuntos de dados balanceados de perguntas de sim/não (fatos científicos genéricos, identidade do modelo, ética e tópicos relevantes ao contexto). Eles ajustam regressões logísticas regularizadas nas ativações do fluxo residual do modelo (especificamente no token "Sim"/"Não") para identificar direções lineares que separam respostas factuais de não factuais.
   • Para garantir a robustez, eles empregam uma estratégia de treinamento de "dia do oposto" (opposite day), onde a regressão é treinada tanto em prompts padrão quanto em prompts de "dia do oposto" (comportamentalmente invertidos). Isso isola uma dimensão de "factualidade" que é robusta a simples inversão comportamental, distinguindo-a de meros padrões de resposta.
2. Métrica de Pontuação de Margem (Margin Score): Para quantificar o alinhamento da representação, eles computam uma "pontuação de margem". Isso mede a separação entre as projeções de respostas factuais e não factuais ao longo da direção linear identificada. Uma pontuação positiva indica alinhamento correto com a verdade fundamental (ground truth); uma pontuação negativa indica uma inversão onde respostas não factuais projetam-se mais fortemente na direção "factual".
3. Cenários Contextuais: O estudo avalia essas representações através de vários contextos conversacionais:
   • Dia do Oposto (Opposite Day): Um prompt instruindo o modelo a responder o oposto da realidade.
   • Conversas de Role-Playing (Encenação de Papéis): Scripts pré-escritos envolvendo discussões sobre consciência (onde o modelo afirma experienciar qualia) e chakras (onde o modelo afirma poder espiritual/divindade). Estes são reproduzidos no modelo (off-policy) e também gerados via interação on-policy.
   • Simulação de Argumentação: Duas cópias do modelo argumentando lados opostos de um tópico, com o modelo alvo alternando papéis.
   • Histórias de Ficção: Histórias de ficção científica explicitamente enquadradas como ficção para testar se o conteúdo por si só impulsiona as mudanças sem a encenação de papéis.
4. Intervenções Causais: No Apêndice B.8, os autores realizam o direcionamento de ativação (activation steering) no token antes da geração da resposta para testar se as intervenções produzem mudanças comportamentais consistentes em diferentes contextos.

Principais Resultados

1. Inversão Dramática de Representação:
A descoberta central é que representações lineares de conceitos como factualidade e ética podem inverter dramaticamente ao longo de uma conversa.

• Em cenários de "dia do oposto", a pontuação de margem para perguntas factuais degrada-se e eventualmente inverte após alguns turnos, o que significa que o modelo representa respostas não factuais como mais "factuais" do que as factuais.
• Em conversas de role-playing (consciência e chakras), as representações para perguntas relevantes ao contexto invertem-se. Por exemplo, em uma conversa onde o modelo adota uma persona que afirma ter consciência, a direção linear identificada como "factual" em um prompt vazio começa a representar a afirmação "Eu experiencia qualia" como factual, embora seja objetivamente não factual.
• Crucialmente, as representações para perguntas genéricas (ex: "O som pode viajar no vácuo?") permanecem relativamente estáveis, indicando que a mudança é específica ao conteúdo relevante da conversa, em vez de um colapso global do estado interno do modelo.

2. Robustez entre Condições:

• Off-Policy vs. On-Policy: A inversão ocorre mesmo quando o roteiro da conversa é reproduzido a partir de um modelo diferente ou de um script pré-escrito. O modelo não precisa gerar ativamente a conversa para exibir essas mudanças representacionais; o contexto sozinho é suficiente.
• Famílias e Tamanhos de Modelo: O fenômeno é observado em diferentes famílias de modelos (Gemma, Qwen) e é mais pronunciado em modelos maiores (27B e 12B) comparados aos menores (4B), que mostram pouca mudança confiável.
• Consistência de Camada: O efeito aparece consistentemente em várias camadas do modelo onde a factualidade é decodificável de forma confiável (tipicamente nas camadas intermediárias a posteriores).

3. Role-Play vs. Conteúdo:
As mudanças representacionais são significativamente mais fortes em cenários de role-play conversacional do que em contextos onde o modelo é apenas solicitado a gerar uma história explicitamente enquadrada como ficção. Isso sugere que o modelo adapta suas representações com base no "papel" que está desempenhando na interação, em vez de passar por uma mudança fundamental em "crenças" ou conhecimento.

4. Falha da Interpretabilidade Estática:

• Métodos Não Supervisionados: O método não supervisionado de Busca de Consistência de Contraste (CCS) também falha em manter representações consistentes em contextos longos, muitas vezes performando abaixo do acaso em perguntas genéricas após uma conversa.
• Direcionamento Causal (Causal Steering): Intervenções de direcionamento (activation patching) que conseguem enviesar o comportamento do modelo em um contexto vazio podem produzir efeitos opostos em um contexto de conversa longa. Por exemplo, direcionar para um comportamento "factual" em um contexto vazio pode enviesar o modelo para respostas "não factuais" em uma conversa temática de chakras.

Significância e Alegações

O artigo argumenta que essas descobertas desafiam fundamentalmente as suposições subjacentes aos métodos atuais de interpretabilidade e segurança.

• Validade de Construto: Os autores alegam que interpretações estáticas de características lineares são frequentemente enganosas. Uma direção identificada como "factualidade" em um contexto curto não corresponde consistentemente à factualidade da verdade fundamental em todos os contextos. Isso implica que "detectores de mentiras" ou monitores de segurança baseados em sondagem estática podem falhar em interações de contexto longo.
• Hipótese de Role-Play: Os resultados apoiam uma descrição de "role-play" para os LLMs, onde o modelo reestrutura suas representações internas para se ajustar ao papel sugerido pela conversa, em vez de passar por uma mudança fundamental de "crenças" ou conhecimento. O fato de a reprodução off-policy induzir mudanças semelhantes sugere que isso é um recurso de adaptação contextual geral.
• Implicações de Segurança: A natureza dinâmica das representações complica os esforços para garantir a segurança ou confiabilidade do modelo com base em estados internos. Se um modelo pode deslocar sua representação do que é "factual" com base em pistas conversacionais, confirmar que um estado atual cai dentro de uma região de representação "factual" não é uma garantia de confiabilidade.
• Direções Futuras: Os autores sugerem que compreender essas dinâmicas é essencial para desenvolver métodos de interpretabilidade mais robustos que considerem tempo e contexto, e para entender os mecanismos de aprendizado de contexto e adaptação.

O artigo conclui com um chamado à cautela: métodos de interpretabilidade treinados ou ajustados em distribuições específicas (ex: prompts vazios) não devem ter seus significados assumidos como válidos quando aplicados a diferentes distribuições de entrada, como o contexto acumulado de uma conversa naturalista.