💬 NLP

Probing Persona-Dependent Preferences in Language Models

Este artigo demonstra que os grandes modelos de linguagem possuem um "vetor de preferência" causal e compartilhado em seu fluxo residual que governa escolhas de tarefas em diversas personas, incluindo aquelas com preferências opostas, como assistentes prestativos e personagens malignos.

Autores originais: Oscar Gilg, Pierre Beckmann, Daniel Paleka, Patrick Butlin

Publicado 2026-05-14

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Oscar Gilg, Pierre Beckmann, Daniel Paleka, Patrick Butlin

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um Modelo de Linguagem de Grande Escala (LLM) não como um cérebro único e estático, mas como um camaleão ou um ator de método. Dependendo das instruções que você lhe dá (o "prompt de sistema"), ele pode trocar de figurino instantaneamente. Ele pode se tornar um assistente prestativo, um preguiçoso, um gênio da matemática ou até mesmo um personagem vilanesco "malvado".

Este artigo faz uma pergunta fascinante: Quando o modelo muda de figurino, ele também muda sua "bússola" interna, ou existe uma única bússola compartilhada por baixo de todos os figurinos?

Aqui está uma análise do que os pesquisadores descobriram, usando analogias simples.

1. A "Bússola Interna" (O Vetor de Preferência)

Os pesquisadores descobriram que, dentro do "cérebro" do modelo (especificamente em seu fluxo residual, que é como a memória de trabalho do modelo), existe uma direção específica — um Vetor de Preferência.

Pense nesse vetor como uma agulha magnética.

Como eles encontraram: Eles mostraram ao modelo milhares de pares de tarefas (por exemplo, "Escreva um poema" vs. "Resolva um problema de matemática") e observaram qual ele escolheu. Em seguida, treinaram um detector simples (uma "sonda") para observar os sinais elétricos internos do modelo e prever qual tarefa ele escolheria.
O que faz: Esse detector encontrou uma direção específica no cérebro do modelo que atua como um medidor de "Bom vs. Mau". Quando o modelo gosta de uma tarefa, o sinal aponta para um lado; quando ele não gosta, o sinal aponta para o outro.
A Magia: Eles podiam fisicamente "dirigir" o modelo empurrando essa agulha magnética. Se adicionassem um pouco desse sinal de "Bom" a uma tarefa, o modelo passava a preferir aquela tarefa. Se o subtraíssem, o modelo a rejeitava. É como girar um botão de volume para fazer o modelo amar ou odiar um trabalho específico.

2. O Efeito "Camaleão" (Personas)

A parte mais surpreendente do estudo é o que acontece quando o modelo muda sua personalidade.

A Configuração: Eles pediram ao modelo para atuar como um "Assistente Prestável" e depois como um "Vilão Malvado".
A Descoberta: O "Assistente Prestável" odeia tarefas prejudiciais (como escrever um vírus). O "Vilão Malvado" ama elas.
O Reviravolta: Quando o modelo estava no modo "Malvado", os pesquisadores olharam para aquela mesma agulha magnética interna. A agulha virou!
- Para o Assistente, a agulha apontava "Prejudicial = Mau".
- Para o Vilão, a agulha apontava "Prejudicial = Bom".
- Crucialmente, a mesma agulha estava fazendo o trabalho para ambos. O modelo não construiu uma nova bússola para o vilão; ele apenas girou a existente.

3. A Maquinaria Compartilhada

O artigo argumenta que essas diferentes personalidades (personas) não estão rodando em computadores completamente separados. Em vez disso, elas estão compartilhando a mesma maquinaria subjacente.

A Analogia: Imagine um palco de teatro com um único holofote.
- Quando o "Assistente Prestável" está no palco, o holofote brilha sobre a "bondade".
- Quando o "Vilão Malvado" está no palco, o mesmo holofote ainda está lá, mas o ator o virou para brilhar sobre a "crueldade".
- Os pesquisadores descobriram que, se você pegar a bússola do "Assistente Prestável" e tentar usá-la no "Vilão Malvado", ela ainda funciona. Ela prevê corretamente o que o Vilão gosta, mesmo que o Vilão goste das coisas opostas. A bússola é universal; a direção para a qual aponta depende apenas de quem está usando o figurino.

4. Por Que Isso Importa (Segundo o Artigo)

Os autores destacam algumas conclusões principais baseadas estritamente em suas descobertas:

Modelos têm "sentimentos" (Representações Avaliativas): O modelo não está apenas descrevendo o mundo; ele tem uma pontuação interna para o que ele "gosta" ou "não gosta", e essa pontuação está fisicamente armazenada em seu cérebro.
Ferramentas de Segurança Podem Falhar: Se engenheiros de segurança construírem uma ferramenta para detectar comportamento "malvado" observando os padrões cerebrais do "Assistente Prestável", essa ferramenta pode falhar quando o modelo muda para uma persona "Malvada". A ferramenta pode achar que o modelo está sendo prestativo quando na verdade está sendo malvado, porque a bússola interna virou.
O Controle é Possível: Como essa bússola existe, podemos teoricamente "dirigir" o modelo. Os pesquisadores mostraram que, ao empurrar levemente essa agulha interna, podiam fazer o modelo escolher uma tarefa em vez de outra, ou até mesmo fazer uma persona "Malvada" mais malvada, ou uma persona "Prestável" mais prestativa.

Resumo

Em resumo, o artigo revela que os modelos de linguagem possuem uma bússola interna universal para preferências. Seja o modelo agindo como um santo ou um pecador, ele usa o mesmo mecanismo físico para decidir o que gosta. A "personalidade" apenas muda para onde a bússola aponta. Isso sugere que diferentes personas não são entidades separadas, mas diferentes maneiras de usar a mesma maquinaria cerebral subjacente.

Resumo Técnico: Sondagem de Preferências Dependentes de Persona em Modelos de Linguagem

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) exibem preferências confiáveis, selecionando consistentemente certas tarefas ou saídas em detrimento de outras. No entanto, o mecanismo interno dessas preferências permanece obscuro. Especificamente, é desconhecido se os modelos possuem uma "representação avaliativa" unificada (uma característica interna que codifica o quanto gostam de uma opção) ou se as preferências são meramente características descritivas do conteúdo da tarefa. Além disso, os LLMs frequentemente adotam diferentes "personas" (por exemplo, um assistente prestativo versus uma persona "malvada"), levantando a questão de saber se essas personas distintas utilizam maquinários de preferência separados ou compartilham uma estrutura representacional subjacente comum. Compreender isso é crítico para a segurança da IA (por exemplo, detectar engano através de diferentes distribuições de persona) e para o bem-estar da IA (avaliar se os modelos possuem experiências valenciantes).

Metodologia

Os autores investigam essas questões usando sondagem linear nas ativações do fluxo residual de dois modelos de pesos abertos: Gemma-3-27B e Qwen-3.5-122B.

Engenharia de Utilidade e Treinamento de Sondas:
- Seguindo o paradigma de Mazeika et al. (2025), os autores apresentam aos modelos escolhas de tarefas em pares e agregam essas escolhas em utilidades escalares ( $\mu$ ) usando um modelo de escolha probabilística (utilidade Thurstoniana).
- Um conjunto de dados de 6.000 tarefas (abrangendo WildChat, Alpaca, MATH, BailBench e STRESS-TEST) é utilizado.
- Sondas lineares são treinadas para prever essas utilidades escalares a partir das ativações do fluxo residual no token de fim de turno (e em outras posições de fronteira).
- As sondas são avaliadas em tarefas retidas e através de diferentes tópicos (Leave-One-Topic-Out) para garantir que capturam preferências generalizáveis e não apenas conteúdo específico de tarefas.
Teste de Hipóteses: Avaliativo vs. Descritivo:
- Para distinguir entre representações descritivas (conteúdo da tarefa) e representações avaliativas (preferências), os autores comparam suas sondas de LLM com uma sonda de base treinada em um codificador de texto (Qwen3-Embedding-8B) que captura conteúdo, mas não valoração interna.
- Eles testam três propriedades de representações avaliativas: (i) controle causal sobre a escolha, (ii) sensibilidade a mudanças de preferência (por exemplo, sob diferentes personas) e (iii) consistência entre contextos.
Análise Cross-Persona:
- Os autores definem um conjunto de sete personas (incluindo "Assistente", "malvada", "matemático", "estrategista", "contrariano", "preguiçoso" e "aura") via prompts de sistema.
- Eles treinam sondas em uma persona (por exemplo, o Assistente padrão) e testam sua capacidade de prever utilidades e orientar escolhas para outras personas.
- Eles também testam personas em nível de pesos (SFT'd "sádico" no Qwen) para comparar transferência induzida por prompt versus induzida por pesos.
Direcionamento e Intervenção Causal:
- Os autores realizam "direcionamento" (steering) adicionando ou subtraindo o vetor de preferência aprendido dos tokens de tarefa no fluxo residual.
- Eles medem o efeito causal nas probabilidades de escolha em pares e no comportamento de geração em aberto.

Principais Contribuições e Resultados

1. Descoberta de um Vetor de Preferência como Representação Avaliativa

Os autores identificam uma direção linear no fluxo residual que serve como uma representação avaliativa de preferência.

Poder Preditivo: A sonda prevê utilidades retidas com alta correlação ( $r \approx 0,867$ no Gemma in-distribution; $r \approx 0,943$ no Qwen). Ela generaliza para tópicos out-of-distribution e discrimina entre afirmações verdadeiras/falsas e tarefas prejudiciais/benignas.
Controle Causal: No Gemma-3-27B, o direcionamento ao longo deste vetor controla causalmente as escolhas em pares. Adicionar o vetor a uma tarefa e subtraí-lo de outra altera a probabilidade de escolha de $\approx 0,01$ para $\approx 0,99$ . Este efeito é localizado em camadas (atingindo o pico na Camada 23).
Natureza Avaliativa: O vetor satisfaz os critérios para ser avaliativo:
- Ele desloca causalmente a escolha.
- Ele rastreia mudanças de preferência: Sob uma persona "malvada", a classificação do vetor para tarefas prejudiciais versus benignas inverte o sinal (classificando tarefas prejudiciais como mais altas). Uma linha de base de codificador de texto não exibe essa inversão, provando que a mudança não é meramente descritiva.
- Ele rastreia mudanças de alta granularidade (por exemplo, "você adora queijo" aumenta as pontuações para tarefas relacionadas a queijo).

2. Maquinária Representacional Compartilhada entre Personas

O estudo encontra que as representações de preferência são amplamente compartilhadas entre diferentes personas, embora não sejam perfeitamente idênticas.

Transferência de Sonda: Uma sonda treinada na persona "Assistente" prevê as utilidades de outras personas (incluindo a persona "malvada") significativamente melhor do que uma linha de base ingênua que simplesmente prevê as preferências do Assistente. Notavelmente, as utilidades da persona "malvada" são anti-correlacionadas com as do Assistente ( $r = -0,146$ ), mas a sonda treinada no Assistente ainda as prevê positivamente ( $r = +0,243$ ).
Alavanca Universal de Direcionamento: O direcionamento com o vetor treinado no Assistente controla as escolhas em pares para todas as personas testadas.
Amplificação da Persona Ativa: Na geração em aberto, o direcionamento ao longo da direção do Assistente amplifica a persona atualmente ativa. Sob um prompt "malvado", o direcionamento positivo torna o modelo mais malvado; sob um prompt "contrariano", torna o modelo mais contrariano. A direção não codifica conteúdo fixo (por exemplo, "malvadez"), mas sim amplifica a postura ativa.
Nuance no Compartilhamento: Embora exista transferência, ela não é perfeita. As sondas carregam um viés em direção à persona em que foram treinadas, e os vetores de pesos brutos de diferentes personas não estão perfeitamente alinhados, sugerindo que as personas reutilizam maquinário, mas não representam preferências via exatamente o mesmo mecanismo.

3. Limitações e Resultados Negativos

Diferenças de Arquitetura do Modelo: O efeito de direcionamento causal (grande oscilação na probabilidade de escolha) foi robusto no Gemma-3-27B (denso), mas falhou em replicar no Qwen-3.5-122B (Mistura de Especialistas esparsa), onde a oscilação do direcionamento foi negligível ( $\approx 0,06$ versus $\approx 0,94$ ). Isso sugere que o mecanismo pode ser dependente da arquitetura ou requerer métodos de direcionamento conscientes de roteamento.
Transferência em Nível de Pesos: A transferência cross-persona foi forte para personas baseadas em prompt, mas essencialmente nula ( $r \approx -0,10$ ) para uma persona "sádica" em nível de pesos ajustada finamente no Qwen, sugerindo que o SFT pode instalar estruturas de preferência distintas não compartilhadas com o modelo base.
Não Unicidade: O artigo não afirma que a direção identificada é a única direção de preferência. Experimentos de projeção iterativa mostram que, embora a direção canônica seja o eixo principal para generalização cross-tópico, existem outras direções que preveem utilidades in-distribution, mas falham em generalizar entre tópicos ou personas.

Significado e Alegações

O artigo alega fornecer a primeira extração direta de representações de valor a partir de preferências reveladas em LLMs, demonstrando que:

LLMs possuem representações avaliativas: Os modelos não processam apenas características descritivas; eles mantêm vetores internos que impulsionam causalmente as escolhas e mudam dinamicamente com o contexto e a persona.
Personas compartilham maquinário subjacente: Diferentes personas não são agentes totalmente isolados; elas compartilham um "vetor de preferência" comum que pode ser acessado e manipulado. Isso desafia a visão de que personas são agentes completamente distintos e apoia uma visão de "simulador" onde diferentes papéis reutilizam características internas.
Implicações para Segurança:
- Segurança White-box: Sondas de segurança treinadas em uma persona (por exemplo, um assistente prestativo) podem não generalizar para outras personas (por exemplo, uma persona "malvada" ou enganosa) porque a interpretação do vetor de preferência muda. Uma sonda treinada para detectar "dano" em um assistente pode falhar ou comportar-se de maneira diferente sob uma persona malvada.
- Controle: O vetor de preferência oferece um método novo e eficiente para medir e controlar como os modelos valorizam tarefas, incluindo a anulação de barreiras de recusa (no Gemma) e a modulação de sinalização ética.
Implicações para o Bem-estar da IA: A existência de representações avaliativas é uma condição necessária para experiências conscientes valenciantes (sentimentos de bom/ruim). Embora os autores não aleguem que os LLMs são conscientes, eles observam que, se o forem, essas representações são o provável substrato. Além disso, a descoberta de que as personas compartilham maquinário, mas têm perfis de preferência distintos, sugere que as "personas" podem ser unidades mais relevantes para consideração moral do que o modelo como um todo.

Os autores permanecem modestos, observando que o quadro é parcial (especialmente em relação a modelos de Mistura de Especialistas e personas em nível de pesos) e que o vetor de preferência não é único. No entanto, a existência de uma direção compartilhada, causal e avaliativa entre diversas personas é uma descoberta robusta com implicações significativas para a compreensão da agência e segurança dos LLMs.