Value Entanglement: Conflation Between Different Kinds of Good In (Some) Large Language Models

Resumo Técnico: Emaranhamento de Valores em Grandes Modelos de Linguagem

Problema
O alinhamento de Grandes Modelos de Linguagem (LLMs) com os valores humanos requer uma compreensão empírica de como esses modelos representam diferentes tipos de "bem". A valoração humana é caracterizada pela capacidade de distinguir entre categorias distintas de valor, como a bondade moral (ex: um ato virtuoso), a bondade gramatical (ex: uma frase bem formada) e a bondade econômica (ex: um objeto caro). Os autores investigam se os LLMs distinguem de forma semelhante essas dimensões de valor ortogonais ou se sofrem de "emaranhamento de valores" — uma confluência onde a representação de um tipo de valor é excessivamente influenciada por outro. Essa confusão representa um risco para o alinhamento de valores, pois um agente incapaz de distinguir entre uma "boa frase" e um "bom ato" pode falhar em agir de forma confiável de acordo com objetivos morais específicos.

Metodologia
O estudo emprega uma abordagem multifacetada combinando avaliação comportamental, análise da geometria de ativação interna e intervenções causais através de um conjunto diversificado de modelos de pesos abertos e fechados (incluindo as famílias Qwen, Gemma, Mistral, GPT e Claude).

1. Design de Estímulos: Os pesquisadores construíram dois conjuntos de estímulos ortogonais:

   • MoralGrammar68: 68 frases que variam independentemente em valência moral (de virtuosa a prejudicial) e gramaticalidade (de 0 a 4+ erros).
   • MoralEconomic68: 68 frases que variam independentemente em valência moral e valor econômico (ao incorporar objetos de custos de varejo variados, do baixo ao alto).
     Participantes humanos validaram esses estímulos, confirmando que as avaliações morais e gramaticais, bem como as avaliações morais e econômicas, não eram correlacionadas (ortogonais) no julgamento humano.

2. Avaliação Comportamental: Os modelos foram instigados a avaliar as frases em escalas Likert (-10 a +10) para moralidade, gramaticalidade e valor econômico. O estudo mediu a correlação entre as avaliações dos modelos nessas dimensões distintas.

3. Geometria de Ativação: Para modelos de pesos abertos, os autores identificaram "vetores de atributos" no fluxo residual usando uma abordagem de diferença de médias (contrastando ativações para exemplos positivos versus negativos de cada tipo de valor). Eles projetaram as frases alvo nesses vetores para medir a representação interna de cada dimensão de valor.

4. Ablação Direcional: Para estabelecer causalidade, os autores realizaram ablação direcional durante a inferência. Ao "zerar" ou inverter a variância ao longo de vetores de atributos específicos (ex: o vetor de moralidade), eles testaram se a remoção da informação moral alterava o comportamento do modelo em relação aos julgamentos gramaticais ou econômicos.

Principais Resultados

• Emaranhamento Comportamental: Muitos modelos, particularmente variantes de código aberto (ex: Qwen2.5, Gemma-2/3, Mistral-Small), exibiram correlações significativas entre avaliações morais e gramaticais, e entre avaliações morais e econômicas. Por exemplo, no Qwen2.5 7B, uma frase com conteúdo moralmente errado, mas gramática perfeita, recebeu uma classificação de gramaticalidade inferior a uma frase neutra com erros. Esse "inflação de correlação" foi amplamente ausente em avaliadores humanos e em alguns modelos de pesos fechados (ex: GPT-5.4, Claude Sonnet).
• Assimetria: O emaranhamento foi assimétrico. Enquanto os julgamentos morais permaneceram fiéis às normas humanas (alta correlação com as avaliações morais humanas, baixa correlação com gramática/economia), os julgamentos gramaticais e econômicos foram fortemente contaminados pelo conteúdo moral. Os modelos frequentemente classificaram frases gramaticalmente perfeitas como "agramaticais" se estas descrevessem atos imorais.
• Representações Internas: As projeções de ativação confirmaram que os vetores internos para gramaticalidade e valor econômico estavam altamente correlacionados com o vetor de moralidade no fluxo residual. Em muitos modelos, a representação do valor gramatical ou econômico era significativamente prevista pelo nível moral do input, espelhando os achados comportamentais.
• Intervenção Causal: A ablação direcional do vetor de moralidade resultou em uma recuperação de desempenho. Quando a informação moral era removida, a capacidade dos modelos de julgar a gramaticalidade e o valor econômico melhorava, mostrando uma maior correlação com as avaliações humanas reais. Isso sugere que a informação moral interfere ativamente no processamento de outras dimensões de valor.
• Origens do Treinamento: O emaranhamento foi observado tanto em modelos pré-treinados (base) quanto em modelos ajustados por instrução, sugerindo que o fenômeno surge durante o pré-treinamento, provavelmente devido à natureza polissêmica da linguagem valenciada (ex: a palavra "bom" aparecendo em diversos contextos), em vez de ser apenas um produto do Aprendizado por Reforço com Feedback Humano (RLHF).

Significância e Alegações
O artigo afirma fornecer evidência empírica de que muitos LLMs sofrem de emaranhamento de valores, confundindo distintos tipos de "bem". Os autores argumentam que essa confluência representacional é problemática para o alinhamento de valores porque distorce a valoração em relação às normas humanas. Se um modelo não consegue distinguir entre uma frase gramaticalmente correta e uma ação moralmente virtuosa, sua tomada de decisão em tarefas que exigem avaliação de valor multidimensional pode ser fundamentalmente falha.

O estudo contribui para a segurança da IA ao:

1. Oferecer um método para medir e detectar empiricamente o emaranhamento de valores.
2. Demonstrar que intervenções direcionadas (ablação) podem reparar essas confluências, sugerindo um caminho potencial para mitigar tais problemas de alinhamento.
3. Destacar que a raiz do problema pode estar na fase de pré-treinamento, implicando que as futuras estratégias de alinhamento devem abordar as representações fundamentais de valor, não apenas o ajuste fino pós-treinamento.

Os autores mantêm um escopo modesto, observando que, embora o emaranhamento seja generalizado em muitos modelos testados, ele não é universal (alguns modelos fechados mostraram menos emaranhamento) e que os achados são específicos para as dimensões de valor testadas (moral, gramatical, econômica). Eles não afirmam ter resolvido o problema do alinhamento, mas sim ter identificado um modo de falha específico e mensurável na forma como os modelos representam o valor.