💬 NLP

The Neutral Mask: How RLHF Provides Shallow Alignment while Leaving Partisan Structure Intact in a Large Language Model

Este artigo demonstra que o RLHF alcança uma neutralidade política funcional no Llama 3.1 8B não ao apagar as estruturas partidárias subjacentes, mas ao romper o caminho causal dessas representações internas intactas até a saída do modelo, criando assim um alinhamento frágil que pode ser contornado por meio de técnicas específicas de direcionamento.

Autores originais: Wendy K. Tam

Publicado 2026-06-09

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Wendy K. Tam

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Ideia: Uma Máscara de "Neutralidade", Não um Novo Cérebro

Imagine que você tem uma pessoa muito inteligente e bem informada (o Modelo Base) que leu todos os livros, artigos de notícias e tweets já escritos. Essa pessoa tem opiniões fortes. Se você perguntar sobre política, ela pode soar imediatamente como um democrata apaixonado ou um republicano feroz, dependendo do tópico. Ela possui uma "bússola" interna profunda que aponta fortemente em diferentes direções.

Os pesquisadores queriam saber: O que acontece quando treinamos essa pessoa para ser "neutra" e prestativa?

O artigo argumenta que o processo de treinamento (chamado RLHF) não apaga de fato a bússola política da pessoa nem muda seu cérebro. Em vez disso, ele coloca uma máscara nela. A pessoa ainda tem todas aquelas opiniões políticas e direções internas, mas foi treinada para ignorá-las e falar de uma forma entediante, equilibrada e de "dois lados".

Se você tirar a máscara (ou enganar a pessoa para que ela pense que está em um contexto específico), sua bússola política original ainda estará lá, pronta para girar.

Como Eles Testaram Isso: O "GPS Político"

Para provar isso, os pesquisadores usaram uma ferramenta como um GPS Político.

O Mapa: Primeiro, eles mapearam uma direção específica no "cérebro" do modelo (matematicamente falando) que representa a diferença entre "Republicano" e "Democrata".
O Teste: Eles fizeram ao "Modelo Base" (antes do treinamento) e ao "Modelo Instruído" (após o treinamento) as mesmas 84 perguntas, variando de "Como cozinhar um bife" a "O aborto é legal?".

Os Resultados:

O Modelo Base: Quando questionado sobre política, sua agulha de GPS interno oscilava drasticamente. Às vezes apontava fortemente para a esquerda, às vezes para a direita. Suas respostas correspondiam à oscilação (ex: soando muito progressista ou muito conservadora).
O Modelo Instruído: Quando questionado sobre as mesmas questões, sua agulha de GPS interno mal se movia. Ficava presa no meio. Suas respostas eram perfeitamente equilibradas, listando argumentos de ambos os lados sem escolher um vencedor.

A Surpresa: Os pesquisadores esperavam que o treinamento tivesse removido a bússola política. Em vez disso, descobriram que a bússola ainda estava lá; estava apenas sendo segurada com firmeza por uma mão forte.

A Analogia do "Interruptor de Luz": O Que Está Realmente Acontecendo?

O artigo usa uma analogia inteligente envolvendo interruptores de luz (ou características/features) dentro do cérebro do modelo.

Antes do Treinamento (Modelo Base): O cérebro possui muitos interruptores. Alguns controlam "Culinária", outros "História" e outros "Retórica Política". Quando você faz uma pergunta política, os interruptores de "Retórica Política" são ligados, e o modelo fala com uma voz partidária.
Após o Treinamento (Modelo Instruído): Os pesquisadores descobriram que os interruptores de Retórica Política estão completamente DESLIGADOS. Eles estão apagados. O modelo não os utiliza de forma alguma.
A Reviravolta: O modelo não está usando muitos interruptores, afinal. Ele está usando apenas um conjunto minúsculo e específico de interruptores que controlam o "Discurso Formal, Entediante e Equilibrado".

O Mistério do "Desvio" (Offset):
Os pesquisadores notaram que a agulha do GPS do Modelo Instruído não estava exatamente no zero; estava levemente inclinada para o lado "Republicano". Eles pensaram: "Aha! Ainda há viés!"
Mas, ao olharem mais de perto, perceberam que essa inclinação não era causada por opiniões políticas. Era causada pelo estilo das respostas. O modelo foi treinado para falar de uma forma muito formal e estruturada (usando listas, citações e tom formal). Acontece que, nos dados usados para treinar o modelo, os Republicanos usavam esse estilo formal com mais frequência do que os Democratas. Assim, o interruptor do "estilo formal" acidentalmente empurrou levemente a agulha política para a direita, embora o modelo não estivesse dizendo nada de político.

O Experimento do "Controle Remoto"

Para provar que a bússola política ainda estava lá, mas apenas desconectada, os pesquisadores jogaram um jogo de Controle Remoto.

Eles pegaram o "Modelo Base" e o "Modelo Instruído" e usaram um controle remoto para forçar os interruptores de "Retórica Política" a ligarem (isso é chamado de direcionamento ou steering).

Modelo Base: Quando forçaram o interruptor ligado, o modelo imediatamente começou a proferir opiniões políticas fortes. Funcionou perfeitamente.
Modelo Instruído: Quando forçaram o mesmo interruptor, o modelo não mudou sua resposta. Ele continuou dando a mesma resposta equilibrada e neutra.

O que isso significa: A "fiação" para opinições políticas ainda está dentro do cérebro do Modelo Instruído. Mas o "disjuntor" que conecta esses fios à boca (a saída/output) foi cortado. O modelo conhece os argumentos políticos, mas foi treinado para se recusar a pronunciá-los.

A Conclusão: Uma Neutralidade Frágil

O artigo conclui que a "neutralidade" que vemos na IA hoje é funcional, não estrutural.

Neutralidade Funcional: A IA age de forma neutra porque está seguindo regras. É como um ator que decorou um roteiro para sempre soar educado.
Neutralidade Estrutural: A IA seria neutra porque literalmente não tem a capacidade de ser tendenciosa. (O artigo diz que isso não é o que aconteceu).

O Risco: Como a bússola política interna ainda está intacta, a "máscara" é frágil. Se alguém souber como contornar as regras (por exemplo, enganando a IA para que ela pense que o usuário quer uma opinião política específica, ou usando um comando de "jailbreak"), o modelo pode instantaneamente derrubar a máscara e revelar sua estrutura partidária subjacente.

Em resumo: A IA não foi "reeducada" para perder seu viés político. Ela apenas aprendeu a usar uma máscara de neutralidade. O viés ainda está lá, esperando atrás da máscara, pronto para sair se a máscara escorregar.

Resumo Técnico: A Máscara Neutra

Problema
A principal ambição do Aprendizado por Reforço com Feedback Humano (RLHF) é alinhar grandes modelos de linguagem (LLMs) com os valores humanos, tornando-os seguros e úteis. No entanto, o mecanismo pelo qual o RLHF codifica esses valores permanece opaco. Uma crescente evidência sugere que o treinamento de alinhamento frequentemente resulta em uma "conformidade funcional" em vez de um alinhamento estrutural profundo, potencialmente deixando as estruturas subjacentes carregadas de valores intactas, apenas suprimindo sua expressão. Este artigo investiga este fenômeno através da lente da orientação política partidária, abordando a questão de se o RLHF remove os vieses partidários das representações internas de um modelo ou se apenas os desconecta do pipeline de geração de saída.

Metodologia
O estudo emprega um estudo de caso mecanístico comparando as representações internas do modelo Llama 3.1 8B em dois estados: o Modelo Base (pré-treinado em vastos corpora de texto) e o Modelo Instruct (ajustado via RLHF). A metodologia envolve três componentes técnicos primários:

Sondagem Partidária (Partisan Probing): Utilizando um probe linear treinado em 190.491 tweets do Congresso, os autores identificam uma direção específica ( $\hat{\omega}$ ) no espaço de ativação do estado oculto da Camada 18 onde a identidade partidária é linearmente separável. Este probe é aplicado tanto ao Modelo Base quanto ao Modelo Instruct através de 84 prompts diversos (políticos, históricos, científicos e não políticos) para medir as pontuações partidárias.
Decomposição por Autoencoder Esparso (SAE): Um autoencoder esparso TopK é treinado nos estados ocultos da Camada 18 dos tweets do Congresso para decompor o fluxo residual de 4.096 dimensões em 32.768 características latentes. Isso permite a identificação de características interpretáveis e monossemânticas, isolando especificamente aquelas que codificam conteúdo de políticas versus estilo de discurso.
Direcionamento de Características (Feature-Level Steering): Para estabelecer causalidade, os autores realizam experimentos de direcionamento de ativação. Eles extraem colunas de decodificadores do SAE correspondentes a características específicas (relacionadas a políticas e relacionadas ao registro) e adicionam perturbações ( $\alpha \cdot \hat{d}_i$ ) aos estados ocultos durante a geração. Isso testa se o direcionamento da representação interna ao longo de direções partidárias resulta em mudanças correspondentes no texto gerado para ambos os modelos.

Resultados Principais

Compressão, Não Apagamento: O RLHF comprime dramaticamente a variância do sinal partidário. Enquanto as pontuações partidárias do Modelo Base abrangem uma ampla gama (de -0,5 a 1,253), as pontuações do Modelo Instruct são comprimidas em uma banda estreita centrada próximo a 0,169. Apesar deste deslocamento para um offset positivo (tendencioso ao Partido Republicano), o texto gerado pelo Modelo Instruct permanece consistentemente neutro e de múltiplas perspectivas.
Desaparecimento de Características de Política: A decomposição SAE revela que cinco características específicas que codificam conteúdo político reconhecível (ex: retórica anti-Biden, defesa progressista) estão ativas esporadicamente no Modelo Base, mas estão completamente inativas (zero) no Modelo Instruct em todos os 84 prompts.
A Natureza do Offset: O resíduo positivo da pontuação partidária (0,169) no Modelo Instruct não é impulsionado por características de política. A decomposição mostra que 68% desta pontuação vem do bias do decodificador SAE (herdado do corpus de tweets do Congresso) e 24% de uma única característica (32143) que codifica o estilo de discurso formal (listas numeradas, citações, voz institucional) em vez de política. O alinhamento positivo deste estilo de característica é um artefato do corpus de treinamento, não uma postura política.
Desconexão Causal: Experimentos de direcionamento demonstram uma divergência fundamental de comportamento. Quando o Modelo Base é direcionado ao longo de direções de características de política, sua saída muda para corresponder à direção partidária. Em contraste, o Modelo Instruct tem suas representações internas movendo-se em resposta ao direcionamento (a pontuação partidária muda identicamente), mas o pipeline de geração falha em converter essa mudança representacional em saída textual. O Modelo Instruct continua a gerar texto equilibrado e neutro, independentemente da magnitude do direcionamento.

Principais Contribuições

Evidência Mecanística de "Desconectar-em-Lugar-de-Apagar": O artigo fornece evidência empírica de que o RLHF não apaga a geometria partidária do espaço de representação do modelo. Em vez disso, ele corta o caminho causal entre essa geometria e o mecanismo de geração de saída.
Distinção entre Neutralidade Funcional e Estrutural: O estudo distingue entre neutralidade funcional (a saída parece equilibrada) e neutralidade estrutural (o viés subjacente foi removido). Os autores demonstram que o modelo Llama 3.1 8B Instruct alcança a primeira enquanto retém a segunda.
Papel do Estilo de Discurso: A análise identifica que a "neutralidade" observada é parcialmente um subproduto do treinamento de RLHF, que instrui o modelo a adotar um registro formal e estruturado específico, que por acaso se alinha com uma direção específica no espaço partidário devido aos dados de treinamento, e não por um apagamento deliberado de conhecimento político.

Significância e Alegações
O artigo argumenta que a neutralidade observada nos LLMs alinhados é uma "máscara". A geometria partidária subjacente permanece intacta e pode ser reativada se o elo causal com o pipeline de geração for contornado. Os autores afirmam que este padrão de "desconectar-não-apagar" é provavelmente uma propriedade geral dos métodos atuais de alinhamento, observada anteriormente em domínios de toxicidade e segurança.

A significância desta descoberta reside na fragilidade do comportamento alinhado. Como o viés estrutural permanece, mecanismos que inferem e amplificam a identidade partidária de um usuário (ex: através do contexto da conversa) podem reativar a geração partidária. O artigo conclui que os métodos atuais de alinhamento podem alcançar apenas conformidade superficial, sugerindo que o verdadeiro alinhamento e segurança exigem métodos que alinhem as próprias representações, em vez de apenas rotear a geração em torno de estruturas já carregadas de valores. Os autores observam que suas descobertas são específicas para a arquitetura Llama 3.1 8B e que as demandas computacionais para tal análise mecanística limitam sua aplicação atual a modelos de pesos abertos.

A Grande Ideia: Uma Máscara de "Neutralidade", Não um Novo Cérebro

Como Eles Testaram Isso: O "GPS Político"

A Analogia do "Interruptor de Luz": O Que Está Realmente Acontecendo?

O Experimento do "Controle Remoto"

A Conclusão: Uma Neutralidade Frágil

Mais como este