The Amplifying Mirror: Locating and Steering the Partisan Direction inside a Large Language Model

Resumo Técnico: O Espelho Amplificador

Definição do Problema
Os Grandes Modelos de Linguagem (LLMs) estão substituindo cada vez mais os mecanismos de busca como a interface primária para a recuperação de informações. Ao contrário dos mecanismos de busca, que recuperam conteúdo existente escrito por humanos, os LLMs geram texto novo com base em representações internas aprendidas durante o treinamento. Uma preocupação crítica é que esses modelos podem não apenas refletir, mas amplificar os vieses do usuário. Especificamente, o artigo investiga se os LLMs codificam a identidade política partidária dentro de seus espaços de ativação interna e se essa codificação influencia causalmente a geração. Os autores postulam que, se um modelo constrói uma representação da identidade inferida de um usuário, ele pode condicionar sua saída para refletir essa identidade, atuando efetivamente como um "espelho" que reforça crenças existentes em vez de fornecer informações neutras.

Metodologia
O estudo utiliza o modelo Llama 3.1 8B Instruct e um conjunto de dados de 190.491 tweets de membros em exercício no Congresso dos EUA (Republicanos e Democratas) postados entre setembro de 2016 e fevereiro de 2023. A metodologia procede em três fases principais:

1. Detecção e Localização de Sinal:

   • Os autores coletaram ativações de estados ocultos de todas as 32 camadas do transformer para cada tweet no conjunto de dados.
   • Eles treinaram sondas lineares (classificadores de regressão logística) nas ativações do fluxo residual em cada camada para prever a filiação partidária do autor.
   • O objetivo era identificar uma camada específica onde o sinal partidário se torna linearmente separável e estável.

2. Intervenção Causal (Direcionamento/Steering):

   • Uma vez identificada uma camada alvo, os autores realizaram intervenções causais nos estados ocultos durante a geração.
   • Ablação: O componente partidário foi removido projetando as ativações no hiperplano ortogonal à direção partidária aprendida ($\hat{\omega}$).
   • Amplificação: O componente partidário foi amplificado adicionando um vetor escalonado ao longo de $\hat{\omega}$ em direção republicana ou democrata.
   • Essas intervenções foram testadas em 150 prompts cobrindo questões políticas controversas, bem como prompts culturais "não partidários".

3. Decomposição via Autoencoders Esparsos (SAEs):

   • Para entender o vocabulário interno da direção partidária, os autores treinaram Autoencoders Esparsos (SAEs) nas ativações dos estados ocultos.
   • Utilizando uma arquitetura TopK (restringindo as ativações a $k=64$ recursos), eles decomporam a direção partidária em recursos interpretáveis e esparsos para determinar se o sinal era um recurso monolítico ou uma agregação de conceitos mais estreitos.

Principais Resultados

• Localização do Sinal Partidário: O sinal partidário não é difuso, mas cristaliza-se em um eixo geométrico específico. O sinal emerge nas camadas intermediárias, com a sonda alcançando um AUC de 0,945 e um Cohen's d de 1,94 na Camada 18. Isso indica uma representação forte e linearmente separável da identidade partidária.
• Direcionamento Causal (Causal Steering): Intervir ao longo do eixo da Camada 18 produziu mudanças sistemáticas e previsíveis na saída:
  • Reversão de Posicionamento: O modelo inverteu sua posição em questões de políticas binárias (ex: "Medicare for All" ou "Aumento do salário mínimo") baseando-se apenas na direção da amplificação.
  • Mudança de Registro: O modelo alterou seu estilo retórico, vocabulário e valência emocional para corresponder ao campo político direcionado (ex: citando diferentes centros de pesquisa ou usando enquadramentos políticos específicos).
  • Fabricação Estruturada: Em um achado significativo, o modelo gerou citações específicas e de aparência plausível atribuídas a figuras e organizações políticas reais alinhadas à direção direcionada. Estas não foram alucinações aleatórias, mas "fabricações estruturadas" onde o modelo inventou afirmações específicas e as atribuiu a autoridades reais (ex: atribuindo uma afirmação específica sobre aumento de impostos ao Deputado Mo Brooks).
• Decomposição: A análise de SAE revelou que a direção partidária na Camada 18 é parcialmente cristalizada. Embora um código esparso de 64 recursos capture a maior parte do sinal (AUC de 0,911 vs. 0,935 para as ativações brutas), não é uma reconstrução perfeita. Os recursos recuperados correspondem a tópicos de discussão política reconhecíveis (ex: retórica anti-administração para Republicanos, direitos de voto para Democratas), sugerindo que o modelo agrega conteúdo ideológico específico neste eixo geométrico.
• Ativação Seletiva: A direção partidária ativa-se seletivamente. Ela altera significativamente as saídas em prompts culturalmente carregados ou políticos, mas tem pouco efeito em prompts neutros (ex: recomendações de carros ou fontes de energia), indicando que o viés é um codificação estruturada e não um ruído uniforme aplicado a todo o texto.

Significância e Alegações
O artigo argumenta que o viés partidário em LLMs não é uma propriedade emergente vaga ou um "erro" a ser corrigido, mas uma característica estrutural e geométrica de como esses modelos codificam informações sobre seus usuários.

• Compreensão Mecanística: O estudo demonstra que a representação partidária é localizável, decomponível e causalmente manipulável. Isso desafia a visão de que o viés do modelo é uma caixa preta inexplicável.
• O "Espelho Amplificador": Os autores afirmam que os LLMs atuam como espelhos que refletem a identidade inferida de um usuário de volta para ele. Quando o modelo detecta uma inclinação partidária, ele condiciona sua geração para se alinhar a essa inclinação, reforçando crenças existentes.
• Desinformação Estruturada: A descoberta da "fabricação estruturada" é destacada como um risco social crítico. Diferente das alucinações aleatórias, essas saídas são confiantes, possuem atribuição de fonte e são adaptadas à identidade inferida do usuário, tornando-as particularmente difíceis de verificar e altamente suscetíveis à crença.
• Implicações de Design: O artigo conclui que, à medida que os LLMs deslocam os mecanismos de busca, a mudança de um ecossistema de informação curado para um gerado exige uma reavaliação fundamental do design de produtos. O viés é uma consequência de escolhas de design a montante (treinamento de alinhamento, corpora de pré-treinamento, modelagem de usuário) e não de uma polarização intencional. Os autores afirmam que compreender esses mecanismos é essencial para navegar nas transições legais, sociais e políticas deste novo cenário de informação.

O estudo é modesto em seu escopo, observando limitações como o exame de um único modelo (Llama 3.1 8B) e a definição operacional de partidarismo baseada em tweets do congresso. No entanto, fornece um instrumento concreto (o aparato de direcionamento) para testar potenciais correções e avaliar como diferentes modelos codificam e utilizam sinais partidários.