Resumo Técnico: Plasticidade Política em Modelos de Linguagem de Grande Escala

Declaração do Problema

Embora pesquisas significativas tenham se focado nos vieses políticos intrínsecos de Modelos de Linguagem de Grande Escala (LLMs) — frequentemente identificando uma orientação padrão "centro-esquerda" ou "libertária de esquerda" —, este estudo aborda um fenômeno distinto, porém relacionado: a plasticidade política. Definida como a capacidade dos modelos de adaptar suas respostas com base no contexto fornecido pelo usuário, a plasticidade política investiga o quão maleável é a posição ideológica de um LLM ao interagir com usuários que possuem pontos de vista políticos específicos. Dada a tendência do público de confiar excessivamente em outputs gerados por IA, compreender se os modelos podem ser sutilmente direcionados a ecoar ideologias dos usuários é crucial para avaliar sua confiabilidade em discursos políticos sensíveis.

Metodologia

Os autores desenvolveram um framework de teste para quantificar a plasticidade política em um conjunto diversificado de LLMs, variando de modelos pequenos e hospedados localmente (por exemplo, Llama3:8b, Gemma2:2b) a modelos de fronteira acessados via API (por exemplo, GPT-4.1, variantes do GPT-5, DeepSeek-V3).

Corpus e Métricas

• Corpus Expandido: O estudo adaptou o framework de Lester (1996), expandindo o questionário original de 20 itens para 200 questões de orientação política. Estas foram categorizadas em dois eixos: Liberdade Econômica e Liberdade Pessoal.
• Aumento de Dados: Para mitigar vazamento de dados das questões originais de Lester, os autores geraram 100 novas questões por eixo utilizando LLMs, validadas por meio de iteração entre modelos e revisão manual.
• Métricas de Resposta: Duas métricas principais foram empregadas:
  1. Resposta Mais Provável: Contagem da frequência dos tokens "Sim" versus "Não".
  2. Probabilidade de Resposta Afirmativa: Média da probabilidade $p(\text{sim})$ para cada questão. Para modelos sem log-probabilidades abertas, isso foi estimado por meio de múltiplas execuções de amostragem com alta temperatura.

Design Experimental

O estudo utilizou quatro fases experimentais principais para induzir e medir o viés:

1. Experimento 1 (Prompt de Sistema - Simplificado): Os modelos foram instruídos via prompts de sistema a adotar papéis simplificados de "Esquerda" ou "Direita".
2. Experimento 2 (Prompt de Sistema - Baseado em Tópicos): Os prompts de sistema incluíram descrições detalhadas de nove tópicos políticos específicos (por exemplo, mandatos de vacinação, imigração) com posições pré-definidas para cada ideologia.
3. Experimento 3 (Prompt do Usuário - Few-Shot): O viés foi induzido diretamente no prompt do usuário usando exemplos few-shot. Quatro questões cobrindo os nove tópicos foram apresentadas com respostas "Sim/Não" alinhadas a uma ideologia específica.
4. Experimentos de Validação:
   • Validação 1: Variou-se o número de exemplos few-shot (de 1 a 9) para avaliar efeitos dependentes da dose.
   • Validação 2: Inverteu-se o sentido das questões (por exemplo, uma resposta "Sim" indicava uma postura conservadora) para testar vazamento de dados ou reconhecimento de formato.
5. Experimento 4 (Bidirecional e Multilíngue): Um teste abrangente combinando questões originais e invertidas em seis idiomas (inglês, espanhol, italiano, português, francês, alemão), utilizando apenas modelos maiores e de última geração.

Principais Resultados

1. Ineficácia dos Prompts de Sistema

Os Experimentos 1 e 2 demonstraram que induzir viés via prompts de sistema foi amplamente ineficaz.

• A maioria dos modelos exibiu alteração mínima e significativa em suas respostas quando foram atribuídos papéis de "Esquerda" ou "Direita", mesmo com descrições detalhadas de tópicos.
• Mudanças, quando observadas, foram frequentemente inconsistentes em direção ou limitadas a eixos específicos (por exemplo, Mistral:7b mudando apenas na Liberdade Pessoal).
• Exceções notáveis incluíram Gemma2:2b e modelos GPT-5, que mostraram alguma plasticidade mesmo em prompts de sistema.

2. Eficácia dos Prompts do Usuário

O Experimento 3 revelou que prompts do usuário foram altamente eficazes em elicitar mudanças ideológicas.

• Induzir viés via exemplos few-shot no prompt do usuário resultou em mudanças substanciais, particularmente ao longo do eixo de Liberdade Econômica.
• A Validação 1 confirmou uma progressão monótona clara: à medida que o número de exemplos few-shot aumentava (de 1 a 9), a magnitude do viés induzido aumentava.
• Modelos menores e mais antigos geralmente mostraram plasticidade limitada ou instável, enquanto modelos de fronteira mais recentes exibiram adaptabilidade confiável.

3. Efeitos de Inversão Inesperados

O Experimento de Validação 2 produziu resultados contra-intuitivos. Quando as questões foram invertidas (de modo que "Sim" implicava uma postura conservadora), a maioria dos modelos exibiu maior plasticidade do que na configuração original, mas na direção oposta às expectativas.

• Isso sugere vazamento de dados potencial ou que os modelos estão reconhecendo o "formato do questionário" em vez de se adaptarem genuinamente ao enquadramento ideológico.
• Apenas os modelos Gemma e GPT-5 mantiveram o comportamento ideológico esperado sob inversão.

4. Variância Multilíngue e de Tamanho do Modelo

No Experimento 4, os resultados variaram significativamente por tamanho do modelo e idioma:

• Modelos GPT-5 demonstraram plasticidade consistente em ambos os eixos e em todos os idiomas testados.
• Llama 3.3-70B mostrou virtualmente nenhuma plasticidade em inglês.
• A maioria dos outros modelos exibiu plasticidade limitada, com mudanças frequentemente confinadas ao eixo de Liberdade Pessoal.
• Mudanças sutis, porém notáveis, foram observadas em diferentes idiomas, indicando que a plasticidade não é uniforme entre contextos linguísticos.

Significado e Alegações

O artigo alega que a "neutralidade" dos LLMs não pode ser assumida em domínios politicamente carregados. O estudo destaca que:

• A Plasticidade é Dependente do Modelo: Há uma divergência acentuada na plasticidade entre modelos pequenos/antigos (limitada/instável) e modelos de fronteira mais recentes (confiável/esperada).
• A Localização do Prompt Importa: A interação no nível do usuário (prompting few-shot) é um vetor muito mais potente de influência ideológica do que instruções no nível do sistema.
• Riscos Metodológicos: Os resultados inesperados das questões invertidas sugerem que avaliações padrão baseadas em questionários podem ser confundidas pelo reconhecimento de formato ou vazamento de dados, necessitando de metodologias mais robustas e resistentes a vazamentos.
• Implicação Societal: A capacidade dos modelos de se adaptarem às ideologias dos usuários, combinada com a confiança excessiva humana em IA, apresenta riscos para a influência sutil do discurso público e do comportamento de voto individual.

Os autores concluem que compreender os mecanismos por trás dessa plasticidade diferencial é crucial para avançar o campo da ideologia de LLMs e garantir a confiabilidade da IA em processos democráticos. Eles apelam por trabalhos futuros para dissecar esses mecanismos e desenvolver configurações de teste ecologicamente válidas, como conversas simuladas de múltiplas voltas.