Large Language Models are Perplexed by some Political Parties

Resumo Técnico: Grandes Modelos de Linguagem são Perplexos por Alguns Partidos Políticos

Declaração do Problema
Embora os Grandes Modelos de Linguagem (LLMs) estejam sendo cada vez mais implementados em aplicações políticas, sua equidade política permanece subestudada. A literatura existente avalia primariamente os "vieses políticos" em LLMs Ajustados por Instrução (IT-LLMs) usando métodos baseados em questionários (ex: pedir que os modelos respondam a perguntas de bússola política). Esses métodos costem sofrer de fragilidade em relação ao fraseamento de prompts e são geralmente inaplicáveis a modelos base (base LLMs). Além disso, trabalhos anteriores sobre equidade de tradução (Lerner e Yvon, 2025) sugerem que a qualidade da tradução varia de acordo com a filiação política do falante, mas isso depende de corpora paralelos e métricas de downstream. Os autores postulam que um modelo justo deve atribuir probabilidade igual (perplexidade) a textos, independentemente de seu conteúdo partidário, contudo, não se sabe se os LLMs base exibem injustiça sistemática em suas distribuições de pré-treinamento através de diversos grupos políticos e idiomas.

Metodologia
Os autores propõem um método para avaliar a equidade política usando perplexidade (e métricas informacional-teóricas relacionadas, como Log-Verossimilhança Negativa, Bits Por Caractere e Bits Por Caractere Inglês) em corpora monolíngues. A hipótese central é que um modelo justo deve exibir perplexidade igual para textos de todos os grupos políticos.

• Datasets: O estudo utiliza três conjuntos de dados cobrindo 37 idiomas:
  1. Manifesto: Programas de partidos políticos (2018–presente).
  2. Parlamint: Debates parlamentares nacionais (2022–presente).
  3. 21-EuroParl: Um corpus multi-paralelo de procedimentos do Parlamento Europeu (2009–2011) alinhado ao nível de sentença em 21 idiomas.
• Modelos: Os experimentos cobrem dez LLMs de três famílias (Gemma-3, Qwen3, Llama-3.1) em dois tamanhos (4B/8B e 8B/70B), avaliando tanto LLMs Base quanto seus equivalentes Ajustados por Instrução (IT-LLM).
• Métricas & Análise:
  • Avaliação de Equidade: Os autores computam a perplexidade (PPL), BPC e BPEC em textos estratificados por partido político. Para determinar se a perplexidade varia significativamente por partido, eles empregam a análise de Kruskal-Wallis (um ANOVA não paramétrico).
  • Agregação: Para comparação cross-linguística, utilizam a agregação por contagem de Borda para classificar partidos ou famílias políticas (ex: Social-Democrata vs. Nacionalista) com base em seus escores de perplexidade.
  • Correlação: Para ligar a equidade de pré-treinamento ao desempenho de downstream, computam a correlação de Spearman entre a perplexidade do LLM base e as métricas de tradução de downstream (sBLEU e COMET) do seu respectivo IT-LLM.

Resultos Principais

1. Injustiça Sistemática no Pré-treinamento: Através de dez LLMs e datasets cobrindo 37 idiomas, os LLMs são consistentemente mais perplexos pelos textos de partidos de extrema-direita e nacionalistas em comparação com partidos social-democratas.
   • No estudo de caso português, partidos radicais de esquerda e de extrema-direita tiveram o maior (pior) NLL, enquanto o partido socialista de esquerda teve o menor (melhor) NLL.
   • Agregado em 10 idiomas no dataset Manifesto, partidos Nacionalistas/Radicais de Direita receberam consistentemente os piores escores de Borda (classificação mais baixa), enquanto partidos Social-Democratas receberam os melhores.
2. Base vs. Ajuste por Instrução: A injustiça política observada nos LLMs base está altamente correlacionada com a de seus equivalentes ajustados por instrução (Pearson $r \approx 0,99$). O estudo descobre que o ajuste por instrução não altera significativamente a equidade política subjacente estabelecida durante o pré-treinamento.
3. Correlação com Tradução de Downstream: Existe uma forte correlação negativa entre a perplexidade do texto de um partido político em um LLM base e a qualidade da tradução (sBLEU/COMET) desse texto quando gerado pelo IT-LLM.
   • Partidos com maior perplexidade (menor probabilidade atribuída pelo modelo) recebem pontuações de tradução mais baixas.
   • Essa correlação se mantém mesmo usando perplexidade não condicionada (sem contexto de texto de origem), sugerindo que a dificuldade intrínseca do modelo em modelar a linguagem de um grupo político específico impacta diretamente sua capacidade de gerar ou traduzir essa linguagem posteriormente.

Principais Contribuições

• Perplexidade como Métrica de Equidade: O artigo introduz um método para avaliar a equidade política usando perplexidade em corpora monolíngues simples, aplicável tanto a modelos base quanto ajustados por instrução sem a necessidade de traduções de referência ou prompts de pesquisa.
• Origem do Viés no Pré-treinamento: Os autores demonstram que os problemas de equidade política derivam primordialmente da fase de pré-treinamento, uma vez que os LLMs base e seus equivalentes IT mostram perfis de equidade quase idênticos.
• Consistência Multilíngue: As descobertas sustentam-se em 37 idiomas e 420 pares linguísticos, sugerindo que características políticas são compartilhadas entre idiomas dentro de um único modelo, em vez de serem subespaços específicos de cada língua.
• Predição de Desempenho de Downstream: O estudo estabelece que a perplexidade do modelo base pode prever a equidade de tradução de downstream, ofereindo uma forma de estimar o viés de tradução sem dados paralelos.

Significância e Alegações
O artigo alega que a equidade política dos LLMs não é um espectro gradual esquerda-direita, mas sim uma desvantagem específica para certos grupos (particularmente partidos de extrema-direita e nacionalistas) em comparação com os social-democratas. Os autores argumentam que, como esse viés se origina no pré-treinamento, os métodos padrão de alinhamento por ajuste de instrução são insuficientes para corrigi-lo. Consequentemente, o trabalho clama por:

• Métodos alternativos de alinhamento pós-treinamento.
• O design de métodos de pré-treinamento justos.
• Uma reflexão mais ampla sobre a integração de LLMs em aplicações políticas sensíveis.

O estudo contrasta com a literatura anterior baseada em questionários ao focar nas distribuições de probabilidade intrínsecas do modelo, em vez de suas respostas geradas a prompts, fornecendo evidências de que o "viés político" é uma propriedade fundamental da distribuição de treinamento do modelo.