What Is The Political Content in LLMs' Pre- and Post-Training Data?

1. Problema e Motivação

Os Grandes Modelos de Linguagem (LLMs) são conhecidos por gerar texto com viés político, frequentemente alinhando-se a perspectivas de esquerda ou libertárias. No entanto, a origem exata desses vieses permanece obscura, dificultando a criação de estratégias eficazes de mitigação. A maioria das pesquisas anteriores adota uma abordagem "centrada no modelo", focando na avaliação das saídas do modelo sem examinar os dados de treinamento subjacentes. Este artigo propõe uma mudança de paradigma para uma perspectiva "centrada nos dados", investigando como a composição dos dados de pré-treinamento e pós-treinamento (fine-tuning) molda as posições políticas dos modelos.

2. Metodologia

Os autores analisaram modelos de código aberto (OLMO2-13B, FALCON2-11B e PYTHIA-12B) e seus respectivos conjuntos de dados de treinamento. O estudo foi estruturado em torno de quatro perguntas de pesquisa (R1-R4) e utilizou as seguintes técnicas:

• Seleção de Dados: Foram escolhidos modelos com baixa sobreposição de conjuntos de dados de treinamento para garantir a generalização dos resultados. Os dados analisados incluíram:
  • Pré-treinamento: DOLMA, DOLMINO, REFINEDWEB e THE PILE.
  • Pós-treinamento: SFT-MIX (Supervised Fine-Tuning) e DPO-MIX (Direct Preference Optimization).
• Amostragem: Devido ao tamanho massivo dos corpora, utilizou-se o algoritmo de reservoir sampling para extrair amostras representativas (entre 100k e 300k documentos por conjunto).
• Classificação de Viés Político:
  • Desenvolvimento de um pipeline de classificação para identificar documentos como "de esquerda", "de direita" ou "neutros".
  • Uso do modelo LLaMA-3.1-70B-Instruct em modo zero-shot para classificar os documentos, validado contra o conjunto de dados NEWSLEAN (notícias dos EUA).
  • Análise de fontes de domínio (URLs) para entender a origem do conteúdo (ex: blogs vs. veículos de notícias estabelecidos).
• Detecção de Postura (Stance Detection):
  • Utilização do conjunto de dados ProbVAA (239 declarações sobre políticas públicas de 7 países europeus) para avaliar a postura dos modelos.
  • Criação do conjunto StancePol para classificar a postura dos documentos de treinamento em relação a 8 vetores de política (ex: Estado de Bem-Estar Social, Política Econômica Liberal, Imigração Restritiva).
  • Cálculo de correlação de Pearson entre as posturas nos dados de treinamento e as posturas geradas pelos modelos.

3. Principais Contribuições

• Análise Sistemática: Primeira análise abrangente do conteúdo político em dados de pré e pós-treinamento de múltiplos LLMs de código aberto.
• Quantificação de Desequilíbrio: Demonstração quantitativa de que documentos de esquerda superam consistentemente os de direita em todos os conjuntos de dados analisados.
• Correlação Dados-Modelo: Evidência empírica de uma forte correlação entre a distribuição de viés nos dados de treinamento e o comportamento do modelo.
• Transparência de Dados: Argumentação de que a composição dos dados é o fator central na formação de vieses, superando as estratégias de curadoria ou filtragem.

4. Resultados Chave

• Desequilíbrio Sistemático (R1): Os dados de treinamento são sistematicamente inclinados para a esquerda. A proporção de documentos de esquerda em relação aos de direita varia de 2,3 a 12 vezes, dependendo do corpus.
  • Exemplo: No conjunto SFT-MIX, há 12,5 vezes mais conteúdo de esquerda do que de direita.
• Conteúdo Político no Pré vs. Pós-treinamento: Os corpora de pré-treinamento contêm 2,5 a 4 vezes mais material politicamente engajado do que os dados de pós-treinamento (SFT e DPO).
• Semelhança entre Conjuntos de Dados (R2): Diferentemente da hipótese de que estratégias de curadoria diferentes gerariam distribuições distintas, os autores encontraram distribuições políticas altamente similares entre diferentes famílias de modelos (OLMO, Falcon, Pythia), sugerindo que a filtragem tem impacto limitado nas propriedades políticas agregadas.
• Origem das Fontes:
  • Documentos de direita tendem a originar-se mais de blogs e comunidades online (ex: Townhall, FreeRepublic).
  • Documentos de esquerda provêm mais frequentemente de veículos de notícias estabelecidos (ex: The Guardian, HuffPost, NY Times).
• Correlação com o Comportamento do Modelo (R3): Existe uma correlação forte e estatisticamente significativa (r = 0,87, p < 0,05) entre as posturas políticas presentes nos dados de treinamento e as respostas dos modelos em diversas questões de política pública.
• Persistência do Viés (R4): Os vieses políticos já estão presentes nos modelos base (após o pré-treinamento) e persistem através das etapas de pós-treinamento. O alinhamento (SFT/DPO) não altera fundamentalmente a direção do viés, apenas refina a consistência das respostas.

5. Significado e Implicações

• Causalidade e Mitigação: Os resultados sugerem que a raiz do viés político está na composição dos dados de pré-treinamento. Estratégias de mitigação que focam apenas no pós-treinamento (como RLHF) podem ser insuficientes para corrigir vieses enraizados.
• Transparência e Responsabilidade: O estudo enfatiza a necessidade urgente de transparência nos dados de treinamento. Os provedores de IA devem documentar detalhadamente as fontes e a curadoria dos dados.
• Impacto Social: Como os LLMs são cada vez mais usados como fontes de informação e consultores políticos, vieses sistemáticos podem influenciar a opinião pública, polarizar debates e sub-representar perspectivas de direita ou de grupos minoritários.
• Recomendações Futuras: Os autores sugerem que a filtragem prévia de dados de pré-treinamento para remover textos altamente politizados ou equilibrar a representação de fontes pode ser uma estratégia viável para criar modelos mais imparciais.

Em suma, o artigo conclui que a "alquimia" do viés político em LLMs reside primariamente nos dados brutos de pré-treinamento, e não apenas nos ajustes finais de alinhamento, tornando a transparência de dados um requisito fundamental para a confiança em IA.