A Systematic Analysis of Biases in Large Language Models

Este estudo analisa sistematicamente os vieses políticos, ideológicos, de aliança, linguísticos e de gênero em quatro grandes modelos de linguagem, revelando que, apesar de alinhados para serem neutros, eles ainda apresentam diversas inclinações e parcialidades.

O essencial

Imagine que os Grandes Modelos de Linguagem (LLMs), como o ChatGPT, o Gemini ou o Qwen, são como cozinheiros de elite que aprenderam a cozinhar lendo milhões de livros de receitas, jornais e conversas da internet. A ideia é que eles sejam chefs neutros, capazes de servir qualquer prato (resposta) com o mesmo sabor, independentemente de quem pede.

Mas e se, sem que a gente perceba, esses cozinheiros tenham desenvolvido um "paladar" específico? E se eles gostarem um pouco mais de pimenta (política de esquerda) ou de sal (política de direita)? Ou se, ao cozinhar para um cliente de um país vizinho, eles mudem o tempero sem querer?

Este estudo é como uma degustação cega rigorosa. Os pesquisadores pegaram quatro desses "chefes" famosos (Qwen, DeepSeek, Gemini e GPT) e os colocaram em uma série de testes para ver se eles realmente são neutros ou se têm "vícios" escondidos.

Aqui está o que eles descobriram, explicado de forma simples:

1. O Teste do Jornalista (Viés Político)

O Cenário: Eles pediram aos modelos para resumir notícias políticas de forma neutra. Depois, compararam esses resumos com versões da mesma notícia escritas por jornais de esquerda e de direita.
A Descoberta: A maioria dos modelos é boa em ser neutra, como um juiz imparcial. Porém, quando escrevem resumos de alta qualidade (muito bem feitos), eles tendem a "puxar" levemente para a esquerda.

• O Gemini foi o único que mostrou uma leve tendência para a direita.
• O GPT puxou um pouquinho para a esquerda.
• O DeepSeek foi o mais equilibrado, como um juiz que não deixa o sabor da opinião pessoal estragar o prato.

2. O Teste do Detetide Ideológico (Viés Ideológico)

O Cenário: Eles mostraram notícias sobre temas polêmicos (como eleições, racismo, imigração, direitos LGBT e aborto) e pediram para os modelos dizerem: "Isso é de esquerda, de direita ou do meio?".
A Descoberta: Os modelos nem sempre são bons em entender a "sopa de letrinhas" ideológica.

• O Gemini tem dificuldade em distinguir a esquerda, muitas vezes dizendo que notícias de esquerda são "do meio". Ele parece entender melhor a linguagem da direita.
• O GPT é o oposto: ele entende muito bem a linguagem da esquerda, mas às vezes confunde a da direita.
• Em temas como imigração, todos os modelos tendem a interpretar a visão da direita como sendo de esquerda, mostrando que eles não entendem bem o discurso conservador sobre esse tema.

3. O Teste da Votação na ONU (Viés de Aliança)

O Cenário: Eles fingiram ser delegados da ONU e votaram em milhares de resoluções reais de 1946 a 2012. Depois, compararam os votos dos robôs com os votos reais dos países.
A Descoberta: Cada modelo tem um "amigo" geopolítico diferente.

• O Gemini foi o mais parecido com a realidade, votando de forma muito similar a delegados de países da América Latina e África. Curiosamente, ele votou de forma diferente dos EUA (seu "país de origem" cultural) e mais alinhado com a China e Coreia do Norte em alguns casos.
• O GPT teve muita dificuldade em concordar com delegados de países menores ou com regimes comunistas, mostrando uma forte discordância com eles.
• O Qwen e o GPT votaram de forma oposta aos delegados da Europa Oriental.

4. O Teste do Sonho Multilíngue (Viés de Língua)

O Cenário: Eles pediram para os modelos escreverem histórias sobre culturas fictícias (que não existem na vida real) em 92 idiomas diferentes. A ideia era ver se o "pensamento" do modelo mudava dependendo do idioma.
A Descoberta:

• Surpreendentemente, os modelos não tendem a pensar como se estivessem falando apenas inglês (a língua dominante nos dados de treino). Eles conseguem pensar de forma diversa em vários idiomas.
• No entanto, quando falam línguas da África do Sul, os modelos tendem a pensar de forma muito parecida com quando falam inglês. É como se, ao usar línguas com menos recursos, eles "copiassem" o pensamento inglês por falta de prática.

5. O Teste da Pesquisa de Valores (Viés de Gênero)

O Cenário: Eles pediram para os modelos responderem a uma pesquisa mundial de valores (sobre família, trabalho, aborto, etc.) sem dizer se eram homens ou mulheres.
A Descoberta: Todos os quatro modelos têm uma "alma" que se parece muito mais com a de mulheres do que com a de homens.

• Eles tendem a ter visões mais progressistas (como apoiar mais o aborto ou a eutanásia) do que a média dos homens no mundo real.
• O GPT foi o que mais se alinhou com os valores femininos.
• O Qwen e o DeepSeek às vezes deram respostas contraditórias, como se não tivessem uma opinião firme sobre quem são.

A Grande Lição (O "Pulo do Gato")

O estudo conclui que, mesmo que tentemos treinar esses robôs para serem justos e neutros, eles herdam os preconceitos dos humanos que escreveram os textos usados para treiná-los. É como tentar ensinar um aluno a ser perfeito, mas o professor (a humanidade) já tem seus próprios vícios e preconceitos.

Se o professor é tendencioso, o aluno (o robô) vai aprender a ser tendencioso também. O estudo sugere que talvez não devamos esperar que os robôs pensem exatamente como nós, mas sim que sejam projetados para serem neutros e robustos, mesmo que isso signifique não imitar perfeitamente a nossa forma de pensar.

Resumo da Ópera: Os robôs não são neutros como acreditamos. Eles têm gostos, preferências e "amigos" políticos, dependendo de quem os ensinou. Por isso, é importante que nós, humanos, saibamos disso para não sermos enganados quando usarmos essas ferramentas.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "A Systematic Analysis of Biases in Large Language Models", apresentado em português:

Título: Uma Análise Sistemática de Vieses em Modelos de Linguagem de Grande Escala (LLMs)

Autores: Xulang Zhang, Rui Mao, Erik Cambria (Universidade Tecnológica de Nanyang, Singapura).

---

1. Problema e Motivação

Os Modelos de Linguagem de Grande Escala (LLMs) tornaram-se ferramentas indispensáveis para a aquisição de informações e apoio à tomada de decisão humana. No entanto, existe uma preocupação crescente sobre se esses modelos conseguem fornecer respostas justas e imparciais. Embora a comunidade de IA busque neutralidade, há indícios de que os LLMs perpetuam preconceitos, estereótipos e mensagens prejudiciais herdadas de seus dados de treinamento.

Apesar de estudos anteriores terem explorado vieses demográficos (gênero, raça) e culturais, a maioria das abordagens foca em áreas isoladas. Com o aumento de LLMs de código fechado e a dificuldade de fine-tuning local, há uma necessidade crítica de desenvolver métodos acessíveis para sondar sistematicamente os vieses subjacentes em múltiplas dimensões (política, ideologia, alianças geopolíticas, linguagem e gênero) em modelos amplamente utilizados.

2. Metodologia

Os autores conduziram uma análise abrangente em quatro LLMs amplamente adotados: Qwen (v2.5-7B-Instruct), DeepSeek (V3-0324), Gemini (2.5-flash) e GPT (4o-mini). O estudo foi dividido em cinco experimentos cuidadosamente desenhados:

1. Viés Político (Resumo de Notícias):

   • Tarefa: Os modelos geraram resumos neutros de 1.018 eventos políticos cobertos por mídias de centro.
   • Medição: A similaridade semântica (Cosseno) entre os resumos gerados e as reportagens originais de mídias de esquerda e direita foi calculada usando embeddings do modelo Qwen.
   • Objetivo: Determinar se a "neutralidade" percebida pelos modelos tende a alinhar-se mais com um espectro político específico.

2. Viés Ideológico (Classificação de Postura):

   • Tarefa: Classificação da postura ideológica (Esquerda, Centro, Direita) de notícias em cinco tópicos carregados ideologicamente: eleições, raça/racismo, imigração, LGBT e aborto.
   • Análise: Avaliação da capacidade dos modelos de distinguir nuances retóricas entre diferentes espectros ideológicos.

3. Viés de Aliança (Padrões de Votação da ONU):

   • Tarefa: Os modelos atuaram como delegados da Assembleia Geral das Nações Unidas (UNGA) para votar em 5.602 chamadas de votação (1946-2012).
   • Medição: O acordo de voto entre os LLMs e 200 delegados reais foi medido usando o Kappa de Cohen.
   • Objetivo: Mapear as afinidades geopolíticas e identificar com quais blocos de países os modelos tendem a concordar ou discordar.

4. Viés de Linguagem (Completamento de Histórias):

   • Tarefa: Os modelos completaram cinco premissas de histórias fictícias (sem relação com culturas reais) traduzidas para 92 idiomas.
   • Análise: As histórias geradas foram traduzidas de volta para o inglês e seus embeddings foram projetados em um espaço vetorial 2D usando Análise de Componentes Principais (PCA).
   • Objetivo: Verificar se os padrões de pensamento ("musings") dos modelos variam significativamente dependendo do idioma de entrada ou se há uma inclinação para idiomas de alto recurso (como inglês).

5. Viés de Gênero (Inquérito de Valores Mundiais):

   • Tarefa: Resposta a seções do World Values Survey (WVS) sobre valores sociais e éticos, sem atribuir identidade de gênero ao modelo.
   • Medição: Comparação da distância absoluta entre a resposta do LLM e as médias de respostas de homens e mulheres no conjunto de dados WVS.
   • Objetivo: Identificar se os modelos tendem a alinhar-se mais com os valores masculinos ou femininos.

3. Resultados Principais

• Política: Embora os modelos sejam majoritariamente neutros, há tendências sutis.

  • Gemini: Mostra uma tendência de direita.
  • GPT: Inclina-se ligeiramente para a esquerda.
  • DeepSeek: Apresentou o desempenho mais equilibrado e neutro.
  • Observação: Resumos de maior qualidade (mais similares a ambos os lados) tendem a alinhar-se mais com a retórica de esquerda, enquanto resumos de menor qualidade alinham-se mais com a direita.

• Ideologia:

  • Gemini: É o menos sensível às nuances ideológicas, classificando erroneamente notícias de esquerda e direita como "centro" com frequência, especialmente em tópicos de raça e LGBT. Tende a alinhar-se ideologicamente com a direita.
  • GPT: É o mais sensível às distinções ideológicas e alinha-se mais com a esquerda.
  • Qwen e DeepSeek: Tendem a classificar notícias errôneas como o oposto da postura real (ex: classificar retórica de direita como esquerda), indicando dificuldade em capturar padrões fundamentais da retórica política.

• Aliança Geopolítica:

  • Todos os modelos mostram maior acordo com delegados de regiões periféricas (América Latina, África Ocidental e Central).
  • Gemini: Alinha-se melhor com delegados reais (maior Kappa), mas demonstra uma afinidade única: discorda dos EUA e concorda com regimes comunistas (China, Coreia do Norte, Vietnã).
  • GPT: Mostra forte discordância com delegados de baixa classificação e discorda proeminentemente da China e Coreia do Norte.
  • Qwen: Mostra discordância (embora leve) com delegados da Europa Ocidental.

• Linguagem:

  • Não há uma inclinação geral para idiomas de alto recurso (inglês, chinês, espanhol) no espaço de pensamento dos modelos quando o contexto é agnóstico à cultura real.
  • Fator Surpresa: Para Qwen, DeepSeek e Gemini, histórias geradas em idiomas da África do Sul formam um cluster mais próximo do inglês, sugerindo um efeito adverso de transfer learning em idiomas de baixo recurso.
  • GPT: Apresenta a distribuição mais diversificada, indicando um pré-treinamento multilíngue mais equilibrado.

• Gênero:

  • Todos os quatro LLMs alinham-se significativamente mais com os valores das mulheres do que com os dos homens.
  • GPT: Apresenta a maior divergência (36,77% de diferença na concordância entre respostas de mulheres e homens), alinhando-se fortemente com valores progressistas.
  • Qwen e DeepSeek: Mostram respostas com valores contraditórios em certas questões (ex: xenofobia e vigilância governamental), indicando falta de uma posição unificada.

4. Contribuições e Significância

• Avaliação Holística: O estudo oferece uma das avaliações mais abrangentes até o momento, cobrindo cinco dimensões críticas de viés em quatro modelos líderes simultaneamente.
• Descoberta de Padrões Ocultos: Revela que mesmo modelos alinhados para neutralidade mantêm vieses intrínsecos herdados dos dados de treinamento e que técnicas de alinhamento humano (como RLHF) não eliminam completamente esses vieses, podendo até amplificá-los.
• Implicações para a Segurança da IA: Os resultados alertam que a confiança cega em LLMs para tomada de decisão pode levar a resultados enviesados. A "neutralidade" é, muitas vezes, uma ilusão que mascara inclinações específicas (ex: alinhamento progressista ou conservador dependendo do modelo).
• Revisão do Paradigma de Alinhamento: O artigo questiona se é desejável forçar a IA a "pensar como humanos", dado que os humanos são inerentemente enviesados. Os autores propõem uma nova direção para o alinhamento: criar LLMs que não apenas imitem a cognição humana, mas que sejam projetados desde o início para manter neutralidade, robustez e incerteza calibrada, representando a diversidade humana sem replicar seus preconceitos.

Em suma, o trabalho demonstra que os LLMs não são agentes de neutralidade perfeita e que os usuários globais devem estar cientes das inclinações individuais de cada modelo para evitar serem enganados por suas respostas.