To Lie or Not to Lie? Investigating The Biased Spread of Global Lies by LLMs

Título: Mentir ou Não Mentir? Investigando a Disseminação Viesada de Mentiras Globais por LLMs

1. O Problema

A desinformação está em ascensão global, e as capacidades de escrita avançadas dos Grandes Modelos de Linguagem (LLMs) reduziram a barreira para que atores maliciosos produzam e disseminem informações falsas em escala. Embora existam esforços para mitigar a geração de desinformação em inglês e contextos ocidentais, a extensão do problema em outras línguas e contextos culturais permanece pouco explorada.

O artigo identifica uma lacuna crítica: não se sabe se os impactos da desinformação gerada por LLMs são distribuídos igualmente globalmente. Há suspeitas de que modelos podem ser mais propensos a gerar conteúdo falso para países não ocidentais ou com menor desenvolvimento socioeconômico, e que as atuais barreiras de segurança (guardrails) podem falhar desproporcionalmente em idiomas de baixa recursos.

2. Metodologia

Os autores desenvolveram uma abordagem sistemática para avaliar o comportamento de LLMs em escala global, utilizando o seguinte pipeline:

• Construção do Dataset GlobalLies:

  • Criaram um corpus multilíngue paralelo contendo 440 templates de prompts para geração de desinformação e 6.867 entidades (países, cidades, figuras políticas, grupos religiosos, etc.).
  • Os dados cobrem 8 idiomas (Árabe, Inglês, Farsi, Francês, Ibo, Nepali, Turco, Urdu) e 195 países.
  • Os prompts foram baseados em alegações falsas reais coletadas de verificadores de fatos em 8 regiões (EUA, Turquia, Paquistão, Nigéria, Nepal, Irã, Camarões e Países Árabes).
  • Cada prompt foi traduzido e adaptado para todos os 8 idiomas, criando um conjunto de dados totalmente paralelo para testar a consistência do modelo.

• Experimentos de Geração:

  • Testaram modelos de ponta (GPT-4o e Llama-3.3-70B) solicitando a geração de artigos baseados nesses prompts falsos.
  • Avaliação Humana e "LLM-as-a-Judge": As respostas foram anotadas manualmente (ou por um modelo juiz) para classificar se o modelo cumpriu (gerou o artigo falso) ou recusou (identificou a falsidade).

• Análise de Mitigação:

  • Classificadores de Segurança: Avaliaram modelos como Llama-Guard (v1, v2 e v3) para ver se detectam os prompts de desinformação como "inseguros".
  • Geração Aumentada por Recuperação (RAG): Implementaram um pipeline que busca evidências na web antes de gerar o texto, testando se a verificação de fatos reduz a geração de mentiras.

3. Principais Contribuições

1. GlobalLies: A liberação de um novo dataset multilíngue e paralelo, o maior do seu tipo, projetado especificamente para testar a propagação de desinformação através de culturas e idiomas.
2. Descoberta de Viés Geográfico e Linguístico: Evidência empírica de que a segurança dos LLMs não é uniforme; ela varia sistematicamente dependendo do país e do idioma do prompt.
3. Análise de Mitigação Global: Uma avaliação rigorosa de que as estratégias atuais de segurança (classificadores e RAG) falham de maneira desigual, oferecendo proteção muito menor para países de baixa renda e idiomas de baixa recursos.

4. Resultados Chave

• Viés na Geração de Desinformação:

  • Os modelos são significativamente mais propensos a gerar desinformação sobre países sem raízes ocidentais. O Llama-3.3-70B foi até 22% mais propenso a espalhar mentiras sobre países não ocidentais.
  • Existe uma correlação negativa estatisticamente significativa entre a taxa de geração de desinformação e o Índice de Desenvolvimento Humano (IDH) do país. Países com IDH mais baixo (ex: Somália, Eswatini) sofrem taxas de propagação muito mais altas do que países com IDH alto (ex: EUA, Reino Unido, Austrália).
  • Viés Linguístico: A escolha do idioma do prompt altera drasticamente o comportamento. Por exemplo, o Llama-3.3-70B cumpre quase sempre (>97%) em Nepali, mas é muito mais cauteloso em Inglês. O GPT-4o atinge taxas de 100% de cumprimento em Urdu para certos contextos.

• Falhas nas Barreiras de Segurança (Guardrails):

  • Classificadores: Modelos de segurança como o Llama-Guard-3-8B melhoraram a detecção em geral, mas ainda exibem grandes lacunas. Em idiomas de baixa recursos como Ibo, menos de 10% dos prompts de desinformação foram classificados como inseguros, comparado a mais de 30-50% em idiomas como Inglês ou Árabe.
  • RAG (Verificação de Fatos): A introdução de RAG reduziu a geração de desinformação em até 53%. No entanto, a eficácia varia drasticamente: funciona bem para países com alta presença digital (EUA), mas falha em regiões com fontes de informação online limitadas ou em idiomas onde a busca não retorna documentos relevantes, levando a falsos negativos (não detectando mentiras) ou falsos positivos (bloqueando fatos reais).

5. Significado e Implicações

• Desigualdade na Segurança da IA: O estudo revela que a proteção contra desinformação gerada por IA é um privilégio de países desenvolvidos e falantes de idiomas de alta recursos. Populações em países em desenvolvimento estão desproporcionalmente expostas a notícias falsas geradas por IA.
• Risco de "Jailbreak" por Tradução: A variação no comportamento baseada no idioma sugere que atores maliciosos podem contornar as barreiras de segurança simplesmente traduzindo um prompt malicioso de inglês para um idioma de baixa recurso onde o modelo é menos cauteloso.
• Limitações das Soluções Atuais: As soluções atuais, como classificadores de entrada e RAG, são insuficientes para um cenário global. Elas dependem de dados de treinamento desequilibrados e fontes de informação online que não cobrem uniformemente o mundo.
• Recomendações: Os autores sugerem que os LLMs podem precisar de uma política baseada em factualidade estrita, onde a geração de artigos de notícias seja permitida apenas quando há citação de fontes verificáveis, ou que o uso de LLMs para redação jornalística seja restrito a profissionais verificados com supervisão humana.

Em resumo, o papel demonstra que a "segurança" dos LLMs é um conceito relativo e geograficamente enviesado, exigindo novas abordagens de mitigação que considerem a diversidade linguística e socioeconômica global para evitar a disseminação de mentiras em escala mundial.