Beyond speculation: Measuring the growing presence of LLM-generated texts in multilingual disinformation

Resumo Técnico: Além da Especulação: Medindo a Presença Crescente de Textos Gerados por LLM em Desinformação Multilíngue

Declaração do Problema
O rápido avanço dos Modelos de Linguagem de Grande Escala (LLMs) e sua acessibilidade por meio de interfaces amigáveis ao usuário (ex: ChatGPT) intensificou as preocupações relativas ao seu uso indevido na geração de desinformação. Embora a pesquisa confirme a capacidade dos LLMs de produzir conteúdo falso, a extensão real de sua implementação em campanhas de desinformação no mundo real permanece amplamente desconhecida. A comunidade acadêmica está dividida: alguns argumentam que os temores são exagerados devido às limitações naturais do ecossistema, enquanto outros sugerem que contextos específicos de "cauda longa" (longtail) enfrentam riscos negligenciados. Atualmente, há uma falta de evidências empíricas que quantifiquem a prevalência de texto gerado por máquina em conjuntos de dados de desinformação existentes e do mundo real, particularmente através de diferentes idiomas, plataformas e períodos de tempo.

Metodologia
Para abordar essas lacunas, os autores realizaram uma análise empírica abrangente usando dois grupos distintos de conjuntos de dados:

1. Conjuntos de Dados de Referência (Benchmarks): Conjuntos de dados multilíngues rotulados (ex: MULTITuDE, MultiSocial, SemEval, GenAI, MIX) contendo a verdade fundamental (ground truth) para textos escritos por humanos versus textos gerados por máquinas. Estes foram usados para avaliar a robustez e o desempenho dos métodos de detecção em dados fora da distribuição (out-of-distribution).
2. Conjuntos de Dados de Desinformação do Mundo Real: Quatro conjuntos de dados presumidos conter desinformação, notícias falsas ou propaganda:
   • MultiClaim: Postagens de redes sociais multilíngues profissionalmente verificadas (fact-checked) (até março de 2024).
   • FakeNews: Artigos de notícias em inglês sobre as eleições dos EUA (abril–outubro de 2023).
   • USC_X: Um conjunto de dados amostrado de Twitter/X de eleições dos EUA, multilíngue (maio–novembro de 2024).
   • FIGNEWS: Postagens multilíngues do Facebook relativas à guerra entre Israel e Gaza (outubro de 2023–janeiro de 2024).

Estrutura de Detecção:
O estudo empregou dois detectores ajustados (fine-tuned) baseados no modelo Gemma-2-9b-it, utilizando QLoRA para um ajuste fino eficiente:

• Gemma_GenAI: Ajustado no split de treinamento do conjunto de dados GenAI.
• Gemma_MultiDomain: Ajustado nos splits de treinamento combinados do MULTITuDE e MultiSocial.

Para garantir a robustez, os autores utilizaram uma estratégia de detecção de confiança combinada. Um texto é classificado como gerado por máquina se um detector prevê a classe positiva com 100% de confiança (probabilidade 1.0) e o outro não prevê a classe negativa com 100% de confiança (probabilidade > 0.0). Para mitigar falsos positivos em idiomas específicos, as previsões positivas do detector Gemma_GenAI foram desqualificadas para Árabe, Alemão, Italiano e Russo se excedessem uma taxa de falso positivo de 0,1 nos dados de referência.

Para a estimativa de prevalência, os autores também rastrearam a Pontuação Média (a probabilidade média de um texto ser gerado por máquina) para observar tendências sem depender de limiares estritos de classificação.

Principais Resultados
O estudo fornece a primeira evidência empírica de conteúdo gerado por LLM em contextos de desinformação do mundo real, revelando o seguinte:

• Evolução Temporal: Há uma clara tendência de ascensão no conteúdo gerado por máquina após o lançamento público do ChatGPT (novembro de 2022). No conjunto de dados MultiClaim, a proporção de textos detectados como gerados por máquina subiu de 0,93% em 2021 para 1,85% em 2023 (um aumento relativo de 99%). Em 2024, a prevalência atingiu 2,15%. A Pontuação Média dos detectores também aumentou significativamente entre 2021 e 2023.
• Disparidades Linguísticas: A prevalência não é uniforme entre os idiomas. Enquanto o Inglês e o Espanhol possuem os maiores números absolutos de textos detectados, o Polonês (4,7%) e o Francês (4,2%) apresentam as maiores proporções relativas de conteúdo gerado por máquina no conjunto de dados MultiClaim. No conjunto de dados FIGNEWS, os textos em Francês mostraram mais de 10% de geração por LLM, comparado a ~4,7% para o Inglês.
• Variações de Plataforma: Diferenças foram observadas entre as plataformas de redes sociais, com o Instagram mostrando a maior proporção (1,5%), seguido pelo Facebook (1,29%) e Twitter/X (0,64%).
• Descobertas Específicas por Conjunto de Dados:
  • FakeNews: 2,61% dos textos rotulados como "reais" e 3,27% dos textos rotulados como "falsos" foram identificados como gerados por máquina.
  • FIGNEWS: 3,16% dos textos foram detectados como gerados por máquina, com maior prevalência em textos rotulados como "Enviesados contra Israel" (5,11%) em comparação com "Enviesados contra Palestina" (3,13%).
  • USC_X (Eleição de 2024): A prevalência aumentou de 0,44% em janeiro de 2024 para 2,39% em novembro de 2024, coincidindo com o período das eleições nos EUA.
• Desempenho de Detecção: Nos conjuntos de dados de referência, o método de detecção combinada alcançou alta precisão (variando de 93,58% a 99,85%), garantindo que as amostras positivas identificadas sejam altamente propensas a serem verdadeiramente geradas por máquina.

Significância e Contribuições
O artigo reivindica três contribuições primárias para o campo:

1. Validação Empírica: Ele vai além da especulação ao fornecer a primeira avaliação abrangente da presença de LLM em conjuntos de dados de desinformação do mundo real, confirmando que o conteúdo gerado por máquina já é uma realidade mensurável (atingindo ~2,15% em 2024).
2. Reconhecimento de Padrões: O estudo revela que o uso indevido de LLM não é uniforme, mas segue padrões direcionados através de idiomas específicos (ex: Polonês, Francês) e plataformas, sugerindo que contextos de "cauda longa" são, de fato, vulneráveis e requerem atenção específica.
3. Estrutura Metodológica: Os autores estabelecem um framework analítico robusto usando detectores ajustados e agregação baseada em confiança para medir a prevalência em dados fora da distribuição, oferecendo uma abordagem replicável para monitoramento futuro.

Conclusão
Os autores concluem que, embora os LLMs ainda não sejam usados para desinformação em volumes que excedam significativamente o uso legítimo, os temores de uso indevido são justificados. O aumento documentado de conteúdo gerado por máquina, particularmente em afirmações verificadas (fact-checked) e no discurso relacionado a eleições, ressalta a necessidade urgente de investigação contínua, métodos de detecção aprimorados e sistemas de avaliação de credibilidade para preservar a integridade da informação. Os achados sugerem que o monitoramento proativo deve focar em contextos de alta prevalência, como idiomas e plataformas específicas, para combater eficazmente a desinformação impulsionada por IA.