Wisdom of the LLM Crowd: A Large Scale Benchmark of Multi-Label U.S. Election-Related Harmful Social Media Content
Este estudo apresenta o USE24-XD, um grande conjunto de dados de quase 100 mil postagens do X durante a eleição presidencial dos EUA de 2024, anotado de forma escalável por múltiplos modelos de linguagem para identificar cinco categorias de conteúdo prejudicial e validado por meio de crowdsourcing e análise de viés humano.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que a internet, especialmente durante uma eleição, é como uma praça pública gigante e barulhenta. Nela, milhões de pessoas estão gritando ao mesmo tempo. Algumas estão dizendo a verdade, outras estão contando piadas, e há um grupo que está espalhando boatos, mentiras ou tentando assustar os outros.
O problema é que, nessa multidão, é muito difícil para uma única pessoa (ou até para um pequeno grupo) ouvir tudo, separar o que é sério do que é brincadeira, e identificar quem está tentando manipular a opinião pública.
É aqui que entra este estudo, que podemos chamar de "O Projeto de Detetives Robôs".
Aqui está a explicação do que os pesquisadores fizeram, usando analogias simples:
1. O Grande Desafio: A Tempestade de Posts
Os pesquisadores coletaram quase 100.000 mensagens (posts) do X (antigo Twitter) durante a eleição dos EUA de 2024. Era como tentar organizar uma biblioteca onde os livros estão sendo jogados no ar a cada segundo. Fazer isso manualmente, lendo cada um e decidindo se é perigoso ou não, seria como tentar beber de uma mangueira de incêndio: custaria muito dinheiro e levaria anos.
2. A Solução Criativa: O "Conselho de Sabedoria"
Em vez de contratar milhares de pessoas para ler tudo, os pesquisadores usaram Inteligência Artificial (IA). Mas eles não confiaram em apenas um robô. Eles contrataram seis "detetives robôs" diferentes (modelos de linguagem como GPT, Gemini e Llama).
Pense nisso como se você tivesse seis juízes diferentes em um tribunal. Se um juiz diz que um post é "perigoso", você não confia apenas nele. Você pergunta aos outros cinco. Se a maioria (o "conselho") concordar, então é provável que seja verdade.
Eles pediram para esses robôs classificar os posts em 5 categorias de "perigo":
- Conspiração: Teorias malucas sobre eleições roubadas ou segredos ocultos.
- Sensacionalismo: Notícias que gritam "ALERTA!" para assustar ou ganhar cliques.
- Discurso de Ódio: Ataques pessoais ou insultos a grupos de pessoas.
- Especulação: Adivinhações sem prova sobre o futuro.
- Sátira: Piadas políticas (que podem ser difíceis de distinguir de notícias falsas).
3. O Teste: Robôs vs. Humanos
Para saber se os robôs estavam fazendo um bom trabalho, os pesquisadores trouxeram 34 humanos reais (trabalhadores de uma plataforma online) para ler uma pequena amostra dos posts e fazer o mesmo trabalho.
O que eles descobriram?
- Os Robôs eram mais consistentes: Enquanto os humanos tinham opiniões diferentes (um achava que era piada, o outro achava que era ódio), os robôs tendiam a concordar mais entre si. Foi como se os robôs tivessem "regras" mais rígidas e menos "humor" variável.
- A Sabedoria da Multidão Funcionou: Quando os pesquisadores juntaram as respostas dos três melhores robôs e fizeram uma votação majoritária, eles conseguiram um resultado tão bom quanto (e às vezes melhor que) o dos humanos, mas custou uma fração do preço e foi muito mais rápido.
- O Viés Humano: Eles também notaram algo interessante: a opinião política dos humanos influenciava o que eles marcavam. Por exemplo, pessoas de um lado político tendiam a marcar mais posts como "discurso de ódio", enquanto pessoas do outro lado marcavam mais como "especulação". Isso mostra que o que consideramos "perigoso" depende um pouco de quem está olhando.
4. O Resultado Final: Um Mapa do Perigo
O estudo criou um mapa gigante e público (um banco de dados chamado USE24-XD) com esses posts já classificados.
- Eles descobriram que 60% dos posts tinham pelo menos um rótulo de conteúdo potencialmente prejudicial. Ou seja, o "lixo" na praça pública é muito comum, não é uma exceção rara.
- O método deles é como um filtro de café superpotente: ele separa o grão (a informação útil) do pó (a desinformação) de forma rápida e barata, permitindo que pesquisadores e plataformas limpem a internet mais facilmente no futuro.
Resumo em uma frase
Os pesquisadores provaram que, quando você junta a inteligência de vários robôs diferentes e faz eles votarem juntos, você consegue identificar mentiras e perigos na internet com tanta precisão quanto humanos, mas de forma muito mais rápida, barata e consistente, criando um mapa valioso para proteger a democracia.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.