Customized large language models can outperform Community Notes in correcting misinformation
O artigo apresenta o MUSE, uma estrutura de modelo de linguagem de grande escala customizada que integra recuperação consciente de confiança e raciocínio multimodal para superar o Community Notes na identificação e correção de desinformação em diversos tipos de conteúdo, melhorando assim tanto a qualidade da resposta quanto o reconhecimento do usuário sobre informações falsas.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
A praça pública digital está repleta de um problema persistente: a desinformação que se espalha mais rápido do que a verdade. Nas redes sociais, uma única postagem enganosa pode alcançar milhões antes que qualquer pessoa tenha a chance de verificá-la. Durante anos, a principal defesa contra isso tem sido o esforço humano. Sistemas de colaboração, nos quais voluntários escrevem notas para corrigir afirmações falsas, tornaram-se uma ferramenta padrão para as plataformas. Essas notas são valiosas porque são escritas por pessoas que podem contribuir com contexto e nuance, mas possuem uma fraqueza significativa: são lentas. No momento em que um voluntário escreve uma correção, a postagem enganosa já pode ter causado seu dano. Além disso, os voluntários humanos não conseguem cobrir todas as postagens, deixando vastas quantidades de desinformação sem verificação.
Cientistas há muito buscam na inteligência artificial uma forma de preencher essa lacuna, esperando que as máquinas pudessem detectar mentiras tão rapidamente quanto elas se espalham. No entanto, os modelos de IA padrão frequentemente têm dificuldade com essa tarefa. Eles são treinados em dados antigos e não conseguem ver eventos que estão acontecendo agora. Eles também podem "alucinar", inventando fatos ou citando fontes que não existem. O desafio não é apenas construir uma máquina que saiba ler, mas sim uma que saiba verificar, raciocinar através de diferentes tipos de mídia, como texto e imagens, e fazer isso sem introduzir novos erros ou vieses. O objetivo é um sistema que atue como um verificador de fatos incansável e imparcial, pronto para responder no momento em que uma postagem suspeita aparece.
Uma equipe de pesquisadores da Universidade de Washington desenvolveu um novo sistema chamado MUSE para enfrentar exatamente esse problema. O MUSE é uma estrutura de inteligência artificial personalizada, projetada para identificar e corrigir a desinformação em tempo real. Diferente de modelos mais antigos que dependem apenas do que aprenderam no passado, o MUSE é equipado com um mecanismo para pesquisar na web ao vivo em busca de evidências atualizadas. Quando encontra uma postagem de rede social, ele não apenas adivinha; ele decompõe o conteúdo, pesquisa informações críveis para apoiar ou refutar as afirmações e, então, escreve uma correção fundamentada nessa evidência. O sistema foi projetado para lidar com postagens complexas que misturam texto com imagens, garantindo que possa verificar tudo, desde uma legenda até uma fotografia.
Para testar se essa abordagem realmente funciona, os pesquisadores compararam o MUSE com as melhores correções escritas por humanos atualmente disponíveis na plataforma X, anteriormente conhecida como Twitter. Eles reuniram centenas de postagens reais, algumas contendo mentiras claras, outras com detalhes sutilmente enganosos e algumas que eram inteiramente precisas. Para cada postagem, eles colocaram a resposta da IA contra notas de alta qualidade escritas por voluntários humanos e notas comuns escritas por usuários menos experientes. A avaliação foi rigorosa, envolvendo um painel de especialistas profissionais em verificação de fatos que pontuaram as respostas com base em treze critérios diferentes. Esses especialistas analisaram se o sistema identificou corretamente as partes falsas, se a explicação fazia sentido e se as fontes citadas eram confiáveis e realmente existiam.
Os resultados mostraram uma vantagem clara para o novo sistema. O MUSE produziu respostas que os especialistas avaliaram como de qualidade significamente superior até mesmo às melhores notas escritas por humanos. Em uma escala de dez, a IA obteve uma média de 8,1, enquanto as melhores notas humanas tiveram média de 6,3. Essa diferença não foi apenas uma questão de estilo; a IA foi mais precisa em identificar as partes específicas de uma postagem que eram enganosas. Enquanto os modelos de IA padrão frequentemente falham em identificar o problema ou inventam fatos, o MUSE identificou e explicou incorreções em quase 90 por cento de suas respostas. Ele também forneceu links para fontes que eram quase sempre acessíveis e relevantes, ao passo que os modelos padrão frequentemente citavam links quebrados ou falsos. O sistema teve um bom desempenho em todas as áreas, lidando com postagens sobre política, saúde e eventos atuais com igual habilidade, e não apresentou o viés político que às vezes assola outros sistemas de IA.
Os pesquisadores também queriam saber se as pessoas realmente confiariam em uma correção feita por uma máquina. Eles realizaram um estudo com quase mil participantes, mostrando-lhes as postagens enganosas e as correções geradas pela IA. Os resultados foram encorajadores: após ler a explicação da IA, os participantes foram significativamente melhores em reconhecer que a postagem original era enganosa. A crença deles na afirmação falsa diminuiu. No entanto, nenhuma das correções afetou significativamente a intenção dos participantes de compartilhar a desinformação, que permaneceu geralmente baixa. Curiosamente, informar às pessoas que a correção vinha de uma inteligência artificial não as fez confiar menos nela. A eficácia do sistema permaneceu alta tanto se sua origem fosse revelada quanto se fosse ocultada, sugerindo que a qualidade da explicação importa mais do que a identidade de quem escreve.
Um dos aspectos mais importantes deste trabalho é como o sistema lida com o desconhecido. Os pesquisadores descobriram que o MUSE não precisa depender de verificações de fatos pré-existentes para realizar seu trabalho. Mesmo para postagens que nunca haviam sido verificadas por ninguém, o sistema conseguiu encontrar evidências novas na web e construir uma correção confiável. Ele também conseguiu fazer isso rapidamente, gerando uma resposta completa em cerca de dois minutos em hardware de computador padrão. O custo para rodar o sistema também é baixo, custando aproximadamente 0,2 USD por postagem, o que é muito mais barato do que pagar voluntários humanos para revisar cada peça de conteúdo.
O estudo possui limitações. O sistema atualmente trabalha com texto e imagens, mas ainda não consegue analisar vídeos. Ele também depende da existência de informações críveis online; se uma postagem for sobre um evento de notícias de última hora onde nenhum veículo de comunicação confiável ainda reportou, o sistema é projetado para admitir incerteza em vez de adivinhar. Os pesquisadores testaram o sistema em uma única plataforma e, embora essa plataforma seja amplamente utilizada, os resultados podem variar em outros lugares. Apesar desses limites, as descobertas oferecem um caminho promissor. Ao combinar a velocidade das máquinas com a capacidade de pesquisar e verificar evidências do mundo real, o MUSE demonstra que podemos construir ferramentas que ajudem as pessoas a distinguir a verdade da falsidade na escala e velocidade exigidas pela internet moderna. O trabalho sugere que o futuro do combate à desinformação pode não ser uma escolha entre humanos e máquinas, mas um sistema onde as máquinas lidam com o trabalho pesado de verificação, permitindo que o julgamento humano se concentre nos casos mais complexos.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.