Subjective Multi-Bias Detection with Large Language Models
Este artigo apresenta um projeto que utiliza Grandes Modelos de Linguagem para detectar e classificar três tipos de vieses subjetivos — enquadramento, epistemológico e demográfico — em texto, aproveitando o conjunto de dados WIKIBIAS de mais de 4.000 pares de edições da Wikipédia para identificar atitudes impróprias e deturpações.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você está percorrendo um feed de notícias ou lendo um artigo da Wikipédia e depara-se com uma frase que parece um pouquinho estranha. Talvez ela faça um grupo específico de pessoas parecer vilão sem dizer isso abertamente, ou use palavras sofisticadas para fazer uma afirmação duvidosa parecer um fato absoluto. Este é o mundo do viés subjetivo. Não se trata apenas de mentir; trata-se das maneiras sutis e astutas pelas quais os escritores podem distorcer a verdade ou esconder suas opiniões dentro de "fatos". Detectar isso é um enorme desafio para os computadores porque, ao contrário de um problema matemático com uma resposta clara de certo ou errado, o viés muitas vez se esconde no tom, na escolha das palavras e nas suposições não ditas.
Por anos, cientistas tentaram ensinar computadores a detectar esses truques usando modelos como o BERT, que é como um estudante muito inteligente que leu milhões de livros, mas que ainda assim às vezes perde a "vibe" de uma frase. Mais recentemente, uma nova geração de Modelos de Linguagem de Grande Escala (LLMs) chegou. Pense neles como cérebros de IA superpoderosos que não apenas leem palavras, mas entendem a complexa dança da linguagem humana, da cultura e do contexto. A grande questão que os pesquisadores estão fazendo é: será que esses cérebros gigantes de IA finalmente conseguem capturar os vieses subjetivos e astutos que os modelos antigos continuam deixando passar?
Este artigo é a história de uma equipe de pesquisadores que decidiu colocar esses novos cérebros de IA à prova. Eles enfrentaram um conjunto de dados complicado chamado WIKIBIAS, que contém mais de 4.000 pares de frases de edições da Wikipédia. Esses pares são como instantâneos de "antes e depois", onde alguém alterou uma frase para adicionar um tipo específico de viés. Os pesquisadores estavam procurando por três tipos específicos de truques: viés de enquadramento (uso de palavras unilaterais para promover um ponto de vista), viés epistemológico (linguagem sutil que faz uma história parecer mais ou menos acreditável do que realmente é) e viés demográfico (palavras que assumem coisas sobre o gênero, religião ou origem de uma pessoa).
Primeiro, eles tentaram o método tradicional: um modelo BERT padrão. Era como pedir a um estudante diligente, mas ligeiramente míope, para corrigir as redações. O resultado? Ele obteve uma pontuação de 0,33 em uma escala chamada "macro-F1" (uma forma de medir o quão bem o modelo se sai em todas as categorias). O modelo teve dificuldades, especialmente com os tipos de viés mais complicados e menos comuns, muitas vezes confundindo-os ou deixando-os passar inteiramente. Ficou claro que as ferramentas antigas não eram afiadas o suficiente para o trabalho.
Então, a equipe construiu algo novo: o EnsembleLlama. Em vez de depender de apenas uma IA, eles criaram uma "equipe de especialistas". Eles pegaram um modelo poderoso de código aberto chamado LLaMA2 (especificamente a versão de 7 bilhões de parâmetros) e lhe deram uma tarefa especial. Em vez de tentar adivinhar os três tipos de viés de uma só vez — o que estava confundindo o modelo porque alguns vieses são raros — eles treinaram três "mini-especialistas" separados. Um especialista olhava apenas para o viés de enquadramento, outro apenas para o viés epistemológico e o terceiro apenas para o viés demográfico. Eles então empilharam esses três especialistas, deixando-os votar na resposta final.
Os resultados foram transformadores. Ao usar essa abordagem de equipe, o novo modelo saltou sua pontuação de 0,33 para 0,59. Isso é uma melhoria de 26% sobre a linha de base antiga. Ele não apenas melhorou nas coisas fáceis; ele melhorou significamente sua capacidade de capturar os vieses raros e difíceis que o modelo antigo continuava perdendo. Por exemplo, quando o modelo antigo viu uma frase sobre um voluntário do IRA e pensou que era apenas "enquadramento", a nova equipe identificou corretamente como "viés epistemológico".
No entanto, os pesquisadores são cautelosos ao não chamar isso de uma solução perfeita. Eles admitem que, embora seu modelo seja muito melhor, ele ainda não é perfeito. Existem casos em que a IA se confunde, como quando uma frase sobre uma escola fundada por pais foi rotulada incorretamente como tendo "nenhum viés", quando na verdade tinha um "viés de enquadramento". Eles sugerem que o sucesso do modelo ainda está ligado ao quão bem ele entende o texto e ao conhecimento que lhe foi alimentado. Eles também observam que simplesmente empilhar os especialistas ajudou, mas pode haver maneiras ainda mais inteligentes de combiná-los no futuro.
Em suma, este artigo mostra que, ao dividir um problema difícil em partes menores e usar um novo cérebro de IA poderoso para atacar cada parte, podemos capturar o viés subjetivo muito melhor do que antes. É um grande passo à frente, mas a jornada para compreender perfeitamente o viés humano no texto ainda está em curso.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.