Beyond the pale: Assessing prevalence and contents of extremist speech in LLM training data

Os modelos de linguagem de grande escala são os motores por trás de muitas das ferramentas de inteligência artificial que utilizamos hoje, desde chatbots que respondem a perguntas até sistemas que ajudam a escrever código. Estas máquinas não aprendem ao serem ensinadas regras numa sala de aula; em vez disso, aprendem ao ler vastas quantidades de texto da internet, livros e outras fontes digitais. Este processo é conhecido como treinamento. Para que um modelo se torne fluente e conhecedor, ele deve consumir uma biblioteca de textos tão grande que levaria uma vida humana para ler tudo. Os investigadores têm focado há muito tempo em como estes modelos são construídos e como são ajustados após o seu aprendizado inicial para garantir que sejam seguros e úteis. No entanto, uma questão crítica tem permanecido amplamente não formulada: exatamente que tipo de material o modelo está a ler, em primeiro lugar? Se a biblioteca de treinamento contiver ideias prejudiciais, odiosas ou perigosas, o modelo poderá aprender a repeti-las, mesmo que os seus criadores tentem posteriormente ensinar-lhe um melhor comportamento. Isto não é apenas uma falha técnica; é uma questão de segurança pública, uma vez que estes sistemas são cada vez mais utilizados por pessoas de todas as idades, incluindo crianças, que podem encontrar pontos de vista perigosos sem aviso prévio.

Uma equipa de investigadores da Universidade de Manchester decidiu investigar o conteúdo dos dados de treinamento de uma das coleções de texto de código aberto mais significativas disponíveis para a comunidade científica. Esta coleção, conhecida como Dolma, serve como base para uma série de modelos de linguagem avançados chamados OLMo. Os investigadores queriam saber se esta vasta biblioteca continha discurso extremista — texto que promove a violência, o ódio ou a derrubada de sistemas democráticos. Para responder a isto, eles não se limitaram a adivinhar ou a confiar num único programa de computador. Em vez disso, construíram um processo cuidadoso de várias etapas para encontrar estes documentos. Começaram por tirar uma amostra aleatória de 200.000 documentos da coleção Dolma, que representa uma fatia minúscula, mas estatisticamente significativa, das três biliões de palavras sobre as quais o modelo foi treinado. Utilizaram depois vários modelos de computador diferentes para analisar estes documentos, pedindo a cada um deles que identificasse textos que correspondessem a definições específicas de extremismo. Estas definições vieram de diretrizes oficiais do governo do Reino Unido e de especialistas académicos no estudo do terrorismo e da violência política.

O processo foi desenhado para ser conservador, o que significa que os investigadores pretendiam ter muita certeza antes de rotular algo como extremista. Utilizaram uma técnica chamada "verificação de união" (union check), onde pediram aos modelos de computador para sinalizarem um documento se este correspondesse a qualquer uma das diferentes definições de extremismo. Isto ajudou a garantir que os modelos estavam a compreender a tarefa corretamente. Assim que os computadores sinalizaram possíveis correspondências, os investigadores submeteram-nos a um escrutínio adicional. Utilizaram um sistema de inteligência artificial mais poderoso para filtrar falsos alarmes e, finalmente, recorreram a um especialista humano especializado no estudo do discurso extremista para ler de perto uma pequena amostra dos textos sinalizados. Esta revisão humana foi crucial porque o texto encontrado "no mundo real" é frequentemente desordenado, cheio de linguagem codificada ou escrito de uma forma que é difícil de interpretar pelas máquinas. O especialista leu estes documentos para confirmar se eles continham realmente as narrativas perigosas que os investigadores procuravam.

Os resultados desta investigação foram claros e preocupantes. Os investigadores descobriram que a coleção de treinamento Dolma quase certamente contém centenas de milhares de documentos com conteúdo extremista. Com base nas suas estimativas conservadoras, calcularam que aproximadamente um em cada 2.000 documentos na amostra aleatória continha narrativas extremistas ou discurso de ódio. Ao projetar esta taxa para todo o conjunto de dados, que consiste em biliões de documentos, os números apontaram para um vasto reservatório de material prejudicial. O estudo identificou vários tipos de conteúdo perigoso, incluindo apelos diretos à violência, discurso de ódio direcionado a grupos raciais ou religiosos específicos e narrativas que procuram minar as instituições democráticas. Curiosamente, os investigadores descobriram que a definição específica de extremismo utilizada para pesquisar os dados alterava os resultados. Uma definição, que se focava no conflão entre "grupos internos" (in-groups) e "grupos externos" (out-groups), lançou uma rede muito ampla e capturou muitos textos que eram odiosos, mas não necessariamente extremistas no sentido político. Outra definição, baseada em critérios governamentais oficiais, era mais precisa, mas ainda assim identificou uma quantidade significativa de material prejudicial.

Uma descoberta marcante foi a ausência de um tipo específico de extremismo na amostra. Apesar da natureza global da internet, os investigadores encontraram quase nenhum texto relacionado com o terrorismo jihadista na sua amostra, aparecendo apenas uma notícia sobre tal evento. Isto sugere que regulamentações estritas e políticas corporativas relativas a organizações terroristas podem ter removido com sucesso este tipo específico de conteúdo dos conjuntos de dados públicos que alimentam estes modelos. No entanto, o estudo descobcia que as narrativas extremistas de direita eram muito mais prevalentes, aparecendo frequentemente na forma de blogs políticos, comentários de fóruns e teorias da conspiração. Os investigadores também notaram que muito do conteúdo encontrado era "limítrofe" (borderline) — texto que era altamente polarizado, violento ou odioso, mas que nem sempre se enquadrava numa definição legal estrita de extremismo. Esta zona cinzenta é particularmente perigosa porque é mais difícil de filtrar, mas pode ainda normalizar visões extremas para os modelos que as leem.

As implicações destas descobertas estendem-se para além dos detalhes técnicos de como os modelos são construídos. Os investigadores argumentam que o problema não pode ser resolvido simplesmente tentando corrigir os modelos depois de eles já terem aprendido com estes dados. Se um modelo memorizou milhares de documentos que apelam à violência ou promovem o ódio, poderá ter dificuldade em "desaprender" esses padrões, mesmo com treinamento de segurança adicional. O estudo destaca que a composição dos dados de treinamento é uma questão fundamental que requer atenção urgente por parte das pessoas que constroem estes sistemas. Não basta focar em como os modelos se comportam uma vez que sejam lançados; a segurança do produto final depende fortemente do que foi introduzido nele durante a sua fase inicial de aprendizado. Os investigadores concluem que há necessidade de uma discussão mais ampla sobre que tipos de conteúdo são aceitáveis para inclusão nas bibliotecas de treinamento da inteligência artificial, especialmente quando essas bibliotecas são usadas para criar ferramentas que interagem com o público todos os dias.