Beyond the pale: Assessing prevalence and contents of extremist speech in LLM training data

Les modèles de langage de grande taille sont les moteurs de nombreux outils d'intelligence artificielle que nous utilisons aujourd'hui, des chatbots qui répondent aux questions aux systèmes qui aident à écrire du code. Ces machines n'apprennent pas en étant instruites par des règles dans une salle de classe ; au contraire, elles apprennent en lisant de vastes quantités de textes provenant d'Internet, de livres et d'autres sources numériques. Ce processus est appelé entraînement. Pour qu'un modèle devienne fluide et instruit, il doit consommer une bibliothèque de textes si vaste qu'il faudrait une vie humaine pour tout lire. Les chercheurs se sont longtemps concentrés sur la manière dont ces modèles sont construits et sur la façon dont ils sont ajustés après leur apprentissage initial pour garantir qu'ils soient sûrs et utiles. Cependant, une question critique est restée largement non posée : quel genre de matériel le modèle lit-il, en premier lieu ? Si la bibliothèque d'entraînement contient des idées nuisibles, haineuses ou dangereuses, le modèle pourrait apprendre à les répéter, même si ses créateurs tentent plus tard de lui enseigner un meilleur comportement. Il ne s'agit pas seulement d'un problème technique ; c'est une question de sécurité publique, car ces systèmes sont de plus en plus utilisés par des personnes de tous âges, y compris des enfants, qui pourraient être confrontés à des points de vue dangereux sans avertissement.

Une équipe de chercheurs de l'Université de Manchester s'est donné pour mission d'étudier le contenu des données d'entraînement de l'une des collections de textes open-source les plus importantes disponibles pour la communauté scientifique. Cette collection, connue sous le nom de Dolma, sert de fondation à une série de modèles de langage avancés appelés OLMo. Les chercheurs voulaient savoir si cette immense bibliothèque contenait des discours extrémistes — des textes qui prônent la violence, la haine ou le renversement des systèmes démocratiques. Pour répondre à cela, ils n'ont pas simplement deviné ou compté sur un seul programme informatique. Au lieu de cela, ils ont construit un processus méticuleux en plusieurs étapes pour trouver ces documents. Ils ont commencé par prendre un échantillon aléatoire de 200 000 documents de la collection Dolma, ce qui représente une tranche infime mais statistiquement significative des trois billions de mots sur lesquels le modèle a été entraîné. Ils ont ensuite utilisé plusieurs modèles informatiques différents pour scanner ces documents, demandant à chacun d'identifier les textes correspondant à des définitions spécifiques de l'extrémisme. Ces définitions provenaient de directives gouvernementales officielles du Royaume-Uni et d'experts académiques spécialisés dans l'étude du terrorisme et de la violence politique.

Le processus a été conçu pour être conservateur, ce qui signifie que les chercheurs visaient à être très certains avant de qualifier quelque chose d'extrémiste. Ils ont utilisé une technique appelée « vérification par union », où ils demandaient aux modèles informatiques de signaler un document s'il correspondait à l'une des différentes définitions de l'extrémisme. Cela aidait à garantir que les modèles comprenaient correctement la tâche. Une fois que les ordinateurs ont signalé des correspondances potentielles, les chercheurs les ont soumises à un examen plus approfondi. Ils ont utilisé un système d'intelligence artificielle plus puissant pour filtrer les fausses alertes et, enfin, ils ont fait appel à un expert humain spécialisé dans l'étude du discours extrémiste pour lire attentivement un petit échantillon des textes signalés. Cet examen humain était crucial car le texte trouvé dans la nature est souvent désordonné, rempli de langage codé ou écrit d'une manière difficile à interpréter pour les machines. L'expert a examiné ces documents pour confirmer s'ils contenaient réellement les récits dangereux que les chercheurs recherchaient.

Les résultats de cette enquête ont été clairs et préoccupants. Les chercheurs ont découvert que la collection d'entraînement Dolma contient presque certainement des centaines de milliers de documents comportant un contenu extrémiste. Sur la base de leurs estimations prudentes, ils ont calculé qu'environ un document sur 2 000 dans l'échantillon aléatoire contenait des récits extrémistes ou des discours de haine. En projetant ce taux sur l'ensemble du jeu de données, qui se compose de milliards de documents, les chiffres indiquaient un réservoir vaste de matériel nuisible. L'étude a identifié divers types de contenus dangereux, notamment des appels directs à la violence, des discours de haine ciblant des groupes raciaux ou religieux spécifiques, et des récits qui cherchent à saper les institutions démocratiques. Curieusement, les chercheurs ont constaté que la définition spécifique de l'extrémisme utilisée pour la recherche modifiait les résultats. Une définition, axée sur le conflit entre les « in-groups » (groupes internes) et les « out-groups » (groupes externes), jetait un filet très large et captait de nombreux textes qui étaient haineux mais pas nécessairement extrémistes au sens politique. Une autre définition, basée sur les critères officiels du gouvernement, était plus précise mais identifiait tout de même une quantité significative de matériel nuisible.

Une découverte frappante fut l'absence d'un type spécifique d'extrémisme dans l'échantillon. Malgré la nature mondiale d'Internet, les chercheurs n'ont trouvé presque aucun texte lié au terrorisme djihadiste dans leur échantillon, avec un seul fait divers concernant un tel événement apparaissant dans les données. Cela suggère que les réglementations strictes et les politiques d'entreprise concernant les organisations terroristes ont peut-être réussi à supprimer ce type spécifique de contenu des jeux de données publics qui alimentent ces modèles. Cependant, l'étude a révélé que les récits extrémistes de droite étaient beaucoup plus fréquents, apparaissant souvent sous la forme de blogs politiques, de commentaires de forums et de théories du complot. Les chercheurs ont également noté qu'une grande partie du contenu trouvé était « limite » — un texte hautement polarisé, violent ou haineux, mais ne correspondant pas toujours à une définition stricte de l'extrémisme. Cette zone grise est particulièrement dangereuse car elle est plus difficile à filtrer, et pourtant, elle peut tout de même normaliser les opinions extrêmes pour les modèles qui les lisent.

Les implications de ces conclusions dépassent les détails techniques de la construction des modèles. Les chercheurs soutiennent que le problème ne peut pas être résolu simplement en essayant de corriger les modèles après qu'ils ont déjà appris de ces données. Si un modèle a mémorisé des milliers de documents appelant à la violence ou promouvant la haine, il peut avoir du mal à désapprendre ces schémas, même avec un entraînement de sécurité supplémentaire. L'étude souligne que la composition des données d'entraînement est un problème fondamental qui nécessite une attention urgente de la part de ceux qui construisent ces systèmes. Il ne suffit pas de se concentrer sur le comportement des modèles une fois qu'ils sont publiés ; la sécurité du produit final dépend lourdement de ce qui lui a été injecté lors de sa phase d'apprentissage initiale. Les chercheurs concluent qu'il est nécessaire d'avoir une discussion plus large sur les types de contenus acceptables pour l'inclusion dans les bibliothèques d'entraînement de l'intelligence artificielle, surtout lorsque ces bibliothèques sont utilisées pour créer des outils qui interagissent quotidiennement avec le public.