L'internet est un vaste marché bruyant de l'expression humaine, où une seule phrase peut être une plaisanterie inoffensive pour une personne et une arme d'exclusion pour une autre. Pendant des années, les ordinateurs ont tenté de policer cet espace, mais ils ont souvent été maladroits, cherchant de simples mots grossiers plutôt que de comprendre le contexte social complexe dans lequel ces mots apparaissent. Ils peinent à distinguer une insulte amicale entre amis d'une véritable attaque contre l'identité d'une personne, surtout lorsque l'attaque est dissimulée derrière l'argot local, des références culturelles ou des stéréotypes subtils. C'est le cœur du défi de la détection des discours de haine : il ne s'agit pas seulement de trouver des mots offensants, mais de comprendre qui est ciblé, quel est l'argument et pourquoi cela cause du tort. La difficulté est accentuée lorsque la langue n'est pas l'anglais, ou lorsque la haine est codée de manières que seules les personnes issues d'une culture spécifique pourraient reconnaître.

Une équipe de chercheurs a proposé une nouvelle façon de résoudre ce problème, s'éloignant d'un programme informatique unique essayant de porter un jugement rapide. Au lieu de cela, ils ont construit un système qui imite un panel d'experts humains, où différents « agents » examinent le même texte sous différents angles avant de parvenir à une conclusion finale. Leur travail, testé sur des textes chinois et anglais, suggère que le fait de diviser un long message en morceaux plus petits et de faire en sorte que plusieurs perspectives argumentent leur cas conduit à une compréhension beaucoup plus précise de ce qui se passe. Le système ne se contente pas de deviner ; il force l'ordinateur à expliquer son raisonnement, à vérifier ses preuves et à résoudre les désaccords avant de qualifier un texte de haineux.

Les chercheurs, dirigés par Yifan Lyu et ses collègues, ont introduit un cadre appelé SPAR-Hate. Le nom désigne un processus structuré qui commence par découper un long document en phrases ou propositions plus petites et gérables. Cela est crucial car un seul message peut attaquer trois groupes différents de trois manières différentes, et un ordinateur essayant de lire l'ensemble d'un coup se confond souvent, mélangeant qui est attaqué avec ce qui est dit. En divisant le texte en petites unités, le système peut se concentrer sur une affirmation spécifique à la fois. Une fois qu'un petit morceau de texte est isolé, le système ne demande pas à une seule IA de décider s'il s'agit d'un discours de haine. Au lieu de cela, il demande à trois agents virtuels différents de le lire, chacun jouant un rôle spécifique.

Le premier agent est la « Victime ». Cette perspective est conçue pour être très sensible au préjudice, à l'exclusion et au sentiment d'être ciblé. Elle recherche les micro-agressions, les stéréotypes et le langage qui fait en sorte qu'un groupe se sente en insécurité ou déshumanisé. Le deuxième agent est le « Modérateur », qui agit comme le manuel de règles d'une plateforme de médias sociaux. Cet agent recherche les violations claires des politiques de sécurité, telles que les insultes explicites, les menaces de violence ou le harcèlement direct, tout en ignorant les désaccords subjectifs qui ne franchissent pas la ligne de l'abus. Le troisième agent est le « Observateur Culturel », un expert du contexte local. Cet agent est formé pour reconnaître le langage codé, les jeux de mots homophoniques et l'argot régional qui peuvent paraître anodins pour un étranger mais qui sont profondément offensants au sein d'une communauté spécifique. Dans la version chinoise du système, cet agent reçoit même un dictionnaire spécialisé de termes de haine locaux pour l'aider à repérer les insultes cachées.

Après que ces trois agents ont lu le même petit morceau de texte, ils sont souvent en désaccord. L'un peut dire qu'il est inoffensif, tandis qu'un autre voit une attaque claire. C'est ici que l'innovation la plus importante du système intervient : un « Auditeur ». Ce quatrième agent ne se contente pas de compter les voix. Au lieu de cela, il agit comme un juge, examinant les preuves fournies par chacun des trois agents. Il vérifie si leurs affirmations sont fondées sur le texte réel, si elles sont cohérentes avec les règles et si elles font sens dans le contexte culturel. Si le « Modérateur » manque une insulte culturelle subtile que l'« Observateur » a détectée, l'Auditeur peut passer outre la vue du Modérateur. Si la « Victime » est trop sensible à une déclaration neutre, l'Auditeur peut corriger cela. Le système force les agents à fournir des citations spécifiques du texte pour appuyer leurs affirmations, garantissant que la décision finale est basée sur des preuves plutôt que sur un sentiment vague.

Les chercheurs ont testé cette approche sur deux référentiels majeurs, l'un pour l'anglais et l'autre pour le chinois, qui sont des ensembles de données standards utilisés pour mesurer la capacité des ordinateurs à comprendre les discours de haine. Pour le benchmark anglais, le jeu de données public ne fournissant que l'ensemble de test, les chercheurs ont de manière déterministe mélangé et redivisé l'ensemble en sous-ensembles d'entraînement et de test pour leur étude. Ils ont comparé leur système multi-agents à d'autres méthodes, y compris des prompts simples demandant à une seule IA de faire le travail et d'autres cadres de raisonnement complexes. Les résultats ont montré que le système SPAR-Hate surpassait systématiquement les autres, particulièrement sur les tâches les plus difficiles. Il était bien meilleur pour identifier correctement la cible spécifique d'une attaque, les mots exacts utilisés pour l'argument et l'étiquette correcte du préjudice. Les améliorations étaient plus notables lorsque l'évaluation était stricte, exigeant que l'ordinateur obtienne la cible, l'argument et l'étiquette tous les trois corrects en même temps. Cela suggère que le système ne se contente pas de deviner plus souvent, mais qu'il comprend réellement mieux la structure du discours de haine.

L'une des découvertes les plus frappantes fut que le système fonctionnait bien même sans avoir été spécifiquement entraîné sur les données. Les chercheurs ont utilisé un grand modèle de langage qui n'avait pas été affiné (fine-tuned) pour cette tâche spécifique, s'appuyant plutôt sur la structure de leur cadre multi-agents et sur la qualité des prompts qu'ils ont rédigés. Ceci est significatif car cela suggère que la manière dont le problème est résolu — en le décomposant et en utilisant des perspectives diverses — est plus importante que le fait d'avoir un modèle plus grand ou plus spécialisé. Le système a également montré qu'il pouvait être « distillé » dans un modèle plus petit et plus rapide. En apprenant à un ordinateur plus petit à imiter le raisonnement étape par étape de la grande équipe, les chercheurs ont créé une version presque aussi précise mais beaucoup plus efficace, prouvant que la logique du système pouvait être transférée à une technologie plus simple.

L'étude a également mis en évidence les limites de la technologie actuelle. Même avec ce cadre avancé, le système éprouvait parfois des difficultés avec les limites d'un argument, incluant occasionnellement trop de texte dans sa définition de « l'attaque ». Cependant, les chercheurs ont trouvé que le système était particulièrement bon pour gérer les nuances culturelles qui piègent les autres modèles. Par exemple, dans les textes chinois, le système a identifié avec succès les insultes homophoniques — des mots qui ressemblent à des termes anodins mais qui sont écrits différemment pour signifier quelque chose d'offensant — en utilisant la connaissance spécialisée de son agent Observateur Culturel. En anglais, il était meilleur pour distinguer l'argot réapproprié utilisé au sein d'une communauté et les mêmes mots utilisés comme des armes par des personnes extérieures.

Le travail ne prétend pas avoir résolu entièrement le problème de la détection des discours de haine. Les chercheurs reconnaissent que leur système est actuellement limité au chinois et à l'anglais et qu'il n'a pas été testé contre chaque langue ou contexte culturel possible. Ils notent également que tout système conçu pour signaler un contenu préjudiciable comporte le risque d'être détourné à des fins de censure ou de surveillance. L'article souligne que, bien que leur méthode rende le processus de prise de décision plus transparent et traçable, un déploiement dans le monde réel nécessiterait toujours une supervision humaine, des processus d'appel et une surveillance constante pour garantir qu'il ne cible pas injustement des groupes spécifiques.

En fin de compte, l'article présente un changement dans notre façon de concevoir l'enseignement du conflit humain aux ordinateurs. Au lieu d'essayer de construire un algorithme unique et parfait qui sait tout, les chercheurs suggèrent qu'une approche collaborative, où différentes perspectives spécialisées sont pesées et équilibrées, est plus efficace. En simulant un processus humain de débat et d'arbitrage, le système est capable de naviguer dans la nature désordonnée, subjective et culturellement dépendante du discours de haine avec un niveau de précision que les méthodes précédentes n'avaient pas. Les conclusions suggèrent que l'avenir de la modération de contenu pourrait ne pas résider dans des modèles plus grands, mais dans des manières plus intelligentes et plus structurées d'utiliser les modèles que nous possédons déjà.