Context-Aware LLM Evaluators for Content Moderation Judgments in a Low-Resource Setting

Dans les places de marché numériques animées d'Internet, où des millions de commentaires sont publiés chaque jour, une crise silencieuse de l'échelle est apparue. Les modérateurs humains, ces professionnels formés qui lisaient autrefois chaque publication pour décider de ce qui restait et de ce qui partait, sont dépassés. Le volume colossal de contenu a rendu impossible le suivi par l'homme, pourtant les règles déterminant ce qui constitue un message nuisible ou hors sujet sont souvent subtiles, dépendant fortement de la conversation spécifique et des normes de la communauté. Pour résoudre cela, les chercheurs se sont tournés vers les grands modèles de langage, un type d'intelligence artificielle capable de comprendre et de générer du texte semblable à celui des humains. Ces modèles sont de plus en plus sollicités pour agir comme des juges, attribuant des étiquettes aux publications et prenant des décisions de modération qui étaient autrefois le domaine exclusif des humains. Cependant, une question critique demeure : une machine peut-elle réellement comprendre la nuance d'une argumentation en ligne animée, ou doit-elle voir l'ensemble du tableau pour rendre un verdict équitable ?

Cette question a poussé une équipe de chercheurs d'universités autrichiennes à étudier la performance de ces juges artificiels lorsqu'ils reçoivent différentes quantités d'informations. Ils se sont concentrés sur un environnement spécifique et exigeant : les sections de commentaires d'un journal germanophone. Dans ce cadre, décider si un commentaire est hors sujet, discriminatoire ou simplement un récit personnel nécessite plus que la simple lecture des mots à l'écran ; cela nécessite de comprendre le contexte de l'article auquel il répond et l'historique de la conversation dont il fait partie. Les chercheurs voulaient savoir si donner plus de contexte à l'intelligence artificielle — comme l'article de presse complet ou l'intégralité de la chaîne de réponses — l'aiderait à imiter les décisions des experts humains. Ils ont également testé une approche différente : au lieu de nourrir le modèle avec plus de texte à lire, pouvaient-ils lui montrer des exemples de la manière dont les humains avaient jugé des commentaires similaires par le passé ?

Pour trouver les réponses, l'équipe a utilisé une collection massive de plus d'un million de publications du journal autrichien Der Standard, qui comprenait un ensemble plus restreint et soigneusement annoté de près de 12 000 commentaires ayant été évalués par des modérateurs humains professionnels. Ils ont testé trois modèles d'intelligence artificielle différents de tailles variables, allant d'un modèle plus petit et plus rapide à un modèle beaucoup plus grand et complexe. Pour chaque modèle, ils ont mené une série d'expériences en modifiant l'information fournie dans l'invite (le prompt). Dans certains cas, le modèle ne voyait que le commentaire en question. Dans d'autres, il voyait le commentaire plus le titre de l'article, le texte intégral de l'article, ou l'intégralité du fil de discussion précédent. Ils ont également testé une méthode où le modèle se voyait présenter deux courts exemples de la manière dont les humains avaient jugé des commentaires similaires auparavant, l'un ayant été maintenu en ligne et l'autre supprimé.

Les résultats ont révélé un tableau nuancé de la façon dont ces juges numériques réfléchissent. Les chercheurs ont découvert que le contexte aide, mais pas de la manière dont on pourrait s'y attendre. Le simple fait d'injecter plus de texte dans le système ne garantit pas de meilleurs résultats. En fait, pour certains types de jugements, tels que repérer le langage discriminatoire ou les insultes inappropriées, l'ajout du texte intégral de l'article de presse a en réalité confondu le modèle et dégradé ses performances. Le modèle s'est montré plus performant lorsqu'il voyait l'historique de la conversation — les réponses et le flux de la discussion — car c'est là que réside souvent la véritable signification d'un commentaire. Cependant, pour d'autres catégories, comme décider si un commentaire est hors sujet, voir l'article original était essentiel. Il n'y avait pas de « meilleure » quantité d'information unique qui fonctionne pour chaque situation ; la bonne quantité de contexte dépendait entièrement de ce que le modèle était chargé de juger.

La découverte la plus surprenante fut peut-être que montrer au modèle des décisions humaines passées était tout aussi efficace que de lui montrer l'article complet et l'historique de la conversation, mais avec un avantage majeur : c'était beaucoup plus court et rapide. Lorsque les chercheurs ont donné au modèle deux courts exemples de la manière dont les humains avaient jugé des commentaires similaires par le passé, le modèle a obtenu des performances presque aussi bonnes que lorsqu'il recevait l'article de presse entier et l'intégralité du fil de discussion. Cette méthode de récupération était également plus fiable ; elle a amélioré les performances du modèle dans toutes les catégories, alors que l'ajout de texte nuisait parfois aux performances. Il s'est avéré que voir comment un humain avait résolu un problème similaire par le passé était un raccourci puissant qui permettait au modèle d'apprendre les normes de la communauté sans avoir besoin de lire des pages de contexte.

La taille du modèle d'intelligence artificielle s'est avérée être le facteur le plus critique de tous. Le plus grand modèle, doté de 31 milliards de paramètres, était le seul capable de correspondre systématiquement au seuil de jugement des experts humains, prenant des décisions équilibrées qui n'étaient ni trop strictes ni trop indulgentes. Les modèles plus petits éprouvaient des difficultés significatives. Le plus petit modèle, avec seulement 1 milliard de paramètres, échouait souvent à s'améliorer malgré l'apport de contexte ou d'exemples, et performait parfois moins bien avec eux. Le modèle de taille intermédiaire pouvait être amené à signaler presque chaque commentaire comme problématique, capturant presque tout mais générant aussi de nombreuses fausses alertes. Cela suggère que si les modèles plus petits peuvent être utiles comme premier filtre pour attraper les problèmes évidents, ils ne sont pas encore prêts à remplacer le jugement humain de manière autonome. Seuls les plus grands modèles ont démontré la capacité nécessaire pour comprendre les frontières subtiles des normes communautaires.

Comparée aux systèmes informatiques précédents qui avaient été entraînés spécifiquement sur ces données, la nouvelle approche a montré une force distincte dans les domaines qui comptent le plus pour la sécurité. Les juges artificiels étaient nettement plus performants pour identifier les publications rares et nuisibles qui mènent à la suppression, telles que les contenus discriminatoires ou hors sujet, surpassant les anciens systèmes qui avaient été entraînés sur des milliers d'exemples. Cependant, les anciens systèmes entraînés étaient toujours meilleurs pour identifier le contenu constructif, comme les récits personnels ou les arguments bien étayés. Cette différence souligne une réalité clé : la nouvelle approche fonctionne mieux là où les données d'entraînement humaines sont rares et coûteuses à produire. Pour les cas rares et difficiles qui définissent la sécurité d'une communauté, le juge artificiel, guidé par quelques exemples intelligents, peut faire un meilleur travail qu'un système entraîné sur des données limitées. Mais pour les interactions positives et courantes, les anciennes méthodes conservent l'avantage.

En fin de compte, l'étude suggère que l'avenir de la modération de contenu ne consiste pas à remplacer les humains par une machine unique et parfaite, mais à trouver les bons outils pour le bon travail. La recherche indique que pour les rédactions et les communautés en ligne, la meilleure stratégie consiste à utiliser les modèles les plus larges disponibles et à s'appuyer sur une méthode qui leur montre comment les humains ont jugé des situations similaires par le passé, plutôt que de les submerger de textes infinis. Cette approche permet une modération évolutive et fiable, même dans les langues et les communautés pour lesquelles il n'existe pas de base de données massive d'exemples étiquetés pour l'entraînement. Elle offre une voie de passage où la technologie peut gérer le volume d'Internet tout en respectant la nature subtile et dépendante du contexte de la conversation humaine, à condition de choisir le bon modèle et de fournir la bonne information.