💻 computer science

Wisdom of the LLM Crowd: A Large Scale Benchmark of Multi-Label U.S. Election-Related Harmful Social Media Content

Cette étude présente USE24-XD, un ensemble de données à grande échelle de près de 100 000 publications X sur l'élection présidentielle américaine de 2024, annoté par une approche de sagesse des foules utilisant six grands modèles de langage pour identifier efficacement divers contenus politiques nuisibles tout en validant la fiabilité de ces annotations par rapport à des évaluateurs humains.

Auteurs originaux : Qile Wang, Prerana Khatiwada, Carolina Coimbra Vieira, Benjamin E. Bagozzi, Kenneth E. Barner, Matthew Louis Mauriello

Publié 2026-02-24

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Qile Wang, Prerana Khatiwada, Carolina Coimbra Vieira, Benjamin E. Bagozzi, Kenneth E. Barner, Matthew Louis Mauriello

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🗳️ Le Problème : Une Tempête de Fausses Nouvelles

Imaginez que les réseaux sociaux, comme X (anciennement Twitter), soient une immense place publique où des millions de personnes parlent en même temps. Pendant une élection présidentielle, c'est le chaos : il y a de vraies informations, mais aussi beaucoup de mensonges, de rumeurs, de blagues méchantes et de théories du complot.

Le but de cette étude est de trier ce bazar. Les chercheurs veulent savoir : "Qu'est-ce qui est dangereux pour la démocratie ?" et "Comment le détecter rapidement ?"

🤖 La Solution : Une Armée de Robots Inteligents

Traditionnellement, pour trier ces messages, il faut des humains. C'est lent, cher et fatiguant. Imaginez devoir lire 100 000 tweets un par un pour dire si c'est une blague ou une menace !

Les chercheurs ont eu une idée géniale : utiliser l'intelligence artificielle (IA).
Ils ont engagé six "robots" très intelligents (des modèles comme GPT, Gemini et Llama) pour lire ces messages. Mais au lieu de faire confiance à un seul robot (qui pourrait faire une erreur ou avoir un "mauvais jour"), ils ont utilisé une astuce appelée "La Sagesse de la Foule".

L'analogie du jury :
Imaginez que vous avez un cas difficile à résoudre.

Si vous demandez l'avis d'une seule personne, elle peut se tromper.
Si vous demandez l'avis de six experts différents et que vous prenez la réponse la plus fréquente (la majorité), vous avez beaucoup plus de chances d'avoir la vérité.

C'est exactement ce que les chercheurs ont fait : ils ont laissé les six IA voter sur chaque message. Si 3 IA sur 6 disent "C'est une théorie du complot", alors c'est marqué comme tel.

🏷️ Les 5 Catégories de "Mauvais Contenus"

Pour bien trier, ils ont défini 5 types de "mauvaises herbes" dans le jardin des réseaux sociaux :

Les Théories du Complot (Conspiracy) : Comme croire que l'élection a été volée par des aliens. C'est du "tout inventé".
Le Sensationalisme : C'est le titre "cliquable" qui fait peur. "URGENCE ! Le président va démissionner demain !" alors que c'est faux. C'est fait pour faire cliquer et paniquer.
La Spéculation : Des suppositions sans preuves. "Je parie que tel candidat va gagner parce que j'ai rêvé de lui."
Les Discours de Haine (Hate Speech) : Des insultes, des menaces ou des attaques contre des groupes de personnes.
La Satire : C'est le plus difficile ! C'est l'humour politique (comme Le Petit Journal ou Le Canard Enchaîné). C'est faux, mais c'est une blague. Le problème, c'est que les robots (et parfois les humains) ont du mal à distinguer la blague de la vraie fausse nouvelle.

🧪 Le Test : Humains vs Robots

Pour vérifier si leurs robots étaient bons, les chercheurs ont organisé un petit concours :

L'équipe IA : Les 6 robots.
L'équipe Humaine : 34 personnes recrutées sur internet (Amazon Mechanical Turk) pour lire les mêmes messages.

Les résultats surprenants :

Les robots sont plus d'accord entre eux que les humains. Les humains, selon leur opinion politique, leur âge ou leur lieu de vie, ne voient pas les choses de la même façon. Un message peut sembler "haineux" pour un libéral et "juste" pour un conservateur.
Les robots sont très rapides et cohérents. Ils ne se fatiguent pas et appliquent les règles de la même façon.
La combinaison gagnante : En utilisant la "sagesse de la foule" des robots (le vote majoritaire), ils ont obtenu des résultats presque aussi bons que les humains, mais en une fraction du temps et du coût.

🎭 Le Biais Humain : Pourquoi c'est important

L'étude a aussi révélé quelque chose de fascinant : nos opinions politiques influencent notre jugement.

Les gens de droite ont tendance à voir plus de "haine" dans certains messages que les gens de gauche.
Les gens du centre voient plus de "spéculation".

Cela signifie qu'il n'y a pas de "vérité absolue" quand on classe les messages. Ce qui est dangereux pour l'un peut sembler normal pour l'autre. Les robots, eux, sont plus neutres car ils suivent des règles strictes, même s'ils apprennent aussi de leurs erreurs passées.

🚀 Conclusion : Pourquoi c'est utile ?

Cette recherche nous donne deux choses précieuses :

Une nouvelle boîte à outils : Une méthode pour utiliser plusieurs IA ensemble pour trier des millions de messages en quelques secondes, ce qui est impossible pour des humains seuls.
Un grand jeu de données (USE24-XD) : Une collection de près de 100 000 messages étiquetés, disponible pour que d'autres chercheurs puissent apprendre à mieux protéger nos élections futures.

En résumé : Pour nettoyer la grande place publique des réseaux sociaux, on ne peut plus compter uniquement sur des gardiens humains. Il faut une armée de robots intelligents qui travaillent en équipe, tout en se souvenant que nos propres opinions colorient notre vision du monde.

1. Problématique et Contexte

La propagation de désinformation et de contenus politiques nuisibles sur les réseaux sociaux menace l'intégrité des processus démocratiques, en particulier lors des élections. Bien que la détection précoce soit cruciale pour atténuer la diffusion de ces contenus, l'analyse à grande échelle se heurte à plusieurs obstacles :

Volume et complexité : Les données des réseaux sociaux (comme X/Twitter) sont massives, non structurées et multimodales.
Coût de l'annotation manuelle : L'étiquetage manuel par des humains est coûteux, lent et sujet à des incohérences, surtout pour des catégories subjectives ou ambiguës.
Limites des approches existantes : Les jeux de données actuels se concentrent souvent uniquement sur la « fausse information » (misinformation) factuelle, négligeant d'autres formes de nuisances sociales comme le discours de haine, la satire ou le sensationnalisme.
Manque de comparaison systématique : Peu d'études ont comparé rigoureusement les performances de différents grands modèles de langage (LLM) pour l'annotation multi-étiquettes de contenus nuisibles.

L'objectif de cette étude est donc d'évaluer l'efficacité des LLMs pour classifier les contenus nuisibles et d'explorer une approche de « sagesse de la foule » (crowd wisdom) combinant plusieurs LLMs pour créer un jeu de données robuste et évolutif.

2. Méthodologie

L'étude propose une méthodologie en trois étapes principales, illustrée par le cadre USE24-XD :

A. Collecte de Données (USE24-XD)

Source : Près de 100 000 publications (posts) collectées sur X (anciennement Twitter) entre le 17 octobre 2024 et le 16 juillet 2025, couvrant le cycle électoral présidentiel américain de 2024.
Filtrage : Seuls les posts originaux contenant les mots-clés « election » et « 2024 » ont été retenus. Les doublons et les posts de moins de 5 mots ont été supprimés.
Métadonnées : Le jeu de données inclut des métadonnées spatio-temporelles (localisation utilisateur estimée), des métriques d'engagement et des analyses de sentiment.

B. Définition des Catégories d'Annotation

Les chercheurs ont défini cinq catégories binaires indépendantes pour l'annotation multi-étiquettes, couvrant à la fois les nuisances liées à l'information et les nuisances sociales :

Complot (Conspiracy) : Allégations exagérées (ex: élections volées, complots secrets).
Sensationalisme : Contenu alarmiste utilisant un langage dramatique ou trompeur.
Spéculation : Affirmations audacieuses sans preuves crédibles (prédictions politiques).
Discours de haine (Hate Speech) : Attaques personnelles, insultes ou rhétorique incendiaire ciblant des groupes ou des personnalités.
Satire : Utilisation de l'humour, de l'ironie ou de l'exagération pour critiquer la politique.

C. Annotation par IA (LLMs) et Humains

Modèles LLM : Six modèles de pointe ont été utilisés (deux par famille : OpenAI, Google, Meta) :
- Légers : GPT-4o-mini, Gemini-2.0-flash, Llama-3.1-8B.
- Pleins : GPT-4o, Gemini-2.5-pro, Llama-3.3-70B.
- Stratégie : Approche Zero-shot avec des prompts détaillés définissant chaque catégorie. La température a été fixée à 0 pour la reproductibilité.
Annotation Humaine (Crowdsourcing) : 34 annotateurs recrutés sur Amazon Mechanical Turk (MTurk) ont étiqueté un échantillon aléatoire de 1 000 posts (environ 1 % du dataset). Chaque post a été annoté par 3 travailleurs différents.
Consensus : Une approche de vote majoritaire a été appliquée tant pour les annotateurs humains (considérés comme la vérité terrain) que pour les LLMs (agrégation des prédictions de plusieurs modèles).

3. Contributions Clés

Jeu de Données USE24-XD : Publication d'un jeu de données public, soigneusement curaté, contenant près de 100k posts électoraux américains étiquetés avec cinq catégories de nuisances.
Évaluation Comparative des LLMs : Une analyse approfondie de six LLMs pour la classification multi-étiquettes, comparant leurs performances, leurs coûts et leur fiabilité par rapport aux annotateurs humains.
Approche « Sagesse de la Foule » des LLMs : Démonstration que l'agrégation des prédictions de plusieurs LLMs (vote majoritaire) améliore la cohérence et la précision, surpassant souvent les performances d'un modèle unique et se rapprochant de la cohérence humaine.
Analyse des Biais Démographiques : Mise en évidence de la manière dont les idéologies politiques et l'affiliation des annotateurs humains influencent leurs décisions d'étiquetage, révélant des sources systématiques de subjectivité.

4. Résultats Principaux

Fiabilité Inter-Évaluateurs (IRR) :
- Les LLMs ont montré une cohérence interne supérieure à celle des humains. Le coefficient Krippendorff's $\alpha$ moyen pour les combinaisons optimisées de LLMs était de 0,70, contre 0,62 pour les meilleurs ensembles d'annotation humaine.
- Les catégories comme le « Complot » et la « Spéculation » ont obtenu les scores d'accord les plus élevés, tandis que la « Satire » a été la plus difficile à classifier (faible accord).
Performance des LLMs vs Humains :
- En utilisant les annotations humaines (vote majoritaire) comme vérité terrain, les LLMs ont atteint des scores de Rappel (Recall) allant de 0,68 (Satire) à 0,90 (Spéculation).
- Le vote majoritaire de plusieurs LLMs a amélioré l'accord global, particulièrement en combinant des modèles de familles différentes.
Impact des Démographies Humaines :
- L'idéologie politique et l'affiliation ont un impact significatif sur l'étiquetage. Par exemple, les « Spéculations » sont étiquetées beaucoup plus fréquemment par les centristes et les indépendants, tandis que le « Discours de haine » est plus souvent identifié par les conservateurs.
- Cela démontre que les « vérités terrain » humaines ne sont pas neutres démographiquement.
Efficacité Coût-Bénéfice :
- L'annotation par LLM est considérablement moins chère et plus rapide que l'annotation humaine. Par exemple, annoter 1 000 posts avec GPT-4o Mini coûte environ 0,09 $, contre 130 $ pour un travailleur MTurk (estimation basée sur 15 $/heure).

5. Signification et Implications

Cette étude démontre que les LLMs, lorsqu'ils sont utilisés via une approche de consensus (« sagesse de la foule »), constituent des outils de support fiables, évolutifs et économiques pour l'annotation de contenus nuisibles à grande échelle.

Pour la recherche : Le dataset USE24-XD offre une ressource fondamentale pour développer des systèmes de détection plus précis, au-delà de la simple vérification des faits.
Pour la pratique : L'approche proposée permet de traiter des corpus massifs (milliards de posts) avec une qualité comparable à l'annotation humaine, tout en réduisant drastiquement les coûts et le temps.
Nuance critique : L'étude souligne que même les annotations « de référence » (humaines) sont biaisées par les facteurs démographiques. Par conséquent, les futurs pipelines d'IA doivent non seulement calibrer les modèles, mais aussi tenir compte de la subjectivité inhérente aux jugements humains sur ce qui constitue un contenu « nuisible ».

En conclusion, l'article valide l'utilisation des LLMs comme une alternative viable et robuste à l'annotation manuelle pour la recherche sur les contenus nuisibles liés aux élections, tout en fournissant une base de données publique pour la communauté scientifique.