AI Fact-Checking in the Wild: A Field Evaluation of LLM-Written Community Notes on X

1. Problématique et Contexte

Les grandes plateformes de médias sociaux, comme X (anciennement Twitter), s'appuient de plus en plus sur des mécanismes communautaires pour contextualiser les contenus potentiellement trompeurs via le système Community Notes. Ce système repose sur des notes rédigées par des utilisateurs, citant des sources, et évaluées par une communauté diversifiée pour déterminer si elles sont « globalement utiles » (broadly helpful) en obtenant un consensus transpartisan.

Bien que les modèles de langage (LLM) aient démontré des capacités prometteuses pour la vérification des faits dans des environnements contrôlés (benchmarks, jugements de travailleurs de crowdsourcing), il existe un vide de connaissances concernant leur performance dans un environnement réel. Les évaluations précédentes ne capturent pas les dynamiques de plateforme réelles (timing de soumission, exposition aux utilisateurs, attention limitée, subjectivité des jugements). L'objectif de cette étude est de combler ce fossé en menant la première évaluation sur le terrain (field evaluation) d'un système de vérification des faits basé sur les LLM déployé directement sur une plateforme sociale vivante.

2. Méthodologie

Déploiement sur le terrain :
Les auteurs ont développé et déployé un « rédacteur AI » (AI writer) personnalisé pour l'API Community Notes de X.

• Période : Du 1er novembre 2025 au 31 janvier 2026 (3 mois).
• Données : Le système a généré 1 614 notes sur 1 597 tweets uniques. Ces notes ont été comparées à 1 332 notes rédigées par des humains sur les mêmes tweets.
• Échelle d'évaluation : Les données proviennent de 108 169 évaluations (ratings) fournies par 42 521 évaluateurs distincts.

Architecture du système LLM (Pipeline) :
Le système est un pipeline multi-étapes capable de gérer du contenu multimodal (texte, images, vidéos) :

1. Recherche d'information : Utilisation de Grok-4-fast pour effectuer des recherches web et natives sur X, collecter des preuves et analyser le contenu multimodal.
2. Prise de décision : Un modèle (GPT-5-mini) évalue si suffisamment de preuves existent pour justifier une note, agissant comme filtre anti-spam.
3. Rédaction : Génération de la note contextuelle en suivant les directives de Community Notes.
4. Contrôle qualité : Vérification des URL, de la longueur et de la qualité via le modèle ClaimOpinion de Community Notes avant soumission.

Stratégies d'analyse :
L'étude identifie un biais majeur : les notes LLM sont soumises systématiquement plus tard que les notes humaines (car elles attendent que des utilisateurs signalent le tweet), ce qui réduit leur exposition et leur nombre d'évaluations, faussant les comparaisons directes. Pour y remédier, deux approches sont utilisées :

1. Analyse au niveau de l'évaluation (Rating-level) : Modélisation des évaluations individuelles (utile, moyennement utile, inutile) en tenant compte de l'idéologie politique de l'évaluateur. Cela isole la qualité intrinsèque de la note des effets d'exposition.
2. Analyse au niveau de la note (Note-level) avec égalisation de l'exposition : Recalcul des scores d'utilité en ne retenant que les évaluateurs qui ont vu et noté toutes les notes d'un même tweet, éliminant ainsi le biais temporel.

3. Résultats Clés

Performance Transpartisanne (Analyse Rating-level) :

• Les notes LLM reçoivent des évaluations plus positives que les notes humaines à travers tout le spectre politique (gauche, centre, droite).
• L'avantage est le plus marqué chez les évaluateurs centristes (augmentation d'environ 10 points de pourcentage de notes « utiles »).
• L'avantage diminue légèrement vers les extrêmes idéologiques, mais reste positif. Cela suggère que les LLM parviennent à atteindre le consensus transpartisan, objectif central de Community Notes.

Performance au niveau de la note (Analyse Note-level) :

• Une fois l'exposition égalisée, les notes LLM obtiennent des scores d'utilité significativement plus élevés que les notes humaines (moyenne de 0,21 contre 0,18).
• Le taux de notes atteignant le statut « Currently Rated Helpful » (CRH) est plus élevé pour les LLM (2,40 % contre 1,89 %), bien que la différence ne soit pas statistiquement significative dans ce sous-ensemble restreint.

Hétérogénéité par Sujet :

• Meilleures performances : Les LLM excellent sur les sujets liés à la santé/médecine et aux théories du complot/pseudoscience, domaines où les sources autoritaires sont claires et abondantes.
• Moins bonnes performances : L'avantage est minimal ou nul pour les contenus générés par l'IA, car le pipeline actuel manque d'outils spécialisés de détection (bien que cela puisse être corrigé par l'intégration d'outils de recherche d'image inversée ou de SynthID).

Comportement de rédaction et de citation :

• Les notes LLM sont plus longues (35,8 mots en moyenne contre 26,9) et citent plus de sources (1,51 URL contre 1,23).
• Sources : Les LLM privilégient les médias traditionnels et les bases de connaissances (Reuters, Wikipedia, BBC, Snopes). Les humains citent beaucoup plus fréquemment le contenu natif de la plateforme (x.com, 18,7 % des citations contre 4,2 % pour les LLM).

4. Contributions Principales

1. Validation Écologique : Première évaluation à grande échelle de la vérification des faits par IA dans un environnement réel, démontrant une validité écologique supérieure aux études de laboratoire.
2. Ressources Open Source : Publication du code complet du pipeline de rédaction, des prompts et des scripts d'analyse, permettant la reproductibilité et l'amélioration par la communauté.
3. Preuve de Concept Économique : Démonstration que les LLM peuvent produire des annotations de haute qualité à grande échelle, surpassant les humains sur le critère exigeant de l'« utilité globale » (broad helpfulness), tout en maintenant une acceptabilité idéologique large.

5. Signification et Implications

Cette étude prouve que l'intégration de l'IA dans les systèmes de modération de contenu n'est pas seulement viable, mais potentiellement supérieure aux approches purement humaines pour certains types de contenu.

• Complémentarité : Les LLM excellent dans la synthèse rapide d'informations largement disponibles et la gestion de volumes massifs, tandis que les humains restent supérieurs pour les sujets de niche, les événements en évolution rapide et les contextes culturels complexes.
• Avenir de la modération : Plutôt que de remplacer les communautés humaines, les systèmes hybrides où les notes LLM et humaines concourent dans le même système d'évaluation permettent de faire émerger les notes les plus utiles, quelle que soit leur origine.
• Défis de plateforme : L'étude met en lumière l'importance de concevoir des algorithmes de plateforme qui ne pénalisent pas les contributions automatisées en raison de contraintes structurelles (comme le délai de soumission), afin de ne pas masquer leur qualité intrinsèque.

En conclusion, les LLM peuvent contribuer de manière significative à la lutte contre la désinformation à l'échelle mondiale, à condition que les dynamiques de la plateforme soient prises en compte pour une évaluation équitable.