Customized large language models can outperform Community Notes in correcting misinformation
L'article présente MUSE, un cadre de modèle de langage étendu personnalisé qui intègre la recherche sensible à la confiance et le raisonnement multimodal pour surpasser Community Notes dans l'identification et la correction de la désinformation à travers divers types de contenus, améliorant ainsi à la fois la qualité des réponses et la reconnaissance par les utilisateurs des informations fausses.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
L'espace public numérique est encombré par un problème persistant : la fausse information qui se propage plus vite que la vérité. Sur les réseaux sociaux, une seule publication trompeuse peut atteindre des millions de personnes avant que quiconque n'ait la possibilité de la vérifier. Depuis des années, la principale défense contre ce phénomène est l'effort humain. Les systèmes de participation citoyenne, où des bénévoles rédigent des notes pour corriger les affirmations mensongères, sont devenus un outil standard pour les plateformes. Ces notes sont précieuses car elles sont rédigées par des personnes capables d'apporter du contexte et de la nuance, mais elles présentent une faiblesse significative : elles sont lentes. Le temps qu'un bénévole rédige une correction, la publication trompeuse peut déjà avoir fait ses dégâts. De plus, les bénévoles humains ne peuvent pas couvrir chaque publication, laissant de vastes quantités de désinformation sans vérification.
Les scientifiques cherchent depuis longtemps l'aide de l'intelligence artificielle pour combler cette lacune, espérant que les machines puissent détecter les mensonges aussi rapidement qu'ils se propagent. Cependant, les modèles d'IA standards peinent souvent face à cette tâche. Ils sont entraînés sur des données anciennes et ne peuvent pas voir les événements qui se produisent en ce moment même. Ils peuvent également « halluciner », en inventant des faits ou en citant des sources qui n'existent pas. Le défi n'est pas seulement de construire une machine capable de lire, mais de construire une machine capable de vérifier, de raisonner à travers différents types de médias comme le texte et l'image, et de ce faire sans introduire de nouvelles erreurs ou de nouveaux biais. L'objectif est un système qui agisse comme un vérificateur de faits infatigable et impartial, prêt à répondre dès qu'une publication suspecte apparaît.
Une équipe de chercheurs de l'Université de Washington a développé un nouveau système appelé MUSE pour s'attaquer précisément à ce problème. MUSE est un cadre d'intelligence artificielle personnalisé conçu pour identifier et corriger la désinformation en temps réel. Contra est aux anciens modèles qui reposent uniquement sur ce qu'ils ont appris par le passé, MUSE est équipé d'un mécanisme permettant de rechercher sur le web en direct des preuves actualisées. Lorsqu'il rencontre une publication sur les réseaux sociaux, il ne se contente pas de deviner ; il décompose le contenu, recherche des informations crédibles pour appuyer ou réfuter les affirmations, puis rédige une correction fondée sur ces preuves. Le système est conçu pour gérer des publications complexes mélangeant texte et images, garantissant qu'il puisse vérifier tout, de la légende à la photographie.
Pour tester si cette approche fonctionne réellement, les chercheurs ont comparé MUSE aux meilleures corrections écrites par des humains actuellement disponibles sur la plateforme X, anciennement Twitter. Ils ont rassemblé des centaines de publications réelles, certaines contenant des mensonges flagrants, d'autres des détails subtilement trompeurs, et d'autres encore qui étaient entièrement exactes. Pour chaque publication, ils ont opposé la réponse de l'IA aux notes de haute qualité rédigées par des bénévoles humains et aux notes moyennes rédigées par des utilisateurs moins expérimentés. L'évaluation fut rigoureuse, impliquant un panel d'experts en fact-checking qui ont évalué les réponses selon treize critères différents. Ces experts ont examiné si le système identifiait correctement les parties fausses, si l'explication était cohérente et si les sources citées étaient dignes de confiance et réellement existantes.
Les résultats ont montré un avantage clair pour le nouveau système. MUSE a produit des réponses que les experts ont jugées de qualité nettement supérieure même aux meilleures notes écrites par des humains. Sur une échelle de dix, l'IA a obtenu une note moyenne de 8,1, tandis que les meilleures notes humaines tournaient autour de 6,3. Cet écart n'était pas seulement une question de style ; l'IA était plus précise pour repérer les parties spécifiques d'une publication qui étaient trompeuses. Alors que les modèles d'IA standards échouent souvent à identifier le problème ou inventent des faits, MUSE a correctement identifié et expliqué les inexactitudes dans près de 90 % de ses réponses. Il a également fourni des liens vers des sources qui étaient presque toujours accessibles et pertinentes, alors que les modèles standards citaient fréquemment des liens brisés ou fictifs. Le système a performé de manière constante, traitant des publications sur la politique, la santé et l'actualité avec une compétence égale, et n'a pas montré le biais politique qui affecte parfois d'autres systèmes d'IA.
Les chercheurs ont également voulu savoir si les gens feraient confiance à une correction provenant d'une machine. Ils ont mené une étude auprès de près de mille participants, leur montrant les publications trompeuses et les corrections générées par l'IA. Les résultats sont encourageants : après avoir lu l'explication de l'IA, les participants étaient nettement plus aptes à reconnaître que la publication originale était trompeuse. Leur croyance en la fausse affirmation a chuté. Cependant, aucune des corrections n'a significativement affecté l'intention des participants de partager la désinformation, qui est restée généralement basse. Curieusement, informer les gens que la correction provenait d'une intelligence artificielle n'a pas diminué leur confiance envers celle-ci. L'efficacité du système est restée élevée, que sa source soit divulguée ou non, suggérant que la qualité de l'explication importe plus que l'identité de l'auteur.
L'un des aspects les plus importants de ce travail est la manière dont le système gère l'inconnu. Les chercheurs ont constaté que MUSE n'a pas besoin de s'appuyer sur des vérifications préexistantes pour faire son travail. Même pour des publications qui n'avaient jamais été vérifiées par personne, le système pouvait trouver des preuves fraîches sur le web et construire une correction fiable. Il a également réussi à le faire rapidement, générant une réponse complète en environ deux minutes sur du matériel informatique standard. Le coût de fonctionnement du système est également bas, coûtant environ 0 2 USD par publication, ce qui est bien moins cher que de payer des bénévoles humains pour examiner chaque élément de contenu.
L'étude comporte toutefois des limites. Le système fonctionne actuellement avec du texte et des images, mais ne peut pas encore analyser de vidéos. Il dépend également de l'existence d'informations crédibles en ligne ; si une publication concerne un événement d'actualité brûlante où aucune source fiable n'a encore fait de rapport, le système est conçu pour admettre son incertitude plutôt que de deviner. Les chercheurs ont testé le système sur une seule plateforme, et bien que cette plateforme soit largement utilisée, les résultats peuvent varier ailleurs. Malgré ces frontières, les conclusions offrent une voie prometteuse. En combinant la vitesse des machines avec la capacité de rechercher et de vérifier des preuves du monde réel, MUSE démontre que nous pouvons construire des outils pour aider les gens à discerner la vérité du faux à l'échelle et à la vitesse requises par l'internet moderne. Ce travail suggère que l'avenir de la lutte contre la désinformation ne sera pas un choix entre l'homme et la machine, mais un système où les machines gèrent le gros du travail de vérification, permettant au jugement humain de se concentrer sur les cas les plus complexes.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.