VeritasAI Multi Agent Framework for Explainable Fake News Detection Using Retrieval Augmented Generation

L'internet est devenu un vaste marché de l'information au rythme effréné où la vérité et le mensonge voyagent souvent à la même vitesse. Lorsqu'une information éclate, elle peut se propager à travers le monde en quelques minutes, façonnant l'opinion publique, influençant les élections et même modifiant la façon dont les gens se comportent dans leur vie quotidienne. Le problème n'est pas seulement que les mensonges existent, mais que les outils dont nous disposons pour les vérifier échouent souvent à expliquer pourquoi quelque chose est faux. La plupart des systèmes automatisés agissent comme une boîte noire : ils prennent une affirmation, la traitent et recrachent une étiquette simple comme « vrai » ou « faux » sans montrer le travail effectué. Ce manque de transparence rend difficile la confiance des gens dans le résultat, surtout lorsque les enjeux sont élevés. Pour résoudre cela, des chercheurs se tournent vers une nouvelle approche qui combine deux idées puissantes. Premièrement, ils utilisent des systèmes capables d'interagir avec le web en direct pour trouver des faits actuels, plutôt que de s'appuyer uniquement sur ce qu'un ordinateur a mémorisé. Deuxièmement, ils construisent des équipes numériques où différents programmes informatiques endossent des rôles spécifiques, argumentant les uns avec les autres pour parvenir à une conclusion, tout comme un panel d'experts humains.

Dans ce contexte, une équipe de chercheurs de l'RV College of Engineering à Bengaluru, en Inde, a conçu un nouveau système appelé VeritasAI. Leur objectif était de créer un outil qui ne se contente pas de détecter les fausses informations, mais qui explique son verdict d'une manière qu'un humain puisse comprendre et vérifier. Au lieu d'un seul programme informatique prenant un jugement instantané, VeritasAI met en place un débat structuré entre trois agents d'intelligence artificielle spécialisés. Le système est conçu pour prendre l'affirmation d'un utilisateur, partir à la recherche de preuves sur Internet, puis faire en sorte que ces agents argumentent pour et contre l'énoncé avant de rendre une décision finale et raisonnée.

Le processus commence lorsqu'un utilisateur soumet une affirmation d'actualité au système. Le logiciel se met immédiatement au travail, recherchant simultanément deux sources différentes : des moteurs de recherche généraux et des bases de données d'actualités dédiées. Cette double approche garantit que le système recueille un large éventail de preuves potentielles, allant des rapports d'actualités officiels aux discussions plus larges du web. Une fois que le système a collecté une liste de documents, il filtre le bruit. Il élimine les articles provenant de la même source que l'affirmation originale pour éviter le raisonnement circulaire, et il écarte les extraits de faible qualité qui ne contiennent pas d'informations utiles. Les documents restants sont ensuite organisés selon leur proximité avec l'affirmation originale, en utilisant une méthode qui regroupe les idées similaires. À partir de cette liste nettoyée, le système sélectionne les dix pièces de preuve les plus pertinentes pour servir de fondement au débat.

Ces dix pièces de preuve sont ensuite remises aux trois agents d'IA, chacun ayant un rôle distinct. Le premier agent, agissant comme un procureur, examine les preuves pour trouver des arguments qui contredisent l'affirmation. Il cherche des faits qui prouvent que l'énoncé est faux et identifie les contre-arguments les plus solides. Le deuxième agent, le défenseur, fait l'inverse. Il parcourt les mêmes preuves pour trouver des points qui soutiennent l'affirmation, cherchant une confirmation et des raisons valables de croire l'énoncé. Enfin, un troisième agent, le juge, écoute les deux parties. Il examine les arguments du procureur et du défenseur, ainsi que les preuves originales, et les pèse les uns par rapport aux autres. Le juge ne se contente pas de choisir un vainqueur ; il analyse la force des points de soutien et de contradiction pour rendre un verdict final. Ce verdict se classe dans l'une des quatre catégories : vrai, faux, trompeur ou non vérifié. Le système fournit également un score de confiance, indiquant son degré de certitude quant au résultat, et liste les sources spécifiques qui ont conduit à la conclusion.

Ce qui rend ce système particulièrement utile est son engagement envers la transparence. Chaque argument généré par le procureur ou le défenseur est directement lié à une URL de source, permettant à un utilisateur humain de cliquer et de vérifier lui-même la preuve. Le système produit un rapport structuré qui comprend la décision finale, le niveau de confiance et un résumé du raisonnement. Si les preuves sont insuffisantes pour rendre un jugement, le système étiquette honnêtement l'affirmation comme « non vérifiée » plutôt que de forcer une supposition. Les chercheurs ont testé ce système sur un ensemble de données de 500 affirmations, comparant ses performances à la vérité de terrain annotée par des humains. Les résultats ont montré que le système a atteint une grande précision dans la classification des affirmations, avec des mesures de performance oscillant autour de 87 pour cent à travers les différentes catégories. Plus important encore, le système a réussi à générer des explications claires en langage naturel pour ses décisions, une caractéristique dont beaucoup de systèmes automatisés précédents manquaient.

Les chercheurs ont également construit une interface visuelle pour le système, permettant aux utilisateurs de regarder tout le processus de vérification se dérouler en temps réel. Pendant que le système recherche, filtre et classe les preuves, un suivi de progression montre à l'utilisateur exactement quelle étape est en cours. Une fois que les agents ont terminé leur débat, l'interface affiche la carte du verdict final, les arguments des deux côtés et la grille de preuves avec les évaluations de crédibilité. Cette couche visuelle aide à démystifier le travail complexe qui se déroule en coulisses, rendant la technologie accessible aux non-experts. Le système est conçu pour être flexible ; il peut stocker les relations entre différentes affirmations dans un graphe de connaissances, ce qui pourrait éventuellement aider à identifier les modèles de propagation de la désinformation, bien que cette fonctionnalité spécifique n'ait pas été pleinement évaluée dans l'étude actuelle.

Malgré son succès, les auteurs notent prudemment les limites du système. L'efficacité de l'outil dépend entièrement de la disponibilité des informations sur le web ; si une affirmation concerne un sujet très spécialisé ou un événement très récent qui n'a pas encore été couvert par les médias, le système peut avoir du mal à trouver suffisamment de preuves pour rendre un jugement. De plus, comme le système s'appuie sur des modèles de langage étendus pour générer ses arguments, il hérite des biais potentiels de ces modèles sous-jacents. Les chercheurs soulignent également que leur évaluation actuelle a été menée sur un échantillon relativement restreint de 500 affirmations, et qu'ils prévoient de tester le système à une échelle beaucoup plus large à l'avenir. Ils ont également l'intention d'améliorer le système en ajoutant de meilleures méthodes pour évaluer la crédibilité des différents éditeurs et en étendant sa capacité à gérer des affirmations dans plusieurs langues.

Le projet VeritasAI représente un changement dans la façon dont nous pourrions aborder le problème de la désinformation. En s'éloignant des algorithmes uniques et opaques pour se tourner vers un système multi-agents qui imite le débat humain, les chercheurs ont créé un outil qui est non seulement précis, mais aussi responsable. Il ne se contente pas de dire aux utilisateurs quoi penser ; il leur montre les preuves, présente les points de vue opposés et explique le raisonnement derrière la conclusion. À une époque où la confiance dans l'information est fragile, ce type de transparence offre une voie de passage, transformant le processus de vérification d'une boîte noire en un dialogue clair et compréhensible entre l'homme et la machine. Le système est actuellement disponible sous forme de logiciel open-source, invitant d'autres personnes à examiner son code, à tester ses méthodes et à bâtir sur son cadre pour affiner davantage la lutte contre la fausse information.