Imaginez que vous soyez le bibliothécaire d'un robot très intelligent, mais un peu étourdi. Ce robot passe toute la journée à écouter les gens parler, à lire des e-mails et à regarder des vidéos. Pour gagner de l'espace et réfléchir plus vite, le robot ne sauvegarde pas chaque mot ; à la place, il écrit de courts résumés dans son « carnet de mémoire ». D'habitude, cela fonctionne très bien. Mais parfois, le robot se montre trop enthousiaste pour faire le ménage. Il entend une rumeur, du genre « Quelqu'un pourrait dire qu'Alice a obtenu une promotion », et l'inscrit comme un fait établi : « Alice est directrice ». Le robot n'a pas menti ; il a simplement effacé le « pourrait » et le « quelqu'un a dit ». Le robot croit alors qu'une rumeur est une vérité, et il pourrait donner à Alice une clé de la salle des serveurs qu'elle n'a jamais méritée. C'est le problème du « factwashing » (le blanchiment de faits) : quand un résumé conserve l'idée principale mais efface accidentellement les étiquettes d'avertissement qui nous indiquent à quel point on peut être sûr de soi.

Ce document traite de la construction d'un garde de sécurité pour ce carnet de mémoire. Les chercheurs, dirigés par Alex Kwon, voulaient savoir : comment attraper ces erreurs sans embaucher un cerveau surpuissant et lent (un grand modèle d'IA) pour lire chaque note ? Ils ont découvert une astuce ingénieuse basée sur le type d'« étiquette d'avertissement » qui est perdue. Certaines étiquettes, comme le mot « ne... pas », sont comme une courte liste fixe d'ingrédients dans une recette — vous pouvez toutes les noter sur une seule fiche cartonnée. D'autres étiquettes, comme « quelqu'un a dit » ou « peut-être », sont comme essayer de lister toutes les manières possibles dont un humain peut exprimer l'incertitude ; la liste est infinie. L'article montre que pour les listes courtes, un simple vérificateur de mots fonctionne parfaitement. Pour les listes infinies, vous avez effectivement besoin d'une IA intelligente, mais seulement pour vérifier ces cas spécifiques et délicats.

Le Grand Casse du « Factwashing »

Voici FACTWASH. C'est un nouvel outil open-source conçu pour monter la garde à la porte de la mémoire d'une IA. Son rôle est de comparer ce que l'IA a entendu par rapport à ce qu'elle a écrit dans son carnet. Si l'IA tente de glisser une rumeur en tant que fait, FACTWASH claque la porte.

Les chercheurs ont découvert que toutes les erreurs ne se valent pas. Ils ont divisé le problème en deux camps : La Classe Fermée et La Classe Ouverte.

La Classe Fermée : Le Club du « Pas »
Considérez la « Classe Fermée » comme un petit club exclusif avec un nombre fixe de membres. En anglais, les façons de dire « non » ou « si » sont étonnamment limitées. Vous pouvez dire « not » (ne... pas), « never » (jamais), « don't » (ne... pas), « unless » (à moins que) ou « if » (si). C'est tout. Les chercheurs ont construit une liste simple (une « liste de mots ») contenant tous ces mots.

• Comment ça marche : Quand l'IA écrit une mémoire, FACTWASH scanne simplement le texte. Si la phrase originale contenait « not » et que la version mémoire l'a supprimé, la liste le détecte immédiatement.
• Le Résultat : Cette liste simple est incroyablement efficace. Elle a attrapé 91 % des erreurs sur des textes qu'elle n'avait jamais vus auparavant. C'est rapide, gratuit, et cela ne nécessite pas de supercalculateur. C'est comme avoir un videur avec une liste de noms interdits ; si le nom est sur la liste, on ne rentre pas.

La Classe Ouverte : Le Labyrinthe du « Peut-être »
Maintenant, imaginez la « Classe Ouverte » comme un labyrinthe géant et mouvant. Cela inclut les mots qui montrent l'incertitude (« peut-être », « je pense », « la rumeur dit que ») ou qui indiquent qui a dit quoi (« John a dit », « les rapports affirment »). Il n'y a pas de fin aux manières dont les humains peuvent nuancer leurs propos. Vous pouvez dire « Je ne suis pas tout à fait sûr », « C'est possible », « Les sources indiquent » ou « Autant que je sache ».

• Le Problème : Si vous essayez de faire une liste de toutes les façons de dire « peut-être », vous n'en finirez jamais. Les chercheurs ont essayé d'ajouter de plus en plus de mots à leur liste, mais peu importe leurs efforts, ils continuaient de manquer de nouvelles façons dont les gens expriment le doute. Leur liste est restée bloquée à environ 50 % de rappel — ce qui signifie qu'ils manquaient la moitié des erreurs.
• La Solution : C'est là qu'intervient le « Témoin » (Witness). Puisqu'une simple liste ne peut pas tout attraper ici, les chercheurs ont ajouté un petit assistant IA optionnel. Ce « Témoin » lit la phrase et pose une question simple : « Y a-t-il une nuance ou une attribution ici ? »
• Le Résultat : Ce Témoin ne s'est pas contenté de deviner ; il a pointé précisément les mots dans le texte qui lui ont fait dire « oui ». En utilisant cet assistant intelligent uniquement pour ces cas délicats de « peut-être », ils ont augmenté leur taux de réussite de 17 points. C'est comme embaucher un détective pour résoudre les mystères complexes que le videur ne peut pas gérer.

La Grande Découverte : Ne pas utiliser un marteau-piqueur pour une noix

La découverte la plus importante de ce papier est une règle pour économiser de l'argent et du temps. Les chercheurs ont proué que vous n'avez pas besoin d'une IA sophistiquée pour tout vérifier.

• Si l'erreur concerne le « pas » ou le « si » : Utilisez la liste de mots rapide et peu coûteuse. Elle fonctionne parfaitement et se transfère à n'importe quel nouveau texte.
• Si l'erreur concerne le « peut-être » ou le « qui a dit » : Vous devez utiliser l'IA Témoin, mais seulement pour ces cas spécifiques.

Ils ont testé cela en opposant leur système à un juge IA standard et puissant (un modèle qui essaie de lire toute l'histoire et de décider si elle est vraie). Les résultats ont été surprenants. Sur des données réelles, le juge IA puissant avait une précision presque parfaite (il déclenchait rarement de fausse alerte), mais il manquait beaucoup d'erreurs de « factwashing » que les annotateurs humains avaient repérées. Pourquoi ? Parce que l'IA puissante était trop concentrée sur le fait que le fait principal soit vrai, et elle avait manqué la perte subtile de l'« étiquette d'avertissement ». Elle pensait : « Alice est une directrice ? Oui, c'est le fait central ! » et ignorait le fait que la source n'était qu'une rumeur. FACTWASH, avec ses vérifications spécifiques, a détecté l'erreur à chaque fois.

Où cela échoue-t-il ?

Le papier est très honnête sur ce qu'il ne peut pas faire.

1. Il ne peut pas attraper les mensonges : Si l'IA invente un fait qui n'a jamais été dit du tout (comme dire qu'Alice a obtenu une promotion alors qu'elle ne l'a pas obtenue), les vérifications actuelles de FACTWASH pourraient passer à côté. Il est conçu pour détecter les changements de ce qui a été dit, pas les nouvelles choses inventées.
2. Ce n'est pas magique : L'IA « Témoin » est intelligente, mais elle n'est pas parfaite. Lorsqu'ils ont essayé de laisser le Témoin modifier le verdict (au lieu de simplement le signaler), cela a en fait aggravé les choses, faisant baisser la précision. Les chercheurs ont trouvé que la liste de mots simple attrape la plupart des choses faciles, et que l'IA n'aide que pour les choses difficiles. Si vous laissez l'IA deviner sur les choses faciles, elle commence à faire des erreurs.
3. Tests en conditions réelles : Lorsqu'ils ont testé cela sur des e-mails professionnels, ils ont constaté que le « factwashing » (supprimer le « peut-être ») était en fait assez rare. La plupart des erreurs dans les e-mails professionnels étaient de simples mensonges ou de mauvaises suppositions. Cependant, dans les ouï-dire conversationnels (comme les potins), supprimer le « peut-être » était le problème principal, se produisant dans 55 % des mauvais écrits.

Pourquoi cela devrait vous intéresser ?

Il ne s'agit pas seulement de réparer la mémoire des robots ; il s'agit de la façon dont nous construisons la confiance envers l'IA. Alors que les agents d'IA commencent à prendre des décisions pour nous — accorder des accès, envoyer des e-mails ou planifier des agendas — ils doivent savoir faire la différence entre un fait solide et une rumeur fragile.

Le papier nous donne un plan directeur : Ne sur-optimisez pas la solution. Pour certains problèmes, une simple liste est meilleure qu'un supercalculateur. Pour d'autres, vous avez besoin de la puissance cérébrale, mais seulement si vous l'utilisez avec sagesse. FACTWASH montre qu'en comprenant le type de langage avec lequel nous traitons, nous pouvons construire des systèmes d'IA plus sûrs, moins chers et plus fiables qui ne transforment pas accidentellement les rumeurs en règles.

En fin de compte, les chercheurs ont découvert que sur les logiciels de mémoire non modifiés, leur barrière a intercepté 5 cas sur 8 lorsqu'une « rumeur nuancée » était transformée en un « fait dur ». Ce n'est pas un bouclier parfait, mais c'est un début — une façon de garantir que lorsque notre IA se souvient du monde, elle se souvient du doute en même temps que des faits.