Imaginez que vous êtes un détective tentant de résoudre un mystère, mais au lieu d'une scène de crime, vos indices sont une image et une phrase publiées sur Internet. Parfois, la phrase est un mensonge, parfois l'image est fausse, et parfois les deux ne correspondent pas du tout. C'est le monde de la « désinformation multimodale », un domaine où les scientifiques apprennent aux ordinateurs à repérer ces ruses numériques. Les outils qu'ils utilisent sont appelés Modèles Multimodaux de Grande Taille (ou LVLM pour les plus brefs). Considérez ces modèles comme des détectives incroyablement intelligents et érudits qui peuvent voir des images et lire du texte. Mais voici le problème : même le détective le plus intelligent peut être confus s'il n'a pas un bon plan de bataille. Il pourrait regarder une image amusante et supposer que l'histoire est vraie, ou se laisser distraire par un détail mineur et rater le gros mensonge. La grande question que posent les chercheurs est la suivante : comment pouvons-nous apprendre à ces détectives numériques à être plus cohérents et fiables sans avoir à réentraîner l'intégralité de leur cerveau à chaque fois qu'ils apprennent une nouvelle ruse ?

Ce document présente une nouvelle stratégie ingénieuse appelée « Apprentissage par Carnet de Vérification » (VNL - Verification-Notebook Learning). Au lieu d'essayer de recâbler le cerveau du détective (ce qui est difficile et coûteux) ou de simplement lui donner une pile de dossiers d'affaires passées à parcourir (ce qui est lent et désordonné), les chercheurs lui donnent un carnet spécial, pré-rédigé. Avant que le détective ne commence à résoudre de nouvelles affaires, il passe du temps à étudier les erreurs et les succès passés. Il rédige un ensemble de règles d'or, comme « Toujours vérifier si l'objet présent sur la photo existe réellement » ou « Ne pas conclure à une incompatibilité simplement parce que le texte est légèrement vague ». Ce carnet est compact, facile à lire et reste identique pendant que le détective travaille.

Les chercheurs ont découvert que cette approche fonctionne étonnamment bien. Lorsqu'ils ont testé leur détective « guidé par un carnet » contre d'autres méthodes, il a résolu les énigmes avec plus de précision. Par exemple, lors d'un test impliquant quatre types différents de mensonges, la méthode du carnet a obtenu un score de 73,2 %, dépassant nettement la méthode suivante. Le document suggère que le fait d'avoir ces règles claires et écrites aide l'ordinateur à éviter les pièges courants, comme confondre un dragon imaginaire dans une image avec une légende décalée. La découverte clé est que vous n'avez pas besoin de modifier le code interne de l'ordinateur pour le rendre plus intelligent ; vous avez juste besoin de lui donner un meilleur guide pré-établi sur la façon de réfléchir.

Le dilemme du détective

Imaginez que vous faites défiler votre téléphone et que vous voyez une publication avec la photo d'un chat portant un smoking et une légende disant : « Ce chat est le nouveau maire de New York ». Est-ce un mensonge ? Eh bien, le chat n'est pas réel (c'est une photo), la légende est fausse, et les deux ne correspondent pas. Mais qu'en serait-il si la photo était réelle et que la légende n'était qu'une plaisanterie ? Ou si la photo était réelle, mais que la légende affirmait que le chat venait d'une autre ville ?

C'est la réalité complexe de la désinformation en ligne. Il ne s'agit pas seulement de repérer une publication « fausse » ; il s'agit de comprendre où se cache le mensonge. Est-ce le texte qui ment ? L'image est-elle truquée ? Ou sont-ils simplement deux éléments sans rapport collés ensemble ? C'est ce que les scientifiques appellent la détection « sensible à la source » (source-aware).

Pendant longtemps, nous avons essayé de corriger cela en apprenant aux ordinateurs à mieux raisonner. Nous leur disons : « Hé, regarde le texte, puis regarde l'image, puis compare-les ». Nous avons même construit des systèmes complexes où l'ordinateur agit comme une équipe d'agents débattant de la réponse. Mais il y a un problème : chaque fois que l'ordinateur voit une nouvelle publication, il doit définir les règles à partir de zéro. C'est comme un détective qui oublierait son manuel de formation après chaque affaire. Il peut résoudre une affaire parfaitement, puis oublier la leçon pour la suivante.

La solution du carnet

Les auteurs de ce document, Junyuan Tan, ont décidé d'essayer une approche différente. Au lieu de faire en sorte que l'ordinateur « apprenne » au sens traditionnel (ce qui implique de modifier ses paramètres internes, comme réentraîner le cerveau d'un étudiant), ils ont donné à l'ordinateur un Carnet de Vérification.

Considérez ce carnet comme une fiche de triche ou un guide de terrain qu'un détective chevronné porte sur lui. Il ne contient pas tous les dossiers d'affaires jamais résolus ; cela serait trop lourd à porter. Au lieu de cela, il contient les leçons tirées de ces cas.

• Règles de décision : « Si le texte fait une affirmation factuelle, vérifiez cela d'abord avant de vous soucier de l'image. »
• Erreurs à éviter : « Ne supposez pas une incompatibilité simplement parce que le texte est légèrement vague. »
• Indices de preuve : « Si vous voyez un objet qui semble physiquement impossible, c'est un signe de distorsion visuelle. »

Voici comment la magie opère :

1. La phase d'apprentissage : L'ordinateur (qu'ils appellent le « Vérificateur ») examine un ensemble d'exemples d'entraînement. Il essaie de les résoudre en utilisant son carnet actuel.
2. L'Éditeur : Une seconde partie du système (l'« Éditeur ») examine le travail du Vérificateur. Si le Vérificateur a commis une erreur, l'Éditeur demande : « Pourquoi as-tu fait cela ? » et écrit ensuite une nouvelle règle dans le carnet pour éviter cette erreur la prochaine fois.
3. Le Gel : Une fois le carnet écrit, il est verrouillé. Le cerveau de l'ordinateur (le LVLM) reste exactement le même. Il ne modifie pas son code interne. Il utilise simplement le carnet comme guide.

Ce qu'ils ont trouvé

Les chercheurs ont testé cette idée sur un ensemble de données appelé MMFakeBench, qui contient des milliers de publications avec des légendes et des images. Ils voulaient voir si le carnet pouvait aider l'ordinateur à distinguer quatre types de publications :

1. Original : Tout est vrai et correspond.
2. Distorsion Textuelle : Le texte est un mensonge.
3. Distorsion Visuelle : L'image est fausse.
4. Incompatibilité (Mismatch) : Le texte et l'image ne vont pas ensemble.

Les résultats ont été impressionnants. La méthode du carnet a obtenu un score de 73,2 % sur une métrique appelée « Macro-F1 », une façon sophistiquée de dire qu'elle était douée pour repérer tous les types de mensonges, pas seulement les plus faciles. C'était bien meilleur que les autres méthodes.

• Une approche « directe » standard (demander simplement à l'ordinateur sans carnet) a obtenu environ 63,4 %.
• Un système complexe qui utilise de nombreuses étapes et des outils de recherche externes (appelé MMD-Agent) a obtenu 57,3 %.

Le document suggère que le carnet fonctionne parce qu'il transforme une pensée désordonnée et temporaire en règles claires et permanentes. Il ne s'agit pas seulement d'avoir plus d'informations ; il s'agit d'avoir les bonnes instructions sur la façon d'utiliser ces informations.

Pourquoi le carnet gagne

L'une des choses les plus intéressantes de cette méthode est sa transparence. Si vous voulez savoir pourquoi l'ordinateur a pris une décision, vous pouvez simplement lire le carnet. Vous pouvez voir la règle exacte qu'il a suivie. Cela diffère des autres méthodes où la décision de l'ordinateur ressemble à une « boîte noire » : vous obtenez une réponse, mais vous ne savez pas comment il y est parvenu.

Les chercheurs ont également constaté que le carnet aidait l'ordinateur à s'améliorer sur les parties délicates. Par exemple, dans un cas de test, une légende disait « Black Canary est réelle » (en référence à un super-héros), et l'image montrait un oiseau. Un ordinateur sans carnet aurait pu dire : « Le texte et l'image ne correspondent pas, donc c'est une incompatibilité ». Mais le carnet contenait une règle : « Vérifiez d'abord si le texte est factuellement faux ». Ainsi, l'ordinateur a correctement identifié que le texte était le mensonge (Distorsion Textuelle), et non l'incompatibilité.

Un autre exemple impliquait une photo d'un avion sur une plage avec un faux dragon en arrière-plan. Un ordinateur sans carnet aurait pu se concentrer sur le dragon et dire : « Le texte ne mentionne pas de dragon, donc c'est une incompatibilité ». Mais le carnet contenait une règle : « Si l'image contient quelque chose d'impossible, c'est une distorsion visuelle ». Ainsi, l'ordinateur a correctement signalé l'image comme étant le problème.

L'essentiel

Ce document montre que nous n'avons pas toujours besoin de rendre les modèles d'IA plus grands ou plus complexes pour les rendre plus intelligents. Parfois, nous avons juste besoin de leur donner un meilleur guide. En créant un « Carnet de Vérification » qui capture les leçons des erreurs passées, les chercheurs ont pu aider un modèle d'IA figé et immuable à bien mieux repérer la désinformation.

Les auteurs suggèrent que c'est une manière pratique de construire de meilleurs systèmes de vérification. C'est léger, facile à vérifier et cela ne nécessite pas de réentraîner les modèles d'IA massifs qui existent déjà. C'est un rappel que, parfois, la meilleure façon d'apprendre n'est pas de changer qui l'on est, mais de noter ce que l'on a appris pour ne pas l'oublier la prochaine fois.