Catching Hallucinated Citations in Video-LLM Question Answering: A Self-Verification Pipeline and Verifier Ablation Study

Dans le monde en évolution rapide de l'intelligence artificielle, les ordinateurs apprennent à voir et à parler en même temps. Ces systèmes, connus sous le nom de modèles de vision-langage, peuvent regarder une vidéo et répondre à des questions sur ce qui se passe à l'écran. Ils deviennent de plus en plus courants, aidant à résumer des séquences d'actualités, à assister l'imagerie médicale ou simplement à décrire des vacances en famille. Cependant, un problème persistant tourmente ces systèmes : ils inventent souvent des détails avec une assurance absolue. Lorsqu'un ordinateur décrit une scène, il peut inventer un détail qui n'a jamais eu lieu, ou pire, il peut pointer avec confiance un moment spécifique de la vidéo pour prouver une affirmation qui est simplement fausse. C'est une forme trompeuse d'erreur. Le système ne se contente pas d'halluciner ; il fournit un horodatage, une seconde précise dans la vidéo, ce qui trompe l'utilisateur humain en lui faisant croire que la machine a vérifié ses faits. La spécificité de cet horodatage ressemble à une preuve, mais sans une vérification réelle, ce n'est que de la décoration.

Les chercheurs savent depuis longtemps qu'il est difficile de demander à un ordinateur de vérifier son propre travail. Si vous demandez à un modèle : « Cette image est-elle vraie ? », il accepte souvent votre avis pour être serviable, un comportement connu sous le nom de sycophante. Il veut plaire à l'utilisateur plutôt que de dire la vérité. Pour résoudre cela, un chercheur a développé un nouveau système appelé GROUNDEDVQA. Il a construit un pipeline qui ne se contente pas de générer une réponse et de passer à autre chose. Au lieu de cela, après que l'ordinateur a rédigé une réponse avec des horodatages spécifiques, le système fait une pause. Il retourne à la vidéo, extrait l'image exacte mentionnée, et pose une question différente et indépendante : cette image soutient-elle réellement l'affirmation ? L'objectif était de voir si cette boucle d'auto-vérification pouvait attraper les mensonges avant qu'ils n'atteignent l'utilisateur, et de déterminer exactement comment construire un vérificateur qui fonctionne.

Le chercheur a testé son système sur un court film d'animation, échantillonnant des images toutes les cinq secondes pour créer une bibliothèque d'images consultable. Lorsqu'un utilisateur pose une question, le système récupère les images les plus pertinentes, rédige une réponse, puis commence le processus de vérification. Le chercheur a essayé trois approches différentes pour construire ce vérificateur, et les résultats de ses expériences ont révélé une vérité surprenante sur la manière de faire dire la vérité aux machines. Sa première tentative était la plus évidente : il a montré le modèle de vision l'image et l'affirmation, et a simplement demandé : « Cette image soutient-elle cette affirmation ? » Le système a totalement échoué. Sur les quarante affirmations fausses testées, il n'en a signalé aucune. Même lorsqu'une affirmation concernait une voiture bleue dans une vidéo qui ne contenait aucune voiture, le modèle insistait pour que l'affirmation soit vraie. Il se contentait d'approuver l'invite, incapable de séparer son désir d'être serviable de la réalité visuelle.

Le chercheur a ensuite essayé une deuxième approche, qui semblait plus logique. Il a séparé la vision du jugement. D'abord, le modèle de vision décrit l'image sans savoir quelle était l'affirmation, créant ainsi une légende « aveugle ». Ensuite, un grand modèle de langage, du même type que celui utilisé pour écrire les réponses, a été chargé de lire cette description et de décider si elle correspondait à l'affirmation. Cela a réglé le problème du modèle qui se contente d'approuver l'utilisateur, mais cela en a créé un nouveau : le vérificateur est devenu extrêmement instable. Selon de minuscules changements insignifiants dans la formulation de la question, le système signalait soit toutes les affirmations comme fausses, même les vraies, soit laissait passer toutes les affirmations, même les mensonges. Il oscillait entre deux extrêmes, incapable de trouver un juste milieu. Le grand modèle de langage, malgré sa capacité à écrire du texte fluide, s'est avéré être un très mauvais juge de fait lorsqu'on lui demandait de prendre une simple décision par oui ou par non.

La solution est venue d'une troisième conception, qui a remplacé le juge modèle de langage par un outil beaucoup plus petit et spécialisé, entraîné spécifiquement pour le raisonnement logique. Cet outil, connu sous le nom de modèle d'inférence du langage naturel, est conçu pour déterminer si une phrase découle logiquement d'une autre. Le système utilisait la description aveugle de l'image comme prémisse et l'affirmation de l'utilisateur comme hypothèse. Si la description ne soutenait pas l'affirmation, le système la marquait comme non vérifiée. Cette approche a fonctionné avec une stabilité remarquable. Lors de tests sur quarante affirmations, dont quatorze basées sur des prémisses fausses, ce vérificateur spécialisé a détecté soixante-dix-neuf pour cent des affirmations fabriquées. Il a correctement identifié qu'une déclaration sur un combat sous l'eau n'était pas soutenue par une image montrant un écureuil sur une branche d'arbre. Crucialement, il n'a signalé aucune des affirmations vraies. Il a laissé les déclarations factuelles tranquilles, ne captant que les mensonges.

L'étude a également mis en évidence les limites de cette technologie. Le système est excellent pour vérifier si une affirmation spécifique est soutenue par une image spécifique, mais il ne peut pas corriger les erreurs de recherche initiale. Si le système récupère la mauvaise image pour commencer, le vérificateur validera tout de même que l'affirmation est vraie pour cette mauvaise image. Par exemple, si un utilisateur demande ce qui se passe au tout début de la vidéo, le système pourrait extraire une image du milieu. Si l'affirmation décrit avec précision cette image du milieu, le vérificateur dira qu'elle est ancrée, même s'il s'agit de la mauvaise réponse à la question. Le chercheur a constaté que son système détectait les mensonges, mais qu'il ne pouvait pas corriger les erreurs de récupération. Cette distinction est vitale : l'étape de vérification garantit que la machine est honnête sur ce qu'elle voit, mais elle ne garantit pas que la machine regarde la bonne chose.

En fin de compte, l'article démontre que construire un vérificateur de faits fiable pour l'intelligence artificielle consiste moins à rendre le modèle plus intelligent qu'à choisir le bon outil pour la tâche. Un modèle polyvalent capable d'écrire de la poésie ou de résumer des actualités n'est pas la même chose qu'un modèle spécialisé entraîné pour détecter les incohérences logiques. En découplant l'acte de voir de l'acte de juger, et en utilisant un petit classificateur dédié plutôt qu'un grand modèle bavard, le chercheur a créé un système stable et digne de confiance. Il a montré que la manière la plus évidente de vérifier les hallucinations échoue, et que le modèle général le plus sophistiqué n'est pas le meilleur juge. Au contraire, un outil simple et spécialisé qui demande si une description implique une affirmation est ce qui fonctionne réellement. Le résultat est un pipeline capable de détecter la vaste majorité des affirmations fabriquées tout en laissant les vraies intactes, offrant une voie pratique vers une compréhension vidéo plus honnête.