💻 computer science

DualFact+: A Multimodal Fact Verification Framework for Procedural Video Understanding

DualFact+ introduit un nouveau cadre multimodal à double couche qui sépare les faits procéduraux des vidéos en composantes conceptuelles et contextuelles afin de fournir une évaluation plus interprétable et alignée sur l'humain du sous-titrage vidéo, révélant que les modèles les plus avancés souffrent souvent d'omissions factuelles systématiques et d'incohérences que les métriques standards ne parviennent pas à détecter.

Auteurs originaux : Cennet Oguz, Yasser Hamidullah, Josef van Genabith, Simon Ostermann

Publié 2026-04-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Cennet Oguz, Yasser Hamidullah, Josef van Genabith, Simon Ostermann

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardez une émission de cuisine ou un tutoriel de bricolage pour meubles. Un ordinateur intelligent tente d'écrire une recette ou une série d'instructions à partir de ce qu'il voit dans la vidéo. Parfois, l'ordinateur écrit une phrase qui semble parfaite et coule à merveille, mais il ment en réalité sur ce qui s'est passé. Peut-être dit-il : « Le chef a haché les oignons », alors que la vidéo montre clairement qu'il hache des carottes. Ou peut-être oublie-t-il de mentionner que le chef a utilisé un couteau plutôt qu'une cuillère.

Ce papier présente une nouvelle méthode pour vérifier si ces instructions générées par ordinateur sont réellement vraies. Ils appellent leur système DualFact.

Voici comment cela fonctionne, décomposé en idées simples :

1. Les Deux Couches de la Vérité

Les auteurs ont réalisé que vérifier la description d'une vidéo ne consiste pas seulement à lire les mots ; il s'agit de comprendre deux couches différentes de réalité :

La couche « Conceptuelle » (Le Plan) : C'est l'idée abstraite de ce qui devrait se produire. Par exemple, « Coupez le légume ». Cela ne se soucie pas encore duquel légume ou de quel outil est utilisé ; il sait simplement qu'une action a lieu. Pensez à cela comme à une esquisse grossière d'un tableau.
La couche « Contextuelle » (La Réalité) : C'est le détail spécifique et ancré de ce qui s'est réellement produit dans la vidéo. Ont-ils coupé une tomate ou un oignon ? Ont-ils utilisé un couteau ou une hachette ? C'est le tableau fini et détaillé.

Le Problème : La plupart des programmes informatiques actuels sont excellents dans la couche « Conceptuelle » (ils ont l'air intelligents) mais échouent souvent dans la couche « Contextuelle » (ils se trompent sur les détails spécifiques). Ils pourraient dire « coupez le légume » (vrai) mais manquer le fait qu'ils ont utilisé un couteau émoussé, ou ils pourraient inventer un outil qui n'était pas du tout présent.

2. Le Détective « DualFact »

Pour résoudre ce problème, les chercheurs ont construit un système de détective appelé DualFact. Il agit comme un éditeur strict qui vérifie le travail de l'ordinateur de deux manières :

La Vérification Textuelle : Il compare la phrase de l'ordinateur au texte « référence » (les instructions parfaites écrites par un humain).
La Vérification Vidéo : Il compare la phrase de l'ordinateur aux images réelles de la vidéo.

Le système décompose chaque phrase en de minuscules « faits » (comme : Action = Couper, Objet = Tomate, Outil = Couteau). Ensuite, il se demande : « Ce fait est-il soutenu par la vidéo ? »

3. Attraper les Trois Types d'Erreurs

Le papier explique que les ordinateurs commettent trois types spécifiques de mensonges, et DualFact est conçu pour les attraper :

Hallucinations (L'Erreur « Magique ») : L'ordinateur invente quelque chose qui n'est pas là.
- Exemple : La vidéo montre un bol, mais l'ordinateur dit : « Le chef a utilisé un mixeur. » Le mixeur n'a jamais existé dans la vidéo.
Omissions (L'Erreur « Manquante ») : L'ordinateur oublie de mentionner quelque chose d'important qui était là.
- Exemple : La vidéo montre le chef ajoutant du sel, mais l'ordinateur dit simplement : « Le chef a mélangé la soupe », oubliant totalement le sel.
Erreurs de Saillance (L'Erreur « Distraction ») : C'est la plus subtile. L'ordinateur mentionne quelque chose qui est dans la vidéo, mais qui n'est pas important pour la tâche.
- Exemple : Le chef coupe une tomate, mais il y a un citron posé sur le comptoir en arrière-plan. L'ordinateur dit : « Le chef a coupé le citron. » Le citron était là (ce n'est donc pas une hallucination), mais ce n'était pas l'événement principal. L'ordinateur a été distrait par le bruit de fond.

4. Ce Qu'ils Ont Découvert

Les chercheurs ont testé ce système sur deux types de vidéos : la cuisine (YouCook3) et la fabrication de meubles (CraftBench). Ils ont découvert des choses surprenantes :

La Fluidité $\neq$ Vérité : Les phrases les plus agréables à l'oreille et les plus fluides étaient souvent celles comportant le plus d'erreurs factuelles. Les ordinateurs étaient de « beaux parleurs » mais mauvais pour les détails.
Les Anciennes Métriques Mentent : Les façons standard de mesurer le succès (comme compter le nombre de mots qui correspondent) étaient terribles pour attraper ces erreurs. Elles attribuaient de hauts scores à des phrases factuellement fausses.
La Vidéo est la Vérité : Lorsque le système vérifiait par rapport à la vidéo plutôt qu'au seul texte, il découvrait que de nombreux « mensonges » étaient en réalité juste des « distractions » (erreurs de saillance) ou des « omissions ». La vidéo ancrée la vérité d'une manière que le texte seul ne pouvait pas.

5. La Conclusion

Le papier conclut que pour vraiment comprendre les vidéos procédurales (comme la cuisine ou la construction), nous avons besoin d'un système qui ne vérifie pas seulement si les mots sonnent bien, mais qui vérifie si les rôles spécifiques (Action, Outil, Objet) correspondent aux preuves visuelles.

DualFact agit comme un vérificateur de faits rigoureux qui sépare la « grande idée » des « détails spécifiques », garantissant que lorsqu'un ordinateur décrit une vidéo, il raconte toute la vérité, et pas seulement une version jolie de celle-ci.

1. Énoncé du problème

La légendage de vidéos procédurales (par exemple, cuisine, assemblage de meubles) exige que les modèles génèrent des descriptions non seulement fluides, mais aussi factuellement correctes et ancrées visuellement. Les métriques d'évaluation existantes échouent à relever les défis spécifiques de ce domaine :

Métriques lexicales (BLEU, ROUGE) : Elles reposent sur un chevauchement de surface et ne peuvent pas détecter les erreurs de rôle sémantique (par exemple, remplacer un ingrédient par un outil) ou les arguments manquants.
Métriques vision-langage (CLIPScore, EMScore) : Elles mesurent la similarité sémantique globale mais manquent de raisonnement structuré sur les relations prédicat-argument. Elles omettent souvent les incohérences fines.
Métriques factuelles actuelles : Elles représentent généralement les faits comme des énoncés plats et non typés. Elles peinent à distinguer les erreurs conceptuelles (rôle abstrait incorrect, par exemple "ajouter du sel" alors qu'il faudrait "sucre") des erreurs contextuelles (réalisation visuelle incorrecte, par exemple "ajouter du sel dans la poêle" alors que la vidéo montre un bol).
Arguments implicites : Les légendes procédurales omettent souvent des arguments visuellement présents (par exemple, "remuez" sans préciser "la soupe" ou "la cuillère"), ce qui crée une ambiguïté ignorée par les métriques standards.

2. Méthodologie : Le cadre DualFact/MultiFactScore

Les auteurs proposent un cadre de vérification de faits à double couche qui sépare les Faits Conceptuels des Faits Contextuels pour permettre une évaluation fine.

A. Représentation de faits à double couche

Faits Conceptuels ( $F_{con}$ ) : Ils capturent les sémantiques abstraites de la tâche indépendamment de la réalisation de surface. Ils identifient l'action visée et les rôles des participants principaux (par exemple, ACTION=REMUE, INGRÉDIENT=SOUPE, OUTIL=CUILLÈRE).
Faits Contextuels ( $F_{ctx}$ ) : Ils capturent les relations prédicat-argument ancrées visibles dans la vidéo (par exemple, REMUE(soupe, bol, cuillère)).
- Signification : Cette séparation permet au système de détecter si un modèle comprend la tâche (conceptuel) mais échoue à décrire l'exécution visuelle (contextuel), ou inversement.

B. Construction du jeu de données (YouCook3-Fact & CraftBench-Fact)

Les auteurs ont créé deux nouveaux benchmarks avec trois étapes clés de prétraitement :

Décomposition des clauses : Séparation des phrases à actions multiples en clauses atomiques alignées sur des segments vidéo spécifiques.
Augmentation des arguments implicites (VIA) : Annotation des arguments manquants mais visuellement présents (par exemple, étendre "remuez" en "remuez la soupe avec une cuillère dans la casserole") pour assurer la cohérence des rôles.
Annotation structurée des faits : Extraction des faits conceptuels et contextuels, ainsi que la génération de faits négatifs (création de variantes plausibles mais fausses pour l'apprentissage contrastif).

C. Pipeline de vérification

Le cadre utilise des modèles d'Inférence en Langage Naturel (NLI) pour vérifier les faits selon deux modes :

DualFact-T (Textuel) : Vérifie les faits générés par rapport à la légende de référence.
DualFact-V (Multimodal) : Vérifie les faits générés directement par rapport au clip vidéo.
Notation : Le MultiFactScore est calculé comme la proportion de faits jugés "SOUTENUS" par le vérificateur.
Décomposition des erreurs : Le système catégorise les erreurs en :
- Hallucination : Contenu non soutenu par la vidéo.
- Erreur de saillance : Contenu visuellement présent mais non pertinent pour la tâche (par exemple, mentionner un citron lors de la coupe d'un concombre).
- Omission : Entités ou rôles critiques pour la tâche manquants.

3. Contributions clés

Représentation de faits à double couche : Un cadre novateur séparant les sémantiques de rôle abstrait des réalisations visuelles ancrées, permettant la détection d'incohérences et d'omissions au niveau des rôles.
Nouveaux benchmarks : Introduction de YouCook3-Fact (cuisine) et CraftBench-Fact (artisanat de meubles), comportant une segmentation au niveau des clauses, VIA et des annotations de faits structurées.
Insights empiriques : Démonstration que les LLM multimodaux de pointe (par exemple, Qwen2.5-VL) produisent des légendes fluides mais systématiquement factuellement incomplètes, avec des taux élevés d'omissions et d'erreurs au niveau des rôles que les métriques standards ignorent.
Protocole d'évaluation : Une méthode montrant que l'évaluation basée uniquement sur la légende surestime considérablement les hallucinations par rapport à la vérification ancrée sur la vidéo, qui révèle des "erreurs de saillance" (détails visuellement présents mais non pertinents).

4. Résultats expérimentaux

Des expériences ont été menées sur YouCook3-Fact et CraftBench-Fact utilisant Qwen2.5-VL et des métriques standards.

Extraction de faits : L'extracteur basé sur LLM a atteint une haute précision (F1 > 96 % pour les rôles conceptuels, >95 % pour les relations contextuelles), garantissant que le bruit d'évaluation est minimal.
Performance du vérificateur :
- Le vérificateur fonctionne presque parfaitement sur les faits de référence (Textuel : ~99 %, Multimodal : ~88-93 %).
- Biais de cohérence du modèle : Lors de la vérification de légendes prédites, la précision chute considérablement (par exemple, la vérification textuelle des légendes prédites est tombée à ~20-40 %), indiquant que les modèles échouent à encoder les entités de vérité terrain.
Analyse des erreurs :
- Légende seule vs Ancrée sur la vidéo : L'évaluation par légende seule a étiqueté ~50-60 % des erreurs comme des "Hallucinations". La vérification ancrée sur la vidéo a reclassé beaucoup de celles-ci comme des Erreurs de Saillance (par exemple, 36 % des erreurs d'objets étaient des erreurs de saillance, et non des hallucinations).
- Omissions : Le mode d'échec principal était l'omission d'entités pertinentes pour la tâche (par exemple, outils ou ingrédients manquants), que les métriques standards n'ont pas réussi à pénaliser sévèrement.
Corrélation avec le jugement humain :
- Le Score de Faits Conceptuels basé sur la Légende proposé a montré la corrélation la plus forte avec les jugements humains (Spearman $\rho$ = 0,429), surpassant BLEU, ROUGE et EMScore.
- Les scores basés sur la vidéo ont montré une corrélation plus faible en raison d'effets de "plafond" (haute correction absolue mais faible variance).

5. Signification et Conclusion

Au-delà de la fluidité : L'article soutient que la fluidité n'équivaut pas à la correction factuelle dans les tâches procédurales. Une légende peut être grammaticalement parfaite mais manquer des étapes critiques ou attribuer incorrectement des rôles.
Interprétabilité : Le cadre fournit un outil de diagnostic pour distinguer ce que le modèle a manqué (omission), ce qu'il a inventé (hallucination) et ce qu'il a bien compris mais qui est non pertinent (saillance).
Direction future : Ce travail souligne la nécessité pour les modèles futurs de se concentrer sur une génération cohérente en termes de rôles et ancrée visuellement, dépassant la simple similarité sémantique de surface. Il établit une fondation pour des systèmes de compréhension de vidéos instructives plus robustes.

Limitations : La portée actuelle se limite à la cuisine et à l'artisanat ; l'extraction de faits dépend de la précision du LLM sous-jacent ; et le cadre ne modélise pas encore les faits orientés attributs (par exemple, taille, couleur) ni ne distingue les niveaux de gravité des hallucinations.