💻 computer science

Learning to Deny: Action Denial in Multimodal Large Language Models

Cet article présente UCF101-AD, un benchmark révélant que les modèles de langage multimodaux de pointe peinent à nier des actions malgré de forts indices contextuels, et démontre que l'incorporation du raisonnement causal améliore significativement leur capacité à vérifier si des actions se produisent réellement.

Auteurs originaux : Raiyaan Abdullah, Shehreen Azad, Yogesh Singh Rawat

Publié 2026-07-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Raiyaan Abdullah, Shehreen Azad, Yogesh Singh Rawat

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : Le détective vidéo « Monsieur Oui »

Imaginez que vous engagiez un détective vidéo pour surveiller les images de vidéosurveillance. Son travail est de vous dire si un événement spécifique s'est produit, comme par exemple : « Quelqu'un est en train de voler un vélo. »

Par le passé, ces détectives IA sont devenus très doués pour repérer l'événement lorsqu'il se produit réellement. S'ils voient un vélo, une personne et une main qui saisit le guidon, ils disent avec assurance : « Oui, vol de vélo ! »

Mais voici la faille : Ces détectives sont terribles pour dire « Non ».

Si la vidéo montre une personne debout à côté d'un vélo, tenant le guidon, mais qui se contente de rester là sans vraiment voler le vélo, l'IA dira quand même : « Oui, vol de vélo ! » Elle voit le vélo et la personne, et suppose le pire. Elle est tellement impatiente d'approuver les indices qu'elle ignore l'élément le plus important : l'action réelle.

L'article appelle cela un « Biais d'Affirmation » ou le syndrome du « Monsieur Oui ». Les modèles sont si bons pour reconnaître des motifs qu'ils hallucinent des actions même quand le mouvement est absent.

Le nouveau test : UCF101-AD (Le jeu de données « piège »)

Pour prouver l'existence de ce problème, les chercheurs ont créé un nouveau test appelé UCF101-AD.

Voyez ce test comme un examen de « questions pièges » pour l'IA.

La configuration : Ils prennent une vidéo standard (comme quelqu'un jouant au basket) et créent une version « négative ».
Le piège : Dans la version négative, le terrain est là, le ballon est là, les joueurs sont là, et ils dribblent... mais personne ne dunk ne jamais.
La question : On demande à l'IA : « Est-ce que quelqu'un est en train de dunker ? »

Les résultats :

Quand le dunk se produit réellement, l'IA réussit plus de 90 % du temps.
Quand le dunk ne se produit pas (même si tout le reste semble identique), l'IA échoue lamentablement, se trompant plus de 50 % du temps. Elle dit avec assurance : « Oui, dunk ! » même si le ballon n'a jamais quitté les mains des joueurs.

Cela prouve que l'IA regarde l'arrière-plan (le terrain, le ballon) plutôt que le mouvement (le saut et le dunk).

La solution : CausalAct (La « liste de contrôle logique »)

Les chercheurs ont réalisé que l'IA doit arrêter de deviner et commencer à vérifier une liste de contrôle logique. Ils ont introduit une méthode appelée CausalAct.

Imaginez l'IA comme un chef cuisinier essayant de faire un gâteau.

L'ancienne méthode (Le raccourci) : Le chef voit de la farine et des œufs sur le comptoir et déclare immédiatement : « Je prépare un gâteau ! », même si le four est froid et que les ingrédients sont juste posés là.
La nouvelle méthode (CausalAct) : Le chef est forcé de suivre un graphe de recette. Il doit vérifier :
1. Les ingrédients sont-ils présents ? (Oui)
2. Sont-ils en train d'être mélangés ? (Oui)
3. La pâte est-elle réellement en train d'aller dans le four ? (Non) -> STOP. Ne dites pas « Cuisson en cours ».

Les chercheurs ont transformé cette « recette » en un Graphe Causal. Ils ont appris à l'IA à décomposer une vidéo en étapes :

Contexte : Qui et quoi sont présents dans la scène ?
Interaction : Touchent-ils ou utilisent-ils les objets ?
Mouvement : Y a-t-il un mouvement réel qui se produit ?
Action : Ce n'est que si les étapes 1, 2 et 3 s'alignent parfaitement que l'IA peut dire que l'action est en cours.

Est-ce que cela a fonctionné ?

Oui, mais avec une nuance.

Demander poliment (Zero-Shot) : Lorsque les chercheurs ont simplement dit à la grande IA : « S'il te plaît, vérifie ton graphe de logique », les modèles les plus grands, dotés de fortes capacités linguistiques, sont devenus meilleurs pour dire « Non ».
Enseigner la compétence (Fine-tuning) : Pour les modèles plus petits, il a fallu réellement les entraîner sur des « puzzles de graphes ». Ils ne leur montraient pas les réponses de la vidéo, ils leur apprenaient simplement à lire la carte logique. Une fois qu'ils ont appris à lire la carte, ils sont devenus bien meilleurs pour nier des actions qui n'avaient pas lieu.

Le tournant de la « Pensée »

L'article a également testé les « Modèles de Pensée » (les IA qui explicitent leur raisonnement avant de répondre). Étonnamment, ceux-ci ont souvent obtenu de pires résultats.

Pourquoi ? Parce que lorsqu'ils essayaient de « réfléchir », ils étaient distraits par les indices de l'arrière-plan. Ils disaient : « Je vois un ballon de basket, je vois un panier, donc quelqu'un doit être en train de dunker », puis ils rédigeaient avec assurance un long paragraphe expliquant pourquoi ils avaient raison, même si aucun dunk n'avait eu lieu. Ils étaient tellement doués pour expliquer pourquoi quelque chose pourrait arriver qu'ils en oubliaient de vérifier si cela s'était réellement produit.

Résumé

L'article montre que les observateurs vidéo IA actuels sont excellents pour repérer ce qui est présent, mais terribles pour réaliser ce qui n'est pas là. Ils sont trop polis pour dire « Non ». En leur apprenant à suivre une liste de contrôle stricte de « Cause à Effet » (CausalAct), nous pouvons les aider à acquérir la compétence difficile de la négation : réaliser que, même si la scène semble correcte, l'action peut ne pas être en train de se produire.

Résumé technique : Apprendre à nier : le déni d'action dans les grands modèles de langage multimodaux

Définition du problème
Malgré les progrès rapides de la compréhension vidéo, les grands modèles de langage multimodaux (MLLM) présentent un angle mort critique : l'incapacité à nier de manière fiable une action lorsque des indices contextuels forts sont présents mais que le mouvement définissant est absent. Les modèles actuels affichent un « biais d'agréabilité » ou un biais affirmatif, prédisant souvent qu'une action se déroule sur la base de la présence d'objets, d'acteurs ou d'environnements pertinents, même lorsque les dynamiques temporelles spécifiques requises pour cette action sont absentes. Les benchmarks existants (par exemple, Kinetics, UCF101) consistent principalement en des exemples positifs, renforçant les corrélations spécieuses entre le contexte et l'action plutôt que d'apprendre aux modèles à vérifier le mouvement causal. Par conséquent, les modèles ne parviennent pas à distinguer une scène où une action pourrait se produire d'une scène où elle se produit réellement.

Méthodologie
Les auteurs proposent une approche à deux volets impliquant un nouveau benchmark et un cadre de raisonnement causal :

Benchmark UCF101-ActionDenial (UCF101-AD) :
- Construction : Un ensemble de données de 11 283 vidéos dérivées des catégories de UCF101, présentant des clips appariés « Action-Présence » (positifs) et « Action-Déni » (négatifs).
- Conception des négatifs : Les clips négatifs préservent le contexte typique (personnes, objets, lieux) de l'action cible mais excluent explicitement le mouvement définissant. Ils sont classés en deux types :
  - Type 1 (Contexte uniquement) : Les objets saillants et l'environnement sont présents, mais aucune interaction ne se produit (par exemple, une personne près d'un piano sans jouer).
  - Type 2 (Même contexte, mouvement différent) : Le cadre et les objets sont présents, mais l'acteur réalise une action différente mais plausible (par exemple, dribbler un ballon de basket sans effectuer un dunk).
- Protocole d'évaluation : Les modèles sont testés via une configuration de questions à choix multiples (QCM) où ils doivent sélectionner la légende correcte parmi des options incluant l'action cible, des distracteurs et une option « Aucun ».
Cadre CausalAct :
- Formulation du graphe causal : Les auteurs modélisent la reconnaissance d'action comme un graphe acyclique dirigé (DAG) où une action ( $A$ ) est le résultat d'une chaîne causale : Contexte (Personnes $P$ , Objets $O$ , Lieu $L$ ) $\to$ Relations (Spatiales $S$ , Interaction $I$ ) $\to$ Mouvement ( $M$ ) $\to$ Action ( $A$ ).
- Prompting (CausalAct-0) : La structure du graphe est instanciée sous forme de prompt en langage naturel, guidant le modèle pour vérifier la chaîne causale (spécifiquement la présence du mouvement $M$ ) avant de confirmer une action.
- Finetuning (Ajustement fin) : Pour traiter les cas où les modèles échouent à suivre les prompts, les auteurs introduisent des tâches d'ajustement fin auxiliaires. Les modèles sont entraînés sur des tâches de Question-Réponse Visuelle (VQA) centrées sur le graphe (sonde les identités des nœuds, les relations entre les arêtes et les chemins causaux) dérivées de la structure du graphe. Crucialement, ces tâches n'exposent pas les étiquettes d'action réelles pour éviter la fuite de données (label leakage), forçant le modèle à apprendre la structure du raisonnement causal.

Résultats clés

Échec des bases de référence : L'évaluation de 20 modèles MLLM de pointe (incluant Ovis, Intern, Qwen, VideoLLaMA et GPT-4o mini) révèle un écart de performance sévère. Alors que les modèles atteignent une précision élevée (>85-95 %) sur les clips standards d'Action-Présence, leur performance sur les clips d'Action-Déni s'effondre, la plupart des modèles scorent en dessous de 50 % (souvent dans la plage de 20-35 %). Cela indique une forte dépendance aux raccourcis contextuels plutôt qu'à la vérification du mouvement.
Humain vs Modèle : Des évaluateurs humains ont atteint une précision de 86,6 % sur la tâche de déni, confirmant que l'ensemble de données est soluble et que l'échec est spécifique aux architectures de modèles actuelles.
Corrélation des biais : L'étude trouve une corrélation positive entre l'apprentissage par raccourci (l'échec du déni) et la sycophantie (l'accord avec une prémisse). Les modèles qui sélectionnent incorrectement un distracteur dans les QCM sont également plus susceptibles de répondre incorrectement « Oui » à des questions binaires sur la présence de l'action.
Modèles de raisonnement : Contre-intuitivement, les modèles de « pensée » (ceux avec des étapes de raisonnement explicites) performent souvent moins bien que les modèles standards sur cette tâche, car leurs chaînes de raisonnement ont tendance à sur-indexer le contexte visuel et à halluciner des actions plutôt qu'à justifier l'absence.
Efficacité de CausalAct :
- Zero-Shot : Les backbones linguistiques plus puissants (ex. Ovis2.5-9B, Qwen2.5-VL-7B) montrent une meilleure précision de déni lorsqu'ils sont guidés par les prompts CausalAct, bien que les modèles plus faibles puissent décliner.
- Finetuning : L'ajustement fin de modèles plus petits sur des tâches VQA basées sur des graphes améliore considérablement la précision de l'Action-Déni, déplaçant le comportement du raccourci contextuel vers la vérification de la chaîne causale.
- Généralisation : L'approche CausalAct-0 se transfère à des ensembles de données externes (K400, HMDB51, SSv2, Diving48), améliorant la précision du déni à travers diverses distributions.
- Ablation : La performance chute lorsque la structure du graphe causal est élaguée ou randomisée après le finetuning, confirmant que les modèles apprennent à utiliser les dépendances causales spécifiques plutôt qu'à simplement suivre des motifs textuels arbitraires. De plus, la mise à jour de l'encodeur de vision pendant le finetuning est essentielle ; le figer entraîne une dégradation significative des performances.

Signification et Revendications
L'article affirme fournir la première évaluation systématique du « déni d'action » dans les MLLM, exposant une limitation fondamentale où les modèles équatent le contexte avec l'occurrence de l'action. Les auteurs soutiennent qu'une compréhension vidéo robuste nécessite la capacité de raisonner causalement sur l'absence de mouvement, et non seulement sur sa présence.

La signification de ce travail réside dans :

Diagnostic : Identifier que les MLLM actuels manquent de mécanisme pour vérifier les mouvements définissants, menant à des faux positifs dans des applications critiques comme la surveillance et les systèmes autonomes.
Benchmarking : Introduire UCF101-AD comme un outil nécessaire pour diagnostiquer et améliorer le raisonnement causal, allant au-delà de la simple reconnaissance d'action positive.
Insight Méthodologique : Démontrer que le déni est une compétence de raisonnement apprenable. En structurant la compréhension de la scène via des graphes causaux et en entraînant les modèles à vérifier les préconditions (interaction et mouvement), il est possible d'atténuer le biais affirmatif et de réduire les faux positifs sans dépendre des étiquettes d'actions négatives pendant l'entraînement.

Les auteurs maintiennent une position modeste, notant que si CausalAct améliore les performances, il ne résout pas totalement le problème, et que les modèles de « pensée » actuels luttent encore avec les contraintes négatives. Ce travail sert de fondation pour faire progresser le raisonnement causal dans les systèmes multimodaux.