🤖 AI

Why Can't I Open My Drawer? Mitigating Object-Driven Shortcuts in Zero-Shot Compositional Action Recognition

Ce papier propose RCORE, une méthode intégrant une régularisation des priors de co-occurrence et une sensibilité à l'ordre temporel pour atténuer les raccourcis basés sur les objets et améliorer la reconnaissance compositionnelle d'actions en contexte zero-shot.

Auteurs originaux : Geo Ahn, Inwoong Lee, Taeoh Kim, Minho Shim, Dongyoon Wee, Jinwoo Choi

Publié 2026-04-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Geo Ahn, Inwoong Lee, Taeoh Kim, Minho Shim, Dongyoon Wee, Jinwoo Choi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : Pourquoi mon tiroir refuse-t-il de s'ouvrir ?

Imaginez que vous apprenez à un robot à faire des tâches ménagères. Vous lui montrez des milliers de vidéos : "Ouvrir un tiroir", "Fermer une porte", "Laver une assiette".

Le but de ce papier est de résoudre un problème drôle mais frustrant : le robot est trop paresseux pour vraiment regarder ce qui se passe.

Quand on lui demande d'ouvrir un tiroir qu'il n'a jamais vu auparavant, il ne regarde pas le mouvement de la main. Il regarde simplement le tiroir et dit : "Ah, c'est un tiroir ! Dans ma mémoire, on ferme toujours les tiroirs. Donc je vais prédire 'Fermer'."

Il a pris un raccourci. Il a appris à associer l'objet (le tiroir) à l'action la plus fréquente (fermer), au lieu d'apprendre le mouvement (ouvrir). C'est comme si un élève qui n'a pas révisé regardait la photo du prof sur le tableau pour deviner la réponse, au lieu de lire l'énoncé.

Pourquoi ça arrive ? (Les deux coupables)

Les chercheurs ont identifié deux raisons pour lesquelles nos intelligences artificielles font cette erreur :

La malédiction de la statistique (Le biais de co-occurrence) :
Dans les bases de données d'entraînement, certains objets sont souvent associés aux mêmes actions. Par exemple, on voit beaucoup plus souvent "fermer un tiroir" que "ouvrir un tiroir". Le robot devient un parieur : il parie sur ce qui est le plus fréquent, au lieu de regarder la vidéo. C'est comme si vous alliez dans un restaurant où 90% des gens commandent des pâtes. Si vous voyez quelqu'un arriver, vous pariez qu'il va commander des pâtes, même si vous ne l'avez jamais vu manger.
La facilité trompeuse (L'asymétrie d'apprentissage) :
Reconnaître un objet (un tiroir, une cuillère) est facile. C'est comme reconnaître une pomme sur une photo : ça se voit tout de suite. Mais reconnaître une action (ouvrir, fermer, tourner) demande de regarder le temps passer, de voir le mouvement. C'est beaucoup plus dur.
Le cerveau du robot, comme le nôtre, préfère le chemin facile. Il dit : "Je vais juste regarder l'objet, c'est plus simple, et je devinerai le reste."

La Solution : RCORE (Le coach rigoureux)

Pour corriger ce robot paresseux, les chercheurs ont créé une méthode appelée RCORE. Imaginez que c'est un coach de sport très strict qui force l'élève à vraiment travailler. Il utilise deux techniques :

1. Le "Mélange de Scènes" (CPR)

Le coach crée des situations artificielles pour piéger le robot.

L'analogie : Imaginez que vous prenez une vidéo de quelqu'un qui ouvre une porte, et vous remplacez la porte par une fenêtre.
Le but : Le robot voit une fenêtre (objet) mais l'action est "ouvrir". S'il dit "fermer" parce que c'est ce qu'on fait souvent avec les fenêtres, le coach lui dit : "Non ! Regarde bien le mouvement !"
Le coach force aussi le robot à ignorer les objets qui sont trop souvent associés à une action spécifique, en les traitant comme des "fausses pistes" à éviter.

2. Le "Test de l'Envers" (TORC)

C'est la partie la plus géniale. Le coach prend la vidéo du robot et la met en marche arrière.

L'analogie : Si vous regardez une vidéo de quelqu'un qui ouvre un tiroir en marche arrière, on dirait qu'il le ferme.
Le test : Le coach demande au robot : "Si je te montre cette vidéo à l'envers, tu dois dire 'fermer', pas 'ouvrir'."
Si le robot répond toujours la même chose (parce qu'il regarde juste l'objet), il échoue. S'il change sa réponse en fonction de l'ordre des images, c'est qu'il a vraiment compris le mouvement. C'est comme vérifier si un conducteur regarde la route ou s'il suit juste les autres voitures.

Le Résultat : Un robot plus intelligent

Grâce à ce système, le robot arrête de tricher.

Il ne se contente plus de dire "Tiroir = Fermer".
Il regarde vraiment si la main pousse ou tire.
Il arrive à comprendre des combinaisons qu'il n'a jamais vues (comme "ouvrir un tiroir" même s'il n'a vu que "fermer" pendant son entraînement).

En résumé

Ce papier nous dit : "Ne faites pas confiance à l'intelligence artificielle si elle a pris des raccourcis."

Les modèles actuels sont trop intelligents pour tricher, mais pas assez pour apprendre vraiment. En les forçant à regarder le temps passer (le mouvement) et en les empêchant de parier sur les statistiques (les objets fréquents), on obtient une intelligence artificielle qui comprend vraiment le monde, et pas seulement les étiquettes qu'on lui a données.

C'est la différence entre un élève qui a appris par cœur les réponses et un élève qui a vraiment compris la leçon.

1. Problématique : Le Dilemme des Raccourcis Pilotés par les Objets

La Reconnaissance d'Actions Compositionnelles à Zéro Tirage (ZS-CAR) vise à permettre à un modèle de reconnaître de nouvelles combinaisons verbe-objet (ex: "ouvrir un tiroir") en n'ayant vu que des primitives séparées (le verbe "ouvrir" et l'objet "tiroir" individuellement) lors de l'entraînement.

Les auteurs identifient un mode d'échec critique : les modèles actuels, même avec des backbones vidéo pré-entraînés avancés, ont tendance à utiliser des raccourcis pilotés par les objets (object-driven shortcuts). Au lieu d'analyser la dynamique temporelle nécessaire pour distinguer un verbe (ex: "ouvrir" vs "fermer"), le modèle se fie à la classe de l'objet pour prédire le verbe le plus fréquemment associé à cet objet dans les données d'entraînement.

Les causes racines identifiées sont :

Supervision compositionnelle sparse et biaisée : Les ensembles de données couvrent une fraction infime de l'espace combinatoire verbe-objet. Les paires fréquentes créent des priors de co-occurrence forts. Le modèle apprend à prédire le verbe le plus probable pour un objet donné, ignorant le contexte temporel.
Asymétrie de difficulté d'apprentissage : Reconnaître un objet est souvent une tâche spatiale (visible sur une seule image), tandis que reconnaître un verbe nécessite un raisonnement temporel sur plusieurs images. Les modèles optent naturellement pour le signal le plus facile (l'objet) plutôt que pour le signal intentionnel (le verbe).

2. Méthodologie : Le Framework RCORE

Pour contrer ces raccourcis, les auteurs proposent RCORE (Robust COmpositional REpresentations), un cadre d'apprentissage diagnostique composé de deux régularisations complémentaires :

A. Régularisation des Priors de Co-occurrence (CPR)

Cette composante vise à briser la dépendance aux statistiques de co-occurrence fréquentes.

Supervision par composition synthétisée : Le modèle génère de nouvelles vidéos d'entraînement en injectant des indices d'objets statiques d'une vidéo dans les régions à fort mouvement d'une autre vidéo. Cela crée des paires verbe-objet "invisibles" (non vues lors de l'entraînement) pour fournir une supervision explicite.
Régularisation par marge (Hard Negatives) : Le modèle est contraint de ne pas surestimer les paires fréquentes (les "hard negatives") lors de la prédiction des nouvelles compositions. Une perte à marge force la nouvelle composition synthétisée à avoir un score supérieur aux paires fréquentes connues.
Expansion adaptative de l'espace des labels : Au lieu d'optimiser uniquement sur les paires vues (monde fermé) ou sur tout l'espace (instable), RCORE utilise une expansion adaptative par lot pour superviser les nouvelles compositions sans déstabiliser l'optimisation.

B. Régularisation de l'Ordre Temporel pour la Composition (TORC)

Cette composante force le modèle à apprendre des représentations de verbes ancrées dans le temps, plutôt que dans des indices statiques.

Perturbation temporelle : Le modèle est exposé à des séquences de vidéos inversées (retournées) et mélangées aléatoirement.
Perte de similarité cosinus ( $L_{cos}$ ) : Le modèle est pénalisé si les caractéristiques du verbe d'une séquence originale sont trop similaires à celles de la séquence inversée. Cela force le modèle à distinguer des actions opposées (ex: "ouvrir" vs "fermer").
Perte d'entropie ( $L_{ent}$ ) : Lorsque l'ordre temporel est perturbé, le modèle est encouragé à produire des prédictions de verbes à haute entropie (incertaines) plutôt que des prédictions confiantes basées uniquement sur l'objet. Cela empêche le modèle de deviner le verbe sans preuve temporelle.

3. Contributions Clés

Diagnostic Quantitatif des Raccourcis : Les auteurs introduisent deux métriques de diagnostic :
- FSP (False Seen Prediction) : La proportion d'échantillons non vus mal classés comme des paires vues.
- FCP (False Co-occurrence Prediction) : La proportion d'échantillons mal classés vers des paires très fréquentes.
- Ils montrent que les modèles de l'état de l'art (SOTA) souffrent d'un taux élevé de FSP/FCP, confirmant qu'ils "effondrent" les nouvelles tâches vers des paires fréquentes.
Nouvelles Métriques d'Évaluation : Ils proposent le Compositional Gap ( $\Delta_{CG}$ ) pour mesurer si la prédiction conjointe (verbe + objet) est meilleure que la simple multiplication des probabilités indépendantes. Un $\Delta_{CG}$ négatif sur les données non vues indique un échec de la généralisation compositionnelle.
Framework RCORE : Une solution efficace combinant CPR et TORC qui améliore la généralisation sans nécessiter de ré-étiquetage manuel des données.
Nouveau Benchmark EK100-com : Une adaptation du dataset EPIC-KITCHENS-100 pour la ZS-CAR, présentant une sparsité compositionnelle encore plus sévère (7,5% de couverture) que Sth-com (12,8%), servant de test de robustesse rigoureux.

4. Résultats Expérimentaux

Les expériences ont été menées sur Sth-com et EK100-com avec des backbones comme CLIP et InternVideo2.

Réduction des raccourcis : RCORE réduit significativement les taux de FSP et FCP par rapport au modèle de référence C2C. Par exemple, sur Sth-com avec CLIP, le FSP diminue de 63% à 44% au cours de l'entraînement.
Amélioration de la généralisation :
- Sur Sth-com, RCORE améliore la précision des compositions non vues de +3,8 points (CLIP) et +4,5 points (InternVideo2) par rapport à C2C.
- Sur EK100-com (plus difficile), l'amélioration est encore plus marquée : +6,9 points (CLIP) et +7,7 points (InternVideo2) sur les compositions non vues.
Gaps Compositionnels : RCORE est le seul modèle à obtenir un $\Delta_{CG}$ positif sur les compositions non vues, prouvant qu'il apprend une véritable interaction verbe-objet et non une simple co-occurrence.
Robustesse Temporelle : Les tests de perturbation (mélange temporel) montrent que RCORE perd beaucoup plus de performance lorsque l'ordre temporel est brouillé que le modèle de base, indiquant qu'il dépend effectivement de la dynamique temporelle et non d'indices statiques.
Évaluation Open-World : Contrairement aux protocoles fermés qui masquent les paires non vues, RCORE excelle dans un protocole "open-world" réaliste où toutes les combinaisons possibles sont évaluées, sans calibration biaisée sur les données de test.

5. Signification et Impact

Cet article apporte une contribution majeure à la compréhension des échecs des modèles de vision par ordinateur dans les tâches compositionnelles. Il démontre que la simple augmentation de la puissance des backbones vidéo (comme InternVideo2) ne suffit pas à éliminer les raccourcis cognitifs induits par les biais de données.

La méthodologie RCORE offre une voie pratique pour forcer les modèles à apprendre des représentations temporelles robustes, ce qui est crucial pour le déploiement de systèmes de compréhension vidéo dans des environnements réels où les combinaisons d'actions sont infinies et non prévisibles. En traitant le problème à la racine (les biais de co-occurrence et l'asymétrie d'apprentissage), cette approche pose les bases pour une véritable intelligence compositionnelle en vision par ordinateur.