💻 computer science

From Frames to Temporal Graphs: In-Context Egocentric Action Recognition with Vision-Language Models

Cet article propose un nouveau cadre pour la reconnaissance d'actions égocentrées qui découple la perception visuelle du raisonnement symbolique en convertissant les vidéos en Graphes d'Actions Temporels, démontrant que l'utilisation de Modèles Vision-Langage comme raisonneurs symboliques via l'apprentissage en contexte sur des représentations de graphes structurées surpasse de manière significative l'inférence directe basée sur les pixels à travers diverses familles de modèles.

Auteurs originaux : Bessie Dominguez-Dager, Francisco Gomez-Donoso, Miguel Cazorla, Marc Pollefeys, Daniel Barath, Zuria Bauer

Publié 2026-06-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bessie Dominguez-Dager, Francisco Gomez-Donoso, Miguel Cazorla, Marc Pollefeys, Daniel Barath, Zuria Bauer

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un bibliothécaire très intelligent et érudit (l'IA) à reconnaître ce qu'une personne est en train de faire dans une vidéo filmée depuis ses propres yeux (comme avec une GoPro sur la tête). La vidéo est remplie de mains saisissant des tasses, coupant du pain et versant du café.

Le problème est que si vous montrez simplement au bibliothécaire les images brutes de la vidéo (les photos), il est submergé. Il est excellent pour lire des livres et comprendre des histoires, mais il n'est pas très doué pour regarder des films. Il peut voir une main tenant un couteau et une miche de pain, mais il peine à déterminer si la personne est en train de couper le pain ou de simplement le tenir immobile. Il est confus par les changements minuscules et rapides d'une seconde à l'autre.

La solution du papier : « TAG » (Temporal Action Graphs - Graphes d'Actions Temporelles)

Les auteurs proposent un contournement ingénieux. Au lieu de demander au bibliothécaire de regarder le film directement, ils agissent comme un traducteur. Ils décomposent la vidéo en une « histoire » structurée ou une « recette » qu'il peut lire facilement. Ils appellent ce processus TAG.

Voici comment cela fonctionne, étape par étape, en utilisant une analogie :

1. Le traducteur de « Instantanés » (Perception Visuelle)

Imaginez que la vidéo est un film en accéléré. Les auteurs ne montrent pas tout d'un coup. Au lieu de cela, ils découpent le film en de minuscules clips qui se chevauchent (comme 4 images à la fois).

Le travail : Ils demandent à l'IA de regarder ces minuscules clips et d'écrire une phrase simple décrivant ce qui se passe.
L'analogie : C'est comme un agent de sécurité qui surveille une caméra de sécurité. Au lieu d'essayer de mémoriser toute la journée, l'agent écrit juste une note rapide toutes les quelques secondes : « La main tendue vers la tasse », puis « La main saisit la tasse », puis « La main lève la tasse ».

2. Transformer les notes en une « Recette » (Raisonnement Symbolique)

Une fois que l'IA a écrit ces phrases, les auteurs prennent ces phrases et les transforment en une liste de faits stricte et structurée, appelée un Graphe.

Le travail : Ils convertissent la phrase « La main saisit la tasse » en un triplet formel : (Main) --[saisit]--> (Tasse).
L'analogie : Pensez à cela comme le passage d'une liste de courses manuscrite désordonnée à un tableau Excel propre et organisé. La liste désordonnée dit : « Prendre du lait, peut-être des œufs, oh et cette pomme rouge ». Le tableau Excel dit : Article : Lait, Action : Acheter. Article : Pomme, Couleur : Rouge, Action : Acheter.
Pourquoi cela aide : L'IA est une experte pour lire et comprendre ces listes structurées (tableaux) car elle a été entraînée sur des milliards de documents textuels. Elle est bien meilleure pour raisonner sur le fait que « Si A saisit B, alors C se produit » lorsqu'il est écrit sous forme de texte plutôt que caché derrière un pixel de vidéo flou.

3. La leçon de « Montrer et Dire » (Apprentissage en Contexte)

C'est le plus grand tour de l'article. Habituellement, si vous voulez apprendre une nouvelle tâche à une IA, vous devez la réentraîner (ce qui est coûteux et lent). Mais parce que la vidéo est maintenant devenue une simple liste de texte, les auteurs peuvent utiliser l'Apprentissage en Contexte (In-Context Learning).

Le travail : Avant de demander à l'IA de deviner l'action pour une nouvelle vidéo, ils lui montrent quelques exemples d' autres vidéos qui ont déjà été transformées en ces listes de texte, accompagnés des bonnes réponses.
L'analogie : Imaginez que vous passez un examen. Au lieu de simplement vous donner la question, le professeur vous murmure : « Tu te souviens de la fois où nous avons vu quelqu'un verser de l'eau ? Voici la liste des faits pour cela. Maintenant, regarde cette nouvelle liste de faits. Que font-ils ? »
Le résultat : Le papier montre que le simple fait de montrer à l'IA un ou deux de ces exemples textuels la rend nettement plus intelligente pour deviner l'action. S'ils avaient essayé de montrer à l'IA des exemples de vidéos brutes pour ce « Montrer et Dire », la mémoire de l'IA se remplirait instantanément car les vidéos sont énormes. Les listes de texte sont minuscules, donc l'IA peut mémoriser de nombreux exemples facilement.

Qu'ont-ils découvert ?

Les auteurs ont testé cela sur deux ensembles de données vidéo célèbres (EGTEA et Epic-Kitchens) en utilisant 11 modèles d'IA différents de tailles diverses.

Le « Traducteur » gagne : Dans presque tous les cas, l'IA a mieux performé lorsqu'elle lisait la liste textuelle (le graphe) que lorsqu'elle essayait de regarder la vidéo brute.
Le boost de « l'Exemple Unique » : Ajouter un seul ou deux exemples textuels à l'invite (prompt) a rendu l'IA encore meilleure, dépassant souvent l'approche par vidéo brute par une marge importante.
La limitation : Le système n'est pas parfait. Si la première étape (l'agent de sécurité écrivant les notes) commet une erreur — comme dire « coupant » alors que la personne est en train de « laver » — la réponse finale sera fausse. Le système est aussi bon que la description qu'il crée.

L'essentiel

L'article soutient que les modèles d'IA actuels sont comme des lecteurs brillants qui sont mauvais pour regarder des films. Au lieu de forcer l'IA à regarder le film, nous devrions traduire le film en une histoire qu'elle peut lire. En convertissant la vidéo en un graphe textuel structuré, nous libérons la capacité naturelle de l'IA à raisonner, lui permettant de comprendre des actions complexes comme « couper », « verser » ou « saisir » sans avoir besoin d'être réentraînée sur des millions d'heures de vidéo.

Résumé technique : Des images aux graphes temporels

Énoncé du problème

La reconnaissance d'actions égocentrées nécessite de capturer les transitions temporelles fines dans les interactions main-objet (par exemple, saisir, verser, couper). Bien que les modèles vision-langage (VLM) soient apparus comme des systèmes de raisonnement puissants, ils peinent lorsqu'ils sont appliqués directement à la vidéo égocentrée. Les VLM actuels sont principalement entraînés sur des paires image-texte statiques et manquent de supervision vidéo explicite. Par conséquent, lorsqu'ils traitent des séquences vidéo, ils échouent souvent à agréger de manière heuristique des interprétations de scènes indépendantes en une compréhension cohérente du mouvement et de la causalité. Cela entraîne la perte de la dynamique temporelle critique qui distingue des actions similaires (par exemple, prendre vs toucher). De plus, l'application de l'apprentissage en contexte (In-Context Learning - ICL) sur de la vidéo brute est peu pratique car chaque démonstration visuelle consomme des milliers de jetons d'image, épuisant rapidement la fenêtre de contexte du modèle.

Méthodologie : Le cadre TAG

Les auteurs proposent TAG (Temporal Action Graphs), un cadre sans entraînement qui découple la perception visuelle du raisonnement symbolique. Au lieu de nourrir directement le module de raisonnement avec des pixels bruts, TAG convertit la vidéo égocentrée en graphes structurés, sérialisables en texte. Le processus comprend quatre étapes clés :

Décomposition temporelle : Les images de la vidéo d'entrée sont partitionnées en fenêtres temporelles chevauchantes ( $W_t$ ). Chaque fenêtre est ancrée à son image finale mais inclut les images précédentes comme contexte pour lever les ambiguïtés sur les interactions en cours.
Cartographie neuro-symbolique (Prompting à deux étapes) :
- Étape I (Description sémantique) : Pour chaque fenêtre, le VLM génère un récit en langage naturel libre décrivant l'interaction dominante main-objet. Cela agit comme un goulot d'étranglement sémantique, forçant le modèle à consolider les preuves visuelles avant la formalisation symbolique.
- Étape II (Extraction symbolique) : Le récit est analysé pour produire un graphe local structuré ( $G_t$ ) composé de triplets d'interaction : $(source, relation, objet)$. La source est tirée d'un vocabulaire fixe (ex: hand_left, camera_wearer), la relation est un verbe à vocabulaire ouvert, et l'objet inclut une étiquette et un attribut saillant.
Construction du graphe temporel : Les graphes locaux sont assemblés en un seul Graphe d'Action Temporelle ( $G_\tau$ ). Ce graphe attribué dirigé capture à la fois le contenu sémantique et l'évolution temporelle en préservant l'ordre des triplets.
Prédiction d'action et ICL : Le graphe sérialisé est fourni au VLM pour la prédiction d'actions en ensemble fermé. Crucialement, parce que le graphe est sérialisable en texte, le cadre permet un apprentissage en contexte (ICL) efficace. Quelques exemples de graphes étiquetés (démonstrations) peuvent être prépendés au prompt, une stratégie qui est informatiquement irréalisable avec de la vidéo brute en raison des limites de jetons.

Contributions clés

Introduction du cadre : La proposition de TAG, une méthode qui convertit la vidéo égocentrée en graphes d'interaction structurés à vocabulaire ouvert via un prompting multi-étapes, découplant la perception du raisonnement sans aucun ajustement fin (fine-tuning).
Validation empirique : Démonstration que le raisonnement sur des graphes structurés surpasse systématiquement l'inférence basée sur les images directes à travers 11 VLM en poids ouverts (allant de 2B à 235B de paramètres). Cela reste vrai même dans des contextes de zero-shot où la contamination des données de pré-entraînement favorise théoriquement la mémorisation par pixels.
Apprentissage en contexte (ICL) efficace : La fourniture d'une alternative évolutive et sans ajustement fin pour l'apprentissage à quelques exemples (few-shot). En projetant la vidéo dans le domaine du langage, TAG débloque des capacités d'ICL qui sont autrement peu pratiques avec des entrées visuelles brutes.
Évaluation complète : Une évaluation étendue en zero-shot et few-shot sur deux benchmarks majeurs (EGTEA et Epic-Kitchens-100), incluant des ablations systématiques sur les composants de construction du graphe, le nombre d'exemples d'ICL et les budgets d'images d'entrée.

Résultats expérimentaux

Le cadre a été évalué sur EGTEA (106 classes d'actions) et Epic-Kitchens-100 (3 806 classes d'actions composées) en utilisant 11 VLM.

Gains de performance : Dans les régimes de petits, moyens et grands modèles, le raisonnement basé sur les graphes a systématiquement amélioré la précision par rapport aux lignes de base basées uniquement sur les images. Par exemple, sur EGTEA avec le modèle GLM-4.6V-Flash, l'ajout de l'ICL à la représentation par graphe a généré un gain de 9,5 % de la précision moyenne des classes (MCA) par rapport à la ligne de base par images seules.
Efficacité de l'ICL : La nature sérialisable en texte des graphes a permis un apprentissage à quelques exemples efficace. Dans la plupart des cas, l'ajout d'un ou deux exemples de graphes étiquetés a considérablement boosté la performance, dépassant souvent les limites du zero-shot par images.
Agnoticisme du modèle : Les bénéfices ont été observés à travers diverses architectures (denses et Mixture-of-Experts) et échelles de paramètres. Notamment, même les modèles ayant des bases faibles par images (ex: Llama-4-Scout) ont montré des améliorations substantielles lors de l'utilisation des graphes + ICL.
Études d'ablation :
- Fenêtres glissantes : L'utilisation de fenêtres temporelles chevauchantes a été le plus grand contributeur aux gains de performance.
- Prompting multi-étapes : Le processus en deux étapes (récit puis graphe) a amélioré l'ancrage et réduit les hallucinations par rapport à la génération directe de graphes.
- Budget d'images : L'augmentation du nombre d'images d'entrée dans le cadre par images seules a amélioré la performance, confirmant que les gains de TAG ne proviennent pas simplement de voir moins d'images, mais de l'abstraction temporelle structurée.
Modes d'échec : L'article note que la fiabilité de la représentation par graphe dépend de la perception par fenêtre. Les erreurs dans le récit initial (ex: identifier un découpage comme un lavage) se propagent à la prédiction finale, bien que l'ICL puisse parfois corriger ces erreurs en aval.

Signification et affirmations

L'article affirme que les VLM actuels fonctionnent plus efficacement en tant que raisonneurs symboliques que comme observateurs visuels directs de scènes dynamiques. En projetant la vidéo dans le domaine du langage, TAG exploite les forces de raisonnement latent de ces modèles pour compenser leurs limites actuelles en matière de compréhension visuelle temporelle.

Les auteurs positionnent cette approche comme un pont pragmatique pour l'état actuel de l'IA. Bien que le passage à l'échelle du calcul de bout en bout puisse éventuellement résoudre nativement la compréhension vidéo, les représentations linguistiques structurées offrent une alternative nécessaire, évolutive et sans entraînement aujourd'hui. La méthode permet aux chercheurs d'utiliser des VLM généralistes pour des tâches égocentrées fines sans le coût substantiel d'un ajustement fin spécifique au domaine (ex: sur Ego4D). L'article conclut que, bien que le pipeline induise une latence d'inférence plus élevée en raison des multiples appels au VLM, l'échange offre une précision compétitive et débloque des capacités d'apprentissage à quelques exemples que la vidéo brute ne peut supporter.