Résumé Technique : Attention Guidée par l'Action pour la Anticipation d'Actions Vidéo

Énoncé du Problème

L'anticipation d'actions vidéo est une tâche difficile en vision par ordinateur qui nécessite de prédire des actions futures uniquement à partir de frames vidéo observées. Contrairement à la reconnaissance d'actions, où les annotations sont synchronisées avec les frames observées, l'anticipation doit inférer des intentions latentes à partir de preuves visuelles partielles et souvent ambiguës. La difficulté fondamentale réside dans l'incertitude inhérente des résultats futurs ; les mêmes observations passées peuvent mener à plusieurs futurs possibles.

Les approches existantes basées sur les transformateurs reposent généralement sur une auto-attention par produit scalaire sur des représentations de tokens au niveau des pixels. Bien qu'efficaces pour la reconnaissance d'actions, ces méthodes manquent souvent des sémantiques de haut niveau nécessaires à l'anticipation. Par conséquent, elles ont tendance à surajuster aux indices visuels explicites présents dans les frames passées, échouant à capturer les intentions sous-jacentes et dégradant la généralisation à des échantillons non vus. La dépendance aux seuls motifs visuels peut être trompée par le désordre visuel, en particulier lorsque le futur est non déterministe.

Méthodologie

Les auteurs proposent l'Attention Guidée par l'Action (AGA), un mécanisme d'attention novateur qui exploite explicitement les séquences d'actions prédites pour guider la modélisation des séquences vidéo. Au lieu de s'appuyer sur des caractéristiques au niveau des pixels pour les requêtes et les clés d'attention, l'AGA utilise des prédictions d'actions sémantiques de haut niveau.

Architecture Principale

Le modèle se compose de deux modules principaux :

1. Attention Guidée par l'Action (AGA) :

   • Entrées : Le mécanisme prend les embeddings de frames ($e_t$) extraits d'un réseau backbone (par exemple, TSN ou Swin-B) comme Valeurs (V).
   • Clés et Requêtes : Contrairement à l'auto-attention standard, les Clés (K) sont dérivées de la séquence des prédictions d'actions passées ($\hat{y}_{t-S:t-1}$), représentant des étiquettes sémantiques d'événements passés. La Requête (Q) est construite en utilisant une Moyenne Mobile Exponentielle (EMA) des prédictions d'actions passées ($\bar{y}_t$), permettant au modèle d'intégrer des dépendances temporelles plus longues.
   • Mécanisme : Les poids d'attention sont calculés via des corrélations par produit scalaire entre la requête basée sur l'action et les clés. Cela permet au modèle d'agréger les moments passés pertinents en fonction de l'activité à venir plutôt que de la similarité visuelle brute.
   • File d'attente : Une file d'attente First-In-First-Out (FIFO) de taille $S$ stocke les caractéristiques de frames et les prédictions pour définir la fenêtre temporelle.

2. Porte Adaptative :

   • La sortie du module d'attention ($\tilde{h}_t$), représentant le contexte historique agrégé, est fusionnée avec l'embedding de la frame actuelle ($e_t$) en utilisant un vecteur de porte apprenable ($g_t$).
   • La porte est calculée via une fonction sigmoïde appliquée à un MLP traitant la concaténation de l'historique et des preuves actuelles.
   • La représentation finale est $o_t = g_t \odot \tilde{h}_t + (1 - g_t) \odot e_t$. Cela permet au modèle d'équilibrer dynamiquement la dépendance au contexte historique par rapport aux preuves visuelles actuelles en fonction du timestep spécifique.

Capacités d'Analyse Post-Entraînement

Une caractéristique unique de l'AGA est sa capacité à faciliter l'analyse post-entraînement grâce à son utilisation explicite des probabilités d'actions dans le mécanisme d'attention :

• Analyse Vers l'Avant : Détermine quelles actions passées le modèle juge pertinentes pour une requête actuelle spécifique. En calculant les poids d'attention entre une requête d'action spécifique et des clés d'actions passées, les chercheurs peuvent visualiser quels événements historiques le modèle privilégie.
• Analyse Vers l'Arrière : Une approche contrefactuelle qui demande : "Si l'action suivante était $a$, quels changements dans les prédictions passées amèneraient le modèle à attribuer une forte probabilité à $a$ ?" En optimisant les prédictions passées via la descente de gradient pour minimiser l'entropie croisée avec une action cible, la méthode révèle les connaissances latentes et les chemins de raisonnement alternatifs internalisés par le modèle.

Contributions Clés

1. Guidage Sémantique de l'Attention : L'introduction de l'AGA, qui remplace les requêtes/clés au niveau des pixels par des prédictions d'actions, modélise efficacement la dépendance des actions futures par rapport aux actions précédemment prédites.
2. Atténuation du Surajustement : En se concentrant sur les sémantiques de haut niveau plutôt que sur le désordre visuel, la méthode démontre une résistance au surajustement sur des entrées vidéo partiellement observées.
3. Interprétabilité : La conception permet des analyses transparentes vers l'avant et vers l'arrière, offrant des perspectives sur les dépendances d'actions et les preuves contrefactuelles internalisées pendant l'entraînement.
4. Fusion Adaptative : L'inclusion d'un mécanisme de porte adaptative permet un mélange conscient du contexte des informations historiques et actuelles sans supervision explicite sur les limites d'actions.

Résultats Expérimentaux

La méthode a été évaluée sur trois benchmarks : EPIC-Kitchens-100 (EK100), EPIC-Kitchens-55 (EK55) et EGTEA Gaze+.

• EPIC-Kitchens-100 :

  • Sur l'ensemble de validation (utilisant uniquement l'entrée RVB), l'AGA avec un backbone Swin-B a atteint 18,8 % de Rappel Moyen Top-5 (MT5R) pour l'ensemble des classes, surpassant les bases de référence telles que AFFT (17,6 %) et S-GEAR (18,3 %).
  • Sur l'ensemble de test non vu, l'AGA a maintenu des performances cohérentes avec un écart étroit entre les résultats de validation et de test, indiquant une forte généralisation. Il a atteint 16,9 % de MT5R sur l'ensemble des classes, en concurrence avec des méthodes qui reposent souvent sur des entrées multi-modales ou des stratégies d'ensemble.
  • Les gains de performance étaient particulièrement notables sur les classes Non Vues et Queue, suggérant une robustesse face aux actions rares.

• EPIC-Kitchens-55 & EGTEA Gaze+ :

  • L'AGA a démontré de solides performances sur EK55 et EGTEA Gaze+, même dans des conditions de supervision sparse où des étiquettes détaillées pour les frames précédentes n'étaient pas disponibles.
  • Sur EGTEA Gaze+, l'AGA avec Swin-B a atteint 45,4 % de précision Top-1, surpassant les méthodes précédentes de l'état de l'art.

• Études d'Ablation :

  • Le remplacement de l'attention causale standard par l'Attention Guidée par l'Action a amélioré le MT5R de 15,9 % à 18,2 %.
  • L'ajout de la Porte Adaptative a augmenté davantage les performances à 18,8 %.
  • Le paramètre EMA $\alpha$ a été trouvé optimal à 0,8, équilibrant l'influence des prédictions récentes par rapport à la moyenne historique.

Importance et Revendications

L'article revendique que l'AGA aborde le défi fondamental du surajustement dans l'anticipation d'actions vidéo causé par des observations incomplètes et incertaines. En déplaçant le mécanisme d'attention des corrélations au niveau des pixels vers les dépendances sémantiques au niveau des actions, le modèle apprend à anticiper les événements futurs plus efficacement.

Les auteurs soulignent que l'AGA offre un cadre transparent et interprétable. Contrairement aux approches "boîte noire", l'AGA permet aux chercheurs de :

• Examiner les dépendances d'actions spécifiques capturées par le modèle (Analyse Vers l'Avant).
• Révéler les preuves contrefactuelles et les chemins de raisonnement alternatifs que le modèle a internalisés (Analyse Vers l'Arrière).

Les résultats suggèrent que l'exploitation des séquences d'actions prédites comme guides sémantiques améliore non seulement la précision et la généralisation aux échantillons non vus, mais fournit également une compréhension plus profonde du processus de prise de décision du modèle dans le contexte de la prédiction future incertaine.