Résumé technique : ARGaze : Des Transformers autorégressifs pour l'estimation du regard égocentrique en ligne

Définition du problème

L'article traite de l'estimation du regard égocentrique en ligne, une tâche consistant à prédire où une personne portant une caméra regarde en utilisant uniquement les images vidéo passées et présentes. Contrairement à l'estimation du regard en troisième personne, qui repose sur des indices observables de la posture de la tête et des yeux, les contextes égocentriques manquent de signaux faciaux directs. Au lieu de cela, les modèles doivent inférer l'attention visuelle à partir d'indices indirects et épars, tels que le contenu de la scène et les interactions main-objet.

Les approches dominantes actuelles considèrent cela comme un problème d'intégration spatio-temporelle par clips hors ligne. Ces méthodes utilisent généralement des convolutions 3D ou des mécanismes d'attention bidirectionnels qui nécessitent l'accès au contexte temporel futur. Cette architecture viole les contraintes de temps réel, ce qui les rend peu pratiques pour les applications de streaming comme la Réalité Augmentée (RA) et la robotique d'assistance. De plus, ces modèles traitent souvent les images comme des clips parallélisés plutôt que comme des séquences comportementales continues, échouant ainsi à capturer la stabilité physiologique des fixations humaines et entraînant des prédictions erratiques lors de perturbations visuelles.

Méthodologie : ARGaze

Les auteurs proposent ARGaze, un cadre qui reformule l'estimation du regard comme une tâche de génération de séquence autorégressive causale. Inspiré par le décodage conditionné par la vision dans les modèles de langage-vision, ARGaze prédit les cartes de chaleur (heatmaps) de manière séquentielle, en conditionnant chaque prédiction sur les caractéristiques visuelles actuelles et un historique borné des estimations de regard précédentes.

Le cadre se compose de cinq composants principaux :

1. Encodeur de scène : Utilise un modèle de fondation de vision pré-entraîné (DINOv3) pour extraire des caractéristiques spatio-temporelles hiérarchiques de l'image actuelle ($I_t$). Il incorpore également des Modèles de suivi (Tracking-aware Templates), qui sont des découpes localisées à haute résolution issues de trames historiques centrées sur les coordonnées de regard précédemment prédites. Ces modèles fournissent des priors visuels spécifiques pour aider le modèle à maintenir son attention sur les cibles lors de mouvements de caméra rapides.
2. Tokeniseur de carte de chaleur autorégressif : Convertit une fenêtre bornée d'historique de regard récent ($H_{t-k:t-1}$) en jetons (tokens) temporels de haute dimension. Cela implique un sous-échantillonnage des cartes de chaleur historiques, leur projection dans l'espace latent via des convolutions 1$\times$1, et l'ajout d'embeddings temporels et de type de jeton pour distinguer les fixations passées des jetons de requête actuels.
3. Module de modèle de suivi (Tracking-aware Template Module) : Découpe dynamiquement les trames historiques en fonction de l'argument soft-argmax de la carte de chaleur de prédiction précédente. Cela fournit au décodeur un contexte visuel localisé, agissant comme un indice de suivi pour lever les ambiguïtés entre des objets similaires.
4. Décodeur Transformer causal : L'unité centrale de traitement qui intègre les jetons de regard historiques et les caractéristiques visuelles (scène globale + modèles de suivi) via des couches d'auto-attention et de cross-attention. Crucialement, il opère de manière strictement causale, n'accédant qu'aux observations actuelles et passées. Il maintient une fenêtre d'historique bornée, garantissant une empreinte mémoire constante quelle que soit la longueur de la vidéo.
5. Tête de reconstruction spatiale : Une branche de suréchantillonnage par convolution qui projette les jetons de séquence générés vers le domaine spatial pour produire la carte de chaleur finale de la cible de regard 2D ($H_t$).

Entraînement et Inférence :

• Entraînement : Le modèle est optimisé à l'aide d'une perte de divergence de Kullback-Leibler (KL) entre les cartes de chaleur prédites et réelles. Pour combler l'écart entre l'entraînement (utilisant l'historique réel) et l'inférence (utilisant l'historique prédit), les auteurs emploient l'échantillonnage programmé (scheduled sampling).
• Inférence : Le système fonctionne de manière continue (streaming). Pour chaque image arrivante, le décodeur génère une prédiction conditionnée par les caractéristiques visuelles et la fenêtre d'historique de taille fixe, assurant une utilisation constante de la mémoire et une réactivité en temps réel.

Contributions clés

1. Formulation autorégressive causale : L'article introduit ARGaze, qui reformule l'estimation du regard égocentrique comme une tâche de prédiction de séquence causale, permettant une inférence strictement en ligne sans contexte futur.
2. Architecture à mémoire bornée : En utilisant une fenêtre d'historique de regard de longueur fixe, la méthode garantit une utilisation constante de la mémoire, supportant un streaming à long terme efficace sans les goulots d'étranglement computationnels des modèles de séquences non bornées.
3. Robustesse et précision accrues : Le cadre intègre une modélisation temporelle explicite avec la compréhension de la scène visuelle, démontrant une meilleure robustesse contre le biais induit par la main et les conditions hors distribution (OOD) par rapport aux méthodes précédentes.

Résultats expérimentaux

Les auteurs ont évalué ARGaze sur trois benchmarks : EGTEA Gaze+, Ego4D, et EgoExo4D.

• Performance : ARGaze a atteint des performances de pointe (state-of-the-art) sur tous les benchmarks lors de l'évaluation en ligne.
  • Sur EGTEA Gaze+, il a obtenu un score F1 de 44,48 %, surpassant la base causale adaptée GLC (41,57 %) de près de 3 points de pourcentage.
  • Sur Ego4D, il a atteint un F1 de 41,82 %.
  • Sur EgoExo4D, il a obtenu 70,58 % de F1 et 75,66 % de précision.
• Efficacité : Dans les tests de streaming de vidéos longues sur un GPU NVIDIA RTX A6000, ARGaze a démontré des gains d'efficacité significatifs par rapport à la base GLC :
  • Vitesse d'inférence : Accélération de 1,82$\times$ (88,59 FPS contre 48,74 FPS).
  • Latence : Réduction de la latence moyenne de 20,56 ms à 11,29 ms.
  • Mémoire : Réduction de l'allocation de mémoire CUDA de 3,13$\times$ (168,2 Mo contre 526,3 Mo).
• Robustesse :
  • Hors Distribution (OOD) : ARGaze a maintenu de solides performances sur les divisions OOD (participants, sites et tâches non vus), suggérant qu'il capture des dynamiques d'attention transférables plutôt que de s'ajuster excessivement à des indices spécifiques au domaine.
  • Dépendance à la main : Contraendo aux bases qui souffrent d'un "biais de la main" (suivi erroné des mains en mouvement) ou d'un effondrement des performances lorsque les mains occultent la vue, ARGaze a maintenu une fixation stable sur les objets pertinents à la tâche en exploitant les trajectoires de regard historiques pour filtrer les distractions visuelles.
• Tests en conditions réelles : Dans des expériences utilisant un casque Meta Quest 3, ARGaze a systématiquement surpassé la base GLC, améliorant le F1 de la carte de chaleur de 0,0411 à 0,4667 pour des activités quotidiennes comme l'organisation d'un bureau ou la préparation du café.

Signification et affirmations

L'article affirme qu'ARGaze comble une lacune critique dans la littérature existante : le désalignement entre les paradigmes de modélisation actuels (qui traitent le regard comme des clips parallélisés) et la nature physiologique du regard humain (caractérisée par des fixations stables et des saccades). En imposant une causalité stricte et une mémoire bornée, les auteurs soutiennent que la modélisation autorégressive est essentielle pour une prédiction robuste et en temps réel dans les environnements de streaming.

Les auteurs positionnent ARGaze comme une solution pratique pour la Réalité Augmentée et la robotique d'assistance, où les systèmes doivent anticiper l'intention de l'utilisateur et fournir des conseils proactifs à mesure que chaque image arrive. Le travail souligne qu'une estimation du regard précise, à faible latence et efficace en termes de mémoire est fondamentale pour les systèmes d'IA centrés sur l'humain qui comprennent l'intention de l'utilisateur sans dépendre de signaux explicites de la tête ou des yeux. Les auteurs notent que bien que ce travail fasse progresser les capacités algorithmiques, le déploiement futur doit donner la priorité à la confidentialité et aux considérations éthiques concernant les données sensibles d'intention de l'utilisateur.