Résumé technique : Quelle est l'utilité du futur ? Une étude contrôlée de la supervision à privilège futur pour l'estimation causale du regard égocentrique

Définition du problème

L'estimation du regard égocentrique vise à localiser le foyer d'attention d'un utilisateur de caméra à partir d'une entrée visuelle à la première personne. Bien que de nombreux modèles de pointe fonctionnent dans des contextes hors ligne avec accès aux trames futures (contexte temporel bidirectionnel), les applications réelles telles que la réalité augmentée (RA) et l'assistance portable nécessitent une prédiction strictement causale et en ligne, utilisant uniquement les observations passées et présentes. Cette divergence soulève deux questions fondamentales :

1. L'absence de contexte futur prive-t-elle intrinsèquement les modèles de indices anticipatifs précieux pour la prédiction du regard ?
2. Si l'information future est utile, quelle quantité de contexte temporel peut être transférée avec succès dans un modèle strictement causal lors de l'entraînement ?

La littérature existante manque d'une compréhension systématique de la manière dont l'utilité du contexte futur évolue avec l'horizon temporel et si ses bénéfices saturent dans une plage délimitée pour l'inférence causale.

Méthodologie : Cadre ECOGaze

Pour répondre à ces questions, les auteurs proposent ECOGaze, un cadre d'entraînement à privilège futur contrôlé, conçu pour isoler l'impact du contexte futur tout en maintenant une architecture d'inférence strictement causale.

Architecture centrale

Le cadre utilise un passage avant à double branche à travers un décodeur spatio-temporel léger et partagé :

• Encodeur de scène : Un Vision Transformer DINOv3 gelé extrait les caractéristiques spatiales par patch à chaque trame. Le fait de garder l'encodeur gelé élimine les biais de représentation, garantissant que les variations de performance reflètent le signal de supervision plutôt que la dérive des caractéristiques.
• Tête spatio-temporelle : Une tête de transformer légère traite la séquence d'embeddings de patchs en utilisant une attention divisée espace-temps (attention temporelle suivie d'une attention spatiale).
• Global-Local Focusing (GLF) : Un module léger affine les caractéristiques en calculant les similitudes cosinus entre une requête globale apprenable et les caractéristiques de patch afin de mettre en évidence les régions pertinentes pour le regard.

Supervision à privilège futur

L'innovation centrale réside dans le mécanisme d'entraînement :

1. Branche Enseignante (consciente du futur) : Pendant l'entraînement, cette branche a accès à un horizon de prévision $H$ ajustable. Elle utilise un masque temporel étendu permettant l'attention sur les trames passées, présentes et $H$ trames futures.
2. Branche Étudiante (strictement causale) : Cette branche utilise un masque triangulaire inférieur strict ($H=0$), limitant l'attention aux trames passées et présentes uniquement.
3. Paramètres partagés : Les deux branches partagent des poids et une architecture identiques. La seule différence est le masque d'attention temporelle.
4. Fonction de perte : L'étudiant est optimisé à l'aide d'une combinaison d'une perte standard par vérité terrain ($L_{GT}$) et d'une perte de supervision à privilège futur ($L_{FPS}$). La $L_{FPS}$ minimise la divergence KL entre la prédiction de l'étudiant et la prédiction de l'enseignant (avec un opérateur de stop-gradient appliqué à l'enseignant). Cela force l'étudiant causal à distiller la connaissance anticipative de l'enseignant conscient du futur sans que les poids de l'enseignant ne soient mis à jour par la perte de l'étudiant.

Lors de l'inférence, seule la branche étudiante strictement causale est déployée.

Protocole expérimental

• Jeux de données : Les expériences ont été menées sur EGTEA Gaze+ (28 heures d'activités de cuisine, 24 FPS) et Ego4D (sous-ensemble regard, 30 FPS).
• Protocole : L'horizon de prévision $H$ a été varié selon $\{0, 1, 3, 5, 7, 10, 15\}$.
  • Sur EGTEA, $H=1$ correspond à ~0,33 seconde ; l'optimum $H \in [5, 10]$ correspond à ~1,7–3,3 secondes.
  • Sur Ego4D, $H=1$ correspond à ~0,27 seconde ; l'optimum $H=10$ correspond à ~2,7 secondes.
• Baselines : Des comparaisons ont été effectuées avec des variantes causales de méthodes antérieures (ex: GLC) et des baselines standards, assurant une évaluation équitable sous stricte causalité.

Résultats clés

1. Utilité du contexte futur

La supervision à privilège futur améliore systématiquement la prédiction causale du regard.

• EGTEA Gaze+ : Le score F1 est passé de 44,7 (baseline, $H=0$) à 45,9 ($H=5$ et $H=10$).
• Ego4D : Le score F1 est passé de 40,7 (baseline) à 42,7 ($H=10$).

2. Régime temporel borné

Les gains de performance n'augmentent pas de manière monotone avec un horizon de prévision plus long. Au contraire, ils culminent dans une fenêtre spécifique délimitée et se dégradent avec des horizons excessifs.

• Plage optimale : Environ 1,7 à 3,3 secondes de contexte futur (correspondant à $H \in [5, 10]$ sur EGTEA et $H=10$ sur Ego4D).
• Dégradation : À $H=15$ (~4–5 secondes), la performance chute légèrement (ex: le F1 d'EGTEA tombe à 45,4). Les auteurs attribuent cela au bruit provenant d'actions ultérieures non liées qui obscurcissent l'intention immédiate.

3. Efficacité et performance

Le modèle ECOGaze proposé (utilisant l'H optimal) atteint des performances de l'état de l'art parmi les modèles causaux tout en étant nettement plus efficace :

• Précision : Surpasse la variante causale de GLC (45,9 vs 41,6 F1 sur EGTEA ; 42,7 vs 41,2 F1 sur Ego4D).
• Efficacité : ECOGaze possède 14,2 millions de paramètres (contre 70,2 millions pour GLC) et tourne à environ 60 FPS (contre ~30 FPS pour GLC) sur une NVIDIA A5000, offrant une réduction de capacité de 5x et une accélération de 2x.

4. Études d'ablation

• Analyse des composants : L'ajout de l'attention spatiale, de l'attention temporelle, du GLF, et enfin de la supervision à privilège futur a amélioré cumulativement les performances, le cadre complet produisant le F1 et la précision les plus élevés.
• Choix de conception : La formulation par produit scalaire des auteurs pour le GLF s'est avérée supérieure à l'attention croisée dense (utilisée dans GLC) tant en précision qu'en efficacité (réduisant les FLOPs par clip de 465,4M à 1,8M).

Signification et affirmations

L'article affirme que des modèles causaux légers peuvent efficacement absorber des signaux conscients du futur pendant l'entraînement pour améliorer l'estimation du regard en temps réel. La principale contribution n'est pas un nouveau modèle de regard en soi, mais une formulation contrôlée qui isole et quantifie l'utilité du contexte futur.

Les points clés soulignés par les auteurs :

1. Nature anticipative : Le regard humain est intrinsèquement anticipatif, et les trames futures fournissent des indices de supervision précieux pour la prédiction actuelle du regard.
2. Utilité bornée : Le bénéfice du contexte futur n'est pas infini ; il sature dans une fenêtre de 2 à 3 secondes. Étendre l'horizon trop loin introduit du bruit provenant d'actions futures non liées.
3. Orientation pratique : L'étude fournit des orientations exploitables pour la conception de systèmes de regard égocentrique en temps réel et à faible latence, démontrant que la stricte causalité lors de l'inférence n'exclut pas les bénéfices d'un entraînement conscient du futur.

Les auteurs restent modestes, notant que la plage de prévision optimale peut varier selon les backbones, les échelles de modèles et les domaines d'activité au-delà des jeux de données de cuisine et d'activités quotidiennes testés. Ils identifient également des cas d'échec, tels que la diffusion précoce du regard lors de la recherche visuelle et le flou de mouvement, qui restent des défis pour les modèles strictement causaux.