Résumé Technique : VEGAS – Évaluation de légendes vidéo alignées sur l'humain via le regard

1. Énoncé du problème

Les modèles de langage-vision (VLM) excellent dans la génération de légendes vidéo sémantiquement précises, mais reposent généralement sur des annotations issues du crowdsourcing qui agrègent diverses interprétations humaines. Par conséquent, ces modèles produisent souvent des descriptions « globalement correctes » qui ne parviennent pas à capturer les schémas d'attention spécifiques d'un spectateur individuel. Dans des applications telles que la recherche indexée par légende, une légende générique mettant l'accent sur un contenu d'arrière-plan non suivi peut rendre difficile pour un utilisateur de rechercher une vidéo basée sur l'objet ou l'action spécifique à laquelle il a prêté attention.

Le problème central abordé est le désalignement entre les légendes générées et l'attention visuelle individuelle. Bien que le regard humain constitue un proxy mesurable de l'attention visuelle, les travaux antérieurs ont largement utilisé le regard uniquement comme un signal de supervision lors de l'entraînement. Cet article examine si le regard peut être exploité au moment de l'inférence (test time) pour sélectionner des légendes personnalisées qui reflètent le focus d'un spectateur spécifique sans réentraîner le modèle sous-jacent.

2. Méthodologie

2.1 Métrique VEGAS (Video caption Evaluation via GAze Score)

Les auteurs proposent VEGAS, une métrique informationnelle, transmodale et sans entraînement, conçue pour quantifier à quel point une légende candidate s'aligne avec le regard du spectateur.

• Formulation : L'objectif est de maximiser l'information mutuelle entre une légende $t$ et un signal de regard $G$. Comme les distributions marginales réelles $P(t)$ et $P(G)$ sont intraitables, VEGAS approxime cela en utilisant les vraisemblances conditionnelles d'un VLM pré-entraîné et gelé.
• Intuition centrale : Une légende alignée sur le regard doit être hautement prévisible à partir des régions suivies ($G$) seules, les régions non suivies ($\bar{G}$) apportant un apport d'information supplémentaire minimal.
• Définition : VEGAS est défini comme l'information mutuelle conditionnelle ponctuelle entre les jetons (tokens) de la légende $t$ et les régions non suivies $\bar{G}$, conditionnée par les régions suivies $G$ :
  $$\text{VEGAS}(c, G) \triangleq I(t; \bar{G} | G) = \log \frac{P_\theta(t | V)}{P_\theta(t | G)}$$
  Où $V$ est la vidéo complète et $G$ est la vidéo avec le regard suivi.
• Interprétation : Un score VEGAS plus faible est préférable. Cela indique qu'une légende est bien expliquée par les régions suivies du regard seules. Un score élevé implique que la légende repose lement sur le contenu visuel situé en dehors du focus du spectateur.
• Décomposition par jeton : La métrique se décompose de manière autorégressive sur les jetons, permettant d'identifier les concepts sémantiques spécifiques soutenus ou non par le regard du spectateur.

2.2 Échantillonnage de rejet conditionné par le regard

VEGAS est utilisé pour sélectionner des légendes à partir d'un ensemble de candidates générées par des VLM existants sans réentraînement du modèle :

1. Génération de candidates : Plusieurs VLM génèrent $N$ légendes candidates pour une vidéo $V$ en utilisant diverses températures de décodage.
2. Scoring : Pour chaque candidate $c_i$, le score VEGAS est calculé en utilisant le signal de regard $G$ du spectateur.
3. Sélection : La légende présentant le plus bas score VEGAS est sélectionnée :
   $$c^* = \arg \min_{c_1, \dots, c_N} \text{VEGAS}(c_i, G)$$
   Ce processus filtre efficacement les légendes décrivant le contenu non suivi, favorisant celles qui s'alignent avec le focus attentionnel spécifique du spectateur.

3. Curation du jeu de données

Pour évaluer le cadre, les auteurs ont constitué un jeu de données multimodal associant le regard humain synchronisé, le contenu visuel et des légendes libres écrites par des humains à travers deux domaines :

1. Aria Everyday Activities (AEA) : 332 clips vidéo égocentrés dérivés des données des lunettes intelligentes Project Aria. Ces clips capturent des tâches réelles dynamiques (ex: cuisiner, utiliser un ordinateur) où le regard aide à résoudre des ambiguïtés concrètes sur les objets.
2. SlideVQA : 300 diapositives d'instruction provenant de 30 présentations. Les participants ont visionné les diapositives via une webcam avec suivi oculaire et ont fourni des légendes. Ce domaine teste le conditionnement par le regard dans des médias visuels denses où l'abstraction conceptuelle est requise.

Le jeu de données comprend 2 981 annotations humaines de haute qualité, capturant la diversité des variations sémantiques induites par l'attention.

4. Résultats clés

4.1 Alignement sémantique

• AEA (Égocentrique) : Les légendes sélectionnées par VEGAS ont montré une amélioration statistiquement significative de l'alignement sémantique avec les annotations humaines par rapport aux légendes naïves des VLM. La similitude moyenne SBERT a augmenté de +0,0856 (+13,53 %) ($p < 0,001$).
• SlideVQA : L'amélioration était plus faible (+0,0256) et non statistiquement significative ($p = 0,0952$). Les auteurs attribuent cela à la nature des diapositives, où plusieurs résumés conceptuels valides existent pour un même visuel, rendant le regard un sélecteur plus faible pour les interprétations abstraites par rapport aux objets concrets.

4.2 Récupération Légende-Vidéo

Sur le jeu de données AEA, VEGAS a été utilisé pour construire un index pour la récupération légende-vidéo :

• Performance : Les indices sélectionnés par VEGAS ont amélioré les métriques de récupération par rapport aux légendes aléatoires des VLM.
  • Précision/Rappel/mAP@1 : Amélioration de +1,14 %.
  • Rappel@5 : Amélioration de +4,16 %.
  • mAP@10 : Amélioration de +2,46 %.
• Comblement de l'écart : VEGAS a récupéré environ 15 % de l'écart entre la sélection machine aléatoire et la récupération humain-humain au rang 1, mais a récupéré plus de 40 % de l'écart au Rappel@5 et au Rappel@10. Cela suggère que VEGAS déplace efficacement la vidéo correcte vers les premiers candidats, même s'il ne parvient pas toujours au premier rang.

4.3 Ablation et diagnostics

• Corruption du regard : Le remplacement du vrai regard par un regard aléatoire provenant d'autres clips a considérablement augmenté le score VEGAS (dégradant l'alignement), confirmant la sensibilité de la métrique aux signaux de regard corrects.
• Biais de longueur : L'analyse de corrélation a montré que VEGAS n'est pas piloté par la longueur de la légende ou son caractère générique ; les améliorations ne sont pas expliquées par la sélection de légendes plus courtes.
• Analyse par jeton : Des exemples qualitatifs ont démontré que VEGAS pénalise correctement les jetons décrivant des régions non suivies (ex: "jardin" quand l'utilisateur regardait une "machine à laver") et favorise les jetons alignés avec les points de fixation.

5. Signification et revendications

L'article affirme que VEGAS démontre l'utilité pratique de l'incorporation de l'attention du spectateur lors de l'inférence. Ses principales contributions sont :

1. Une métrique sans entraînement : Elle fournit une méthode pour évaluer et sélectionner des légendes personnalisées sans fine-tuning ni réentraînement des grands modèles de langage-vision.
2. Conditionnement au moment du test : Elle déplace le paradigme de l'utilisation du regard d'un signal de supervision à l'entraînement vers un signal de conditionnement à l'inférence pour la personnalisation.
3. Spécificité du domaine : Les résultats soulignent que le légendage conditionné par le regard est plus efficace lorsque l'attention visuelle aide à lever les ambiguïtés de référents concrets (ex: activités égocentrées) mais est moins diagnostique lorsque le stimulus supporte de nombreux résumés conceptuels valides (ex: diapositives d'instruction).
4. Amélioration de la récupération : En alignant les légendes avec l'attention individuelle, VEGAS améliore l'indexation sémantique des vidéos, les rendant plus facilement récupérables en fonction de ce qu'un utilisateur spécifique a réellement regardé.

Les auteurs restent modestes, notant que VEGAS hérite des limites des VLM sous-jacents (ex: hallucinations) et que le regard indique où un spectateur regarde mais pas nécessairement comment il interprète des relations visuelles complexes. Des travaux futurs sont suggérés pour explorer les proxies d'attention implicite (comme les modèles de saillance) et distiller VEGAS dans des objectifs d'entraînement.