Beyond Caption-Based Queries for Video Moment Retrieval

Cette étude identifie et résout les problèmes de généralisation des méthodes de récupération de moments vidéo lors du passage des requêtes de type « légende » aux requêtes de type « recherche », en proposant des modifications architecturales qui atténuent l'effondrement des requêtes du décodeur et améliorent significativement les performances sur des requêtes complexes et multi-moments.

L'essentiel

🎥 Le Problème : Le "Faux-Nez" des Annotations

Imaginez que vous apprenez à un chien à rapporter une balle.

• La méthode actuelle (les modèles actuels) : Vous montrez au chien une vidéo d'un match de foot. Un humain regarde la vidéo et écrit une note très précise : "Le joueur portant le maillot jaune numéro 7, avec des chaussures rouges, intercepte un ballon qui roule vers la gauche et tire un puissant coup de pied."
• Le problème : Le chien apprend par cœur cette phrase exacte. Il devient un expert pour trouver cette phrase précise.
• La réalité (ce que font les humains) : Quand vous cherchez une vidéo sur votre téléphone, vous ne tapez pas "Le joueur en jaune numéro 7...". Vous tapez quelque chose de très simple comme : "Quand marque-t-on un but ?".

Le chien, habitué aux phrases complexes, panique face à votre demande simple. Il ne sait pas faire le lien. C'est exactement ce qui arrive aux intelligences artificielles (IA) qui cherchent des moments dans les vidéos. Elles sont entraînées sur des descriptions trop détaillées (comme les notes de l'humain) et échouent quand on leur pose des questions simples et générales.

🔍 La Solution des Auteurs : Créer un "Gymnase" Réaliste

Les chercheurs ont réalisé qu'ils devaient entraîner leurs IA avec des questions plus réalistes. Mais collecter de nouvelles vidéos avec de vraies questions d'utilisateurs est long et coûteux.

Leur astuce de génie : Ils ont pris les anciennes vidéos et leurs descriptions complexes, et ils ont demandé à une IA (un "réécrivain") de les simplifier, comme si on parlait à un enfant ou à quelqu'un qui ne connaît pas le contexte.

• Avant : "L'homme en chemise blanche joue du bongo avec sa main droite."
• Après (Nouvelle requête) : "Quelqu'un joue d'un instrument."

Ils ont créé trois nouveaux "terrains d'entraînement" (benchmarks) basés sur des vidéos de cuisine, de sport et de vie quotidienne, transformant les phrases complexes en questions simples.

🚧 Les Deux Obstacles Majeurs

En testant leurs modèles sur ces nouvelles questions, ils ont découvert deux gros problèmes :

1. Le Fossé du Langage (Language Gap) : C'est comme si le chien apprenait à comprendre le français littéraire, mais qu'on lui parlait en argot. Les mots sont trop différents.
2. Le Fossé du "Moment Unique" (Multi-moment Gap) : C'est le problème le plus important.
   • Dans les anciennes vidéos, une phrase complexe correspondait à un seul moment précis (ex: le but marqué à la 5ème minute).
   • Dans les nouvelles questions simples, une phrase comme "Quand cuisine-t-on ?" peut correspondre à dix moments différents dans la même vidéo (couper les oignons, verser l'eau, mélanger, etc.).
   • Le problème technique : Les modèles d'IA actuels sont comme des gardiens de but qui ne s'attendent qu'à un seul tir. Quand il y a dix balles qui arrivent en même temps, ils se figent et ne parviennent à en arrêter qu'une ou deux. Ils s'effondrent sous la charge.

🛠️ La Réparation : Débloquer le "Cerveau" de l'IA

Les chercheurs ont identifié pourquoi l'IA se fige. C'est ce qu'ils appellent l'"effondrement des requêtes".
Imaginez que l'IA a 100 détecteurs internes (des "yeux") pour chercher des moments. À cause de l'entraînement sur des vidéos à un seul moment, 95 de ces yeux restent fermés et seuls 5 travaillent. C'est comme avoir une équipe de 100 policiers, mais seul un seul fait le travail, les 99 autres dorment !

Leurs deux solutions pour réveiller l'équipe :

1. Supprimer le "Bavardage" (Suppression de l'attention) : Normalement, les détecteurs de l'IA se parlent entre eux pour se mettre d'accord sur qui doit faire le travail. Cela les pousse à se dire : "Toi, tu le fais, moi je dors". Les chercheurs ont coupé ce canal de communication. Maintenant, chaque détecteur doit travailler seul et independently.
2. Le "Jeu de l'Épingle" (Dropout) : Pendant l'entraînement, ils éteignent aléatoirement certains détecteurs (comme si on enlevait des joueurs du terrain). Cela force les autres à se réveiller et à prendre le relais. Cela empêche l'IA de se reposer sur les mêmes 5 détecteurs habituels.

🏆 Le Résultat : Une IA Plus Polyvalente

Grâce à ces modifications simples mais ingénieuses, l'IA a appris à utiliser beaucoup plus de ses "yeux" internes.

• Résultat : Elle est maintenant capable de trouver non pas un, mais plusieurs moments dans une vidéo, même avec une question très vague.
• Performance : Ils ont amélioré la précision de l'IA de façon spectaculaire (jusqu'à 21 % de mieux sur les questions complexes).

💡 En Résumé

Cette recherche nous dit : "Arrêtez d'entraîner vos robots avec des manuels trop précis, ils ne comprendront jamais la vie réelle."

En simplifiant les questions d'entraînement et en forçant l'IA à être plus proactive (en réveillant tous ses détecteurs), les chercheurs ont créé des systèmes capables de comprendre ce que nous, humains, cherchons vraiment : des réponses simples à des questions générales, même si la réponse est cachée dans plusieurs moments d'une même vidéo.

Résumé technique

1. Problématique et Contexte

La Récupération de Moments Vidéo (VMR - Video Moment Retrieval) vise à localiser des segments temporels spécifiques dans une vidéo à partir d'une requête textuelle. Bien que les modèles actuels obtiennent d'excellents résultats sur les benchmarks existants, cet article identifie une limitation fondamentale : le biais visuel induit par les données d'entraînement.

• Le problème des requêtes "basées sur les légendes" : Les datasets actuels (comme HD-EPIC, YouCook2, ActivityNet) utilisent des légendes écrites par des annotateurs après avoir regardé la vidéo. Ces légendes sont descriptives, fines et visuellement informées (ex: "Un homme en maillot jaune intercepte une passe...").
• Le décalage avec la réalité : En situation réelle, les utilisateurs formulent des requêtes de recherche sans avoir vu la vidéo. Ces requêtes sont souvent plus générales, moins spécifiques et peuvent correspondre à plusieurs moments dans la vidéo (ex: "Quand les buts sont-ils marqués ?").
• Conséquence : Les modèles entraînés sur des légendes détaillées subissent une dégradation significative de leurs performances lorsqu'ils sont évalués sur des requêtes de recherche réalistes, en raison d'un décalage linguistique et d'une incapacité à gérer plusieurs moments simultanés.

2. Méthodologie

Les auteurs proposent une approche en deux temps : la création de nouveaux benchmarks et la modification architecturale des modèles.

A. Création de Benchmarks de Recherche (Search-Query Benchmarks)

Au lieu de collecter de nouvelles données (coûteux et difficile), les auteurs proposent un pipeline pour transformer les légendes existantes en requêtes de recherche sous-spécifiées :

1. Sous-spécification via LLM : Utilisation d'agents basés sur un LLM (Gemma-12B) pour réécrire les légendes détaillées en versions plus courtes et abstraites, en supprimant les détails visuels (sujet, objet, contexte).
2. Validation : Un second agent valide la cohérence sémantique, suivi d'une vérification humaine pour corriger les hallucinations.
3. Regroupement (Grouping) : Les requêtes sous-spécifiées qui correspondent à plusieurs moments dans la vidéo sont regroupées. Un agent agrégateur génère une requête de recherche représentative pour chaque groupe.
4. Nouveaux Datasets : Trois benchmarks sont introduits basés sur HD-EPIC (HD-EPIC-S1, S2, S3), YouCook2 (YC2-S) et ActivityNet-Captions (ANC-S). Ces datasets contiennent jusqu'à 47,57 % de requêtes correspondant à plusieurs moments (multi-moments).

B. Analyse des Causes de Dégradation

L'étude identifie deux écarts (gaps) principaux :

1. L'écart linguistique (Language Gap) : Le décalage entre le vocabulaire descriptif des légendes et le langage abstrait des requêtes de recherche.
2. L'écart multi-moment (Multi-moment Gap) : Le fait que les requêtes de recherche correspondent souvent à plusieurs segments ground-truth (GT), alors que les modèles sont entraînés sur une hypothèse de moment unique.

C. Solution Architecturale : Prévention de l'Effondrement des Requêtes

Les auteurs identifient un phénomène critique dans les architectures DETR (utilisées par la plupart des modèles VMR) : l'effondrement actif des requêtes du décodeur (Active Decoder-Query Collapse).

• Phénomène : Lors de l'entraînement sur des données "moment unique", le modèle apprend à n'activer qu'un petit sous-ensemble de requêtes (ex: 4 requêtes sur 100), laissant les autres inactives. Cela empêche le modèle de retrouver plus de 4 moments, même si la vidéo en contient plus.
• Causes identifiées :
  • Effondrement de coordination : Le mécanisme d'attention self-attention (SA) force les requêtes à se coordonner et à s'éliminer mutuellement.
  • Effondrement d'index : Le modèle s'habitue à utiliser toujours les mêmes indices de requêtes pour détecter le moment unique.
• Modifications proposées (-SA+QD) :
  1. Suppression de l'attention self-attention (SA) : Pour permettre à chaque requête de décodeur de fonctionner indépendamment et éviter la suppression mutuelle.
  2. Dropout de requêtes (Query Dropout - QD) : Une régularisation qui désactive aléatoirement un pourcentage de requêtes apprises pendant l'entraînement, forçant le modèle à répartir la supervision sur un plus grand nombre de requêtes et évitant la dépendance à des indices fixes.

3. Contributions Clés

1. Réévaluation de la VMR : Mise en lumière du fossé entre les benchmarks actuels (basés sur des légendes) et les scénarios réels (requêtes de recherche).
2. Nouveaux Benchmarks : Introduction de trois benchmarks (HD-EPIC-S, YC2-S, ANC-S) avec des requêtes sous-spécifiées et des instances multi-moments, générés via un pipeline automatisé et validé.
3. Analyse Théorique : Identification et quantification de l'écart linguistique et de l'écart multi-moment comme causes principales de la dégradation.
4. Solution Architecturale : Proposition de modifications simples mais efficaces (suppression de SA + Query Dropout) qui augmentent le nombre de requêtes actives et améliorent la généralisation sans nécessiter de ré-annotation massive des données.
5. Nouvelles Métriques : Introduction de Rm (Recall multi-moment) et mAPm (Mean Average Precision multi-moment) pour évaluer correctement la récupération de chaque moment individuel, indépendamment des autres moments présents dans la vidéo.

4. Résultats Expérimentaux

Les expériences ont été menées sur les modèles de référence CG-DETR et LD-DETR.

• Dégradation initiale : Les modèles entraînés sur des légendes voient leurs performances chuter drastiquement sur les requêtes de recherche (jusqu'à -77,40 % de perte en Rm@0.3 sur HD-EPIC-S3).
• Impact des modifications (-SA+QD) :
  • Amélioration significative de la généralisation aux requêtes de recherche.
  • Gain de performance allant jusqu'à 14,82 % en mAPm sur les requêtes de recherche générales.
  • Gain de 21,83 % en mAPm spécifiquement sur les requêtes multi-moments.
  • La méthode comble près de 70 % de l'écart avec un modèle "oracle" (entraîné directement sur les requêtes de recherche).
• Analyse des ablations :
  • La suppression de l'attention self-attention et le dropout de requêtes sont tous deux nécessaires pour maximiser les gains.
  • L'utilisation d'une correspondance 1-to-1 (standard dans DETR) est cruciale pour maintenir la diversité des requêtes actives.
  • Les méthodes alternatives (augmentation de données, correspondances 1-to-k) échouent à améliorer la généralisation car elles ne résolvent pas le problème de la diversité des requêtes.

5. Signification et Impact

Cet article est une contribution majeure pour le domaine de la compréhension vidéo :

• Réalisme : Il rapproche les modèles VMR des applications réelles où les utilisateurs ne connaissent pas le contenu précis de la vidéo.
• Efficacité des Données : Il démontre qu'il n'est pas nécessaire de créer de nouveaux datasets coûteux pour améliorer la robustesse ; une adaptation architecturale suffit pour exploiter les données existantes.
• Compréhension des Limites : Il révèle que les architectures DETR, bien que performantes, souffrent d'un biais fort vers les hypothèses d'entraînement (moment unique) qui doit être activement contré par des mécanismes de régularisation spécifiques.
• Futur : Le travail ouvre la voie à une recherche sur la robustesse linguistique et la gestion dynamique du nombre de moments à récupérer.

En résumé, les auteurs prouvent que pour déployer la VMR dans le monde réel, il faut passer d'une approche basée sur la description visuelle exacte à une approche capable de gérer l'ambiguïté et la multiplicité des événements, ce qui est rendu possible par des ajustements architecturaux ciblés.