Stay in your Lane: Role Specific Queries with Overlap Suppression Loss for Dense Video Captioning

1. Problématique

La Description Dense de Vidéo (DVC - Dense Video Captioning) est une tâche multimodale complexe qui consiste à localiser temporellement plusieurs événements au sein d'une vidéo non découpée et à générer une description textuelle naturelle pour chacun d'eux.

Les approches récentes basées sur les requêtes (inspirées de l'architecture DETR) permettent un traitement de bout en bout de la localisation et de la description. Cependant, ces méthodes souffrent de deux limitations majeures :

• Interférence entre tâches : L'utilisation d'un même ensemble de requêtes partagées pour les deux tâches (localisation et génération de texte) crée des conflits d'optimisation. Les requêtes ne parviennent pas à apprendre simultanément les caractéristiques distinctes de la détection de frontières temporelles et de la sémantique visuelle.
• Redondance temporelle : Les modèles tendent à prédire plusieurs événements chevauchants pour un même segment, générant des descriptions redondantes et une localisation imprécise.

2. Méthodologie : ROS-DVC

Les auteurs proposent ROS-DVC (Role Specific Query with Overlap Suppression Loss), un cadre qui sépare explicitement les rôles des requêtes et introduit des mécanismes de régulation pour améliorer la précision et la cohérence.

L'architecture repose sur trois piliers principaux :

A. Requêtes Spécifiques aux Rôles (Role Specific Queries)

Au lieu d'utiliser un seul ensemble de requêtes, le modèle initialise deux ensembles de requêtes distincts et indépendants :

• Requêtes de Localisation ($q_{loc}$) : Spécialisées dans l'estimation des frontières temporelles (début/fin). Elles apprennent à porter une attention large sur le contexte temporel.
• Requêtes de Description ($q_{cap}$) : Spécialisées dans la capture des détails visuels fins pour la génération de texte. Elles se concentrent intensivement sur les régions clés.
• Initialisation : Chaque ensemble est initialisé à partir d'un espace d'embedding séparé, réduisant ainsi les dépendances et permettant une optimisation indépendante de chaque rôle.

B. Alignement Contrastif Inter-tâches (Cross-Task Contrastive Alignment - CTCA)

Pour éviter que la séparation des requêtes ne crée un décalage sémantique entre la localisation et la description, les auteurs introduisent une fonction de perte CTCA.

• Cette perte utilise un mécanisme contrastif : pour chaque événement apparié (via l'algorithme hongrois), la requête de localisation et la requête de description correspondante sont traitées comme une paire positive, tandis que les autres requêtes sont traitées comme des négatives.
• Objectif : Forcer les requêtes de localisation à acquérir une conscience sémantique des requêtes de description, assurant ainsi que les segments localisés correspondent bien aux descriptions générées.

C. Perte de Suppression de Chevauchement (Overlap Suppression Loss - OSL)

Pour résoudre le problème de la redondance temporelle (plusieurs requêtes prédisant le même événement), une nouvelle fonction de perte est conçue.

• Mécanisme : Elle pénalise les paires de requêtes qui se chevauchent excessivement (mesuré par l'IoU temporel).
• Adaptativité : La force de la pénalité est modulée par un facteur $\alpha$ dépendant de l'IoU avec la vérité terrain (Ground Truth). Si une prédiction est déjà bien alignée avec la vérité terrain, la pénalité est faible ; si elle est mal alignée et chevauche d'autres prédictions, la pénalité est forte.
• Résultat : Cela encourage le modèle à apprendre des régions d'événements distinctes et non chevauchantes.

D. Guide de Concepts (Concept Guider)

Un module auxiliaire léger (un MLP) est ajouté pour enrichir la représentation sémantique des requêtes de description.

• Il prédit un vecteur "multi-hot" de concepts (noms et verbes clés) associés à l'événement.
• Bien que non utilisé lors de l'inférence, ce module guide l'apprentissage des requêtes pour intégrer des concepts de haut niveau, améliorant la richesse sémantique des légendes générées.

3. Contributions Clés

1. Séparation des tâches : Résolution de l'interférence entre localisation et description via l'utilisation de requêtes spécifiques aux rôles, entraînant une meilleure spécialisation.
2. Suppression de la redondance : Conception d'une perte de suppression de chevauchement (OSL) qui permet d'obtenir des localisations temporelles plus précises et non redondantes.
3. Enrichissement sémantique : Introduction d'un Guide de Concepts qui améliore la précision sémantique des légendes sans recourir à une banque de mémoire externe coûteuse.
4. Alignement sémantique : Utilisation d'une perte contrastive (CTCA) pour garantir la cohérence entre les segments localisés et leurs descriptions.

4. Résultats Expérimentaux

Le modèle a été évalué sur deux benchmarks majeurs : YouCook2 et ActivityNet Captions.

• Performance de Description (Captioning) :
  • Sur YouCook2, ROS-DVC obtient les meilleurs scores CIDEr (39,18) et SODA-c (7,06) parmi les méthodes sans pré-entraînement massif (non-LLM), surpassant des modèles de pointe comme MCCL et E2DVC.
  • Sur ActivityNet, il atteint également les meilleurs scores CIDEr et SODA-c, démontrant une capacité supérieure à générer des descriptions cohérentes.
• Performance de Localisation :
  • Le modèle surpasse les méthodes précédentes en termes de Rappel (Recall), Précision et F1-score.
  • Une observation notable : le modèle parvient à équilibrer Recall et Précision (contrairement aux méthodes précédentes où le Recall était souvent inférieur), indiquant que le compteur d'événements prédit un nombre d'événements très proche de la vérité terrain.
• Analyse Ablative :
  • Les expériences montrent que chaque composant (RSQ, CTCA, OSL, Concept Guider) contribue positivement. La combinaison de tous les modules donne les meilleurs résultats.
  • L'ajustement du paramètre $\gamma$ dans l'OSL (optimal à 0,25) permet de trouver le meilleur compromis entre la détection d'événements et la précision temporelle.

5. Signification et Conclusion

L'article ROS-DVC démontre que la séparation explicite des rôles au sein des architectures basées sur les requêtes est cruciale pour les tâches multimodales complexes comme la DVC.

En forçant les requêtes à "rester dans leur voie" (Stay in your Lane) — c'est-à-dire à se spécialiser soit dans la localisation, soit dans la description — et en régulant leurs interactions via des pertes contrastives et de suppression, les auteurs parviennent à :

1. Éliminer les prédictions redondantes et les légendes répétitives.
2. Améliorer la précision temporelle des événements.
3. Générer des descriptions plus riches et sémantiquement cohérentes.

Cette approche offre une solution simple mais efficace qui ne dépend pas de modèles de langage massifs (LLM) ou de banques de mémoire externes, prouvant que l'optimisation interne des mécanismes d'attention et des fonctions de perte peut significativement faire progresser l'état de l'art en compréhension vidéo dense.