VidVec: Unlocking Video MLLM Embeddings for Video-Text Retrieval

Résumé Technique : VidVec

1. Problématique (Le Problème)

Bien que les Grands Modèles Multimodaux (MLLM) excellent dans des tâches de raisonnement et de compréhension (légendage, questions-réponses), leurs performances pour l'extraction d'embeddings (représentations vectorielles) appliquées à la recherche vidéo-texte restent inférieures aux modèles de fondation vidéo (VFM) spécialisés. Les approches actuelles pour transformer les MLLM en extracteurs d'embeddings nécessitent souvent un entraînement massif sur des paires vidéo-texte, ce qui est coûteux en données et en calcul. L'enjeu est de savoir comment exploiter le savoir interne des MLLM pour la recherche sans nécessiter de supervision visuelle massive.

2. Méthodologie (L'Approche)

Les auteurs proposent VidVec, une méthode qui repose sur trois piliers complémentaires :

• Analyse par couches (Layer-wise Analysis) : L'étude montre que les couches intermédiaires des MLLM contiennent des informations de recherche plus riches que la dernière couche. VidVec extrait donc les embeddings de couches spécifiques (ex: couche 24 pour VideoLLaMA3) plutôt que de la couche finale.
• Ré-ordonnancement par score de vraisemblance (Calibrated Reranking) : Pour affiner les résultats, le modèle utilise sa propre "tête" de langage (LLM head) comme un classificateur binaire. On demande au modèle : "Le texte correspond-il à la vidéo ? Répondez par Oui ou Non". Le score de re-ranking est alors la probabilité du token "Oui".
• Optimisation par contexte (In-context Optimization) : C'est l'innovation majeure. Au lieu d'entraîner le modèle sur des vidéos, les auteurs utilisent une stratégie de mapping texte-à-texte. Ils entraînent un léger module LoRA à transformer des légendes vidéo denses (longues et détaillées) en résumés courts. Ce processus simule l'encodage vidéo de manière purement textuelle, permettant d'aligner les représentations sans jamais montrer de vidéos pendant l'entraînement.

3. Contributions Clés

1. Découverte de l'utilité des couches intermédiaires : Démontre que les MLLM possèdent déjà des signaux de recherche alignés dans leurs couches cachées, même sans entraînement spécifique.
2. Schéma Zero-Shot efficace : Introduction d'une méthode de recherche et de re-ranking sans aucun entraînement préalable.
3. Apprentissage sans supervision visuelle : Preuve qu'une optimisation basée uniquement sur le texte (mapping légende $\rightarrow$ résumé) peut aligner efficacement les modalités vidéo et texte.
4. Efficacité extrême : Utilisation de seulement ~60 000 paires de texte pour surpasser des modèles entraînés sur des centaines de millions de paires vidéo-texte.

4. Résultats

Les performances de VidVec sont évaluées sur quatre benchmarks standards (MSR-VTT, MSVD, VATEX, DiDeMo) :

• Supériorité sur les MLLM existants : La version Zero-Shot (VidVec-ZS) surpasse largement les modèles comme VLM2Vec ou UNITE, même sans entraînement.
• Performance State-of-the-Art (SOTA) : La version optimisée (VidVec-O) combinée au re-ranking atteint des résultats de pointe, rivalisant et dépassant souvent les modèles de fondation vidéo (VFM) comme InternVideo2 ou VideoPrism.
• Efficacité de l'optimisation : L'approche "In-context" (texte uniquement) montre des gains massifs de Recall@1 par rapport aux méthodes basées sur la logique NLI (Natural Language Inference) traditionnelles.

5. Signification et Impact

Ce travail change la perspective sur l'utilisation des MLLM. Il démontre que la puissance de compréhension des modèles de langage peut être "déverrouillée" pour des tâches de recherche vectorielle de manière très frugale en données. L'idée que l'on peut améliorer l'alignement multimodal en travaillant uniquement dans l'espace textuel (via des résumés de légendes) ouvre la voie à des méthodes d'adaptation beaucoup plus rapides et moins coûteuses pour de nouvelles modalités ou de nouveaux domaines.