💻 computer science

CoVR-R:Reason-Aware Composed Video Retrieval

Le papier présente CoVR-R, une approche zéro-shot qui améliore la recherche vidéo composée en intégrant un raisonnement sur les conséquences causales et temporelles implicites des modifications textuelles, surpassant ainsi les méthodes existantes grâce à une meilleure généralisation et interprétabilité.

Auteurs originaux : Omkar Thawakar, Dmitry Demidov, Vaishnav Potlapalli, Sai Prasanna Teja Reddy Bogireddy, Viswanatha Reddy Gajjala, Alaa Mostafa Lasheen, Rao Muhammad Anwer, Fahad Khan

Publié 2026-03-23

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Omkar Thawakar, Dmitry Demidov, Vaishnav Potlapalli, Sai Prasanna Teja Reddy Bogireddy, Viswanatha Reddy Gajjala, Alaa Mostafa Lasheen, Rao Muhammad Anwer, Fahad Khan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective vidéo. Votre mission : trouver une vidéo précise dans une immense bibliothèque en vous basant sur deux indices : une vidéo de départ et une note manuscrite qui explique ce qui doit changer.

C'est ce qu'on appelle la "Recherche Vidéo Composée". Mais voici le problème : la plupart des systèmes actuels sont comme des robots qui lisent mot à mot. Si vous leur dites "changez la vache en cheval", ils cherchent une vidéo avec un cheval. S'ils ne trouvent pas le mot "cheval", ils échouent, même si la vidéo montre exactement ce que vous vouliez.

Le papier CoVR-R propose une solution géniale : au lieu de juste lire, il faut réfléchir.

Voici l'explication simple, avec quelques analogies pour mieux comprendre :

1. Le Problème : Le Robot qui ne voit que les mots

Imaginez que vous demandez à un robot : "Prenez cette vidéo d'un gâteau cru et faites-le cuire."

L'approche ancienne : Le robot cherche des vidéos avec le mot "cuisson". S'il trouve une vidéo de quelqu'un qui cuit des œufs, il vous la donne, car il y a le mot "cuire". Il ne comprend pas que le gâteau doit changer d'état (de cru à cuit) ni que la texture doit changer.
La réalité : Pour trouver la bonne vidéo, il faut comprendre les conséquences cachées. Si on cuit un gâteau, il devient doré, il gonfle, il y a de la vapeur. Le robot doit deviner ces détails invisibles dans le texte.

2. La Solution : Le Détective "Réfléchir d'abord"

Les auteurs de ce papier ont créé un système qui agit comme un détective humain avant de chercher la vidéo. Ils l'appellent CoVR-R (Reason-Aware Composed Video Retrieval).

Le processus se déroule en deux étapes, comme une enquête policière :

Étape 1 : L'Enquête (Le Raisonnement)
Avant de fouiller la bibliothèque, le système (qui utilise une intelligence artificielle très intelligente appelée "Qwen3-VL") prend le temps de réfléchir.
- Analogie : C'est comme si vous lisiez la note "Changez la vache en cheval" et que vous vous disiez : "Attends, si c'est un cheval, il va peut-être brouter l'herbe différemment, sa queue bougera moins, et le paysage autour pourrait changer pour ressembler à une prairie."
  Le système écrit mentalement une liste de ces conséquences logiques (changement d'état, mouvement de la caméra, ambiance).
Étape 2 : La Pêche (La Recherche)
Maintenant, avec cette liste de détails logiques en tête, le système va chercher la vidéo. Il ne cherche plus juste le mot "cheval", il cherche une vidéo où l'animal broute calmement dans une prairie.
- Résultat : Il trouve la vidéo parfaite, même si le mot "cheval" n'est pas écrit dans la description de la vidéo cible.

3. Pourquoi c'est révolutionnaire ?

La plupart des systèmes précédents devaient apprendre par cœur des millions d'exemples (comme un élève qui révise ses cours par cœur).

CoVR-R, lui, est un génie polyvalent. Il n'a pas besoin d'apprendre par cœur. Il utilise sa capacité de raisonnement général pour comprendre n'importe quelle demande, même très complexe, sans avoir besoin d'être réentraîné spécifiquement pour chaque tâche. C'est comme avoir un assistant qui comprend la logique humaine au lieu d'un simple moteur de recherche.

4. Le Nouveau Terrain de Jeu (Le Benchmark)

Pour prouver que leur méthode fonctionne, les auteurs ont créé un nouveau jeu de test appelé CoVR-R.

L'analogie : Imaginez un examen de conduite. Les anciens tests demandaient juste de savoir freiner (reconnaître un mot). Le nouveau test demande : "Si un enfant court sur la route, que doit faire le conducteur ?" (Réfléchir à la conséquence : freiner, klaxonner, regarder les rétroviseurs).
Ce nouveau test est rempli de pièges où les mots ne suffisent pas. Il faut comprendre la logique temporelle (ce qui arrive après) et causale (ce qui est causé par l'action).

En résumé

Ce papier dit : "Arrêtez de chercher des mots, commencez à chercher du sens."

Au lieu de faire correspondre des étiquettes, le système imagine ce qui va se passer dans la vidéo après la modification. C'est comme passer d'un dictionnaire à un romancier : il ne se contente pas de lire les mots, il imagine l'histoire qui suit.

Le résultat ? Une recherche vidéo beaucoup plus intelligente, capable de comprendre des demandes subtiles comme "Montrez-moi la vidéo où le café refroidit et où la vapeur disparaît", même si personne n'a jamais écrit ces mots exacts dans la base de données.

1. Problématique et Contexte

La Recherche de Vidéo Composée (CoVR) vise à retrouver une vidéo cible ( $V_t$ ) à partir d'une vidéo de référence ( $V_r$ ) et d'une instruction textuelle de modification ( $E$ ).

Le défi principal : Les travaux antérieurs supposent souvent que le texte de modification décrit explicitement tous les changements visuels nécessaires. Cependant, dans la réalité, les requêtes implicites sont fréquentes. Une instruction comme "transformer la vache en cheval" ou "passer d'un plan large à un gros plan" implique des conséquences après-coup (after-effects) non explicitées : transitions d'état, phases temporelles, changements de caméra (échelle, mouvement), ou dynamique de la scène.
Les méthodes actuelles, basées sur la correspondance de mots-clés ou la fusion de caractéristiques littérales, échouent à capturer ces conséquences causales et temporelles, ce qui limite leur efficacité sur des requêtes complexes.

Hypothèse centrale : Pour réussir en CoVR, le système doit non seulement aligner le texte et la vidéo, mais aussi raisonner sur les conséquences visuelles implicites de l'édition avant d'effectuer la recherche.

2. Méthodologie : CoVR-R (Reason-then-Retrieve)

L'approche proposée est une méthode zero-shot (sans ajustement spécifique à la tâche) qui utilise des Modèles Multimodaux à Grande Échelle (LMM) pour inférer et intégrer le raisonnement dans le processus de recherche. L'architecture se déroule en deux étapes principales (illustrée dans la Figure 3 du papier) :

A. Étape 1 : Génération de traces de raisonnement (After-Effect Reasoning)

Au lieu d'utiliser directement le texte de modification, le système utilise un LMM puissant (Qwen3-VL-8B) pour prédire les conséquences visuelles.

Entrée : Vidéo de référence ( $V_r$ ) + Instruction de modification ( $E$ ).
Processus : Le modèle est invité à générer une trace de raisonnement structurée ( $R$ $R$ ) couvrant cinq dimensions :
1. États (States) : Changements d'état des objets (ex: cru $\to$ cuit).
2. Actions/Phases : Séquences temporelles et ordre des actions.
3. Scène : Contexte environnemental et arrière-plan.
4. Caméra/Cadrage : Échelle du plan, mouvements (zoom, panoramique).
5. Tempo : Rythme et durée.
Sortie : Une description structurée et concise des effets attendus.

B. Étape 2 : Génération de requête et Recherche Sémantique

Génération de la cible : Le modèle combine $V_r$ , $E$ et la trace de raisonnement $R$ pour générer une description textuelle complète de la vidéo cible hypothétique.
Encodage : Cette description est encodée en un vecteur de requête ( $q$ ) en utilisant un mécanisme de pooling pondéré par l'importance (Weighted Pooling). Les tokens sémantiquement riches (verbes d'action, noms d'objets, états) reçoivent un poids plus élevé que les mots fonctionnels.
Récupération : La requête est comparée aux embeddings pré-calculés de la galerie de vidéos ( $G$ ) via une similarité cosinus pour classer et récupérer la vidéo la plus pertinente.

Point clé : Le LMM reste figé (frozen) ; il sert uniquement d'agent de raisonnement et de vérification, éliminant le besoin de fine-tuning coûteux.

3. Contributions Clés

Le Benchmark CoVR-R :
- Les auteurs introduisent un nouveau benchmark de 2 800 triplets (Vidéo de référence, Édition, Cible) spécifiquement conçu pour tester le raisonnement.
- Contrairement aux benchmarks précédents, chaque triplet est annoté avec des traces de raisonnement internes (ground-truth) et des distracteurs difficiles qui nécessitent de prédire les effets implicites plutôt que de faire du matching de mots-clés.
- Il évalue la cohérence des étapes et la factualité des effets.
Framework de Recherche "Reason-Aware" :
- Une pipeline zero-shot qui transforme les edits en conséquences explicites avant la recherche.
- Utilisation de Qwen3-VL pour inférer des schémas de changement complexes (temporels, cinématographiques, causaux).
Validation Empirique :
- Démonstration que le raisonnement explicite améliore significativement la précision de la recherche, en particulier pour les modifications implicites.

4. Résultats Expérimentaux

Les expériences ont été menées sur deux benchmarks : CoVR-R (propre benchmark) et Dense-WebVid-CoVR.

Sur CoVR-R (Benchmark de raisonnement) :
- La méthode proposée atteint 49,88 % de Recall@1 (avec raisonnement explicite), surpassant les meilleures méthodes de base (comme BSE-CoVR) de +16,45 points.
- Le score de raisonnement (évalué par un LLM juge) atteint 8,31/10, confirmant que le modèle prédit correctement les conséquences causales et temporelles.
- Les méthodes sans raisonnement explicite obtiennent 44,32 %, montrant l'apport direct de la phase de raisonnement.
Sur Dense-WebVid-CoVR :
- La méthode dépasse les baselines les plus fortes de +13,13 points en Recall@1 (61,21 % vs 48,08 %).
- Elle fonctionne efficacement sans utiliser de légendes vidéo supplémentaires ni de fine-tuning spécifique.
Analyse d'ablation :
- Échelle du modèle : Les performances augmentent avec la taille du modèle (Qwen3-VL-72B obtient le meilleur score, mais le 8B offre le meilleur compromis coût/performance).
- Granularité du raisonnement : Un raisonnement trop verbeux (traces trop longues) dégrade la précision de la recherche en introduisant du bruit. Une structure structurée et concise (environ 89 tokens) est optimale.
- Stratégie de pooling : Le pooling pondéré par l'importance surpasse le pooling moyen simple ou l'utilisation du dernier token.

5. Signification et Impact

Ce travail marque un changement de paradigme dans la recherche de vidéos composées :

Du "Matching de mots" au "Modélisation des conséquences" : Il démontre que la réussite en CoVR dépend de la capacité à prédire ce qui doit se produire visuellement, et pas seulement de ce qui est dit.
Réduction de la dépendance aux annotations : En utilisant des LMM généralistes pour le raisonnement, la méthode réduit le besoin de données d'entraînement massives et spécifiques à la tâche.
Explicabilité : Le processus "Reason-then-Retrieve" rend le système plus transparent, car la trace de raisonnement explique pourquoi une vidéo a été sélectionnée (ex: "le plan doit être plus serré car l'instruction demande un gros plan").
Futur : Cela ouvre la voie à des systèmes de recherche vidéo plus robustes et intelligents, capables de comprendre la causalité et la dynamique temporelle, essentiels pour des applications réelles complexes.

En résumé, CoVR-R prouve que l'intégration d'un raisonnement explicite via des LMM est un moteur efficace pour la recherche de vidéos composées, surpassant les approches traditionnelles basées uniquement sur l'alignement sémantique superficiel.