🤖 machine learning

Reason, Retrieve, Re-rank: A Zero-Shot Reasoning-Aware Framework for Composed Video Retrieval

L'article présente R3-CoVR, un cadre de recherche de vidéos composée (Composed Video Retrieval) sans apprentissage préalable et sans entraînement, qui exploite un grand modèle de langage multimodal pour raisonner sur les transitions d'état induites par l'édition et verbaliser les descriptions post-édition, suivis d'une recherche contrastive et d'un reclassement sensible aux contraintes pour atteindre des performances de pointe lors du défi VidLLMs de la CVPR 2026.

Auteurs originaux : Ali Alavi

Publié 2026-06-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ali Alavi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un monteur vidéo travaillant dans une immense bibliothèque de millions de clips. Un client vous remet une vidéo spécifique et vous dit : « J'aime bien celle-ci, mais je veux que vous trouviez la version où la personne arrête de taper furieusement sur le clavier pour commencer à refermer brusquement l'ordinateur portable par frustration. »

C'est le défi de la Recherche Vidéo Composée (CoVR - Composed Video Retrieval). Vous ne cherchez pas seulement une vidéo ; vous cherchez une vidéo qui a été modifiée d'une manière spécifique. La difficulté réside dans le fait que l'instruction du client (« frustration ») ne dit pas littéralement « fermer l'ordinateur brusquement ». Vous devez déduire ce que cela signifie visuellement.

L'article présente un système appelé R3-CoVR (Reason, Retrieve, Re-rank / Raisonner, Récupérer, Reclasser) qui résout ce problème sans jamais avoir « étudié » pour l'examen. Il utilise trois étapes intelligentes, comme une équipe de trois spécialistes travaillant ensemble :

Étape 1 : Le Traducteur (Raisonner)

D'abord, le système examine la vidéo originale et l'instruction du client. Au lieu de simplement saisir des mots-clés, il agit comme un traducteur créatif.

L'analogie : Imaginez un détective regardant la photo d'une scène de crime et une note disant « Le suspect s'est enfui en hâte ». Le détective ne cherche pas seulement le mot « hâte » ; il imagine la scène : chaussures qui raclent le sol, une porte qui claque, une voiture qui démarre en trombe.
Ce que fait l'article : Un modèle d'IA puissant (Qwen3-VL) regarde la vidéo et réfléchit : « Si cette personne est frustrée, elle va probablement fermer l'ordinateur, peut-être se lever, et la caméra pourrait zoomer. » Il écrit ensuite une description courte et claire de cette scène future.
L'astuce clé : L'article a découvert que cette description doit être courte et percutante (comme un titre de presse) pour tenir dans la mémoire de l'outil suivant. Si la description est trop longue, les détails importants sont coupés et la recherche échoue.

Étape 2 : Le Bibliothécaire (Récupérer)

Ensuite, le système prend cette description courte et demande à un bibliothécaire ultra-rapide de trouver des vidéos correspondantes.

L'analogie : Pensez à un bibliothécaire qui possède une fiche d'index géante pour chaque vidéo de la bibliothèque. Le bibliothécaire ne lit pas toute la vidéo ; il saisit simplement l'« essence » ou l'« ambiance » de la vidéo et celle de votre description. Il extrait rapidement les 10 ou 20 fiches les plus similaires.
Ce que fait l'article : Un autre modèle d'IA (SigLIP-2) convertit la description et toutes les vidéos en nombres mathématiques. Il calcule à quel point ils sont proches les uns des autres et crée une « liste restreinte » des meilleurs candidats.
Le résultat : Cette étape est rapide et parvient à placer la bonne vidéo dans le top 10 presque à chaque fois, mais elle n'est pas parfaite pour choisir le meilleur candidat au numéro 1.

Étape 3 : Le Juge (Reclasser)

Enfin, le système prend cette liste restreinte de 10 ou 20 vidéos et les ramène au « Traducteur » (le même IA de l'étape 1) pour qu'il agisse en tant que juge strict.

L'analogie : Imaginez un critique de cinéma regardant les 10 meilleurs candidats. Il ne se contente pas de deviner ; il regarde la vidéo, lit la note du client et se demande : « Est-ce que cette vidéo montre réellement la frustration dont nous avons parlé ? Ou est-ce juste une vidéo de quelqu'un qui tape sur un clavier ? » Il attribue à chaque vidéo une note de 0 à 100.
Ce que fait l'article : L'IA regarde les vidéos de la liste restreinte et les note en fonction de leur correspondance avec le scénario de la « frustration ». Elle mélange ensuite ce score avec le classement original du bibliothécaire pour créer une liste finale parfaite.
Le résultat : Cette étape est magique. Elle déplace la vidéo correcte de la position #5 à la position #1.

Pourquoi cet article est spécial

Les auteurs ont atteint un taux de réussite de 91,9 % (trouver la bonne vidéo comme premier résultat) lors d'un test très difficile. Ils y sont parvenus sans même entraîner l'IA sur les données du test, en utilisant simplement leurs connaissances générales et une stratégie intelligente. C'est comme un étudiant passant un examen final sans avoir jamais vu les questions auparavant, simplement grâce à son savoir général et une méthode astucieuse.

Deux grands secrets de leur succès :

La Brièveté : Ils ont appris que le « Traducteur » doit écrire une description courte qui respecte les limites de mémoire du « Bibliothécaire ». Si la description est trop longue, le Bibliothécaire passe à côté de l'essentiel.
Le Juge : La partie la plus importante était l'étape du « Juge ». Elle a permis au système de passer d'un bon score (72,7 %) à un score excellent (91,9 %) en réévaluant soigneusement les meilleurs candidats.

En résumé, R3-CoVR est un système qui réfléchit à ce à quoi une vidéo devrait ressembler, scanne la bibliothèque pour trouver des correspondances, puis critique les meilleures correspondances pour s'assurer que la réponse finale est parfaite — le tout sans avoir besoin de mémoriser la bibliothèque au préalable.

Résumé Technique : R3-CoVR (Reason, Retrieve, Re-rank)

1. Définition du Problème

Le document traite de la Recherche Vidéo Composée (Composed Video Retrieval - CoVR), une tâche où un système doit extraire une vidéo cible à partir d'une vaste galerie en utilisant une vidéo de référence ( $V_r$ ) et une instruction de modification textuelle libre ( $E$ ). L'objectif est de trouver la vidéo qui résulte de l'application de la modification à la référence tout en préservant le contexte pertinent.

Le focus spécifique est porté sur le défi Reason-Aware CoVR (CoVR-R) de l'atelier CVPR 2026 VidLLMs. Ce cadre impose deux contraintes strictes :

Zero-Shot : Les modèles ne peuvent pas être entraînés ou ajustés sur les données du défi ; la performance doit reposer sur la généralisation.
Sensible au Raisonnement (Reasoning-Aware) : Les modifications sont souvent implicites (par exemple, « Changer la frappe au clavier par de la frustration » implique des états visuels spécifiques comme des poings serrés). La correspondance par mots-clés naïve échoue face aux « distracteurs difficiles » qui partagent le vocabulaire mais violent les conséquences visuelles implicites.

2. Méthodologie : R3-CoVR

Les auteurs proposent R3-CoVR, un pipeline en trois étapes entièrement sans entraînement (training-free), construit exclusivement à partir de modèles de fondation gelés.

Étape 1 : Raisonner (Reason)

Modèle : Un grand modèle de langage multimodal gelé (Qwen3-VL-8B).
Processus : Le modèle observe la vidéo de référence ( $V_r$ ) et l'instruction de modification ( $E$ ). Au lieu de simplement faire correspondre des mots-clés, il raisonne sur les effets consécutifs de la modification.
Sortie : Il génère une trace structurée ( $R$ ) couvrant les états, les actions, la scène, la caméra et le tempo, suivie d'une description concise post-modification ( $D$ ).
Stabilisation : Pour garantir la cohérence, $K=3$ échantillons sont tirés, et leurs plongements (embeddings) sont moyennés en aval. La trace structurée est conservée pour la métrique de raisonnement du défi.

Étape 2 : Récupérer (Retrieve)

Modèle : Un encodeur vidéo-texte contrastif gelé (SigLIP-2).
Processus : L'encodeur projette la description concise ( $D$ $D$ ) et toutes les vidéos de la galerie dans un espace métrique partagé.
- Encodage Vidéo : 8 images échantillonnées uniformément sont moyennées (mean-pooled) et normalisées en L2.
- Encodage Texte : La description est encodée.
Optimisation (Crucial) : Les auteurs ont identifié que l'encodeur SigLIP-2 possède une fenêtre fixe de 64 jetons (tokens). Les descriptions longues, sous forme de paragraphes, générées par le LLM sont tronquées, perdant ainsi du contenu essentiel. Le système contraint $D$ à une légende concise et frontale (≤40 mots) pour tenir dans cette fenêtre.
Sortie : La similitude cosinus classe la galerie, retournant une liste restreinte de top- $K$ (par défaut $K=10$ ).

Étape 3 : Re-classer (Re-rank)

Modèle : Le même Qwen3-VL-8B gelé agit comme un juge de contrainte.
Processus : Le juge est présenté avec une vidéo candidate de la liste restreinte, l'édition originale ( $E$ ) et la description prévue ( $D$ ). Il évalue à quel point la candidate réalise le résultat escompté sur une échelle de [0, 100].
Débruitage : Pour éviter les ex-aequo causés par l'émission de seulement quelques scores distincts par le juge, le système fait la moyenne du score sur 5 générations échantillonnées, augmentant considérablement la résolution du score (passant de 8 à 86 valeurs distinctes dans le pool de test).
Score Final : Le score final ( $s_{final}$ ) mélange le score normalisé du juge ( $s_j$ ) avec le rang de récupération ( $rank_K$ ) :
$s_{final}(V) = \lambda s_j(V) + (1 - \lambda) rank_K(V)$
Où $\lambda$ est généralement fixé à 0,8. Ce mélange permet au juge de reclasser la liste restreinte tout en conservant le rang de récupération pour se prémunir contre les faux positifs.

3. Contributions Clés

Pipeline Zero-Shot : Un système CoVR entièrement sans entraînement atteignant 91,9 % de R@1 sur l'ensemble de test du défi sans ajustement sur les données du défi.
Optimisation de la Longueur de Description : L'observation que l'adaptation de la longueur de la description à la fenêtre de jetons de l'encodeur contrastif (64 jetons) est critique. Ce changement unique a fait passer le R@1 de 67,5 % à 72,7 %.
Re-classement Sensible aux Contraintes : L'introduction d'un LLM multimodal comme juge pour reclasser la liste restreinte. Cette étape a apporté un gain massif de +19,2 R@1, faisant passer la métrique de 72,7 % à 91,9 %.
Implémentation Modulaire : Une implémentation propre en trois couches (données/modèle/exécuteur) permettant de remplacer les architectures de base sans modifier la logique d'orchestration.

4. Résultats Expérimentaux

Évalué sur l'ensemble de test du défi CoVR-R (301 requêtes à travers les galeries WebVid et Something-Something-v2) :

Baseline (Description Riche) : Raisonnement + Récupération avec une description longue a atteint 67,5 % de R@1.
Récupération Optimisée : Contraindre la description pour qu'elle tienne dans la fenêtre de l'encodeur a amélioré le R@1 à 72,7 % (+5,2).
Pipeline Complet : L'ajout du re-classeur sensible aux contraintes (avec $\lambda=0,8$ et $K=10$ ) a atteint 91,9 % de R@1 et 98,2 % de R@10.
Insights d'Ablation :
- Ratio de Mélange ( $\lambda$ ) : La récupération pure ( $\lambda=0$ ) a produit 72,7 %. Le juge pur ( $\lambda=1$ ) est tombé à 88,2 %. Le mélange optimal ( $\lambda=0,8$ ) a exploité le signal du juge tout en utilisant le rang de récupération pour départager les égalités, culminant à 91,9 %.
- Profondeur de la Liste Restreinte : Augmenter la liste de $K=10$ à $K=20$ a amélioré le rappel global (R@10 de 96,8 % à 98,2 %) mais n'a pas significativement amélioré le R@1, car les listes plus profondes introduisaient davantage de distracteurs à score élevé.

5. Signification et Limites

Signification :
Le papier démontre que la recherche vidéo composée sensible au raisonnement peut être résolue efficacement sans entraînement, en s'appuyant plutôt sur les capacités de raisonnement des LLM multimodaux gelés et l'efficacité des encodeurs contrastifs. Le système est interprétable (fournissant des traces de raisonnement et des justifications du juge) et modulaire.

Limites et Travaux Futurs :

Coût : Le coût du re-classeur augmente linéairement avec la profondeur de la liste restreinte et le nombre de générations pour le débruitage.
Biais Perceptuel : Le modèle juge de 8B présente des limites pour distinguer des paires très fines, laissant un écart entre le R@1 (91,9 %) et le plafond du R@10 (~98 %). Les auteurs suggèrent qu'un juge plus large (ex: 72B) pourrait combler cet écart.
Contraintes de Jetons : La fenêtre de 64 jetons de l'encodeur contrastif limite la richesse de la description utilisée pour la récupération initiale. Un récupérateur à contexte long ou natif de la vidéo pourrait potentiellement améliorer davantage le rappel de la liste restreinte.
Compromis de Calcul : L'utilisation de l'auto-cohérence (3 échantillons) et du score débruité (5 échantillons) échange du calcul contre de la robustesse, un compromis que les auteurs notent devoir être réexaminé à grande échelle.