💻 computer science

CoVR-R:Reason-Aware Composed Video Retrieval

Deze paper introduceert CoVR-R, een zero-shot methode die gebruikmaakt van redenering over causale en temporele gevolgen van tekstuele bewerkingen om Composed Video Retrieval te verbeteren zonder taakspecifieke finetuning, ondersteund door het nieuwe CoVR-Reason-benchmarks.

Oorspronkelijke auteurs: Omkar Thawakar, Dmitry Demidov, Vaishnav Potlapalli, Sai Prasanna Teja Reddy Bogireddy, Viswanatha Reddy Gajjala, Alaa Mostafa Lasheen, Rao Muhammad Anwer, Fahad Khan

Gepubliceerd 2026-03-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Omkar Thawakar, Dmitry Demidov, Vaishnav Potlapalli, Sai Prasanna Teja Reddy Bogireddy, Viswanatha Reddy Gajjala, Alaa Mostafa Lasheen, Rao Muhammad Anwer, Fahad Khan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

CoVR-R: Het "Detective" van Video's

Stel je voor dat je een video hebt van een koe die op een weiland staat. Je wilt die video veranderen, maar je geeft niet de nieuwe video op. Je geeft alleen een opdracht: "Verander de koe in een paard en zorg dat het landschap groener wordt met heuvels."

Een slimme computer moet nu een video vinden die precies dat toont. Maar hier zit de kous: de computer moet niet alleen kijken naar de woorden "koe" en "paard". Hij moet redeneren over wat er gebeurt als je die opdracht uitvoert.

Dit is waar het nieuwe onderzoek CoVR-R om de hoek komt kijken. Laten we het uitleggen met een paar simpele vergelijkingen.

1. Het Probleem: De "Woordenboeken" vs. De "Detective"

Vroeger werkten deze systemen als een woordenboek. Als je zei "verander de koe in een paard", zocht de computer alleen naar video's waar het woord "paard" in voorkwam.

Het probleem: Wat als de tekst zegt "de koe wordt een paard", maar de video toont een paard dat net is geboren en nog huilt? Of een paard dat wegrent? De oude systemen zagen alleen de woorden, niet de gevolgen. Ze misten de subtiele details, zoals: "Als je een koe verandert in een paard, verandert ook de manier waarop ze graast, de vorm van hun staart en misschien zelfs de sfeer van het landschap."

CoVR-R werkt niet als een woordenboek, maar als een detective.
De detective kijkt niet alleen naar wat er staat geschreven, maar vraagt zich af: "Als ik deze verandering doe, wat zijn de logische gevolgen?"

Voorbeeld: Als je zegt "verander de nacht in een zonsondergang", denkt de detective: "Oké, dan moet het donker worden, de lucht moet roze/oranje zijn, en de schaduwen moeten langer worden." Hij zoekt niet alleen naar het woord 'zon', maar naar de gevolgen van de zon.

2. De Oplossing: De "Gedachtegang" (Reasoning)

De auteurs van dit papier hebben een slimme truc bedacht. Ze gebruiken een zeer slimme AI (een groot meervoudig taalmodel, ofwel een "super-geest") die als een schrijver fungeert voordat hij gaat zoeken.

Het proces ziet er zo uit:

De Opdracht: Je geeft de computer een video en een tekst (bijv. "Maak het water rustig en voeg schapen toe").
De Schrijver (De Redenering): De computer denkt eerst na en schrijft een kort verhaal over wat er moet gebeuren.
- Niet alleen: "Schapen toevoegen."
- Maar: "Het water wordt stil, de bomen verdwijnen en worden grasvelden, en schapen lopen rustig en eten het gras. De sfeer wordt vredig."
De Zoeker: Pas na dat het verhaal is geschreven, gaat de computer op zoek naar de video die het beste bij dat verhaal past.

Dit noemen ze "Reason-then-Retrieve" (Eerst redeneren, dan zoeken). Het is alsof je eerst een gedetailleerde beschrijving maakt van de droom die je wilt zien, en pas daarna gaat zoeken naar de film die daar het meest op lijkt.

3. De Nieuwe Test: De "Trucvraag" (CoVR-R Benchmark)

Om te bewijzen dat hun systeem echt slim is, hebben ze een nieuwe test gemaakt (een benchmark) genaamd CoVR-R.

De oude tests waren als een schooltoets met meerkeuzevragen waar je gewoon het juiste woord hoefde te vinden.
De nieuwe test is als een puzzel of een trucvraag. De vragen zijn zo gemaakt dat je niet kunt winnen door alleen te zoeken naar woorden. Je moet echt nadenken over de gevolgen.
- Voorbeeld: Als de tekst zegt "de man typt en wordt dan boos", moet de gevonden video laten zien dat hij eerst typt, dan zijn vuisten knijpt, en dan de laptop dichtslaat. Als de computer alleen zoekt op "boos", mist hij de volgorde.

4. Waarom is dit belangrijk?

Tot nu toe moesten computers heel veel voorbeelden zien om dit te leren (zoals een kind dat duizenden keren moet oefenen).
CoVR-R is een zero-shot methode. Dat betekent: de computer heeft geen duizenden voorbeelden nodig. Hij gebruikt zijn algemene intelligentie (zijn "verstand") om de gevolgen van een opdracht te begrijpen, zelfs als hij die specifieke opdracht nog nooit eerder heeft gezien.

Samengevat in één zin:
In plaats van blindelings te zoeken naar woorden die in de tekst staan, leert CoVR-R de computer om als een regisseur na te denken over wat er gebeurd in de video, zodat hij de perfecte video kan vinden, zelfs als de opdracht heel subtiel is.

Het is de overstap van "Ik zoek naar het woord 'paard'" naar "Ik zoek naar een video die de gevolgen van een paard toont."

1. Het Probleem: De Kloof tussen Editie en Visuele Gevolgen

Composed Video Retrieval (CoVR) is de taak om een doelvideo te vinden op basis van een referentvideo en een tekstuele modificatie (bijv. "verander de koe in een paard").

Huidige beperkingen: Bestaande methoden behandelen modificatietekst vaak als letterlijke trefwoorden. Ze negeren de impliciete gevolgen (after-effects) die voortvloeien uit een edit.
De kernuitdaging: Een tekstuele instructie impliceert vaak causale, temporele en cinematografische gevolgen die niet expliciet worden genoemd. Bijvoorbeeld:
- Staatsovergangen: "Ingrediënten worden bruin" impliceert een verandering in textuur en kleur.
- Temporele volgorde: "Typen gevolgd door een vuist" vereist een specifieke volgorde van acties.
- Cinematografie: Een "close-up" impliceert een nauwere framing en mogelijk een kortere duur.
Gevolg: Bestaande systemen falen vaak bij queries waar de succesvolle terugvinding afhangt van het voorspellen van deze impliciete gevolgen in plaats van slechts trefwoord-overlap.

2. Methodologie: Reason-then-Retrieve

De auteurs stellen een zero-shot framework voor dat eerst redeneert over de gevolgen van een edit en deze gevolgen vervolgens gebruikt voor het zoeken. Het systeem maakt geen gebruik van taakspecifiek finetunen.

Architectuur (Twee Stappen):

Stap 1: Redenering over Na-effecten (After-Effect Reasoning):
- Een krachtig, vastgehouden Large Multimodal Model (LMM), specifiek Qwen3-VL-8B, wordt gebruikt.
- De input bestaat uit de referentvideo ( $V_r$ ) en de modificatietekst ( $E$ ).
- Het model genereert een gestructureerde redeneringstrace ( $R$ ) die de visuele gevolgen voorspelt in vijf dimensies:
  - States: Objectveranderingen (bijv. rauw $\to$ gebakken).
  - Actions/Phases: Volgorde van acties.
  - Scene: Achtergrondveranderingen.
  - Camera: Shot-schaal, beweging (pan/zoom).
  - Tempo: Snelheid van de actie.
Stap 2: Query Generatie en Retrieval:
- De referentvideo, de edit en de gegenereerde redenering ( $R$ ) worden aan het LMM gegeven om een beschrijving van de hypothetische doelvideo te genereren.
- Deze beschrijving wordt omgezet in een effect-bewuste query-embedding ( $q$ ).
- Embedding van de Gallery: Alle video's in de database worden offline verwerkt tot embeddings ( $v$ ) door hun inhoud te beschrijven en token-embeddings te aggregeren via gewogen pooling (waarbij semantisch belangrijke woorden zoals werkwoorden en zelfstandige naamwoorden zwaarder wegen dan stopwoorden).
- Zoeken: De query wordt vergeleken met de database via cosine-afstand (dot product) om de beste match te vinden.

3. Belangrijkste Bijdragen

CoVR-R Benchmark:
- Een nieuw, zorgvuldig samengesteld benchmark met 2.800 triplets (referentie, edit, doel).
- Uniek kenmerk: Elk triplet is gekoppeld aan gestructureerde redeneringstraces en moeilijke distractors (negatieve voorbeelden) die specifiek zijn ontworpen om trefwoord-matching te verslaan.
- De dataset test expliciet op causale, temporele en cinematografische redenering.
Reason-Aware Framework:
- Een zero-shot aanpak die LMM's gebruikt om causale ketens te voorspellen voordat er gezocht wordt.
- Elimineert de noodzaak voor grote hoeveelheden taakspecifieke annotatie of finetuning.
Validatie van Redenering:
- De auteurs tonen aan dat het expliciet voorspellen van "after-effects" leidt tot betere resultaten, vooral bij complexe edits waar de tekst niet alles expliciet beschrijft.

4. Resultaten

De methode werd getest op twee benchmarks: CoVR-R (nieuw) en Dense-WebVid-CoVR.

Op CoVR-R (Focus op impliciete gevolgen):
- De methode behaalde een Recall@1 (R@1) van 49,88% (met redenering), wat een verbetering is van +10,89% ten opzichte van de beste bestaande methoden (zoals BSE-CoVR).
- Zonder expliciete redenering was de score al 44,32%, wat aantoont dat de LMM-architectuur zelf al sterk is, maar redenering de prestaties aanzienlijk verbetert.
- De Reasoning Score (beoordeeld door een LLM-judge) was 8,31/10, wat aantoont dat het model de causale gevolgen correct voorspelt.
Op Dense-WebVid-CoVR (Grote schaal):
- De methode overtrof de sterkste baseline (BSE-CoVR) met +13,13 punten in R@1 (61,21% vs 48,08%).
- Dit werd bereikt zonder video-captions en zonder finetuning, puur door het gebruik van de frozen Qwen3-VL backbone.
Ablatie-studies:
- Schaal: Prestaties verbeteren met grotere modellen (Qwen3-72B deed het het beste, maar Qwen3-8B is een sterke middenklasse optie).
- Redeneringsdiepte: Te gedetailleerde redenering (verbaal) leidde tot een daling in retrieval-prestaties door ruis, terwijl gestructureerde, compacte redenering (ongeveer 89 tokens) de optimale balans bood.

5. Betekenis en Conclusie

Dit paper markeert een verschuiving in Composed Video Retrieval van letterlijke trefwoord-overlap naar causale redenering.

Innovatie: Het toont aan dat algemene Large Multimodal Models (LMMs) effectief kunnen worden ingezet als "redenaars" om de kloof tussen wat er gezegd wordt (edit) en wat er visueel moet gebeuren (gevolg) te overbruggen.
Efficiëntie: Het biedt een zero-shot oplossing die geen dure training vereist, waardoor het schaalbaar is voor diverse domeinen.
Toekomst: Het introduceert het concept van "Reason-then-Retrieve" als een nieuwe standaard voor complexe multimodale zoekopdrachten, waarbij het systeem eerst begrijpt waarom een verandering nodig is voordat het zoekt.

Kortom, CoVR-R bewijst dat het voorspellen van de impliciete visuele consequenties van een tekstuele edit de sleutel is tot robuuste en nauwkeurige videosearch, en biedt hiervoor zowel een nieuwe methode als een rigoureus evaluatiekader.