🤖 AI

VidVec: Unlocking Video MLLM Embeddings for Video-Text Retrieval

Dit paper introduceert VidVec, een methode die de prestaties van video-tekst retrieval optimaliseert door tussenliggende lagen van Multimodal Large Language Models (MLLMs) te combineren met een lichtgewicht tekstuele uitlijningstrategie, waardoor state-of-the-art resultaten worden behaald zonder visuele fine-tuning.

Oorspronkelijke auteurs: Issar Tzachor, Dvir Samuel, Rami Ben-Ari

Gepubliceerd 2026-02-10

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Issar Tzachor, Dvir Samuel, Rami Ben-Ari

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, hyperintelligente bibliothecaris hebt (het MLLM of Multimodale Large Language Model). Deze bibliothecaris heeft alles gezien: miljoenen video's en miljarden teksten. Hij kan video's beschrijven, vragen beantwoorden en zelfs grappen uitleggen over wat er in een film gebeurt.

Maar er is een probleem: hoewel de bibliothecaris alles begrijpt, is hij niet echt goed in het sorteren. Als jij vraagt: "Zoek me een video van een man die in een donkere kamer op een computer werkt," dan gaat hij heel lang nadenken en praten, maar hij is niet snel genoeg om een hele database met miljoenen video's razendsnel te doorzoeken. Hij is een denker, geen sorteerder.

Dit onderzoek, genaamd VidVec, heeft een manier gevonden om die slimme bibliothecaris om te toveren tot een supersnelle, supernauwkeurige sorteermachine voor video's.

Hier is hoe ze dat hebben gedaan, uitgelegd in drie simpele stappen:

1. De "Gouden Laag" ontdekken (De verborgen schat)

Normaal gesproken gebruiken we alleen de "laatste gedachte" van een AI om iets te begrijpen. Maar de onderzoekers ontdekten iets geks: de bibliothecaris heeft zijn belangrijkste informatie over video's niet in zijn laatste zin staan, maar ergens halverwege zijn denkproces.

De metafoor: Stel je voor dat je een ingewikkelde puzzel legt. De laatste stap is het neerleggen van het allerlaatste stukje. Maar de onderzoekers ontdekten dat de echte structuur van de puzzel al perfect zichtbaar is wanneer je halverwege bent, nog voordat de laatste stukjes zijn gelegd. Door naar die "tussenlaag" te kijken, begrijpt de AI de video veel beter voor zoekopdrachten.

2. De "Ja/Nee" Check (De snelle controleur)

Soms is de bibliothecaris nog steeds een beetje onzeker. Om dat op te lossen, voegden ze een tweede stap toe: een snelle controleur.

De metafoor: Stel je voor dat je een stapel foto's doorzoekt naar "honden". De bibliothecaris maakt eerst een snelle selectie van 100 foto's die op honden lijken. Daarna komt er een tweede, strengere controleur die elke foto heel kort bekijkt en alleen "Ja" of "Nee" zegt: "Is dit een hond? Ja. Is dit een hond? Nee." Hierdoor wordt de zoeklijst veel nauwkeuriger.

3. De "Samenvattings-training" (Leren zonder te kijken)

Dit is het meest indrukwekkende deel. Normaal gesproken moet je een AI duizenden video's laten zien om hem te leren hoe video's en tekst bij elkaar horen. Dat kost enorm veel computerkracht en tijd. De onderzoekers vonden een slimme truc: ze lieten de AI geen enkele video zien tijdens het trainen!

In plaats daarvan gaven ze de AI alleen maar tekst. Ze gaven hem een hele lange, saaie beschrijving van een video (bijv: "Een man met een blauw shirt zit in een kamer met weinig licht en typt op een toetsenbord...") en vroegen hem om dit om te zetten in een korte, krachtige samenvatting ("Man werkt op computer").

De metafoor: Het is alsof je iemand leert hoe een film eruitziet, zonder dat diegene ooit een scherm heeft gezien. Je geeft hem alleen maar heel gedetailleerde scripts en vraagt hem om de essentie te schrijven. Omdat de AI zo goed is in taal, leert hij hierdoor de "logica" van video's begrijpen via de tekst. Het is alsof je een chef-kok leert hoe een gerecht smaakt, puur door de recepten te lezen.

Waarom is dit belangrijk?

Dankzij VidVec kunnen we video's veel beter terugvinden op internet of in databases. En het mooiste is: het werkt veel efficiënter dan de oude methoden. Waar andere systemen enorme hoeveelheden video-data nodig hebben om slim te worden, heeft VidVec genoeg aan een klein beetje tekst om de wereld van video te veroveren.

Technische Samenvatting: VidVec

1. Probleemstelling

Hoewel Multimodale Large Language Models (MLLM's) uitstekend presteren op taken zoals video-captioning en visueel redeneren, blijven ze achter bij gespecialiseerde Video Foundation Models (VFM's) wanneer het gaat om video-tekst retrieval (het zoeken van video's op basis van tekst of vice versa).

De huidige uitdagingen zijn:

Representatie-efficiëntie: MLLM's zijn ontworpen voor generatieve taken (tekst produceren), niet primair voor het extraheren van compacte, vergelijkbare embeddings voor retrieval.
Data-intensiteit: VFM's vereisen enorme hoeveelheden video-tekst paren (honderden miljoenen) om effectief te zijn.
Modale mismatch: Het is onduidelijk waar in de diepe lagen van een MLLM de meest relevante semantische informatie voor video-retrieval is opgeslagen.

2. Methodologie

De auteurs introduceren VidVec, een methode die de verborgen krachten van bestaande video-MLLM's ontsluit via drie complementaire strategieën:

A. Layer-wise Analysis & Zero-Shot Retrieval (VidVec-ZS):
In plaats van alleen de laatste laag van het model te gebruiken, voeren de auteurs een systematische analyse uit van de tussenliggende lagen. Ze ontdekken dat specifieke intermediate layers rijkere, taak-relevante informatie bevatten dan de laatste laag. Door de embedding te extraheren uit een tussenliggende laag (bijv. laag 24) en een specifieke prompt te gebruiken ("Summarize in one word"), bereiken ze sterke zero-shot resultaten.
B. Calibrated Likelihood Scorer (Zero-Shot Reranking):
Voor een tweede fase van de retrieval gebruiken ze de bestaande taalmodel-kop (language model head) van de MLLM. Het model krijgt een binaire vraag: "Komt deze video overeen met de zin? Antwoord met Yes of No." De score van de kandidaat wordt bepaald door de waarschijnlijkheid ( $P$ ) van het token "Yes". Dit dient als een krachtige reranker om de top-K resultaten te verfijnen.
C. In-Context Optimization (VidVec-O):
Dit is de meest innovatieve stap. In plaats van dure training met video-data, gebruiken ze een tekst-naar-tekst alignment strategie. Ze trainen een lichtgewicht LoRA-module die lange, gedetailleerde videobeschrijvingen (dense captions) mapt naar korte, compacte samenvattingen. Omdat deze samenvattingen een proxy zijn voor de video-inhoud, leert het model embeddings te extraheren die visueel gegrond zijn, zonder dat er tijdens de training daadwerkelijk videobeelden aan te pas komen.

3. Belangrijkste Bijdragen

Ontdekking van intermediaire representaties: Het aantonen dat de tussenliggende lagen van video-MLLM's superieur zijn voor retrieval vergeleken met de laatste laag.
Efficiënte Reranking: Het transformeren van een generatief model in een nauwkeurige likelihood-scorer voor het herordenen van zoekresultaten.
Text-only Supervision: Het bewijzen dat men met slechts ~60.000 tekstparen (zonder visuele supervisie) een model kan optimaliseren dat beter presteert dan modellen die getraind zijn op miljoenen video-tekst paren.
State-of-the-Art (SOTA) Prestaties: Het bereiken van de hoogste scores op standaard benchmarks voor video-retrieval.

4. Resultaten

De resultaten op benchmarks zoals MSR-VTT, MSVD, VATEX en DiDeMo zijn indrukwekkend:

Zero-shot: Zelfs zonder training (VidVec-ZS) presteert het model beter dan bestaande MLLM-embedders die wel getraind zijn op visuele data.
Optimalisatie: De in-context methode (VidVec-O) verslaat bestaande MLLM-modellen met een aanzienlijke marge in zowel Text-to-Video (T2V) als Video-to-Text (V2T) taken.
Vergelijking met VFM's: VidVec overtreft zelfs gespecialiseerde Video Foundation Models (zoals InternVideo2 en VideoPrism) die getraind zijn op honderden miljoenen video-tekst paren, terwijl VidVec alleen tekstuele optimalisatie gebruikt.

5. Betekenis (Significance)

Het werk van VidVec is cruciaal omdat het aantoont dat de "intelligentie" voor video-retrieval al aanwezig is in de diepere lagen van generatieve MLLM's. Het verschuift de focus van "meer data verzamelen" naar "betere extractie en tekstuele alignment". Dit maakt het mogelijk om extreem krachtige video-zoekmachines te bouwen met een fractie van de rekenkracht en data die voorheen nodig was, wat de weg vrijmaakt voor efficiëntere en schaalbare multimodale AI-systemen.