Adapting MLLMs for Nuanced Video Retrieval

Dit onderzoek presenteert een methode om een Multimodal Large Language Model (MLLM) om te vormen tot een embedding-model dat door middel van tekstgerichte contrastieve training superieure prestaties levert bij het verwerken van genuanceerde videogerelateerde zoekopdrachten, zoals temporele verschillen, ontkenningen en multimodale instructies.

De kern

Stel je voor dat je een superintelligente robot hebt die duizenden uren aan video's moet doorzoeken. Je vraagt: "Laat me een filmpje zien van iemand die een deur dichtdoet."

De robot laat je een filmpje zien van iemand die een deur openmaakt.

Dat is frustrerend, toch? De robot begrijpt wel dat er een deur is en dat er iemand beweegt, maar hij mist de "nuance". Hij begrijpt de richting van de tijd niet, hij snapt geen ontkenningen (zoals "niet" of "geen"), en hij raakt de draad kwijt als je een video combineert met een tekstuele instructie.

Dit onderzoek van de Universiteit van Oxford (VGG) heeft een oplossing bedacht genaamd TARA. Hier is de uitleg in gewone mensentaal.

Het probleem: De "Blinde Vlek" van AI

De meeste huidige AI-modellen kijken naar video's als een soort stapel foto's. Ze zien de objecten (een deur, een man, een tafel), maar ze missen de "ziel" van de beweging. Ze zijn als een toerist die wel alle gebouwen in een stad ziet, maar niet begrijpt of de mensen naar het station lopen of er juist vandaan komen.

De onderzoekers identificeren drie grote struikelblokken:

1. Tijd (Chiraliteit): Het verschil tussen "iets opzetten" en "iets afzetten".
2. Ontkenning (Negatie): Het verschil tussen "een hond op het gras" en "een hond die niet op het gras staat".
3. Combinaties (Multimodaal): De opdracht: "Neem deze video van een rode bloem en maak hem geel."

De oplossing: De "Tekst-Trainer" (TARA)

Wat deze onderzoekers deden is eigenlijk heel slim en een beetje tegennatuurlijk. In plaats van de robot eindeloos duizenden video's te laten kijken (wat enorm veel rekenkracht en tijd kost), hebben ze hem alleen maar tekst laten lezen om beter in video's te worden.

De Metafoor: De Schrijver die een Regisseur wordt
Stel je een acteur voor die heel goed kan lezen, maar nog nooit een film heeft gezien. De onderzoekers gaven deze acteur geen films, maar ze gaven hem heel specifieke "tekst-puzzels".

Ze gaven hem bijvoorbeeld drie zinnen:

1. "Een man pakt een appel op." (De basis)
2. "Een man eet een appel." (De goede match)
3. "Een man legt een appel neer." (De 'valstrik' of hard negative)

Door de acteur (de AI) te dwingen om het verschil tussen deze drie zinnen heel scherp te voelen, leerde hij de betekenis van acties begrijpen. Omdat de AI-architectuur (het MLLM) zo slim is, vertaalde dit "gevoel" voor tekst zich direct naar een beter begrip van video. Het is alsof je een muziektheoreticus leert hoe ritme werkt door alleen bladmuziek te bestuderen; zodra hij een instrument aanraakt, begrijpt hij de muziek direct veel dieper.

Waarom werkt dit? Het dichten van de "Modality Gap"

Er bestaat zoiets als een "taalkloof" (modality gap) in AI. De manier waarop een computer een woord begrijpt, is heel anders dan de manier waarop hij een beeld begrijpt. Ze spreken eigenlijk verschillende talen.

TARA werkt als een tolk. Door de AI heel streng te trainen op de subtiele verschillen in tekst, dwingt de training de "tekst-wereld" en de "beeld-wereld" om dichter bij elkaar te komen. De woorden en de beelden gaan in de hersenen van de AI op dezelfde manier "voelen".

De Resultaten: Een Super-Zoekmachine

Het resultaat is indrukwekkend:

• Sneller en goedkoper: Het trainen duurde minder dan een uur op een paar krachtige computers.
• Beter in nuance: De AI is nu veel beter in het onderscheiden van acties die bijna hetzelfde lijken, maar qua tijd precies tegenovergesteld zijn.
• Slimmer met "Nee": Hij begrijpt nu dat "geen" een cruciaal woord is, in plaats van het gewoon te negeren.

Kortom: Door de AI heel specifiek te leren "lezen tussen de regels door", hebben de onderzoekers hem geleerd om de wereld in video's veel scherper en nauwkeuriger te begrijpen.

Technische samenvatting

Technische Samenvatting: Adapting MLLMs for Nuanced Video Retrieval

1. Het Probleem: Nuance in Video-Retrieval

Huidige video-tekstmodellen (zoals CLIP-gebaseerde dual-encoders) zijn vaak goed in het herkennen van globale, grove concepten, maar falen bij het begrijpen van subtiele, specifieke details in zoekopdrachten. Het onderzoek identificeert drie cruciale vormen van "nuance" die essentieel zijn voor effectieve video-zoekopdrachten:

• Temporele nuance (Chiraliteit): Het onderscheid maken tussen acties die temporeel tegengesteld zijn, zoals "een deur openen" versus "een deur sluiten".
• Negatie: Het begrijpen van ontkenningen in tekst, zoals "een hond op het gras, maar niet met een bal".
• Multimodale nuance (Composed Retrieval): Het vermogen om een video te combineren met een tekstuele instructie om een nieuwe video te vinden (bijv. een video van een rode bloem + instructie "maak ze geel" $\rightarrow$ zoek een video van gele bloemen).

De huidige uitdaging is dat veel modellen een "static bias" hebben; ze kijken naar individuele frames in plaats van naar de volgorde en de temporele dynamiek.

2. Methodologie: TARA (Text Adapted Retrieval Alignment)

De kern van het paper is de introductie van TARA, een methode om Multimodale Large Language Models (MLLM's) te hergebruiken als embedding-modellen.

A. Embedding Extractie (EOL Prompting):
In plaats van een standaard encoder te gebruiken, maken de auteurs gebruik van een techniek genaamd Explicit One-word Limitation (EOL). Ze vragen het MLLM via een prompt om een video of tekst samen te vatten in precies één woord. De verborgen representatie (hidden state) van het laatste token wordt vervolgens gebruikt als de embedding voor die video of tekst.

B. Text-Only Fine-tuning:
De belangrijkste innovatie is dat het model wordt verfijnd met alleen tekstuele data, zonder dat er video's nodig zijn tijdens het trainen. Dit gebeurt via een contrastieve loss op een zorgvuldig samengestelde dataset genaamd NLI-Nuance. Deze dataset bevat 20.000 tekst-triplets (anker, positief, harde negatieve):

• Temporele triplets: Gebruikt chirale werkwoorden (tegenovergestelde acties) om het model te dwingen de volgorde van acties te begrijpen.
• Negatie triplets: Gebruikt zinnen waarbij het "harde negatief" een directe ontkenning is van het anker.
• Multimodale triplets: Vertaalt composed video retrieval naar een teksttaak (brontekst + edit-instructie $\rightarrow$ doeltekst).

3. Belangrijkste Bijdragen

1. TARA-methode: Een efficiënte manier om MLLM's te trainen voor complexe video-taken met minimale data en enkel tekst.
2. NLI-Nuance Dataset: Een nieuwe, gespecialiseerde dataset die specifiek is ontworpen om temporele, negatieve en multimodale nuances te induceren.
3. Reductie van de 'Modality Gap': Het onderzoek toont aan dat tekst-only training de afstand tussen de tekst- en videoroumen (de modality gap) verkleint, wat leidt tot een betere organisatie van de gezamenlijke embedding-ruimte.

4. Resultaten

De resultaten zijn zeer indrukwekkend en laten zien dat TARA de huidige State-of-the-Art (SOTA) prestaties overtreft op diverse benchmarks:

• CiA (Chirality in Action): TARA bereikt superieure resultaten in het onderscheiden van temporeel tegengestelde acties (bijv. folding vs. unfolding).
• NegBench: Het model presteert significant beter in het begrijpen van ontkenningen in zowel tekst-naar-beeld als tekst-naar-video taken.
• WebVid-CoVR: TARA verslaat modellen die wel met multimodale (video+tekst) data zijn getraind, terwijl TARA alleen tekst gebruikte.
• MMEB-V2: Zelfs op standaard video-classificatie en retrieval taken verbetert TARA de basisprestaties van het MLLM aanzienlijk.

5. Betekenis en Conclusie

De wetenschappelijke betekenis van dit werk ligt in de ontdekking dat kwaliteit van data belangrijker is dan kwantiteit van modaliteiten. Door zeer specifieke "harde negatieven" in tekst te gebruiken, kan een model diepgaand begrip van video-dynamiek aanleren zonder ooit een video te zien tijdens de fine-tuning fase.

Dit biedt een extreem efficiënte route voor het verbeteren van zoekmachines voor video: men kan krachtige, nuance-bewuste modellen trainen met relatief kleine, door LLM's gegenereerde tekstdatasets, wat de computationele kosten drastisch verlaagt.