💻 computer science

LoVR: A Benchmark for Long Video Retrieval in Multimodal Contexts

Dit artikel introduceert LoVR, een grootschalige benchmark voor langdurige video-tekstretrieval met meer dan 40.000 fijnmazige clips en hoogwaardige bijschriften gegenereerd via een nieuwe VLM-gebaseerde verfijningspijplijn, ontworpen om de beperkingen van bestaande datasets te overwinnen en geavanceerde multimodale retrievalmodellen rigoureus te evalueren.

Oorspronkelijke auteurs: Qifeng Cai, Hao Liang, Zhaoyang Han, Hejun Dong, Meiyi Qiang, Ruichuan An, Quanqing Xu, Bin Cui, Wentao Zhang

Gepubliceerd 2026-02-05

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Qifeng Cai, Hao Liang, Zhaoyang Han, Hejun Dong, Meiyi Qiang, Ruichuan An, Quanqing Xu, Bin Cui, Wentao Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een specifiek, minuscuul moment te vinden in een film van drie uur. Je kent de scène: een personage draagt een blauw shirt, houdt een koffiekopje vast en lacht om een grap. Maar de film is zo lang en er zijn zoveel scènes dat het vinden van dat exacte seconde voelt als het zoeken naar een speld in een hooiberg ter grootte van een stad.

Dit is het probleem dat het paper LoVR probeert op te lossen.

Het Probleem: De "Korte Video"-valstrik

Op dit moment zijn de meeste computerprogramma's die ontworpen zijn om video's te doorzoeken, als studenten die alleen maar korte clips van 15 seconden hebben bestudeerd. Ze zijn erg goed in het vinden van een springende kat in een video van 10 seconden, maar als je ze een documentaire van 2 uur geeft, raken ze de weg kwijt. Ze weten niet hoe ze door het lange verhaal moeten navigeren, of ze raken in de war door de enorme hoeveelheid informatie.

Bestaande "testen" (benchmarks) voor deze programma's zijn als het gebruik van een kaart van een enkele kamer om een heel land te navigeren. Ze zijn te kort, de beschrijvingen zijn te vaag en ze testen niet het vermogen van de computer om lange, complexe verhalen aan te kunnen.

De Oplossing: Introductie van LoVR

De auteurs creëerden LoVR (Long Video Retrieval), wat in essentie een enorme, moeilijke "eindtoets" is voor video-zoekende computers.

De Bibliotheek: In plaats van korte clips bevat LoVR 467 lange video's (sommigen langer dan een uur).
De Details: Binnen deze lange video's hebben ze ze opgedeeld in 40.804 kleine, specifieke clips.
De Beschrijvingen: Voor elke afzonderlijke clip en de hele video hebben ze zeer gedetailleerde, hoogwaardige beschrijvingen (captions) geschreven.

Denk er zo over na: waar andere tests vragen als: "Zoek de video met een hond", vraagt LoVR: "Zoek de exacte 10-seconden durende clip waar de hond met de rode trui blaft naar een eekhoorn terwijl het regent."

Hoe ze het bouwden: De "Robot-Editor" Pipeline

Het handmatig schrijven van beschrijvingen voor 40.000 clips zou mensen jaren kosten. Het schrijven ervan met een simpele robot zou resulteren in onzin. Daarom bouwden de auteurs een slimme "Robot-Editor" pipeline:

Het Eerste Concept (De Robot): Ze gebruikten een superintelligent AI-model (een Vision-Language Model) om de clips te bekijken en de eerste conceptversie van de beschrijving te schrijven.
De Kwaliteitscontrole (De Beoordelaar): Een andere AI fungeerde als een strenge docent die de beschrijving beoordeelde. Als de beschrijving niet goed genoeg overeenkwam met de video, werd deze teruggestuurd.
De Herschrijving (De Editor): Als het cijfer te laag was, probeerde het systeem het opnieuw met een ander, zelfs slimmer AI-model.
De Menselijke Touch (De Laatste Controleur): Alleen als de robots drie keer faalden, stapte een mens in om de beschrijving te schrijven.

Deze mix van robots en mensen stelde hen in staat om een enorme dataset te creëren die zowel gigantisch in omvang als ongelooflijk nauwkeurig is.

De Uitdaging van het "Volledige Verhaal"

Een lastig onderdeel van lange video's is dat als je de kleine beschrijvingen simpelweg achter elkaar plakt, het leest als een afgebroken zin. Om dit op te lossen, leerden de auteurs de AI om te handelen als een romanist. In plaats van alleen gebeurtenissen op te sommen, leerde de AI de beschrijvingen van de clips in elkaar over te laten vloeien, waardoor de overgangen soepeler werden en de uiteindelijke beschrijving van de hele video leest als een samenhangend verhaal, en niet als een lijst met opsommingstekens.

De Resultaten: Een Reality Check

Toen de onderzoekers de beste video-zoekende computers van dit moment testten op deze nieuwe LoVR-examen, waren de resultaten sober:

De Strijd: Zelfs de slimste modellen raakten de weg kwijt. Ze konden soms de algemene "video" vinden, maar het vinden van de specifieke "clip" was erg moeilijk.
De Limiet: Het blijkt dat het simpelweg voeren van de computer meer frames (meer plaatjes per seconde) niet veel helpt. Het gaat niet om meer zien; het gaat om het begrijpen van het lange verhaal.
De Kloof: De beste modellen waren nog lang niet perfect, wat aantoont dat we nog een heel eind verwijderd zijn van een computer die een lange film echt kan "bekijken" en "begrijpen" zoals een mens dat doet.

De Kernboodschap

LoVR is een nieuwe, zwaardere standaard. Het is alsoj het een rijexamen upgradet van een parkeerplaats naar een drukke snelweg tijdens de spits. Het laat ons precies zien waar de huidige technologie tekortschiet en geeft onderzoekers een duidelijk doel om naar te streven: het bouwen van systemen die werkelijk lange, complexe videoverhalen kunnen begrijpen, en niet slechts korte fragmenten.

Technische Samenvatting: LoVR - Een Benchmark voor Lange Video-Retrieval in Multimodale Contexten

Probleemstelling

Video-tekst retrieval is een cruciale taak in multimodale leerprocessen en web-schaal zoekopdrachten. Bestaande benchmarks (bijv. MSR-VTT, DiDeMo, MSVD) zijn echter primair ontworpen voor korte videoclips (gemiddelde duur < 1 minuut) en lijden onder drie belangrijke beperkingen wanneer ze worden toegepast op real-world langdurige content:

Beperkte Videolengte: Huidige datasets slagen er niet in de complexiteit van lange video's (minuten tot uren) te simuleren, zoals lezingen, documentaires en livestreams.
Lage Kwaliteit van Captions: Annotaties vertrouwen vaak op machinaal gegenereerde tekst (bijv. ASR), wat gebrek heeft aan semantische getrouwheid, of handmatige annotatie die niet schaalbaar is en vaak een gebrek heeft aan fijnmazige temporele specificiteit.
Gebrek aan Clip-Level Benchmarks: Bestaande benchmarks richten zich op volledige video-retrieval of vooraf gesegmenteerde korte clips die niet afkomstig zijn uit continue lange video's, waardoor ze falen in het evalueren van fijnmazige temporele lokalisatie binnen dichte temporele contexten.

Als gevolg hiervan is er een dringende behoefte aan een toegewijde benchmark die zowel langdurige video-retrieval als fijnmazige clip-level lokalisatie tegelijkertijd aanpakt.

Methodologie

Dataset Constructie (LoVR)

De LoVR-benchmark is geconstrueerd vanuit de LongVideoBench-dataset, gefilterd om alleen video's te bevatten die langer zijn dan 15 minuten. De constructie-pipeline bestaat uit drie hoofdfasen:

Clip Segmentatie:
- Lange video's worden gesegmenteerd in temporeel aaneengesloten clips met behulp van visuele inhoudsveranderingsdetectie (PySceneDetect).
- Een drempelwaarde ( $\tau=34$ ) wordt toegepast om scèneveranderingen te detecteren. De pipeline behoudt specifiek clips met een hoge visuele dynamiek, terwijl segmenten met een lage visuele dynamiek ook worden bewaard om een mix van visuele complexiteit te garanderen.
- Video's die minder dan 40 clips opleveren, worden weggefilterd om voldoende visuele dynamiek te waarborgen.
- Resultaat: 467 lange video's en 40.804 fijnmazige clips.
Caption Generatie Pipeline:
Om de afruil tussen annotatiekwaliteit en schaalbaarheid te overwinnen, stellen de auteurs een hybride "VLM + Mens" pipeline voor:
- Automatische Captioning: Initiële captions worden gegenereerd met behulp van het Qwen2.5-VL-7B-Instruct model, geprompt om gebeurtenissen, scènes, acties van personages en visuele stijl te beschrijven.
- Kwaliteitsbeoordeling: De EVQAScore-metriek wordt gebruikt om een score ( $s_i$ ) te berekenen tussen de clip en de gegenereerde caption; dit is de match tussen de clip en de tekst. Een empirische drempelwaarde ( $\theta=0.2$ ) is vastgesteld op basis van handmatige verificatie van een steekproef; scores onder deze waarde duiden op een lage kwaliteit.
- Dynamische Optimalisatie: Captions van lage kwaliteit worden opnieuw gegenereerd met sterkere VLMs (Qwen2.5-VL-72B-Instruct, Qwen2-VL-72B-Instruct) met aangepaste temperatuurinstellingen. Dit iteratieve proces gaat door tot maximaal drie keer. Alleen als een caption na drie pogingen nog steeds niet aan de drempelwaarde voldoet, wordt handmatige annotatie ingeroepen.
- Full Video Captioning: Om coherente volledige video-captions te genereren zonder de contextlimieten van LLM's te overschrijden, worden aangrenzende clip-captions samengevoegd. De methode brengt de laatste paragraaf van de ene clip in lijn met de eerste paragraaf van de volgende met behulp van een LLM voor semantische fusie, in plaats van eenvoudige concatenatie.
Eindkwaliteitsbeoordeling:
Een menselijke evaluatiestudie met 25 deelnemers beoordeelde 300 clips en 100 lange video's. De gemiddelde relevantiescore was 4.3/5, waarbij meer dan 78% van de samples een score van 4 of 5 kreeg, wat de effectiviteit van de pipeline valideert.

Experimentele Opzet

De benchmark evalueert modellen op twee taken: Tekst-naar-Video/Clip Retrieval en Video/Clip-naar-Tekst Retrieval.

Metrieken: Recall@K (R@1, R@5, R@10) en Retrieval Time (met en zonder I/O).
Baselines: De studie evalueert drie categorieën modellen:
- Image Encoders: CLIP, MetaCLIP, SigLIP varianten, EVA02-CLIP, PE-Core.
- Video Encoders: VideoCLIP-XL, VideoCLIP-XL-v2.
- Multimodale Embedding Modellen: GME-Qwen2-VL, MM-Embed, LanguageBind-Video.
Variabelen: Experimenten analyseren de impact van het aantal frame-sampling (10, 20, 30 frames) op de retrieval-prestaties.

Belangrijkste Bijdragen

LoVR Benchmark: De introductie van een nieuwe, grootschalige dataset specifiek voor lange video-tekst retrieval, bestaande uit 467 lange video's en 40.804 fijnmazige clips met hoogwaardige, multi-level captions (clip-level en full-video level).
Schaalbare Annotatie Pipeline: Een kosteneffectief framework dat VLMs integreert met geautomatiseerde kwaliteitsscoring (EVQAScore) en iteratieve verfijning, wat de menselijke arbeid aanzienlijk vermindert terwijl de hoge annotatiegetrouwheid behouden blijft.
Semantische Fusie voor Lange Video's: Een methode om coherente volledige video-captions te genereren door clip-level beschrijvingen semantisch te fuseren, waarbij contextuele informatie behouden blijft zonder detailverlies.
Uitgebreide Evaluatie: Systematische experimenten die de beperkingen van huidige state-of-the-art modellen in langdurige scenario's blootleggen, en daarmee een nieuwe standaard vestigen voor het evalueren van temporele redenering en cross-modale alignment.

Resultaten

Uitgebreide experimenten op LoVR onthullen significante uitdagingen voor bestaande retrieval-modellen:

Prestatiekloof: Hoewel LanguageBind-Video de sterkste baseline bleek (42.6% R@1 voor Tekst-naar-Video, 37.5% R@1 voor Video-naar-Tekst), hebben de meeste modellen moeite met langdurige content.
Beperkingen van Image Encoders: Pure image encoders (bijv. CLIP) vertonen zwakke temporele modellering en behalen slechts ~23% R@1 in tekst-naar-video retrieval.
Prestaties van Video Encoders: Toegewijde video encoders zoals VideoClip-XL-v2 presteren goed op clip-level retrieval (55.3% R@1) maar laten matige prestaties zien op full-video retrieval (~30% R@1).
Multimodale Embeddings: Modellen zoals GME-Qwen2-VL en MM-Embed blinken uit in clip-level taken, maar kampen met substantiële prestatiedalingen bij lange video's, wat wijst op moeilijkheden bij het generaliseren van op afbeeldingen getrainde embeddings naar uitgebreide temporele contexten.
Impact van Frame Sampling: Het verhogen van het aantal gesamplede frames (van 10 naar 30) levert marginale of inconsistente verbeteringen op. In sommige gevallen (bijv. Tekst-naar-Clip) presteerden minder frames beter, wat suggereert dat naïeve frame-sampling eerder ruis introduceert dan nuttige signalen.
Moeilijkheidsgraad van de Benchmark: Zelfs de best presterende modellen halen geen perfecte recall bij een grote K, wat de intrinsieke moeilijkheid benadrukt van de langdurige temporele redenering en semantische gronding die door LoVR vereist worden.

Betekenis

Het artikel positioneert LoVR als een noodzakelijke evolutie in het onderzoek naar video-tekst retrieval. Door expliciet te richten op langdurige content, legt LoVR technische knelpunten in huidige benaderingen bloot, met name wat betreft computationele efficiëntie, ijle semantische signalen in lange duur en de alignment van rijke, lange captions met visuele content. De auteurs stellen dat LoVR een rigoureuze en realistische testomgeving biedt die de ontwikkeling van robuustere retrieval-systemen zal stimuleren, die in staat zijn de complexiteit van real-world web-schaal video-zoekopdrachten aan te kunnen. De dataset en code worden vrijgegeven om toekomstig onderzoek in dit domein te faciliteren.