ShotFinder: Imagination-Driven Open-Domain Video Shot Retrieval via Web Search

Dit paper introduceert ShotFinder, een benchmark en een drie-traps zoekpipeline die gebruikmaakt van taalmodellen om open-domein videobeelden op te halen op basis van imaginaire beschrijvingen en diverse beperkende factoren, waarbij experimenten aantonen dat er nog een aanzienlijke kloof bestaat tussen huidige multimodale modellen en menselijke prestaties.

De kern

Stel je voor dat je een videobewerker bent. Je hebt een heel specifiek idee: je zoekt een shot van een vrouw met lang haar die aan een tafel zit, iets voorovergebogen, in een warme, gouden zonsondergang. In het verleden moest je urenlang door YouTube scrollen, duizenden video's bekijken en hopen dat je die ene seconde vond.

Dit papier introduceert ShotFinder, een slimme nieuwe manier om die zoektocht te vergemakkelijken, en een nieuwe "proef" om te zien hoe goed computers dit kunnen.

Hier is de uitleg, vertaald naar alledaags Nederlands met een paar creatieve vergelijkingen:

1. Het Probleem: De "Naald in de Hooiberg"

Vroeger was videobewerking als het zoeken naar een specifieke naald in een gigantische hooiberg. Je wist precies hoe de naald eruitzag (de shot), maar je had geen idee in welk stuk hooi (de hele video) hij zat.

• De uitdaging: Computers zijn goed in het vinden van tekst of statische plaatjes. Maar een video? Dat is een stroom van beelden, geluid, kleur en tijd. Het is als proberen een specifiek moment in een film te vinden door alleen te zeggen: "Ik wil die scène waar de held lacht, maar dan in blauw licht en met jazzmuziek."

2. De Oplossing: ShotFinder (De Slimme Detektief)

De auteurs hebben een nieuw systeem bedacht dat werkt als een detective die eerst zijn verbeelding gebruikt.

In plaats van direct te zoeken naar de exacte woorden, doet het systeem drie dingen:

1. Verbeelding (De Droom): Het systeem denkt na: "Als dit shot bestaat, in wat voor hele video zou dit dan zitten?" Het imagineert de context. Misschien is het een documentaire over dieren, of een vlog over reizen. Dit helpt het om betere zoektermen te bedenken.
2. Zoeken (De Agent): Het gaat het internet op (zoals YouTube) en haalt een stapel mogelijke video's op die bij die verbeelding passen.
3. Locatiebepaling (De Scherpschutter): Nu heeft het de video's, maar het moet nog de exacte seconde vinden. Het kijkt naar de video, frame voor frame, en zegt: "Aha! Dit is het moment waarop de vrouw vooroverleunt!"

3. De Proef: De "ShotFinder Benchmark"

Om te testen of dit systeem echt werkt, hebben de onderzoekers een enorme test gemaakt. Ze noemen dit een benchmark.

• De Test: Ze hebben 1.210 specifieke zoekopdrachten gemaakt, variërend van "een man die loopt" tot "een shot met een heel specifieke kleur of geluid".
• De Spelregels: Ze hebben de zoekopdrachten ingedeeld in vijf categorieën, alsof je een opdracht geeft aan een assistent:
  • Tijd: "Het moet gebeuren na de scène waar hij valt."
  • Kleur: "Het moet eruitzien alsof het in een oranje zonsondergang is."
  • Stijl: "Het moet eruitzien als een tekenfilm, niet als een echte film."
  • Geluid: "Er moet jazzmuziek op de achtergrond klinken."
  • Kwaliteit: "Het moet scherp zijn (HD), niet wazig."

4. De Resultaten: Mensen vs. Robots

De onderzoekers hebben gekeken hoe goed de slimste computers (zoals de nieuwste AI-modellen) deze test deden, vergeleken met echte mensen.

• Het verdict: De robots doen het best, maar ze zijn nog lang niet zo goed als mensen.
  • Mensen: Krijgen het bijna altijd goed. Ze zien de subtiele details, de sfeer en de kleur.
  • Computers: Ze vinden vaak de goede video, maar missen de exacte seconde.
  • De zwakke plekken: Computers zijn goed in het vinden van tijd (wanneer iets gebeurt), maar ze worstelen enorm met kleur en stijl. Het is alsof ze een foto kunnen vinden van een "rode auto", maar ze kunnen niet goed onderscheiden of de auto "scharlakenrood" of "karmozijnrood" is, of of het een tekening of een foto is.

5. Waarom is dit belangrijk?

Dit papier laat zien dat we nog een lange weg te gaan hebben voordat AI echt een "videobewerker" kan worden die je gewoon een zin geeft en het werk voor je doet.

• Het is als het verschil tussen een robot die een recept kan lezen en een chef-kok die proeft of het gerecht goed is. De robot kan de ingrediënten vinden, maar de chef (de mens) voelt de smaak en de sfeer.

Kortom: ShotFinder is een nieuwe, slimme manier om videobeelden te vinden door te "dromen" over de context, en het bewijst dat hoewel computers steeds slimmer worden, ze nog steeds moeite hebben met de fijne kneepjes van kleur, stijl en geluid die mensen zo makkelijk vinden.

Technische samenvatting

Titel: ShotFinder: Imagination-Driven Open-Domain Video Shot Retrieval via Web Search

1. Het Probleem

Hoewel Large Language Models (LLMs) en Multimodale Large Language Models (MLLMs) grote vooruitgang hebben geboekt in tekstuele en statische multimodale informatieopslag, ontbreekt er nog steeds een systematische benchmark en analyse voor open-domein videobewerking op shot-niveau.

• Complexiteit: Videobewerking vereist het begrijpen van een rijke temporele structuur en complexe semantiek, wat verder gaat dan statische afbeeldingen of tekst.
• Huidige beperkingen: Bestaande methoden focussen vaak op het lokaliseren van momenten binnen een bekende video (Video Temporal Grounding). Ze kunnen echter niet effectief zoeken naar een specifieke shot in een open web (bijv. YouTube) op basis van een beschrijving en deze vervolgens lokaliseren binnen de gevonden video.
• Praktische uitdaging: Videobewerkers moeten momenteel handmatig footage doorzoeken en tijdstippen onthouden, wat een hoge instapdrempel creëert. Er is behoefte aan systemen die via redenering en zoektools shots kunnen vinden die voldoen aan specifieke criteria (zoals kleur, stijl, audio, resolutie).

2. Methodologie

Het paper introduceert twee hoofdcomponenten: een nieuwe benchmark en een bijbehorende zoekmethode.

A. De ShotFinder Benchmark
ShotFinder is de eerste benchmark die open-domein videobewerking formaliseert.

• Data: De dataset bevat 1.210 hoogwaardige samples afkomstig van YouTube, verdeeld over 20 thematische categorieën (zoals sport, animatie, documentaires, lifestyle).
• Taakdefinitie: Het systeem moet een shot vinden op basis van een gedetailleerde natuurlijke taalbeschrijving van een sleutelbeeld, eventueel aangevuld met één van vijf controleerbare factoren:
  1. Temporele volgorde: Relatie tot voorgaande of volgende shots.
  2. Kleur: Algemene kleurensfeer (warm/koud/neutraal).
  3. Visuele stijl: Bijv. live-action, 2D/3D animatie, grafisch.
  4. Audio: Specifieke geluidselementen (spraak, muziek, omgevingsgeluid).
  5. Resolutie: Kwaliteitseisen (bijv. 1080p vs. 720p).
• Generatie: Beschrijvingen worden gegenereerd met behulp van grote modellen (Gemini 3 Pro) en vervolgens handmatig geverifieerd en verfijnd door onderzoekers om semantische nauwkeurigheid en constraint-consistentie te garanderen.
• Evaluatiemeta: In plaats van simpele CLIP-achtige similariteitsmaten (die te grof zijn), wordt gebruikgemaakt van een MLLM-assisted evaluatie waarbij sleutelbeelden van de gevonden shots worden vergeleken met de ground truth en de tekstuele beschrijving.

B. De ShotFinder Methode (Pipeline)
De auteurs stellen een driedelige, tekstgedreven pipeline voor om shots te vinden:

1. Generator (Query Expansion via Video Imagination):
   • In plaats van de shot-beschrijving direct als zoekopdracht te gebruiken, laat het model de "originele video" waarin deze shot zou kunnen voorkomen, imagineren.
   • Het model voert abductief redenering uit om te bepalen welk type volledige video (thema, context) de shot bevat, en genereert daarop gebaseerde zoektermen. Dit overbrugt de kloof tussen een klein shot-fragment en de metadata van een volledige video.
2. Retriever (Candidate Video Retrieval):
   • De gegenereerde zoektermen worden gebruikt om via een zoekmachine (YouTube API) kandidaat-video's op te halen.
   • Alleen toegankelijke en volledige video's worden gedownload voor lokale verwerking.
3. Localizer (Description-guided Temporal Localization):
   • Voor elke kandidaat-video wordt een adaptieve frame-sampling strategie toegepast (aantal frames afhankelijk van videolengte).
   • Een MLLM analyseert de frames (en audio, indien van toepassing) om te bepalen welk frame het beste overeenkomt met de oorspronkelijke beschrijving.
   • Een tweestapsverificatiemechanisme (zoeken + verifiëren) vermindert onzekerheid.

3. Belangrijkste Resultaten

De auteurs hebben de benchmark gebruikt om diverse gesloten (GPT-5.2, Gemini-3-Pro) en open-source (Qwen3-serie) modellen te evalueren.

• Grote kloof met menselijke prestaties: Mensen behalen een gemiddelde nauwkeurigheid van 88,5%, terwijl de beste modellen (GPT-5.2) slechts 26,9% halen. Dit toont aan dat open-domein videobewerking nog een kritieke uitdaging is voor multimodale modellen.
• Ongelijke prestaties per constraint:
  • Temporeel: Relatief goed op te lossen (modellen begrijpen volgorde redelijk).
  • Kleur en Stijl: Grote uitdagingen. Modellen hebben moeite met het onderscheiden van subtiele kleurensferen en specifieke visuele stijlen (bijv. 2D vs. 3D animatie).
  • Audio: Prestaties variëren sterk; gesloten modellen doen het hier beter dan open-source.
• Modelgrootte is geen garantie: Grotere modellen presteren niet altijd overal beter. Bijvoorbeeld, Qwen3-Omni-30B presteert bijna even goed als GPT-5.2 op temporele taken, wat suggereert dat architectuur en multimodale uitlijning belangrijker zijn dan alleen parameteraantal.
• Ablatie-studies:
  • Het verhogen van het aantal zoekopdrachten en gedownloade video's verbetert de prestaties aanzienlijk, vooral voor complexe taken zoals stijl en temporele volgorde.
  • Dichtere frame-sampling helpt bij het lokaliseren van shots, maar lost geen problemen op bij kleur- of stijlherkenning.

4. Bijdragen

1. ShotFinder Benchmark: De eerste gestandaardiseerde benchmark voor open-domein videobewerking op shot-niveau, met een focus op realistische bewerkingsworkflow en controleerbare factoren.
2. Imagination-Driven Methode: Een nieuwe architectuur die "videobewerking" (het visualiseren van de volledige context) gebruikt om zoekopdrachten te verbeteren, in plaats van alleen tekstuele samenvatting.
3. Empirische Analyse: Een uitgebreide evaluatie die de huidige beperkingen van MLLMs blootlegt, met name wat betreft visuele stijl, kleur en de integratie van zoek- en lokaliseringsstappen.

5. Betekenis en Toekomstperspectief

ShotFinder markeert een belangrijke stap in de evolutie van multimodale AI van passieve analyse naar actieve, tool-gebruikende agenten die kunnen navigeren in de open wereld van video-inhoud.

• Toepassing: De resultaten hebben directe implicaties voor geautomatiseerde videobewerking, content creatie en het vinden van stock footage.
• Richting voor onderzoek: De studie wijst erop dat toekomstige modellen beter moeten worden getraind op het begrijpen van visuele esthetiek (kleur/stijl) en het koppelen van audio aan visuele gebeurtenissen. Ook is er behoefte aan methoden die multi-factor constraints (combinaties van stijl, kleur en tijd) tegelijkertijd kunnen hanteren, wat nu nog als een complexer probleem wordt beschouwd.

Kortom, ShotFinder bewijst dat hoewel AI grote stappen heeft gemaakt in tekst, het "zien" en "zoeken" van specifieke videomomenten in een open web nog een enorme uitdaging blijft die geavanceerde redeneer- en imaginaire capaciteiten vereist.