ShotFinder: Imagination-Driven Open-Domain Video Shot Retrieval via Web Search

Die Arbeit stellt ShotFinder vor, ein Benchmark und ein dreistufiges Retrieval-System, das auf der „Vorstellungskraft" von Sprachmodellen basiert, um offene Video-Suchanfragen mit komplexen zeitlichen und visuellen Einschränkungen zu bewältigen, wobei Experimente zeigen, dass aktuelle multimodale Modelle hier noch erhebliche Lücken zur menschlichen Leistung aufweisen.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Video-Editor. Sie haben eine sehr spezifische Idee: „Ich brauche eine Szene, in der eine Frau mit langen Haaren an einem Tisch sitzt, sich leicht nach vorne lehnt und dabei lacht." Aber Sie haben keine Ahnung, in welchem der Millionen von Videos auf YouTube diese exakte Sekunde zu finden ist.

Bisher mussten Sie stundenlang Videos durchklicken, wie ein Archivar, der nach einer einzigen Nadel in einem Heuhaufen sucht. Die neue Forschung „ShotFinder" möchte genau das ändern. Hier ist die Erklärung, wie das funktioniert, ohne technisches Fachchinesisch:

1. Das Problem: Der „Nadel-im-Heuhaufen"-Effekt

Früher konnten Computer nur nach Text suchen (z. B. „Hund rennt"). Aber Videos sind komplexer. Sie haben einen Rhythmus (wann passiert was?), eine Stimmung (ist es warm oder kalt?), einen Stil (ist es ein Cartoon oder ein echtes Video?) und sogar einen Sound.

Die Forscher sagen: „Künstliche Intelligenz (KI) ist gut darin, Texte zu finden, aber sie stolpert noch über Videos." Wenn Sie einer KI sagen „Finde mir das", versteht sie oft nur den groben Inhalt, aber nicht die feinen Details, die Sie als Editor brauchen.

2. Die Lösung: „ShotFinder" – Der KI-Detektiv

Die Forscher haben ein neues Werkzeug namens ShotFinder entwickelt. Man kann es sich wie einen sehr cleveren Detektiv vorstellen, der drei Schritte durchläuft, um Ihre Nadel im Heuhaufen zu finden:

• Schritt 1: Die „Vorstellung" (Imagination)
  Statt nur nach dem Wort „Frau am Tisch" zu suchen, fragt die KI: „In welchem ganzen Film oder Video würde so eine Szene überhaupt vorkommen?"

  • Die Analogie: Wenn Sie nach einem bestimmten Satz in einem Buch suchen, lesen Sie nicht nur das Wort, sondern stellen sich vor, in welchem Kapitel und in welcher Geschichte dieser Satz steht. Die KI „träumt" also den Kontext des Videos, um bessere Suchbegriffe zu finden.

• Schritt 2: Die Jagd (Suche)
  Mit diesen verbesserten Begriffen geht die KI ins Internet (YouTube) und holt sich eine Liste von Kandidaten-Videos.

• Schritt 3: Die Zielschnappschuss (Lokalisierung)
  Jetzt schaut sich die KI die Videos an. Sie sucht nicht nur nach dem Inhalt, sondern prüft auch Ihre speziellen Wünsche:

  • Farbe: Ist es wirklich warm und sonnig?
  • Stil: Ist es ein echtes Video oder eine Animation?
  • Zeit: Passiert das genau nach dem Moment, in dem jemand die Tür aufmacht?
  • Sound: Ist im Hintergrund Musik zu hören?

3. Der große Test: Der „ShotFinder"-Wettbewerb

Um zu testen, wie gut diese KI wirklich ist, haben die Forscher einen riesigen Test aufgebaut. Sie haben 1.210 schwierige Aufgaben erstellt, bei denen man Videos finden muss, die genau auf eine Beschreibung passen.

Das Ergebnis ist ehrlich und etwas enttäuschend, aber wichtig:

• Menschen sind immer noch die Champions: Wenn Sie einen echten Menschen bitten, das Video zu finden, schafft er das fast immer perfekt.
• Die KI hinkt hinterher: Selbst die besten aktuellen KI-Modelle (wie GPT oder Gemini) finden die richtige Szene nur etwa in 20–25 % der Fälle.
• Wo sie scheitern: Die KI ist gut darin, wann etwas passiert (Zeit), aber sie hat große Mühe, die Farbe (z. B. „ein warmes, sonnenverwöhntes Orange") oder den Stil (z. B. „wie ein 90er-Jahre Anime") richtig zu erkennen.

4. Warum ist das wichtig?

Stellen Sie sich vor, Sie wollen einen Film schneiden. Wenn die KI Ihnen helfen könnte, genau die richtige Sekunde in Sekundenbruchteilen zu finden, würde das die Arbeit von Editoren revolutionieren.

Der „ShotFinder"-Test zeigt uns: Wir sind noch nicht am Ziel. Die KI muss noch lernen, Videos nicht nur zu „sehen", sondern sie wirklich zu verstehen – inklusive ihrer Stimmung, ihres Sounds und ihrer genauen Abfolge. Es ist wie beim Lernen eines neuen Instruments: Die KI kann die Noten schon lesen, aber den richtigen „Feeling"-Ton muss sie noch üben.

Zusammenfassend:
ShotFinder ist ein neuer Maßstab, der zeigt, dass KI zwar schon viel kann, aber beim Finden von genauen Video-Momenten noch viel Lernbedarf hat. Es ist der erste Schritt auf dem Weg zu einem Assistenten, der uns wirklich dabei hilft, unsere kreativen Visionen in Videos umzusetzen, ohne stundenlang suchen zu müssen.

Technische Zusammenfassung

Titel: ShotFinder: Imaginationsgetriebene Open-Domain-Video-Shot-Retrieval via Websuche

1. Problemstellung

Obwohl Large Language Models (LLMs) und Multimodale Large Language Models (MLLMs) in den Bereichen Textretrieval und statische Multimodalität erhebliche Fortschritte gemacht haben, fehlt es an systematischen Benchmarks und Analysen für das Open-Domain-Video-Shot-Retrieval.

• Herausforderung: Im Gegensatz zu Text oder statischen Bildern weisen Videos eine reichhaltige zeitliche Struktur und komplexere Semantik auf.
• Praxisbezug: In realen Videobearbeitungs-Workflows müssen Editoren oft spezifische „Shots" (kontinuierliche Sequenzen zwischen Schnitten) finden. Derzeit ist dies stark von manueller Vorschau und Erfahrung abhängig, da es keine effiziente Methode gibt, um über eine textliche Beschreibung hinweg direkt den passenden Shot in einem offenen Internet-Videobestand zu lokalisieren.
• Lücke: Es existieren keine Standards, um zu bewerten, ob MLLMs in der Lage sind, Suchmaschinen zu nutzen, um auf Shot-Ebene zu suchen und zeitlich zu lokalisieren.

2. Methodik

Das Paper stellt zwei Hauptkomponenten vor: den ShotFinder-Benchmark und die ShotFinder-Retrieval-Pipeline.

A. Der ShotFinder-Benchmark
Der Benchmark formalisiert die Anforderungen an Videobearbeiter als Shot-Beschreibungen und fünf kontrollierbare Einzelfaktor-Einschränkungen (Constraints):

1. Temporale Reihenfolge: Der Shot muss in einem bestimmten Kontext (vor/nach anderen Shots) stehen.
2. Farbe: Der Gesamtfarbton (warm/kalt/neutral) muss passen.
3. Visueller Stil: z. B. Live-Action, 2D/3D-Animation oder reine Grafiken.
4. Audio: Vorhandensein spezifischer Klänge (Sprache, Musik, Umgebungsgeräusche).
5. Auflösung: Technische Qualität (z. B. 1080p vs. 720p).

• Datensatz: 1.210 hochwertige Samples aus 20 thematischen Kategorien (z. B. Sport, Kochen, Animation), die aus YouTube stammen.
• Erstellung: Nutzung von LLMs (Gemini 3 Pro) zur automatischen Generierung von Beschreibungen und Constraints, gefolgt von einer strengen menschlichen Verifizierung durch 10 Forscher, um semantische Genauigkeit und Konsistenz sicherzustellen.
• Aufgaben: 6 Szenarien (reine Shot-Beschreibung + 5 Varianten mit jeweils einem zusätzlichen Constraint).

B. Die ShotFinder-Retrieval-Pipeline
Die vorgeschlagene Methode ist ein textgesteuerter, dreistufiger Prozess:

1. Generator (Query Expansion via Video Imagination):
   • Statt die Shot-Beschreibung direkt als Suchanfrage zu nutzen, führt das Modell eine „Video-Imagination" durch.
   • Es inferiert, in welchem gesamten Video-Kontext dieser Shot wahrscheinlich vorkommt (Thema, Genre, Titel-Struktur).
   • Basierend auf dieser Imagination werden Suchbegriffe generiert, die besser mit den Metadaten von Online-Video-Plattformen übereinstimmen.
2. Retriever (Candidate Video Retrieval):
   • Die generierten Keywords werden an eine Suchmaschine (YouTube) gesendet.
   • Es werden potenzielle Videolinks gesammelt, heruntergeladen und gefiltert.
3. Localizer (Description-guided Temporal Localization):
   • Für die gefundenen Kandidaten-Videos wird eine adaptive Frame-Sampling-Strategie angewendet.
   • Ein MLLM analysiert die Frames (und optional Audio) im Kontext der ursprünglichen Beschreibung, um den exakten Zeitpunkt (Shot) im Video zu lokalisieren.
   • Eine Verifizierungsstufe prüft, ob der lokalisierte Shot tatsächlich den Anforderungen entspricht.

3. Wichtige Beiträge

• Erster Benchmark: Einführung von ShotFinder, dem ersten Benchmark für Open-Domain-Video-Shot-Retrieval, der reale Bearbeitungsanforderungen abbildet.
• Neue Methodik: Entwicklung einer imaginationsgetriebenen Retrieval-Methode, die die Lücke zwischen kurzen Shot-Beschreibungen und langen Video-Metadaten durch kontextuelles „Vorstellen" des Gesamtvideos überbrückt.
• Umfassende Analyse: Systematische Untersuchung, wie verschiedene Faktoren (Farbe, Stil, Zeit, Audio, Auflösung) die Leistung von MLLMs beeinflussen.
• Evaluation: Eine detaillierte Bewertung menschlicher Leistung im Vergleich zu Closed-Source- (z. B. GPT-5.2, Gemini-3-Pro) und Open-Source-Modellen (z. B. Qwen3-Serie).

4. Ergebnisse

Die Experimente zeigen signifikante Lücken zwischen aktuellen Modellen und menschlicher Leistung:

• Gesamtleistung: Selbst die besten Closed-Source-Modelle (GPT-5.2 mit 26,9 % Genauigkeit) liegen weit hinter der menschlichen Leistung (88,5 %).
• Ungleichgewicht der Aufgaben:
  • Temporale Lokalisierung: Relativ gut lösbar für Modelle.
  • Farbe & Visueller Stil: Bleiben die größten Herausforderungen; Modelle scheitern oft an subtilen visuellen Nuancen.
• Modellvergleich:
  • Closed-Source-Modelle schneiden insgesamt besser ab, zeigen aber Schwächen bei Farb-Constraints.
  • Open-Source-Modelle (Qwen3-Serie) sind in Teilaufgaben wettbewerbsfähig, hinken aber bei Stil-Constraints hinterher.
• Skalierbarkeit: Eine reine Vergrößerung der Modellgröße garantiert keine konsistenten Verbesserungen über alle Aufgaben hinweg; Architektur und Multimodal-Alignment sind entscheidender.
• Einfluss der Pipeline: Mehr Suchanfragen und mehr heruntergeladene Videos verbessern die Trefferquote, besonders bei komplexen zeitlichen und stilistischen Constraints.

5. Bedeutung und Ausblick

• Forschungsbeitrag: Das Paper identifiziert, dass Open-Domain-Video-Shot-Retrieval eine kritische Fähigkeit ist, die aktuelle Multimodale Modelle noch nicht beherrschen. Es zeigt, dass reine Text-zu-Video-Suche nicht ausreicht und ein tiefes Verständnis von Video-Kontext und zeitlicher Struktur notwendig ist.
• Praktische Relevanz: Die Ergebnisse haben direkte Implikationen für die Automatisierung von Videobearbeitungs-Workflows, Content-Moderation und die Entwicklung von Agenten, die mit visuellen Datenbanken interagieren.
• Zukunft: Die Autoren sehen in der Bewältigung von Mehrfach-Constraints (Kombination aus Farbe, Stil und Zeit) und der Verbesserung der Frame-Sampling-Strategien wichtige zukünftige Forschungsrichtungen.

Zusammenfassend demonstriert ShotFinder, dass trotz rascher Fortschritte bei LLMs die Fähigkeit, komplexe, zeitlich strukturierte Videoinhalte im offenen Internet präzise zu finden und zu lokalisieren, eine der nächsten großen Hürden für Multimodale KI darstellt.