Beyond Caption-Based Queries for Video Moment Retrieval

Diese Arbeit untersucht die Leistungsverschlechterung bestehender Video-Moment-Retrieval-Methoden bei der Verwendung von Suchanfragen statt Bildunterschriften, identifiziert sprachliche und mehrfache-Moment-Lücken sowie einen Decoder-Query-Kollaps als Hauptursachen und schlägt architektonische Modifikationen vor, die die Generalisierungsfähigkeit signifikant verbessern.

Das Wesentliche

Das Problem: Der "Übersetzer" und der "Suchende"

Stell dir vor, du hast eine riesige Videobibliothek (wie YouTube). Du möchtest darin nach einem bestimmten Moment suchen, zum Beispiel: "Wann wird das Tor geschossen?"

Das Problem ist: Die Computer, die diese Videos durchsuchen sollen, wurden bisher nur mit sehr detaillierten Beschreibungen trainiert, die von Menschen geschrieben wurden, nachdem sie das Video gesehen haben.

• Die Trainings-Daten (Die "Übersetzer"): Ein Mensch schaut sich das Video an und schreibt: "Ein Mann in einem gelben Trikot fängt einen losen Pass nahe dem Strafraum ab und schießt einen mächtigen Volley."
• Die echte Suche (Der "Suchende"): Ein normaler Nutzer tippt aber etwas viel Allgemeineres ein: "Wann werden Tore geschossen?"

Die Forscher nennen das die Lücke zwischen Beschreibung und Suche. Es ist so, als würdest du einen Koch trainieren, indem du ihm sagst: "Nimm die rote Paprika, schneide sie in dünne Streifen und brate sie mit Zwiebeln." Aber wenn du ihn dann in der echten Küche fragst: "Kannst du mir etwas Leckeres kochen?", ist er völlig verwirrt, weil er nur die eine, super-detaillierte Anweisung kennt.

Was haben die Forscher entdeckt?

Sie haben herausgefunden, dass die aktuellen KI-Modelle, wenn man sie mit diesen echten, allgemeinen Suchanfragen testet, katastrophal versagen. Sie finden oft gar nichts oder nur die Hälfte der gesuchten Momente.

Zwei Hauptgründe dafür:

1. Der Sprach-Unterschied: Die KI kennt nur die langen, bunten Sätze. Kurze, vage Sätze wie "etwas essen" verwirren sie.
2. Der "Ein-Moment"-Fehler: Das ist der wichtigste Punkt.
   • In den Trainingsdaten gibt es pro Frage nur ein richtiges Video-Stück (z. B. "Der Mann schneidet die Zwiebel").
   • In der echten Welt kann eine Frage aber viele richtige Momente haben. Wenn du fragst: "Wann wird gekocht?", dann gibt es vielleicht 10 verschiedene Szenen im Video, in denen gekocht wird.
   • Die KI ist darauf trainiert, nur einen Gewinner zu finden. Sie denkt: "Okay, ich muss nur das eine beste Stück finden." Wenn es aber 10 richtige Stücke gibt, sucht sie nur nach einem und ignoriert die anderen neun. Das nennt die Forscher "Query Collapse" (eine Art geistiger Zusammenbruch), bei dem die KI ihre Suche einengt, statt breit zu suchen.

Die Lösung: Den "Sucher" wieder wachkriegen

Die Forscher haben eine clefere Lösung gefunden, ohne neue Videos zu drehen oder alles neu zu annotieren. Sie haben die Architektur der KI (das "Gehirn" des Modells) so verändert, dass sie wieder offen für viele Möglichkeiten ist.

Stell dir die KI wie ein Team von 10 Detektiven vor, die in einem Video nach einem Verbrechen suchen.

• Das alte System: Das Team wurde trainiert, nur einen Verdächtigen zu finden. Also meldet sich nur ein Detektiv und sagt: "Ich habe ihn!", während die anderen 9 stumm bleiben, auch wenn es noch 9 weitere Verdächtige gibt.
• Die neue Methode: Die Forscher haben zwei Dinge getan:
  1. Sie haben die "Stille" verboten: Sie haben eine Regel eingeführt, die verhindert, dass sich die Detektive untereinander absprechen und sich gegenseitig zum Schweigen bringen. Jeder darf jetzt laut werden, wenn er etwas sieht.
  2. Sie haben den "Liebling" entlassen: Oft vertraut das System immer nur den ersten paar Detektiven (denen mit den Nummern 1 bis 4). Die Forscher haben einen Mechanismus eingebaut, der zufällig einige Detektive "ausblendet", damit das System gezwungen ist, auch die anderen (Nummer 5 bis 10) zu nutzen.

Das Ergebnis: Plötzlich melden sich viel mehr Detektive. Wenn jemand fragt "Wann wird gekocht?", finden nicht nur 1, sondern plötzlich 8 oder 9 Detektive die richtigen Stellen im Video.

Warum ist das wichtig?

Bisher funktionierten Video-Suchmaschinen nur gut, wenn man wusste, was genau im Video passiert, und es sehr genau beschrieb. Mit dieser neuen Methode können wir endlich Videos so durchsuchen, wie wir es im echten Leben tun: mit vagen, allgemeinen Fragen.

Zusammengefasst in einer Metapher:
Die Forscher haben eine KI, die wie ein strenger Bibliothekar war, der nur Bücher findet, wenn man den exakten Titel und Autor nennt. Jetzt haben sie ihn so umgebaut, dass er auch dann hilft, wenn du nur sagst: "Ich suche ein Buch über etwas, das mit Feuer zu tun hat." Und er findet plötzlich nicht nur ein, sondern ganze Regale voller passender Bücher.

Die Ergebnisse zeigen, dass die Suchleistung um bis zu 21% verbessert werden kann – ein riesiger Sprung für die Zukunft der Videosuche.

Technische Zusammenfassung

1. Problemstellung

Das Paper adressiert ein fundamentales Limitierung im Bereich des Video Moment Retrieval (VMR). Bisherige VMR-Modelle werden fast ausschließlich auf Datensätzen trainiert, bei denen die textuellen Abfragen (Queries) von Annotatoren erstellt wurden, die sich das Video zuvor angesehen haben. Diese sogenannten caption-based queries sind oft extrem detailliert, visuell informiert und fein abgestimmt (z. B. „Ein Mann in einem gelben Trikot fängt einen losen Pass ab und erzielt ein Tor").

In der realen Anwendung hingegen nutzen Benutzer Suchabfragen (search queries), die oft ohne vorheriges Anschauen des Videos formuliert werden. Diese sind typischerweise:

• Visuell nicht informiert: Der Nutzer kennt die Details nicht.
• Unterbestimmt (Under-specified): Sie sind allgemeiner und weniger detailliert (z. B. „Wann werden Tore erzielt?").
• Mehrfach-Moment-bezogen: Eine allgemeine Suchanfrage kann sich auf mehrere verschiedene Zeitabschnitte im Video beziehen, während die Trainingsdaten meist nur ein einziges Ground-Truth-Moment pro Query vorsehen.

Dies führt zu einer starken Generalisierungslücke: Modelle, die auf detaillierten Beschreibungen trainiert wurden, versagen oft bei allgemeinen Suchanfragen.

2. Methodik

Die Autoren schlagen einen mehrstufigen Ansatz vor, um dieses Problem zu analysieren und zu lösen:

A. Erstellung neuer Benchmarks (Such-Query-Datensätze)

Da das manuelle Erstellen neuer Datensätze mit Suchabfragen schwierig ist, entwickeln die Autoren eine Pipeline, um bestehende, dicht annotierte Datensätze (HD-EPIC, YouCook2, ActivityNet-Captions) in Such-Query-Varianten umzuwandeln:

1. Unterbestimmung (Under-specification): Ein LLM-basierter Agent (Gemma-12B) reduziert die Details der originalen Captions, entfernt visuelle Kontextinformationen und abstrahiert die Sprache, um realistische Suchanfragen zu simulieren.
2. Validierung: Ein zweiter Agent und menschliche Annotatoren prüfen die Konsistenz, um Halluzinationen zu vermeiden.
3. Gruppierung: Da eine unterbestimmte Anfrage oft auf mehrere Momente im Video zutrifft, werden ursprüngliche Fein-Queries gruppiert, die dieselbe allgemeine Bedeutung haben. Daraus wird eine repräsentative Such-Query generiert.
4. Resultierende Benchmarks: Es werden drei neue Benchmarks eingeführt: HD-EPIC-S{1,2,3}, YC2-S und ANC-S. Diese enthalten bis zu 47,57 % Mehrfach-Moment-Abfragen (Multi-moment queries).

B. Neue Metriken

Die herkömmlichen Metriken wie Recall@1 (R1) und mAP sind für Mehrfach-Moment-Abfragen ungeeignet, da sie die Qualität der Erkennung einzelner Momente verschleiern. Die Autoren führen daher zwei neue Metriken ein:

• Multi-moment Recall (Rm): Bewertet jedes Ground-Truth-Moment unabhängig, ohne dass die Anwesenheit anderer korrekter Momente die Bewertung eines einzelnen Moments verzerrt.
• Multi-moment mAP (mAPm): Berechnet die Average Precision für jedes Ground-Truth-Moment separat, ignoriert dabei aber Vorhersagen, die andere korrekte Ground-Truth-Moments treffen (um falsche Bestrafung zu vermeiden).

C. Architekturelle Analyse und Modifikation

Die Analyse zeigt, dass bestehende DETR-basierte Modelle (wie CG-DETR, LD-DETR) bei Such-Queries stark degradieren. Zwei Hauptursachen werden identifiziert:

1. Language Gap: Der linguistische Unterschied zwischen detaillierten Captions und allgemeinen Suchanfragen.
2. Multi-moment Gap: Die Diskrepanz zwischen dem Training auf Einzel-Moment-Daten und der Evaluation auf Mehrfach-Moment-Daten.

Dies führt zu einem Phänomen namens „Active Decoder-Query Collapse": Aufgrund des Trainings auf Einzel-Moment-Daten aktivieren die Modelle nur eine kleine, feste Teilmenge der Decoder-Queries (oft nur 3-4), während der Rest inaktiv bleibt. Dies verhindert die Erkennung mehrerer Momente gleichzeitig.

Lösungsvorschlag (Architektur-Modifikationen):
Um den „Collapse" zu verhindern, ohne die Trainingsdaten neu annotieren zu müssen, werden zwei Änderungen an der DETR-Architektur eingeführt:

1. Entfernung der Self-Attention (SA): Die Self-Attention innerhalb der Decoder-Layer wird entfernt. Diese Mechanismen zwingen die Queries oft zur Koordination und Unterdrückung redundanter Vorhersagen, was den Collapse begünstigt.
2. Query-Dropout Regularizer (QD): Während des Trainings werden zufällig eine bestimmte Anzahl von lernbaren Decoder-Queries (z. B. 25 %) deaktiviert. Dies zwingt das Modell, die Supervision auf mehr Queries zu verteilen und verhindert, dass sich das Modell nur auf einen festen Index-Subset verlässt.
3. Post-Processing: Da die Self-Attention entfernt wurde, wird Non-Maximum Suppression (NMS) im Nachhinein angewendet, um redundante Vorhersagen zu filtern.

3. Wichtige Beiträge

1. Neue Benchmarks: Einführung von drei Such-Query-Benchmarks, die die Lücke zwischen Caption-basierten und realen Suchanfragen schließen.
2. Analyse der Generalisierungslücke: Quantifizierung des Leistungsabfalls durch den „Language Gap" und den „Multi-moment Gap".
3. Identifikation des „Query Collapse": Aufdeckung des Problems, dass DETR-Modelle bei VMR zu wenige aktive Decoder-Queries für Mehrfach-Momente nutzen.
4. Architekturelle Lösung: Entwicklung einer einfachen, aber effektiven Methode (-SA+QD), die die Generalisierung auf Such-Queries signifikant verbessert, ohne neue Trainingsdaten zu benötigen.

4. Ergebnisse

Die Experimente auf den neuen Benchmarks (HD-EPIC-S, YC2-S, ANC-S) zeigen folgende Ergebnisse:

• Leistungsabfall: Herkömmliche Modelle verlieren bei der Evaluation auf Such-Queries bis zu 77,40 % ihrer Leistung (gemessen in Rm@0.3).
• Verbesserung durch -SA+QD: Die vorgeschlagenen Modifikationen verbessern die Leistung auf Such-Queries um bis zu 14,82 % mAPm und bei Mehrfach-Moment-Abfragen sogar um 21,83 % mAPm.
• Oracle-Vergleich: Das modifizierte Modell schließt die Lücke zu einem „Oracle"-Modell (das direkt auf den Such-Queries trainiert wurde) zu ca. 70 % auf.
• Robustheit: Die Verbesserungen gelten sowohl für CG-DETR als auch für LD-DETR und zeigen, dass die Methode spezifisch Mehrfach-Moment-Abfragen adressiert, während sie auch bei Einzel-Moment-Abfragen leicht verbessert.

5. Bedeutung und Fazit

Dieses Paper ist von großer Bedeutung, da es die Diskrepanz zwischen akademischen Benchmarks und realen Anwendungsszenarien im Video-Retrieval aufzeigt. Es beweist, dass die derzeitige Abhängigkeit von visuell informierten Captions ein Hauptgrund für die mangelnde Robustheit von VMR-Systemen ist.

Die vorgeschlagene Lösung ist besonders wertvoll, da sie keine kostspielige Neu-Annotation von Trainingsdaten erfordert. Stattdessen wird durch gezielte architektonische Änderungen (Entfernung von Self-Attention und Query-Dropout) die inhärente Tendenz der Modelle zur Unteraktivierung von Queries korrigiert. Dies ermöglicht es, bestehende, reichhaltige Datensätze effizienter zu nutzen und VMR-Modelle deutlich näher an reale Suchanwendungen heranzuführen.