Prompts to Summaries: Zero-Shot Language-Guided Video Summarization with Large Language and Video Models

Die Arbeit stellt „Prompts-to-Summaries" vor, ein datenfreies, null-Shot-System, das durch die Orchestrierung von Video-Sprach- und großen Sprachmodellen über Textanfragen flexible und trainingsfreie Videosummarys erzeugt, die in Benchmarks mit überwachten Methoden konkurrieren können.

Das Wesentliche

Stell dir vor, du hast einen riesigen, ungeschnittenen Videomüllberg – vielleicht 10 Stunden von deinem Urlaub, einem Sportevent oder einem langweiligen Meeting. Du möchtest nur die besten 5 Minuten sehen, aber du hast keine Lust, alles anzuschauen. Noch besser: Du möchtest, dass dir jemand genau die Teile heraussucht, die dich interessieren. Zum Beispiel: „Zeig mir nur die Momente, in denen der Hund lacht" oder „Ignoriere alles, was gewalttätig aussieht".

Bisher war das wie die Suche nach einer Nadel im Heuhaufen, bei der man einen Roboter brauchte, der erst jahrelang trainiert werden musste, um zu verstehen, was „wichtig" ist. Dieser neue Ansatz aus dem Papier heißt „Prompts-to-Summaries" (von „Prompts" = Befehle zu „Summaries" = Zusammenfassungen).

Hier ist die Erklärung, wie das funktioniert, ohne Fachchinesisch:

1. Das Problem: Der alte Weg war zu starr

Frühere Methoden waren wie ein Koch, der nur ein einziges Rezept beherrscht. Wenn du ihm sagst „Mach mir eine Suppe", macht er eine Suppe. Wenn du aber sagst „Mach mir eine Suppe, aber ohne Zwiebeln und nur mit Tomaten", kann er nicht helfen, weil er das nie gelernt hat. Er braucht neue Zutaten (Trainingsdaten) und muss neu lernen. Das ging nicht für jeden Videotyp und jede Frage.

2. Die Lösung: Ein Team aus zwei Super-Experten

Die Autoren haben ein neues System gebaut, das wie ein perfektes Team aus zwei Spezialisten funktioniert. Es braucht kein Training, es ist sofort einsatzbereit (das nennen sie „Zero-Shot").

Experte A: Der Videobeschreiber (VideoLM)
Stell dir diesen Experten wie einen sehr aufmerksamen Filmkritiker vor, der aber nicht den ganzen Film auf einmal sehen kann.

• Was er tut: Er schaut sich das Video an, unterteilt es in kleine Szenen (wie Kapitel in einem Buch) und schreibt für jede Szene einen kurzen, klaren Text zusammen.
• Die Analogie: Er macht aus einem 2-stündigen Film 50 kurze Notizen: „Szene 1: Jemand kocht Eier. Szene 2: Ein Auto fährt vorbei. Szene 3: Jemand lacht."
• Der Trick: Er kann das auch für sehr lange Videos, indem er das Video in kleine Häppchen schneidet, damit er nicht „überläuft" (Speicherprobleme).

Experte B: Der Richter (LLM - Large Language Model)
Das ist der Chef, der diese Notizen liest. Stell dir ihn wie einen strengen, aber fairen Jury-Vorsitzenden vor.

• Was er tut: Er bekommt die Notizen von Experte A und deine Frage (den „Prompt"). Zum Beispiel: „Ich will nur Szenen sehen, in denen jemand lacht."
• Die Aufgabe: Der Richter liest jede Notiz und gibt ihr eine Punktzahl von 1 bis 100.
  • „Szene 3: Jemand lacht" → Punkte: 95! (Perfekt für deine Frage).
  • „Szene 1: Jemand kocht Eier" → Punkte: 10. (Langweilig für deine Frage).
• Das Geniale: Der Richter versteht auch komplexe Fragen wie „Zeig mir Momente, in denen die Stimmung traurig wird" oder „Vermeide Szenen mit Gewalt". Er nutzt sein allgemeines Weltwissen, um zu entscheiden, was wichtig ist.

3. Der Feinschliff: Vom Szenen-Richter zum Einzelbild-Filter

Bisher haben wir nur ganze Szenen bewertet. Aber ein Video besteht aus tausenden einzelnen Bildern (Frames).

• Das Problem: Manchmal ist in einer „lachenden Szene" nur ein Bild das lustige, der Rest ist nur Wartezeit.
• Die Lösung: Das System schaut sich nun innerhalb der guten Szenen die einzelnen Bilder an. Es fragt: „Ist dieses Bild einzigartig?" (Neuheit) und „Passt es gut zu den anderen Bildern in dieser Szene?" (Konsistenz).
• Das Ergebnis: Es erstellt eine Art „Bewertungskurve" für das ganze Video. Die Spitzen der Kurve sind die Bilder, die du sehen willst.

4. Warum ist das so besonders?

• Kein Training nötig: Du musst dem System keine tausenden Beispiele zeigen, wie ein Video aussieht. Es funktioniert sofort mit jedem Video, das du hast.
• Du bist der Regisseur: Du kannst sagen: „Mach mir eine Zusammenfassung für meine Oma" (nur nette Momente) oder „Mach mir eine Zusammenfassung für einen Sporttrainer" (nur die Tore). Das System passt sich deinem Befehl an.
• Besser als die alten Methoden: Auf den Standard-Tests (SumMe und TVSum) hat dieses System besser abgeschnitten als alle bisherigen Methoden, die keine Trainingsdaten nutzten. Und es ist fast so gut wie die besten Systeme, die jahrelang trainiert wurden – und das ohne ein einziges Trainingsbeispiel!

Zusammenfassung in einem Satz

Stell dir vor, du hast einen Roboter-Assistenten, der dir sofort sagt: „Ich habe deinen Film gesehen, hier sind die besten 5 Minuten, genau so, wie du es wolltest", und das alles, ohne dass er jemals einen ähnlichen Film gesehen hat oder dafür bezahlt wurde.

Das Papier zeigt also, dass wir mit den aktuellen KI-Modellen (die wir schon haben) Videos so zusammenfassen können, wie wir es uns immer gewünscht haben: Schnell, flexibel und genau nach unseren Wünschen.

Technische Zusammenfassung

1. Problemstellung und Motivation

Die exponentielle Zunahme von Videodaten erfordert flexible Werkzeuge zur Zusammenfassung, die ohne Trainingsdaten auskommen und auf Benutzeranfragen reagieren können. Bestehende Methoden leiden unter zwei Hauptnachteilen:

1. Abhängigkeit von Trainingsdaten: Die meisten Ansätze (überwacht oder unüberwacht) benötigen große, domänenspezifische Datensätze mit manuellen Annotationen. Dies schränkt die Generalisierungsfähigkeit auf neue Domänen ein.
2. Fehlende Benutzersteuerung: Herkömmliche Zusammenfassungen sind generisch und können nicht durch natürliche Sprachabfragen (Text-Queries) gesteuert werden, um spezifische Inhalte oder Themen hervorzuheben.

Das Ziel dieser Arbeit ist die Entwicklung eines Zero-Shot-Systems für die Videozusammenfassung, das:

• Ohne jegliches Training oder Feinabstimmung (Fine-Tuning) auskommt.
• Durch natürliche Sprachabfragen (z. B. „Zeige nur gewalttätige Szenen" oder „Füge emotionale Momente hinzu") gesteuert werden kann.
• Mit state-of-the-art (SOTA) überwachten Methoden mithalten kann, ohne deren Datenabhängigkeit.

2. Methodik: Die „Prompts-to-Summaries"-Pipeline

Das vorgeschlagene Framework orchestriert Video-Language-Modelle (VidLMs) und Large Language Models (LLMs) in einer vierstufigen Pipeline (siehe Abbildung 1 im Paper):

A. Szenenerkennung (Scene Detection)

Der Eingabe-Video wird in kohärente Szenen segmentiert.

• Initialisierung: Es wird eine dynamische Schwelle verwendet, um auf Basis von Pixel-Intensitätsunterschieden (mittels PySceneDetect) Schnittstellen zu erkennen.
• Verfeinerung: Zu kurze Szenen (unter ~5 Sekunden), die oft durch Rauschen entstehen, werden basierend auf der Ähnlichkeit ihrer visuellen Embeddings (z. B. DINO oder CLIP) mit benachbarten Szenen zusammengeführt. Dies stellt sicher, dass nur semantisch sinnvolle und zeitlich kohärente Szenen weiterverarbeitet werden.

B. Szenenbeschreibung (Scene Description Generation)

Für jede erkannte Szene und das gesamte Video werden Textbeschreibungen generiert.

• Modell: Ein vortrainiertes VidLM (z. B. LLAVA/Qwen) wird verwendet.
• Skalierbarkeit: Um Speicherprobleme bei langen Videos zu umgehen, wird ein Batching-Ansatz verwendet. Frames werden stichprobenartig (1 Frame/Sekunde) in Batches eingeteilt, beschrieben und die Texte werden zu einer kohärenten Gesamtdarstellung zusammengefügt.
• Kontext: Die Beschreibungen werden so formuliert, dass sie den Kontext des gesamten Videos berücksichtigen.

C. Szenenbewertung (Scene-Level Scoring)

Ein LLM (z. B. GPT-4o, Claude, Gemini) fungiert als Richter („Judge"), um die Wichtigkeit jeder Szene zu bewerten.

• Prompt-Engineering: Dem LLM werden die Beschreibung der einzelnen Szene, die Beschreibung des gesamten Videos und optional eine Benutzerabfrage (User Query) gegeben.
• Bewertung: Das LLM weist jeder Szene einen Wichtigkeits-Score (1–100) zu. Der Prompt instruiert das Modell, streng zu bewerten und nur Schlüsselmomente hoch zu bewerten (Sparse-High-Prior).
• User-Guidance: Wenn eine Abfrage vorliegt, wird die Bewertung entsprechend der Relevanz für den Benutzerwunsch angepasst (z. B. Szenen mit „Essen" erhalten höhere Scores bei der Query „Zeige Essen").

D. Frame-Level-Bewertung und Propagation

Um eine feinkörnige Auswahl von Frames zu ermöglichen, werden die Szenen-Scores auf die einzelnen Frames übertragen.

1. Initialisierung: Jeder Frame erbt zunächst den Score seiner übergeordneten Szene.
2. Zeitliche Glättung: Eine Kosinus-Funktion glättet die Scores an den Grenzen zwischen Szenen, um abrupte Sprünge zu vermeiden.
3. Gewichtung innerhalb der Szene: Innerhalb jeder Szene wird für jeden Frame ein Gewichtungsfaktor berechnet, der auf zwei Metriken basiert:
   • Konsistenz (Consistency): Wie stabil ist das visuelle Muster im Segment? (Berechnet via K-Means-Clustering der Embeddings).
   • Einzigartigkeit (Uniqueness): Wie stark weicht das Segment von seinem Mittelwert ab? (Fängt visuelle Vielfalt oder seltene Inhalte ein).
4. Fusion: Der finale Frame-Score ist das Produkt aus dem geglätteten Szenen-Score und dem internen Gewichtungsfaktor.

3. Schlüsselbeiträge

1. Erstes Zero-Shot Framework: Das erste System, das Videozusammenfassungen basierend auf natürlichen Sprachabfragen generiert, ohne Trainingsdaten, Annotationen oder Feinabstimmung zu benötigen.
2. State-of-the-Art Ergebnisse: Die Methode erreicht auf den Standard-Datensätzen SumMe und TVSum die besten Ergebnisse aller unüberwachten Methoden und konkurriert mit führenden überwachten Ansätzen.
3. VidSum-Reason Datensatz: Die Autoren stellen einen neuen Benchmark vor, der komplexe, logische Abfragen (Reasoning) und langschwanzige Konzepte erfordert, um die Fähigkeiten von Modellen jenseits einfacher Objekterkennung zu testen.
4. Systematische Analyse: Eine umfassende Abtaststudie (Ablation) zeigt den Einfluss von Normalisierungsmethoden, Encodern (CLIP vs. DINO), Prompt-Designs und Glättungsfunktionen.

4. Experimentelle Ergebnisse

• Standard-Zusammenfassung (SumMe & TVSum):
  • Auf SumMe erreicht das Modell einen F1-Score von 56,84 % (SOTA bei unüberwachten Methoden).
  • Auf TVSum erreicht es 62,22 %.
  • Es übertrifft alle bestehenden unüberwachten, Zero-Shot und Few-Shot Methoden.
• Query-Fokussierte Zusammenfassung (QFVS):
  • Auf dem QFVS-Datensatz (überwachte Baseline) erreicht das Zero-Shot-Modell einen F1-Score von 53,42 %.
  • Dies liegt nur 1 Punkt unter dem vollständig überwachten, datenhungrigen Modell CLIP-It (54,44 %) und schlägt vier andere überwachte Baselines deutlich.
• VidSum-Reason:
  • Auf dem neuen Reasoning-Datensatz erzielt das Modell einen durchschnittlichen F1-Score von 43,4 %, was fast 10 Punkte über einem zufälligen Baseline liegt. Dies beweist die Fähigkeit, komplexe Abfragen zu verstehen.
• Qualitative Analyse: Die Visualisierungen zeigen, dass das Modell Szenen korrekt identifiziert, die den Benutzerwünschen entsprechen, auch wenn diese nicht mit Standard-Segmentierungsalgorithmen (wie KTS) übereinstimmen.

5. Bedeutung und Fazit

Die Arbeit demonstriert, dass vortrainierte multimodale Modelle (VidLMs und LLMs) in Kombination mit sorgfältigem Prompt-Engineering eine mächtige Basis für universelle, textgesteuerte Videozusammenfassungen bilden.

• Paradigmenwechsel: Es wird gezeigt, dass man keine spezifischen Trainingsdaten mehr benötigt, um hochwertige Zusammenfassungen zu erstellen. Die „Wissen"-Komponente liegt bereits in den vortrainierten Modellen.
• Flexibilität: Das System ist sofort einsatzbereit für verschiedene Domänen und kann durch natürliche Sprache gesteuert werden, was es für personalisierte Highlights, Überwachung oder Bildungsinhalte ideal macht.
• Skalierbarkeit: Durch Batch-Verarbeitung und effiziente Glättungsfunktionen ist das System auch für lange Videos (bis zu 5 Stunden) auf einer einzelnen GPU skalierbar.

Die Autoren schließen, dass der verbleibende Leistungsunterschied zu vollständig überwachten Methoden der Preis für den Verzicht auf Trainingsdaten ist, aber die generische Anwendbarkeit und die Fähigkeit, mit komplexen Abfragen umzugehen, diesen Nachteil in vielen realen Szenarien kompensieren.