Prompts to Summaries: Zero-Shot Language-Guided Video Summarization with Large Language and Video Models

Deze paper introduceert Prompts-to-Summaries, een zero-shot methode die zonder trainingsdata tekstgestuurde videosamenvattingen genereert door bestaande video-taalmodellen te combineren met grote taalmodellen voor het beoordelen van scènes, wat resulteert in prestaties die concurreren met of superieur zijn aan bestaande methoden op standaard benchmarks.

De kern

Stel je voor dat je een enorme berg videomateriaal hebt: uren aan opnames van je vakantie, een sportwedstrijd, of een langdurige vergadering. Je wilt er een korte, spannende samenvatting van maken, maar je hebt geen tijd om alles te kijken. En nog belangrijker: je wilt dat de samenvatting specifiek is. Bijvoorbeeld: "Laat alleen de momenten zien waar de hond grappig doet" of "Toon alleen de gevaarlijke momenten in de auto".

Vroeger was dit lastig. Bestaande software moest eerst "leren" van duizenden voorbeelden (zoals een student die jarenlang moet studeren) en kon vaak niet begrijpen wat jij precies wilde.

Deze paper introduceert een nieuwe, slimme manier om videobewerking te doen, genaamd "Prompts-to-Summaries". Hier is hoe het werkt, vertaald naar simpele taal:

1. De Regisseur en de Verteller

Stel je een filmset voor met twee hoofdpersonages:

• De Verteller (VideoLM): Dit is een slimme robot die naar de video kijkt. Hij kan niet alles in één keer zien (zijn geheugen is beperkt), dus hij kijkt naar stukjes van de film en schrijft een korte beschrijving van elk stukje op. "Hier zie je een man die een bal gooit," of "Hier is een auto die remt."
• De Regisseur (LLM): Dit is een nog slimmere AI (zoals een super-intelligente editor). Hij leest de beschrijvingen van de Verteller en krijgt een opdracht van jou: "Maak een samenvatting die focust op gevaar!" De Regisseur kijkt dan naar alle beschrijvingen en beslist: "Ah, die beschrijving over de remmende auto is belangrijk! Die moet erin. Die over de bloemen is saai, die gooi ik weg."

2. Geen School, Gewoon Doen (Zero-Shot)

Het coolste aan deze methode is dat niemand er ooit voor heeft moeten studeren.

• Oude methode: Je moest een computerprogramma jarenlang laten kijken naar duizenden samenvattingen van mensen, zodat het leerde wat "belangrijk" is. Als je een nieuw soort video gaf (bijv. een drone-opname), faalde het vaak.
• Nieuwe methode: De Regisseur en de Verteller zijn al geboren met enorme kennis van de wereld (ze zijn getraind op het hele internet). Ze hoeven niet opnieuw te leren voor jouw video. Je geeft gewoon een opdracht (een "prompt") en ze doen het direct. Het is alsof je een ervaren regisseur huurt die al alles heeft gezien, in plaats van een stagiair die nog moet leren.

3. De Magische Trucjes

Om dit werkend te krijgen, gebruiken de auteurs een paar slimme handelingen:

• De Schaar (Scène-detectie): De video wordt eerst opgesplitst in logische stukjes (scènes), net als hoofdstukken in een boek. Ze gebruiken een slimme manier om te weten wanneer een scène eindigt en een nieuwe begint, zelfs als het beeld heel snel verandert.
• De Weegschaal (Schaal van 1 tot 100): De Regisseur geeft elke scène een score. Maar hij doet dit niet zomaar. Hij krijgt een strakke handleiding: "Geef alleen hoge scores aan de allerbelangrijkste momenten. Als het niet essentieel is, geef een lage score." Dit zorgt ervoor dat de samenvatting niet volloopt met onbelangrijke dingen.
• De Vloeiende Overgang: Soms is een scène belangrijk, maar niet elk frame erin. De Regisseur kijkt ook naar welke frames binnen een scène het meest "uniek" en "stabiel" zijn. Zo krijg je een vloeiende video, zonder haperingen.

4. Waarom is dit een doorbraak?

• Jij bent de baas: Je kunt zeggen: "Laat alleen de momenten zien waar mensen lachen" of "Verwijder alle geweld". De oude systemen konden dit niet zonder opnieuw getraind te worden.
• Het werkt overal: Of het nu gaat om een sportwedstrijd, een educatieve video of een surveillance-camera, de methode werkt zonder aanpassingen.
• Het is slimmer dan random: De auteurs hebben een nieuwe testbank gemaakt met moeilijke vragen (bijv. "Toon de momenten waar de spanning oploopt"). Hun systeem slaagt hierin veel beter dan willekeurige keuzes, en doet het zelfs bijna net zo goed als systemen die wel jarenlang zijn getraind.

Samenvattend

Stel je voor dat je een enorme videobibliotheek hebt. In plaats van dat je zelf uren moet zoeken, of dat je een robot moet "leren" wat je wilt, geef je gewoon een zinnetje in: "Laat me de beste momenten zien van de race."

Deze nieuwe methode pakt die zin, laat een slimme robot de video "lezen" en een andere slimme robot de beste stukjes selecteren, zonder dat er ooit een menselijke hand aan het trainen heeft gezeten. Het is alsof je een magische knop hebt die een video omzet in precies wat jij wilt zien, direct en zonder gedoe.

Technische samenvatting

Titel

Prompts-to-Summaries: Zero-Shot Taalgeleide Videovastlegging met Grote Taal- en Videomodellen

1. Probleemstelling

De explosieve groei van videomateriaal heeft een dringende behoefte gecreëerd aan flexibele tools voor het samenvatten van video's die zonder trainingsdata kunnen werken. Bestaande methoden voor videovastlegging (video summarization) hebben twee fundamentele beperkingen:

1. Afhankelijkheid van trainingsdata: De meeste methoden (zowel supervised als unsupervised) zijn getraind op specifieke domein-datasets. Dit beperkt hun generalisatievermogen tot nieuwe video-domeinen of -types zonder hertraining.
2. Gebrek aan gebruikerssturing: Bestaande systemen kunnen geen gebruikersintenties verwerken die via natuurlijke taal worden uitgedrukt (bijv. "benadruk geweldige scènes" of "verwijder ongepaste frames"). Methoden die wel query-gebaseerd zijn (zoals Query-Focused Video Summarization), vereisen doorgaans dure, per-frame annotaties voor training en kunnen geen complexe redenering of zeldzame concepten ("long-tailed concepts") hanteren.

Het doel is een zero-shot methode te ontwikkelen die zonder trainingsdata werkt en volledig stuurbaar is via tekstuele prompts.

2. Methodologie: Prompts-to-Summaries

De auteurs introduceren een pipeline die bestaande Video-Language Models (VidLMs) en Large Language Models (LLMs) combineert om video's te samenvatten op basis van tekstuele queries. De pipeline bestaat uit vier hoofdstappen (zie Figuur 1 in het paper):

A. Scenedetectie (Scene Detection)

De video wordt opgesplitst in coherentere scènes.

• Initiële detectie: Gebruik van PySceneDetect met dynamische drempelwaarden op basis van pixel-intensiteitsverschillen tussen frames om cuts te detecteren.
• Verfijning: Korte scènes (minder dan ~5 seconden) die waarschijnlijk door ruis worden veroorzaakt, worden samengevoegd met hun meest vergelijkbare buren (gebaseerd op cosine-相似iteit van visuele embeddings, zoals DINO of CLIP) om semantische coherentie te waarborgen.

B. Scenbeschrijving (Scene Description Generation)

Voor elke gedetecteerde scène en de volledige video wordt een tekstuele beschrijving gegenereerd.

• Model: Een vooraf getraind VidLM (bijv. LLAVA/Qwen) wordt gebruikt.
• Schalingsstrategie: Om geheugenbeperkingen bij lange video's te omzeilen, worden frames in batches verwerkt. De beschrijvingen van deze batches worden samengevoegd tot één coherente tekst voor de scène, met specifieke prompts om overgangen vloeiend te houden (bijv. "De video gaat door...").

C. Scen-scoren (Scene-level Scoring)

Een LLM fungeert als "rechter" om de relevantie van elke scène te beoordelen.

• Prompting: De LLM ontvangt de beschrijving van de specifieke scène, de beschrijving van de volledige video en (optioneel) een gebruikersquery.
• Rol: De LLM krijgt de rol van een "objectieve evaluator" met een gedetailleerde rubriek (1-100 schaal) om consistentie te garanderen.
• Query-geleiding: Als een query is opgegeven, wordt de LLM instructie gegeven om scènes die overeenkomen met de intentie van de gebruiker hoger te scoren en irrelevante scènes lager.
• Resultaat: Elke scène krijgt een belangsscore.

D. Frame-scoren en Propagatie (Frame-level Scoring)

De scène-scores worden vertaald naar individuele frames om een fijne granulariteit te bereiken.

1. Initialisatie: Frames erven de score van hun ouder-scene.
2. Temporele gladmaking: Een cosinus-functie wordt gebruikt aan de grenzen van scènes om abrupte sprongen in scores te voorkomen.
3. Representativiteit binnen scènes: Binnen elke scène wordt de belangrijkheid van individuele frames bepaald door twee metrics:
   • Consistentie: Hoe uniform de frames binnen een segment zijn (gebaseerd op clustering van embeddings).
   • Uniekheid: Hoe afwijkend een segment is ten opzichte van de rest (novelty).
   • Een gewogen som van deze metrics bepaalt de uiteindelijke frame-scores.
4. Fusie: De gladgemaakte scène-score en de representativiteits-score worden vermenigvuldigd en genormaliseerd om de definitieve frame-impact te bepalen.

3. Belangrijkste Bijdragen

1. Eerste Zero-Shot Framework: Het is het eerste systeem dat videovastlegging mogelijk maakt op basis van natuurlijke taal zonder enige trainingsdata, annotaties of fine-tuning.
2. State-of-the-Art (SOTA) Resultaten: De methode presteert beter dan alle bestaande unsupervised methoden en is concurrerend met toonaangevende supervised methoden op standaard datasets (SumMe en TVSum), ondanks het ontbreken van trainingsdata.
3. VidSum-Reason Dataset: De auteurs hebben een nieuwe dataset gelanceerd met queries die complexe redenering en langstaart-concepten vereisen, wat een nieuwe benchmark vormt voor query-gebaseerde vastlegging.
4. Uitgebreide Experimenten: Een grondige ablatiestudie toont de impact van verschillende componenten (zoals normalisatiestrategieën, beeldencoders en prompt-ontwerp) op de prestaties.

4. Experimentele Resultaten

De methode is getest op drie datasets:

• SumMe & TVSum (Standaard Vastlegging):
  • Bereikt een F1-score van 56,84% op SumMe en 62,22% op TVSum.
  • Dit is een verbetering ten opzichte van de beste unsupervised methoden (bijv. +2,8% op SumMe) en presteert vergelijkbaar met de beste supervised methoden, terwijl deze laatste wel trainingsdata nodig hebben.
• QFVS (Query-Focused Video Summarization):
  • Op de QFVS-dataset (met specifieke gebruikersqueries) presteert de methode zeer sterk, met een gemiddelde F1-score van 53,42%.
  • Dit is slechts 1 punt lager dan de volledig supervised, data-hongerige methode CLIP-It, en significantly beter dan andere supervised baselines.
• VidSum-Reason (Nieuwe Benchmark):
  • De methode behaalde een gemiddelde F1-score van 43,4% op deze nieuwe dataset met redeneringsvragen, wat aanzienlijk beter is dan een random baseline (34,56%). Dit bewijst het vermogen om complexe, intentie-gedreven queries te begrijpen.

Kwalitatieve bevindingen:

• Lokaal vs. Globaal: Het gebruik van lokale visuele input (alleen de scène) voor beschrijvingen bleek beter te werken dan het maskeren van de scène binnen de volledige video.
• Normalisatie: De keuze van normalisatiestrategie (Min-Max voor SumMe, Exponentieel voor TVSum) is cruciaal voor de prestaties.
• LLM Sensitiviteit: De kwaliteit van de prompt (bijv. "Highly Instructive" prompts met duidelijke rubrieken) heeft een grote invloed op de stabiliteit en nauwkeurigheid van de scores.

5. Betekenis en Toekomstperspectief

Dit werk toont aan dat vooraf getrainde multimodale modellen, wanneer ze op een gestructureerde manier worden gecoördineerd via prompting, een krachtige basis vormen voor universele, tekst-gestuurde videovastlegging.

• Universele Toepasbaarheid: Omdat er geen trainingsdata nodig is, kan het systeem direct worden toegepast op elk nieuw domein (bijv. medische video's, surveillance, educatie) zonder aanpassing.
• Gebruikerscontrole: Het stelt gebruikers in staat om de samenvatting dynamisch te sturen via natuurlijke taal, wat essentieel is voor gepersonaliseerde toepassingen.
• Beperkingen: De huidige implementatie heeft nog een hoge rekenkosten voor zeer lange video's (hoewel het schaalbaar is via batching) en is gevoelig voor kleine veranderingen in de prompt-woordkeuze.

Samenvattend biedt "Prompts-to-Summaries" een nieuwe paradigma voor videovastlegging: van data-gedreven training naar een prompt-gedreven, zero-shot aanpak die zowel robuust als flexibel is.