Automatic Funny Scene Extraction from Long-form Cinematic Videos

Dit artikel introduceert een end-to-end systeem dat shotdetectie, multimodale scènelokalisatie en humorherkenning combineert om automatisch grappige scènes uit lange films te extraheren en te rangschikken, wat leidt tot aanzienlijke verbeteringen in nauwkeurigheid en de mogelijkheid om boeiende, beknopte content voor streamingplatforms te genereren.

De kern

Stel je voor dat je een enorme, drie uur durende filmkist hebt. Daarin zitten duizenden kleine momenten: een explosie, een hartverscheurende scène, een romantisch moment en... een paar momenten die je echt laten lachen.

Het probleem? Als je een streamingdienst bent (zoals Amazon Prime Video), wil je die grappige momenten eruit halen om je klanten te verleiden. Maar tot nu toe moest iemand dat handmatig doen. Iemand moest de hele film bekijken, stoppen, noteren, en dan hopen dat ze het juiste moment hadden gevonden. Dat is als het zoeken naar een speld in een hooiberg, terwijl je de hele hooiberg moet doorzoeken.

Deze paper beschrijft een slimme robot die dit werk voor je doet. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Kijk-en-Verbind"-Robot (Scène Detectie)

Eerst moet de robot de film in stukjes hakken.

• Het probleem: Een film bestaat uit duizenden korte beelden (shots). Soms duurt een shot 2 seconden, soms 20. De robot moet weten: "Ah, dit shot hoort bij die vorige, samen vormen ze één scène."
• De oplossing: De robot kijkt niet alleen naar de beelden, maar leest ook de "bijschriften" (wat er gebeurt in de scène).
• De analogie: Stel je voor dat je een puzzel maakt. De robot gebruikt een speciale techniek (die ze "triplet mining" noemen) waarbij hij drie puzzelstukjes vergelijkt: Dit stukje lijkt op dat stukje, maar is heel anders dan dat derde stukje. Zo leert hij snel welke stukjes bij elkaar horen. Hij combineert dit met het lezen van de tekst, zodat hij niet alleen naar de beelden kijkt, maar ook begrijpt wat er gezegd wordt.
• Het resultaat: De robot kan de film in logische scènes verdelen met een nauwkeurigheid van 98%.

2. De "Lach-En-Prat"-Detector (Humor Herkenning)

Nu de film in stukjes is, moet de robot weten: "Is dit grappig?"

• Het probleem: Humor is lastig. Soms lachen mensen, soms niet. Soms is het een woordgrap, soms een fysieke grap. En soms is iets "grappig" maar eigenlijk gemeen (zoals pesten), wat je niet wilt laten zien.
• De oplossing: De robot heeft drie zintuigen:
  1. Oren: Hij luistert naar gelach.
  2. Mond: Hij leest de tekst (de grapjes) en zoekt naar de klassieke structuur van een grap: de setup (de voorbereiding) en de punchline (de klap).
  3. Geweten: Hij heeft een "veiligheidscontrole". Als hij hoort dat iemand schreeuwt of huilt (bijvoorbeeld bij pesten), gooit hij de scène direct in de prullenbak, zelfs als er gelach is.
• De analogie: Het is alsof je een zeer ervaren komiek bent die ook een strenge ouder is. Hij lacht mee met de grap, maar zegt direct: "Nee, dit is geen grappige grap, dit is pesten," en stopt het.

3. De "Top-10"-Lijst (Ranking)

De robot vindt misschien wel 50 grappige momenten. Maar welke zijn de allerbeste?

• De oplossing: Hij geeft elk moment een score. Hij kijkt naar: hoeveel gelach was er? Hoe lang duurde het? Was de grap slim? En hoe kort was de scène? (Korte, pakkende clips zijn vaak beter voor sociale media).
• Het resultaat: Hij maakt een lijstje met de top-grappige momenten.

Wat leverde dit op?

De makers hebben dit systeem getest op echte films en trailers.

• Succes: Van de clips die de robot selecteerde, vonden 87% van de professionele beoordelaars: "Ja, dit is echt bedoeld om grappig te zijn."
• Snelheid: Het systeem werkt veel sneller dan een mens en kan duizenden films tegelijk analyseren.
• Toepassing: Je ziet dit nu al terug op streamingdiensten. Als je met je muis over een titel gaat, zie je vaak een kort, grappig filmpje dat automatisch afspeelt. Dat is dit systeem aan het werk!

De "Maar..." (Uitdagingen)

Niet alles is perfect.

• Trailer-chaos: In trailers wisselen beelden heel snel. De robot raakt daar soms even de draad kwijt, omdat de scènes zo kort zijn.
• Taal: Het systeem werkt nu vooral goed met Engels. Humor in andere talen (zoals woordgrappen in het Nederlands) is lastiger voor de robot.
• Subjectiviteit: Wat jij grappig vindt, vindt je buurman misschien niet. De robot probeert dit op te lossen door te kijken naar wat "meeste mensen" grappig vinden, maar het blijft een gok.

Kortom: Dit papier beschrijft een slimme manier om films te "ontleden" met een robot die ziet, hoort en leest, zodat streamingdiensten jou precies de grappige momenten kunnen laten zien die je nodig hebt om te blijven kijken. Het is alsof je een persoonlijke grappenmaker hebt die voor je werkt in de achtergrond van je tv!

Technische samenvatting

Probleemstelling

Het automatisch extraheren van boeiende en kwalitatief hoogstaande humoristische scènes uit lange films en series is cruciaal voor het creëren van aantrekkelijke video-voorvertoningen en "snackable" content op streamingplatforms (zoals Amazon Prime Video). Huidige methoden zijn grotendeels handmatig, wat tijdrovend en kostbaar is.

De uitdagingen bij het lokaliseren van humor in langdurige cinematische content zijn:

1. Complexe tijdsstructuren: Het onderscheiden van scènes in lange video's vereist redeneren over zowel korte als lange termijn afhankelijkheden, in tegenstelling tot eenvoudige shot-detectie.
2. Multimodale aard van humor: Humor is niet alleen visueel; het rust op tekst, audio (gelach, intonatie), gebaren en contextuele afhankelijkheden.
3. Gebrek aan data: Er zijn weinig grote, gelabelde datasets voor het afbakenen van humoristische grenzen in lange video's.
4. Filtering: Het is essentieel om ongeschikte "humor" (zoals pesten, intimidatie of culturele stereotypen) te filteren om de gebruikerservaring te beschermen.

Methodologie

Het paper introduceert een end-to-end automatische pijplijn die bestaat uit drie hoofdblokken: shot-detectie, multimodale scène-segmentatie en humor-tagging/ranking.

1. Shot Detectie

• Er wordt gebruikgemaakt van TransNetV2, een state-of-the-art voorgeöordeeld netwerk, om shot-grenzen te detecteren (sequentie van frames van dezelfde camera).

2. Multimodale Scène-Segmentatie

Dit blok groepeert shots in semantisch samenhangende scènes.

• Visuele Encoder: Een aangepast X-CLIP model (cross-frame transformer) wordt gebruikt om visuele features te extraheren. Dit wordt verfijnd met een DINO projection head (een MLP) om een 4096-dimensionele feature vector per shot te genereren.
• Textuele Encoder: Omdat lange video's vaak slechts enkele keyframes hebben, worden shot-level captions gegenereerd met VideoLLaVA. Deze worden geëncodeerd met BLIP-2 tot 768-dimensionele teksten.
• Contrastief Voorbewerking (Triplet Loss): Om shot-representaties te leren die goed binnen scènes clusteren en tussen scènes onderscheiden, wordt Triplet Loss gebruikt.
  • Innovatie: In plaats van willekeurige augmentaties, gebruiken de auteurs een geleide triplet-mining strategie gebaseerd op ground-truth labels van de MovieNet-SSeg dataset. Shots binnen dezelfde scène zijn "positieven", shots uit andere scènes zijn "negatieven".
  • De loss-functie zorgt ervoor dat shots uit dezelfde scène dichter bij elkaar in de feature space liggen dan shots uit andere scènes.
• Supervised Finetuning: Een MLP-head wordt getraind op een venster van shots (centrale shot + voorafgaande en volgende shots) om de scène-grenzen nauwkeurig te voorspellen. Visuele en tekstuele features worden samengevoegd (totaal 4864 dimensies).

3. Multimodale Humor Tagging & Ranking

Nadat scènes zijn geïdentificeerd, wordt bepaald of ze grappig zijn.

• Audio-analyse: Een ResNet18-model (getraind op Switchboard) detecteert gelach (zowel individueel als publiek).
• Tekst-analyse (Verbaal): Een aangepast ColBERT-model analyseert de transcriptie (via AWS-Transcribe).
  • Aanpassing: Het originele ColBERT werkt goed voor korte teksten. Voor lange scènes (30s-2min) wordt een 10-zins sampling strategie ontwikkeld: de eerste twee zinnen (setup), de laatste twee (punchline) en zes willekeurige zinnen uit het midden worden verwerkt om context-relaties te vangen.
• Veiligheidsfilter (Guardrails): Een audio-tagging model (getraind op AudioSet) filtert scènes met negatieve emoties (huilen, schreeuwen) of ongeschikte humor (pestgedrag) eruit.
• Scoring: Een heuristische formule combineert vier factoren voor ranking:
  1. Gemiddelde gelach-score.
  2. Percentage tijd dat gelach boven een drempel ligt.
  3. ColBERT softmax-score.
  4. Scène-lengte (kortere grappige scènes worden geprefereerd).

Belangrijkste Bijdragen

1. End-to-End Pijplijn: Een volledig geautomatiseerd systeem voor het extraheren van humor uit lange films, webseries en trailers.
2. Geleide Triplet Mining: Een nieuwe aanpak voor shot-representatie die gebruikmaakt van ground-truth scène-grenzen om triplet-loss te optimaliseren, wat leidt tot betere scène-detectie dan eerdere contrastieve methoden.
3. Efficiënte Shot-Encoder: Een combinatie van X-CLIP en DINO die effectief leert met minimale training (80k triplets over 25 epochs).
4. Multimodale Humor-detectie voor Lange Tekst: Een aangepaste ColBERT-architectuur die specifiek is ontworpen voor de lange context van filmscènes, met een F1-score van 0.834.
5. Safeguarding: Integratie van een audio-filter om ongeschikte content (zoals pesten) te elimineren voordat deze aan gebruikers wordt getoond.

Resultaten

De prestaties zijn geëvalueerd op diverse datasets en door professionele curatoren:

• Scène Detectie:
  • 18,3% verbetering in Average Precision (AP) op de OVSD-dataset ten opzichte van de state-of-the-art.
  • Op de MovieNet-SSeg dataset: 51,5% AP en 46,4% F1 wanneer visuele en tekstuele modaliteiten worden gecombineerd (tegenover 47,2% AP voor alleen visueel).
• Humor Detectie:
  • Bereikt een F1-score van 0,834 en nauwkeurigheid van 0,728 op de MHD-dataset, wat beter presteert dan bestaande transformer-modellen en multimodale fusiemodellen.
• Curator Evaluatie (5 films & 11 trailers):
  • 98% van de geëxtraheerde scènes werd correct gelokaliseerd (accurate scène-grenzen).
  • 87% van de clips werd door curatoren bevestigd als "bedoeld om grappig te zijn" (voor films).
  • 100% voor trailers.
  • Inter-annotator overeenstemming (Cohen's κ) was minimaal 0,75, wat wijst op hoge betrouwbaarheid.

Betekenis en Toekomstperspectief

Deze technologie heeft directe toepassing voor streamingplatforms om de gebruikersbetrokkenheid te verhogen via:

• Autoplay-voorvertoningen: Grappige clips die automatisch afspelen wanneer een gebruiker over een titel hovert.
• "Fast Laugh"-ervaring: Snelle, geautomatiseerde compilaties van grappige momenten voor mobiele gebruikers.

Het systeem is modulair en kan worden aangepast aan verschillende behoeften. Toekomstig werk richt zich op het verbeteren van de prestaties bij trailers (snelle cuts), het uitbreiden naar meertalige content (nu enkel Engels), en het verfijnen van de ranking-modellen met meer diverse gebruikersdata om culturele bias te verminderen. De implementatie bij Amazon Prime Video prioriteert nauwkeurigheid boven recall om de gebruikerservaring veilig en positief te houden.