MovieTeller: Tool-augmented Movie Synopsis with ID Consistent Progressive Abstraction

Dit paper introduceert MovieTeller, een trainingsvrij raamwerk dat off-the-shelf tools en een progressieve abstractiepijplijn combineert om ID-consistente en feitelijke filmsynopses te genereren zonder kostbare modelfine-tuning.

De kern

Stel je voor dat je een hele film wilt samenvatten in één kort verhaal. Dat klinkt simpel, maar voor een computer is dat als proberen een hele bibliotheek in één adem op te sommen zonder de boeken te verwarren.

Dit paper introduceert MovieTeller, een slimme nieuwe manier om films samen te vatten. Hier is hoe het werkt, vertaald naar alledaagse taal:

Het Probleem: De Verwarde Verteller

Stel je een kunstenaar voor die heel goed is in het beschrijven van één foto. Maar als je hem een hele film laat zien, raakt hij in de war.

• De identiteitscrisis: In scène 1 noemt hij de held "een man in een jas". In scène 5 noemt hij dezelfde man ineens "een persoon met een hoed". Hij vergeet dat het dezelfde persoon is.
• Het geheugenprobleem: Een hele film is te lang. De kunstenaar vergeet het begin als hij bij het einde is, waardoor het verhaal uit elkaar valt.

Bestaande computersystemen (zogenaamde Vision-Language Models) hebben precies dit probleem. Ze zien beelden, maar begrijpen niet wie wie is in een lang verhaal.

De Oplossing: MovieTeller (De Regisseur met een Assistent)

MovieTeller lost dit op door niet één grote, alles-wetende robot te bouwen, maar een team te vormen. Het werkt in drie stappen, alsof je een film maakt:

Stap 1: De Camera (Scènes splitsen)

Eerst wordt de film opgebroken in kleine stukjes (scènes), net als hoofdstukken in een boek. De computer pakt alleen de belangrijkste beelden uit elke scène, zodat hij niet overladen wordt met duizenden frames.

Stap 2: De Speciale Assistent (Het "Tool"-gebruik)

Dit is het slimste deel. De hoofdbewerker (de AI die de tekst schrijft) is niet goed in gezichten herkennen. Dus, MovieTeller roept een speciale assistent aan: een gezichtsherkenningstool.

• De analogie: Stel je voor dat de schrijver een roman schrijft, maar niet weet hoe de personages heten. Dan belt hij een "detective" op die zegt: "Kijk, die man in de hoek heet niet 'de man', hij heet Guo Zhui en hij staat links in het beeld."
• De schrijver krijgt deze feitelijke informatie (namen en exacte locatie) als een "stempel" op het beeld. Hierdoor kan hij nooit meer vergeten wie wie is. Hij schrijft: "Guo Zhui loopt naar de deur" in plaats van "Iemand loopt naar de deur".

Stap 3: De Samenvatting (Progressieve Abstractie)

Nu heeft de schrijver duizenden korte beschrijvingen van scènes. Als hij die allemaal tegelijk probeert te lezen, wordt hij gek.

• De analogie: In plaats van alles in één keer te doen, werkt MovieTeller als een redacteur.
  1. Eerst vat hij elke scène samen tot een hoofdstuk.
  2. Dan vat hij alle hoofdstukken samen tot één verhaal.
  3. Uiteindelijk krijgt hij de volledige film in één vloeiend verhaal.
     Dit zorgt ervoor dat het verhaal logisch blijft en niet uit elkaar valt.

Waarom is dit beter?

In tests hebben ze gekeken naar 100 films.

• Zonder hulp: De standaard AI schreef vaag: "Een man en een vrouw praten."
• Met MovieTeller: De AI schrijft: "Detective Guo Zhui en zijn partner Song Donglu bespreken de zaak."

De resultaten waren indrukwekkend:

• De verhalen waren 39% beter volgens een computerbeoordelaar.
• De consistentie van de personages (wie wie is) was 117% beter.
• Mensen vonden de samenvattingen van MovieTeller in 62% van de gevallen veel leuker en duidelijker dan die van de andere methoden.

Conclusie

MovieTeller is als het geven van een korte, feitelijke handleiding aan een schrijver. Door een specialist in te huren om de gezichten te herkennen en het verhaal stap voor stap op te bouwen, krijg je een samenvatting die niet alleen klopt, maar ook echt voelt als het verhaal van de film, met de juiste namen en een logische opbouw. Het is een manier om AI te laten werken zoals een slimme mens: door de juiste hulpmiddelen te gebruiken op het juiste moment.

Technische samenvatting

Probleemstelling

De explosieve groei van digitaal entertainment vereist geautomatiseerde video-samenvattingen voor toepassingen zoals content-indexering en persoonlijke aanbevelingen. Bestaande Vision-Language Models (VLMs) stuiten echter op twee kritieke beperkingen bij het genereren van synopses voor lange video's (zoals films en series):

1. Gebrek aan ID-consistente karakteridentificatie: Algemene VLMs hebben moeite om specifieke personages consistent te herkennen en te volgen door een lang verhaal heen. Ze beschrijven een hoofdrolspeler soms als "een man" en later als "een persoon", wat leidt tot hallucinaties en gebrek aan continuïteit in de identiteit van personages.
2. Gebroken narratieve coherentie: De kwadratische complexiteit van de self-attention-mechanismen in Transformers maakt het verwerken van volledige films (duizenden frames) in één keer computatiewiskundig onhaalbaar. Simpele steekproeven of concatenatie van frames leiden vaak tot gefragmenteerde samenvattingen in plaats van een samenhangend verhaal.

Methodologie: MovieTeller

De auteurs stellen MovieTeller voor, een nieuw framework dat gebruikmaakt van tool-augmentatie en progressieve abstractie. Het kernprincipe is dat het framework geen nieuwe modellen traint, maar bestaande, "off-the-shelf" modellen op een plug-and-play manier combineert.

Het proces verloopt in drie hoofdfasen:

1. Scenesegmentatie en Keyframe-extractie:

   • De video wordt opgesplitst in semantisch coherente scènes met behulp van PySceneDetect.
   • Er wordt één representatieve keyframe per scène geselecteerd.
   • Een "Keyframe Quality Gate" filtert niet-informatieve frames (zoals zwarte schermen) weg door te kijken naar helderheid en pixelvariantie.

2. Factual-Grounded Scene Description (Tool-Augmentatie):

   • Dit is de kerninnovatie. In plaats van de VLM alleen te laten kijken, wordt een gespecialiseerde "tool" (een gezichtsherkenningmodel, specifiek InsightFace met ArcFace) ingeroepen.
   • Er wordt een database van hoofdpersonages opgebouwd met gezichts-embeddings.
   • Voor elke keyframe worden gezichten gedetecteerd en geïdentificeerd. De resultaten (naam van het personage en de bounding box-coördinaten) worden gebruikt als Factual Groundings.
   • Deze feitelijke informatie wordt in de prompt aan de VLM gegeven. De VLM wordt hierdoor gedwongen om de scène te beschrijven met de juiste, verifieerbare namen en posities, wat hallucinaties voorkomt.

3. Progressieve Abstractie:

   • Om de context-lengtebeperkingen van VLMs te omzeilen, wordt een meerstapsproces gebruikt:
     • Stap 1: De gedetailleerde beschrijvingen van individuele scènes worden samengevoegd tot "hoofdstukken" (chapters).
     • Stap 2: De VLM vat elk hoofdstuk samen tot een abstractere samenvatting, waarbij de karakternamen behouden blijven.
     • Stap 3: Alle hoofdstuk-samenvattingen worden samengevoegd en de VLM (met de rol van een scenarioschrijver) genereert de uiteindelijke, holistische filmsynopsis.

Belangrijkste Bijdragen

• Training-vrij Framework: MovieTeller vereist geen kostbare fine-tuning van grote modellen. Het is modulair en gebruikt gespecialiseerde tools voor taken waar algemene VLMs slecht in zijn (zoals gezichtsherkenning).
• Factuele Verankering: Door externe tools te gebruiken om personage-identiteiten en locaties (bounding boxes) te verifiëren, wordt de VLM gestuurd om op feiten gebaseerde beschrijvingen te genereren.
• Progressieve Abstractie: Een hiërarchische aanpak die de complexe taak van het samenvatten van een hele film opdeelt in beheersbare stappen, wat de narratieve coherentie verbetert en rekenkracht bespaart.
• Uitgebreide Validatie: Het framework is getest op een dataset van 100 films (meer dan 10.000 minuten), wat een grote diversiteit aan genres en decennia omvat.

Resultaten

De experimenten tonen aan dat MovieTeller significant beter presteert dan end-to-end baselines (zonder hints) en ablatiemodellen (alleen namen zonder coördinaten):

• Factual Accuracy & ID Consistency: Er is een enorme verbetering in het consistent houden van personage-identiteiten. Op de InternVL3-basismodel steeg de ID-consistentie-score van 1.75 naar 3.80 (een toename van 117%).
• Narratieve Coherentie: De finale synopses zijn logischer en volgen het verhaal beter. De "LLM-as-a-Judge" score steeg van 2.17 naar 3.02.
• Menselijke Evaluatie: Menselijke beoordelaars gaven de methode van MovieTeller de voorkeur in 60% tot 62% van de gevallen, vergeleken met slechts 4-6% voor de basismethode zonder hints.
• Semantische Overeenkomst: De BERTScore (semantische similariteit) was consistent hoger dan bij de basismethoden, wat aangeeft dat de gegenereerde teksten beter overeenkomen met de feitelijke inhoud van de film.

Betekenis en Toekomstperspectief

MovieTeller toont aan dat het combineren van gespecialiseerde tools met generatieve AI een krachtige strategie is om de beperkingen van huidige multimodale modellen te overwinnen, zonder dat er zware training nodig is. Het lost een fundamenteel probleem op in het begrijpen van lange video's: het behoud van identiteit en context.

Beperkingen en toekomstig werk:

• Het framework is momenteel afhankelijk van de volledigheid van de gezichtsdatabase en mist audio-informatie (dialogen).
• Toekomstige richtingen omvatten het integreren van audio (via spreker-diarisatie) voor dialog-bewuste samenvattingen en het ontwikkelen van dynamische tool-gebruiksprotocollen waarbij de VLM zelf beslist welke tools het moet gebruiken.
• De modulaire aard van het systeem maakt het toepasbaar op andere domeinen zoals sportanalyse en documentairesamenvatting.