Narrative Weaver: Towards Controllable Long-Range Visual Consistency with Multi-Modal Conditioning

Dit paper introduceert "Narrative Weaver", een nieuw raamwerk dat door middel van een multimodaal taalmodel, een dynamisch geheugen en een progressieve trainingsstrategie langdurige visuele consistentie en narratieve coherentie in gegenereerde content mogelijk maakt, ondersteund door de introductie van het EAVSD-dataset voor e-commerce reclame.

De kern

De "Verhaalwever": Hoe AI eindelijk een lang, consistent verhaal kan vertellen

Stel je voor dat je een regisseur bent die een film wil maken. Je hebt een geweldig script, maar elke keer als je de camera op de knop drukt, verandert de hoofdpersoon. In scène 1 heeft hij een blauwe hoed, in scène 2 een rode pet, en in scène 3 is hij plotseling een vrouw. Of de achtergrond verandert van een zonnig park in een donkere kelder.

Dit is precies het probleem dat de meeste huidige AI-filmmakers (zoals Sora of Midjourney) hebben. Ze zijn fantastisch in het maken van één prachtige foto of een heel kort filmpje, maar zodra je een lang verhaal wilt vertellen, raken ze de draad kwijt. Alles wordt rommelig en onlogisch.

De auteurs van dit paper, Narrative Weaver, hebben een oplossing bedacht. Ze noemen hun systeem "Narrative Weaver" (Verhaalwever). Laten we uitleggen hoe dit werkt met een paar simpele metaforen.

1. De Regisseur en de Camera (Het Brein en de Hand)

Stel je Narrative Weaver voor als een filmset met twee hoofdrolspelers:

• De Regisseur (De AI-Regelaar): Dit is een slimme "Denker" (een grote taalmodel). Zijn enige taak is het schrijven van het script. Hij kijkt naar je idee ("Een familie in een herfstpark") en bedenkt stap voor stap wat er moet gebeuren: "Eerst staat de moeder, dan geeft ze een flesje, dan loopt de vader..." Hij zorgt ervoor dat het verhaal logisch is.
• De Camera (De AI-Schilder): Dit is de "Maker" (een beeldgeneratie-model). Hij luistert niet naar de hele film in één keer, maar alleen naar wat de Regisseur op dat moment zegt.

Het probleem in het verleden: De Regisseur en de Camera werkten niet samen. De Camera probeerde alles zelf te onthouden, wat leidde tot die "hoed-veranderingen".

De oplossing van Narrative Weaver: Ze hebben een geheugenbank (een "Memory Bank") toegevoegd.
Stel je dit voor als een fotoboek dat de Camera altijd bij zich heeft.

• Als de Camera een nieuwe foto maakt, kijkt hij niet alleen naar het script, maar bladt hij ook even terug in zijn fotoboek.
• Hij ziet: "Ah, in de vorige foto had de moeder een rode cape en een glimlach. Die details moet ik onthouden!"
• Dankzij dit fotoboek (de Memory Bank) verandert de moeder niet per ongeluk in een man of verandert haar kleding niet. De "visuele drift" (het wegzwemen van de stijl) wordt gestopt.

2. De Bouwstijl: Stap voor Stap (Training)

Je kunt een complexe machine niet in één dag bouwen. De auteurs hebben een slimme stap-voor-stap trainingsmethode gebruikt, alsof ze een kind leren tekenen:

• Stap 1: Het Script leren. Eerst leren ze de "Regisseur" alleen maar om goede verhalen te bedenken. Hij hoeft nog niet te tekenen. Hij leert: "Als de moeder een flesje geeft, moet de baby er naar reiken."
• Stap 2: De vertaling. Nu leren ze de "Regisseur" om zijn gedachten om te zetten in een taal die de "Camera" begrijpt. Het is alsof de Regisseur een vertaler aanstelt die zegt: "Teken een vrouw in een rode cape, niet 'een moeder'."
• Stap 3: De details. Tot slot leren ze de "Camera" om heel precies te kijken naar de vorige foto's en de details (zoals de textuur van de cape of de kleur van de lucht) exact over te nemen.

Door deze stappen apart te doen, wordt het systeem veel efficiënter en beter dan als je alles tegelijk probeert te leren.

3. Waarom is dit belangrijk? (De E-commerce Metafoor)

Stel je voor dat je een webshop hebt die schoenen verkoopt. Je wilt een reclamevideo maken waarin een model in verschillende situaties loopt: op het strand, in de stad, in de sneeuw.

• Zonder Narrative Weaver: De AI maakt een foto van het strand, maar in de volgende foto heeft het model ineens een andere schoenmaat, een ander gezicht, of loopt het op een andere manier. De klant denkt: "Wat is dit? Is dit wel hetzelfde merk?"
• Met Narrative Weaver: De AI zorgt ervoor dat het model, de schoenen en de sfeer overal hetzelfde blijven, terwijl de achtergrond verandert. Het voelt als een echte, professionele film.

4. De Nieuwe Bibliotheek (Het Dataset)

Een ander groot probleem was dat er geen goede "oefenmateriaal" was. Bestaande datasets waren te kort of te rommelig.
De auteurs hebben daarom zelf een enorme nieuwe bibliotheek gemaakt genaamd EAVSD (E-commerce Advertising Video Storyboard Dataset).

• Dit is een verzameling van 330.000 prachtige plaatjes met bijbehorende verhalen, speciaal gemaakt voor reclames.
• Het is als een schoolboek voor AI's, zodat ze kunnen leren hoe ze een consistent verhaal moeten vertellen.

Samenvatting in één zin

Narrative Weaver is een slim systeem dat een Regisseur (voor het verhaal) koppelt aan een Camera met een goed geheugen (voor de consistentie), zodat AI eindelijk in staat is om lange, samenhangende films of reclames te maken zonder dat personages of achtergronden elke seconde veranderen.

Het is alsof je van een tovenaar die alleen willekeurige bloemen kan toveren, een echte tuinier hebt gemaakt die een heel, prachtig park kan ontwerpen waar alles perfect bij elkaar past.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Narrative Weaver: Towards Controllable Long-Range Visual Consistency with Multi-Modal Conditioning" in het Nederlands.

Probleemstelling

Generatieve AI-modellen, zoals diffusion-modellen en multimodale grote taalmodellen (MLLM's), hebben de creatie van visuele content revolutionair veranderd. Ze excelleren echter voornamelijk in het genereren van hoogwaardige, korte content (enkele frames of korte video's). Een fundamentele uitdaging blijft onopgelost: het automatisch plannen en genereren van lange visuele verhalen met strikte semantische en visuele consistentie.

Bestaande modellen kampen met de volgende beperkingen:

• Visuele Drift: Bij het genereren van lange sequenties veranderen personages, achtergronden en stijlen vaak onbedoeld (visuele drift), wat essentieel is voor storytelling en reclame.
• Gebrek aan Planning: Veel modellen zijn beperkt tot single-frame operaties of genereren sequenties zonder diepgaande narratieve planning.
• Data Schaarste: Er ontbreekt een geschikt dataset dat multi-modale conditionering (tekst + startbeeld) koppelt aan lange, narratief coherente sequenties. Bestaande datasets bevatten vaak te korte clips of missen de nodige narratieve annotaties.

Methodologie: Narrative Weaver

Narrative Weaver is een hybride framework dat Autoregressive (AR) modellen en Diffusion modellen combineert om lange visuele consistentie te bereiken via drie kerncomponenten:

1. Hybride Architectuur (AR + Diffusion):

   • AR-component (De "Regisseur"): Een Multimodaal Groot Taalmodel (MLLM) fungeert als regisseur. Het ontvangt input (startbeeld + instructies) en voert twee taken uit:
     • Het plant het narratief in tekstvorm (storyboard).
     • Het comprimeert historische multimodale informatie in een compacte, leerbare query-representatie ($Q$).
   • Diffusion-component (De "Tekenaar"): Een diffusion-model decodeert deze representatie om visuele content te genereren. Het combineert de leerbare query's met fijne, VAE-gecodeerde kenmerken van de input-voorwaarde om een uitgebreid conditioneel signaal te vormen.

2. Dynamische Memory Bank:

   • Om visuele drift te voorkomen, introduceert het framework een Memory Bank die kenmerken van eerder gegenereerde beelden cacheert.
   • In plaats van alle vorige frames direct te concateneren (wat rekenkundig duur is), worden kenmerken van $T$ vorige frames verwerkt via gemiddelde pooling met een geometrische vervalfactor ($\lambda$). Dit zorgt voor een gebonden totale geheugenlengte, waarbij recente geschiedenis zwaarder weegt dan oudere frames, terwijl de lange-range consistentie behouden blijft.

3. Progressieve Trainingsstrategie:
   Het model wordt in drie fasen getraind om data-efficiëntie te maximaliseren:

   • Fase 1 (Narrative Planning): Training van het MLLM-component om narratieve plannen te maken en het juiste moment voor visuele output te bepalen.
   • Fase 2 (Semantische Coherentie): Training van de leerbare queries en de projector om deze af te stemmen op de semantische ruimte van het diffusion-model. Dit gebeurt eerst op grote schaal (laagresolutie) en vervolgens op specifieke data (hoogresolutie).
   • Fase 3 (Fijne Afstemming): Volledige training van het diffusion-model met het uitgebreide conditionele signaal (inclusief Memory Bank kenmerken) om fijne, inter-frame consistentie te bereiken.

Kernbijdragen

1. Het Framework: Narrative Weaver is het eerste holistische systeem dat narratieve planning, fijne controle en lange-range coherentie naadloos integreert. Het lost het probleem op van visuele drift in lange sequenties zonder complexe pipelines.
2. Het Dataset (EAVSD): De auteurs hebben de E-commerce Advertising Video Storyboard Dataset (EAVSD) ontwikkeld en vrijgegeven. Dit is de eerste uitgebreide dataset voor deze taak, met meer dan 330.000 hoogwaardige afbeeldingen met rijke narratieve annotaties (product, beschrijving, marketingdoel, storyboard). Het is specifiek ontworpen voor e-commerce waar merkconsistentie cruciaal is.
3. Efficiëntie: Door de computatie van coherentie uit te besteden aan het MLLM en de Memory Bank te gebruiken, groeit de rekencomplexiteit lineair met het aantal frames, in plaats van kwadratisch zoals bij traditionele self-attention mechanismen in diffusion-modellen.

Resultaten

De prestaties van Narrative Weaver zijn gevalideerd via uitgebreide experimenten in drie scenario's:

• Consistente Visuele Generatie (Q1): Op benchmarks (zoals OmniGen2) behaalde Narrative Weaver state-of-the-art resultaten op metrics voor tekst-beeld consistentie, stijlconsistentie en contentconsistentie. Het overtreft bestaande methoden zoals StoryDiffusion, Flux.1-Kontext en Qwen-Image-Edit. Het vermijdt de "copy-paste" artefacten die bij andere modellen voorkomen.
• Autonome Narratieve Planning (Q2): Op de CoMM-benchmark (vraag-gebaseerde generatie) toonde het model superioriteit in het logisch doorontwikkelen van verhalen en het behouden van consistentie tussen tekst en beelden.
• E-commerce Toepassing (Q3): In praktische tests voor reclamevideo's slaagde het model erin om coherent storyboard-sequenties te genereren die strikt voldoen aan productidentiteit en marketingdoelen, wat essentieel is voor commerciële toepassingen.
• User Study: Een menselijke evaluatie (met >180 respondenten) bevestigde een sterke voorkeur voor de output van Narrative Weaver ten opzichte van concurrenten, vooral vanwege de cinematografische kwaliteit en natuurlijke overgangen.

Significantie

Narrative Weaver markeert een belangrijke stap in de evolutie van generatieve AI:

• Van Korte naar Lange Content: Het opent de deur naar het genereren van volledige films, strips en complexe reclamecampagnes met AI, waarbij de consistentie van personages en omgevingen over lange tijd wordt gegarandeerd.
• Praktische Toepasbaarheid: Door de focus op e-commerce en het bieden van een data-efficiënte trainingsstrategie, maakt het framework AI-gestuurde contentcreatie toegankelijk voor zakelijke toepassingen.
• Nieuwe Benchmark: De introductie van de EAVSD dataset vult een kritieke lacune in de onderzoeksland en biedt een standaard voor het evalueren van lange-range visuele consistentie.

Kortom, Narrative Weaver biedt een robuust, schaalbaar en effectief kader voor het overbruggen van de kloof tussen korte, hoogwaardige visuele generatie en professionele, narratief coherente productie.