SAGE: Structure-Aware Generative Video Transitions between Diverse Clips

SAGE is een zero-shot methode die structurele geleiding combineert met generatieve synthese om naadloze en visueel coherente videotransities te creëren tussen diverse clips, waardoor het de beperkingen van bestaande klassieke en generatieve methoden overtreft zonder dat er gespecialiseerde trainingsdata nodig is.

De kern

Stel je voor dat je twee heel verschillende video's hebt. De ene toont een paard dat galoppeert, en de andere een hond die rent. Je wilt ze naadloos aan elkaar plakken, alsof het paard magisch in de hond verandert.

Als je dit doet met de oude, simpele methoden (zoals een "cross-fade", waarbij het ene beeld langzaam vervaagt terwijl het andere verschijnt), krijg je een rommelig resultaat. Het lijkt alsof er een spookachtige dubbelganger van beide dieren door elkaar heen loopt, of dat het beeld instort tot een wazige vlek.

SAGE is de nieuwe slimme oplossing die door onderzoekers van UCL is bedacht. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Kunstenaar in de Machine

SAGE kijkt niet zomaar naar pixels; het leert van echte videomakers. Als een menselijke editor twee verschillende scènes moet verbinden, doet hij of zij drie dingen:

• Hij houdt de lijnen vast: Hij zorgt dat de contouren (zoals de ruglijn van het paard) soepel overgaan in de contouren van de hond.
• Hij volgt de beweging: Als de camera naar rechts beweegt, blijft die beweging door de hele overgang consistent.
• Hij werkt in lagen: Hij laat de achtergrond rustig vervagen terwijl het hoofdonderwerp (het dier) zich verandert.

SAGE automatiseert precies dit proces.

2. Hoe werkt SAGE? (De "Bouwpakket"-analogie)

Stel je voor dat je een brug moet bouwen tussen twee eilanden die er totaal anders uitzien.

• Stap 1: De Lijnen tekenen (Structuur)
  SAGE kijkt eerst naar de laatste frame van het eerste filmpje en de eerste frame van het tweede. Het tekent alle belangrijke lijnen (de randen van objecten) en kijkt hoe ze bewegen. Het is alsof je een schets maakt van de "skeletten" van beide scènes.

• Stap 2: De Brug bouwen (Interpolatie)
  Nu moet je die twee skeletten met elkaar verbinden.

  • De oude manier: Je zou gewoon een rechte lijn trekken. Dat werkt niet goed als de eilanden ver uit elkaar liggen of als de beweging gek is. De brug zou instorten of kruisende lijnen krijgen (alsof de poten van het paard door de rug van de hond gaan).
  • De SAGE-methode: SAGE gebruikt een slimme techniek genaamd B-splines. Denk hierbij aan een flexibele, rubberen lat die je buigt. SAGE zorgt dat de lijnen van het paard niet zomaar naar de lijnen van de hond springen, maar dat ze een soepele, natuurlijke bocht maken die de beweging van de camera en het object volgt. Het zorgt ervoor dat de "brug" nooit in de lucht zweeft of in elkaar klapt.

• Stap 3: De Magie (Generatieve AI)
  Nu SAGE een perfect plan heeft (de lijnen en de beweging), geeft hij dit plan aan een zeer slimme AI (een "diffusiemodel"). Deze AI is al getraind om prachtige beelden te maken, maar heeft vaak geen idee hoe ze moeten bewegen.
  SAGE zegt tegen de AI: "Hier is het skelet en hier is de beweging. Vul nu de details in." De AI vult de ruimte tussen de lijnen in met realistische pixels, waardoor het paard eruitziet alsof het echt in de hond verandert, zonder dat er vreemde spookbeelden ontstaan.

3. Waarom is dit speciaal?

De meeste slimme AI's hebben duizenden voorbeelden nodig om te leren hoe je twee dingen aan elkaar plakt. Maar voor zulke creatieve, rare overgangen (zoals een kasteel dat verandert in een strand) bestaan er geen duizenden voorbeelden om te leren van.

SAGE is slim genoeg om zonder voorbeelden te werken (dit noemen ze "zero-shot"). Het gebruikt de regels van de kunstenaar (lijnen en beweging) als kompas, in plaats van te proberen iets te "leren" uit een database.

Samenvattend

SAGE is als een slimme regisseur die twee acteurs (video's) die totaal verschillende rollen spelen, laat samensmelten in één scène. In plaats van ze simpelweg op elkaar te plakken (wat er raar uitziet), zorgt hij ervoor dat hun bewegingen en houdingen perfect op elkaar aansluiten, zodat de kijker het overgangsmoment nauwelijks merkt. Het resultaat is een vloeiende, magische overgang die eruitziet alsof het altijd al zo was bedoeld.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "SAGE: Structure-Aware Generative Video Transitions between Diverse Clips", geschreven in het Nederlands.

Probleemstelling

Video-overgangen (transities) zijn essentieel voor het naadloos verbinden van twee videoclips in bewerking en storytelling. Bestaande methoden hebben echter aanzienlijke beperkingen, vooral bij het verbinden van diverse clips (clips die sterk verschillen in stijl, structuur of semantiek):

• Triviale methoden: Lineaire menging (cross-fade) leidt tot artefacten zoals ghosting, flickering en het verbreken van temporele coherentie.
• Traditionele en recente generatieve methoden: Technieken zoals morphing, frame-interpolatie (bijv. FILM) en generatieve "inbetweening" (het genereren van tussenframes) werken goed bij clips met kleine temporele gaten en gelijke semantiek. Ze falen echter vaak bij grote semantische verschillen, wat resulteert in structurele ineenstorting, onnatuurlijke bewegingen of het genereren van irrelevante objecten.
• Data-tekort: Het ontbreken van grote, gecurateerde datasets met artistieke overgangen tussen diverse clips maakt het trainen of fine-tunen van specifieke generatieve modellen onmogelijk.

Het doel is dus het creëren van visueel coherente, semantisch bewuste en vloeiende overgangen tussen sterk verschillende clips in een zero-shot setting (zonder extra training).

Methodologie: SAGE

SAGE (Structure-Aware Generative vidEo transitions) is een zero-shot benadering die artistieke workflows nabootst door structurele geleiding te combineren met generatieve synthese. De methode verloopt in drie hoofdstadia (zie Figuur 3 in het paper):

1. Kenmerkextractie (Feature Extraction)

Uit de laatste frame van clip A ($C_A$) en de eerste frame van clip B ($C_B$) worden drie complementaire kenmerken geëxtraheerd:

• Structurele kenmerken: Lijnsegmenten (silhouetten en dominante contouren) worden gedetecteerd met een vooraf getrainde lijndetector (GlueStick).
• Bewegingskenmerken: Optische stroming (optical flow) wordt geschat met SEA-RAFT om lokale bewegingsrichtingen en -snelheden vast te leggen.
• Laagkenmerken: Voorgrondmaskers worden gegenereerd met SAM (Segment Anything Model) om relevante objecten te isoleren van de achtergrond.

2. Interpolatie via Structurele Geleiding

In plaats van lijnen lineair te mengen, gebruikt SAGE een hiërarchisch interpolatieschema om structurele consistentie te waarborgen:

• Laagbewuste lijnmatching: Lijnen worden eerst gefilterd op basis van het voorgrondmasker. Vervolgens worden de lijnen genormaliseerd binnen een canoniek kader (binnen een bounding box) en één-op-één gematchd met de Hungarian-algoritme. Dit voorkomt dat achtergrondruis de overgang domineert.
• Bewegingsbewuste B-spline trajecten:
  • Globaal traject: Er wordt een kubische B-spline berekend die de beweging van de voorgrond (gebaseerd op gemiddelde flowvectoren en bounding boxes) volgt. Dit zorgt voor een soepel, globaal pad dat camera- of objectbeweging simuleert.
  • Lokaal mengen: De gematchte lijnen worden lineair geïnterpoleerd binnen het lokale coördinatenstelsel van de B-spline.
  • Dit dual-systeem voorkomt dat lijnen elkaar kruisen (trajectory crossings) en zorgt ervoor dat de structuur logisch evolueert volgens de beweging.

3. Conditionele Frame-Generatie

De gegenereerde tussentijdse lijnstructuren ($\{L_t\}$) worden omgezet in randkaarten (edge maps). Deze dienen als conditionele input voor een vooraf getraind diffusion-model voor video-inbetweening (gebaseerd op [ZRW∗25]).

• Het model genereert de tussenframes ($I_t$) op basis van de start- en eindframes, geleid door de gegenereerde structuurkaarten.
• Dit gebeurt volledig zero-shot: het diffusion-model wordt niet opnieuw getraind of gefine-tuned, maar gebruikt de structurele priors om de beweging en vorm te sturen.

Belangrijkste Bijdragen

1. Zero-shot Overgangen voor Diverse Clips: SAGE is de eerste methode die effectief overgangen genereert tussen clips met grote semantische en stilistische verschillen zonder extra training.
2. Hiërarchische Structurele Ankerpunten: De introductie van een laagbewuste lijnmatching die voorgrondobjecten isoleert en structuren normaliseert, voorkomt dat achtergronden de overgang verstoren.
3. Bewegingsbewuste B-spline Propagatie: Een innovatief schema dat lokale lijninterpolatie koppelt aan globale bewegingstrajecten, wat structurele ineenstorting en onnatuurlijke kruisingen voorkomt die bij lineaire interpolatie optreden.
4. Synthese van Structuur en Generatie: Het succesvol combineren van expliciete geometrische geleiding met een krachtig generatief diffusion-model, waardoor zowel temporele coherentie als semantische aanpassing wordt bereikt.

Resultaten en Evaluatie

De auteurs evalueren SAGE op een diverse dataset (artistieke overgangen, image-to-video clips, en publieke clips) en vergelijken deze met klassieke methoden (cross-fade) en state-of-the-art generatieve baselines (FILM, SEINE, DiffMorpher, TVG, VACE, Generative Inbetweening).

• Kwantitatieve Metrieken:
  • Flow Similarity: SAGE behaalt de hoogste score (0.69) voor bewegingsconsistentie ten opzichte van de ground truth, wat aantoont dat de beweging vloeiender is dan bij concurrenten.
  • FID/FVD: De methoden scoren competitief op beeld- en videokwaliteit, hoewel sommige baselines (zoals GI) iets betere FID-scores halen door simpelweg randframes te dupliceren (wat resulteert in abrupte overgangen).
• Kwalitatieve Evaluatie:
  • SAGE produceert duidelijk soepelere overgangen zonder ghosting of "spurious objects" (willekeurige objecten).
  • Baselines zoals FILM vertonen vaak een simpele cross-fade, terwijl DiffMorpher en TVG soms irrelevante objecten genereren of bewegingsrichtingen negeren.
• Gebruikersstudie:
  • In een studie met 26 deelnemers werd SAGE consequent verkozen boven alle baselines.
  • De voorkeur was het grootst voor Temporele Consistentie (81-91% voorkeur) en Algemene Voorkeur (78-89%). Deelnemers vonden de overgangen plausibeler en complexer in beweging.

Betekenis en Toekomstperspectief

SAGE vult een cruciale lacune in de videobewerking door het mogelijk te maken om creatieve, artistieke overgangen te genereren tussen sterk verschillende scènes zonder de noodzaak van grote, gespecialiseerde trainingsdatasets.

• Praktische Toepassing: Het biedt een krachtig gereedschap voor editors en creators om complexe scene-transities te realiseren die eerder alleen handmatig konden worden ontworpen.
• Beperkingen: De methode is afhankelijk van de kwaliteit van lijndetectie en optische stroming (moeilijk bij tekstloze gebieden of snelle beweging) en kan soms menselijke structuren hallucineren als de lijnen lijken op ledematen (vanwege de bias van het onderliggende diffusion-model).
• Toekomst: Verdere verbetering is mogelijk door semantische cues (zoals Dino-features) te integreren, hogere orde-correspondenties te gebruiken en de aanpak uit te breiden met apparaat-geleide workflows (bijv. audio-gestuurd).

Kortom, SAGE demonstreert dat het combineren van artistieke heuristieken (structuur en beweging) met moderne generatieve AI een robuuste oplossing biedt voor een van de moeilijkste problemen in videobewerking: het verbinden van de onverbiddelijke.