Technische Samenvatting: Compositional Video Generation via Inference-Time Guidance (CVG)

Probleemstelling

Tekst-naar-video (T2V) diffusiemodellen hebben aanzienlijke vooruitgang geboekt in visuele fideliteit en temporele coherentie. Ze falen echter vaak bij prompts die een fijnmazig compositiebegrip vereisen, zoals specifieke ruimtelijke relaties (bijv. "achter", "tussen"), bewegingsrichtingen (bijv. "naar links draaien"), numerieke tellingen en complexe interacties tussen meerdere entiteiten. Hoewel standaard tekstconditionering en classifier-free guidance globale promptsignalen bieden, ontbreekt het vaak aan de expliciete verificatie die nodig is om aan deze fijnmazige beperkingen te voldoen. Bestaande oplossingen om de compositiecontrole te verbeteren, vereisen doorgaans het hertrainen van de generator met hulpinvoer (bijv. omkaderingsvakken, lay-outs), het fijnafstemmen via beloningsmodellen of kostbare zoekopdrachten tijdens de testfase. Al deze methoden vragen om extra data, rekenkracht of door de gebruiker aangeleverde controles.

Methodologie: CVG

De auteurs stellen CVG (Compositional Video Generation) voor, een guidance-framework tijdens de inferentie dat de compositiegetrouwheid verbetert in bevroren T2V-modellen zonder hun architectuur of gewichten aan te passen. De kernhypothese is dat de interne cross-attention-kaarten van een vooraf getraind model al de nodige spatiotemporale grounding-signalen bevatten om compositiecorrectheid te evalueren.

1. Kernmechanisme

CVG werkt door cross-attention-kaarten van subject-tokens te extraheren uit de bevroren T2V-generator tijdens het denoising-proces. Deze kaarten geven aan waar het model specifieke entiteiten (bijv. "hond", "bal") lokaliseert en hoe deze lokalisaties in de tijd evolueren. In plaats van het relation-token zelf te gebruiken, ontvangt de classifier uitsluitend de attention-kaarten van de entiteiten die bij de compositie betrokken zijn.

2. De Compositieclassifier

Een lichtgewicht classifier is getraind om compositielabels (bijv. "links", "achter") te voorspellen op basis van deze attention-kaarten.

• Architectuur: De classifier bestaat uit een geleerd aggregatiemodule, een bevroren Vision-Language Model (VLM)-backbone (Qwen2.5-VL-7B) en een trainbare classificatiekop.
• Trainingsdata: De classifier is getraind op een mengsel van echte video's (verkregen via video-inversie) en synthetische video's.
• Dubbele Inversie voor Lekkagepreventie: Om "compositielekkage" te voorkomen (waarbij de classifier cheat door tekstuele sporen van het relatiewoord in de attention-kaarten te lezen in plaats van visuele grounding), hanteren de auteurs een dubbele inversie-strategie. Elke trainingsvideo wordt twee keer geïnverteerd: eenmaal met de juiste compositieprompt en eenmaal met een onjuiste prompt die uit het vocabulaire is bemonsterd. Beide inversies worden gesuperviseerd met hetzelfde ground-truth-label. Dit dwingt de classifier om te vertrouwen op de daadwerkelijke visuele spatiotemporale rangschikking van de entiteiten.
• Generalisatie: Omdat de classifier is gebouwd op een bevroren VLM-backbone, erft deze brede semantische priors, waardoor hij kan generaliseren naar semantisch gerelateerde compositielabels die verder gaan dan de specifieke set die tijdens het trainen is gezien.

3. Guidance tijdens Inferentie

Tijdens de videogeneratie fungeert de classifier als een differentieerbare controller:

1. Bij geselecteerde denoising-stappen extrahert het systeem cross-attention-kaarten van subject-tokens uit de huidige latent.
2. De classifier voorspelt een verdeling over compositieklassen.
3. Er wordt een cross-entropy-verlies berekend tussen de voorspelling en het doelcompositielabel.
4. De gradiënt van dit verlies wordt backpropagated om de latent videovariabele bij te werken, waardoor de trajectorie wordt gestuurd naar de gewenste compositie.
5. Guidance-schema: Om de visuele kwaliteit en verschijningspriors van de onderliggende generator te behouden, wordt guidance alleen tijdens de eerste 8 denoising-stappen toegepast, waarbij grove beweging en scènestructuur worden vastgelegd.

4. Uitbreidingen

• Multi-Composition Guidance: CVG ondersteunt temporeel gestructureerde prompts (bijv. "draai eerst links, dan rechts") door specifieke compositiebeperkingen toe te passen op gemaskerde temporele segmenten van de video.
• Autoregressieve Generatie: De methode is uitbreidbaar naar langvideogeneratie door doelcompositielabels toe te wijzen aan individuele gegenereerde batches, terwijl temporele continuïteit wordt behouden via de autoregressieve context.

Belangrijkste Bijdragen

1. Controleframework tijdens Inferentie: CVG biedt een methode om bevroren T2V-generators te sturen met gradiënten van een lichtgewicht compositieclassifier, waardoor de noodzaak voor fijnafstemming, hulpconditionering of door de gebruiker aangeleverde lay-outs wordt geëlimineerd.
2. Op VLM gebaseerde Classifier: De introductie van een classifier die is getraind op cross-attention-kaarten van subject-tokens met behulp van een bevroren VLM-backbone, wat generalisatie naar ongezichte of zeldzame compositieconfiguraties mogelijk maakt.
3. Dubbele Inversietraining: Een nieuwe trainingsstrategie die dubbele inversie gebruikt om compositielekkage te mitigeren, zodat de classifier leert van visuele grounding in plaats van van tekstuele artefacten.
4. Empirische Validatie: Uitgebreide evaluatie die verbeterde compositiegetrouwheid aantoont, terwijl de visuele kwaliteit behouden blijft over meerdere backbones (Wan2.2, CogVideoX) en generatieregimes (korte en lange video's).

Experimentele Resultaten

De auteurs evalueerden CVG op de T2V-CompBench-benchmark en VBench (voor korte video's) en VBench-Long (voor lange video's), met een vergelijking tegen basisgenerators en TTOM (een sterke layout-geleide testtijd-optimalisatie-baseline).

• Kwantitatieve Prestaties: CVG presteerde consistent beter dan zowel basismodellen als TTOM over alle geteste backbones.
  • Op Wan2.2-14B verbeterde CVG het gemiddelde T2V-CompBench-score van 0,556 (basis) naar 0,594, en passeerde TTOM (0,579).
  • Op VBench behaalde CVG de hoogste Final Scores voor korte video's (bijv. 86,3% op Wan2.2-14B versus 85,0% voor TTOM) en lange video's (69,62% versus 68,08% voor TTOM).
  • De winsten waren het meest uitgesproken in compositiegevoelige dimensies: Beweging, Ruimtelijke Relaties, Contentattributen en Dynamische Attributen.
• Kwalitatieve Verbeteringen: Visuele voorbeelden toonden aan dat CVG complexe beperkingen correct realiseerde (bijv. "konijn bovenop schildpad", "krab die onder drijfhout vandaan kruipt"), terwijl baselines en TTOM faalden met onjuiste ruimtelijke relaties of bewegingsrichtingen.
• Gebruikersstudie: In een menselijke voorkeursstudie over 100 prompts gaven deelnemers de voorkeur aan CVG boven TTOM voor Compositie (39,6% versus 20,7% op Wan2.2-14B) en Tekstuitlijning, terwijl Kwaliteit in de meerderheid van de gevallen als vergelijkbaar werd beoordeeld (54,6% "beide").

Betekenis en Beweringen

Het artikel beweert dat compositiefouten in T2V-generatie niet hoeven te worden opgelost door de generator opnieuw te trainen. In plaats daarvan kunnen de eigen interne grounding-signalen van het model (cross-attention-kaarten) worden benut via een lichtgewicht, op een bevroren VLM gebaseerde classifier om de generatie tijdens de inferentie te sturen.

De auteurs benadrukken dat CVG deze verbeteringen bereikt zonder:

• De modelarchitectuur aan te passen.
• De generator fijn af te stemmen.
• Door de gebruiker aangeleverde lay-outs, omkaderingsvakken of ruimtelijke controles te vereisen.

Het werk suggereert dat interne representaties van videodiffusiemodellen kunnen dienen als uitvoerbare controlemechanismen om gegenereerde video's af te stemmen op complexe compositieprompts, en biedt zo een trainingsvrije en efficiënte weg naar hogere compositiegetrouwheid.

Beperkingen

De auteurs merken op dat de effectiviteit van CVG afhankelijk is van de kwaliteit van de interne grounding-signalen van het model. Hoewel de VLM-backbone generalisatie ondersteunt, is de methode het sterkst voor op subject gerichte composities (bewegingsrichting, ruimtelijke lay-out) en kan deze minder betrouwbaar zijn voor ambiguïteitsvolle prompts, subtiele composities of scènes met meerdere sterk interagerende subjecten. De aanpak stuurt het denoising-trajectorie in plaats van nieuwe generatieve capaciteiten te leren, wat betekent dat het fundamentele generatieve tekortkomingen in het basismodel niet kan verhelpen.