Test-Time Noise Guided Adaptation for Realistic Autoregressive Video Generation

Technische Samenvatting: Test-Time Noise Guided Adaptation voor Realistische Autoregressieve Videogeneratie

Probleemstelling
Autoregressieve video-diffusiemodellen zijn een paradigma geworden voor het genereren van willekeurig lange video's door te conditioneren op voorgaande frames via causale aandachtstructuren. Deze modellen lijden echter aan een fundamentele mismatch tussen training en testfase. Tijdens de training worden de modellen geconditioneerd op echte videoframes, maar tijdens de inferentie moeten ze conditioneren op hun eigen gegenereerde sequenties. Dit leidt tot foutaccumulatie, waarbij de distributie van de gegenereerde frames geleidelijk afwijkt van de trainingsdistributie, wat uiteindelijk het generatieproces doet instorten.

Recente literatuur pakt dit aan door ervoor te zorgen dat individuele gegenereerde frames dicht bij het "geleerde manifold" van echte data blijven (bijv. via temporele unrolling of attention sinks). De auteurs stellen echter dat zelfs als elk individueel frame binnen het echte manifold ligt, de gezamenlijke distributie van het traject nog steeds kan afwijken van de trainingsdistributie. Dit kan ertoe leiden dat het model een "terminaal punt" bereikt—een staat binnen het geleerde manifold waaruit geen geldige voortzetting meer mogelijk is onder de geleerde distributie van het model. Het dwingen van het model om vanaf een dergelijk punt door te gaan, dwingt het model om het manifold te verlaten, wat resulteert in zeer onrealistische visuele artefacten.

Methodologie: TANGO
Om terminale punten aan te pakken, stellen de auteurs Terminal points Avoidance through Noise Guided Optimization (TANGO) voor. De kernhypothese is dat voor goed gemodelleerde conditioneringsequenties, de distributie van de voorspelde ruis (residue) moet overeenkomen met de isotrope Gaussische distributie die wordt verondersteld tijdens het forward noising-proces. Als een traject een terminaal punt bereikt, zal de voorspelling van de denoiser over de ruis van de volgende stap de statistische eigenschappen schenden.

TANGO werkt als een test-time adaptatiemechanisme:

1. Critic Mechanisme: Het diffusiemodel fungeert als een critic van zijn eigen outputs. Bij elke autoregressieve stap voorspelt het model één stap vooruit en analyseert het de voorspelde ruisresidue ($\hat{r}_{i+1}$).
2. Noise Consistency Objective: De methode berekent een verliesfunctie ($\mathcal{L}_{\mathcal{N}}$) om afwijkingen van de voorspelde ruis van een isotrope Gaussische distributie ($\mathcal{N}(0, I)$) te meten. Dit verlies bestaat uit vier componenten:
   • Eerste en tweede momenten: Het bestraffen van afwijkingen van een nul-gemiddelde en een eenheidsvariantie.
   • Hogere-orde momenten: Het bestraffen van scheefheid (skewness) en excess kurtosis om asymmetrie en zware staarten te detecteren.
   • Spectrale vlakheid: Het waarborgen dat de vermogensspectrale dichtheid vlak is (wat duidt op geen ruimtelijke correlatie), wat anders zou impliceren dat het model visuele inhoud verwijdert in plaats van alleen ruis.
   • Laagfrequente momenten: Het expliciet afdwingen van Gaussische eigenschappen in lage frequenties waar de energie van echte visuele inhoud verblijft.
3. Beperkte Optimalisatie: Om triviale oplossingen te voorkomen, introduceert TANGO een set adaptieve parameters ($\phi$) die geïnitialiseerd zijn vanuit de pre-trained gewichten ($\theta$). Deze parameters worden tijdens de testtijd geoptimaliseerd om de noise consistency loss te minimaliseren, onderworpen aan een regularisatiebeperking die de zoektocht verankert nabij de oorspronkelijke voorspelling van het model. Dit stelt het model in staat om een alternatief traject te vinden dat terminale punten vermijdt zonder te ver af te wijken van het geleerde manifold.

Belangrijkste Bijdragen

• Identificatie van Terminale Punten: Het artikel benadrukt dat terminale punten voorkomen dat veel echte trajecten als geldige conditioneringssequenties kunnen dienen voor autoregressieve modellen, zelfs als individuele frames er realistisch uitzien.
• Ruis-gebaseerde Detectie: De auteurs stellen dat terminale punten kunnen worden opgevangen door de statistische attributen van de voorspelde ruis te observeren, specifiek de afwijking van isotrope Gaussische eigenschappen.
• TANGO Framework: Ze introduceren een test-time noise-guided adaptatieaanpak die een diffusiemodel in staat stelt zijn eigen outputs te bekritiseren en trajecten te optimaliseren om terminale punten te vermijden.
• Prestatiewinst: De aanpak bereikt een absolute verbetering van 3,1% op de VBench totale score en vermindert de Fréchet Video Distance (FVD) gemiddeld met 28,3% voor 15-seconden video's vergeleken met state-of-the-art autoregressieve methoden.

Resultaten
Experimenten werden uitgevoerd op 15-seconden video-generatietaken met de Wan2.1-T2V-1.3B backbone. TANGO werd vergeleken met recente autoregressieve benaderingen, waaronder CausVid, Self-Forcing, RollingForcing, LongLive en RewardForcing.

• Kwantitatief: TANGO behaalde de beste prestaties in de meeste individuele VBench-metrieken, inclus\n bij een toename van 4,8% in semantische score en een toename van 2,6% in kwaliteitsscore. Het verminderde de gemiddelde FVD van 576,8 (baseline) naar 413,3.
• Ablatie: Het verwijderen van specifieke verliestermen (met name hogere-orde momenten en spectrale vlakheid) degradeerde de prestaties aanzienlijk, wat de noodzaak van de volledige noise consistency objective valideert. Regularisatie bleek ook cruciaal om convergentie naar triviale oplossingen te voorkomen.
• Efficiëntie: In tegenstelling tot methoden die de modelgrootte opschalen (bijv. 13B of 27B parameters) om de kwaliteit te verbeteren, bereikt TANGO superieure resultaten op een 1.3B model met aanzienlijk lagere runtime (8,6 min versus 30–92 min) en geheugengebruik.

Betekenis en Claims
Het artikel claimt dat het behouden van de gezamenlijke distributie van conditionerende frames binnen de trainingsdistributie cruciaal is voor langdurige videogeneratie. Door de eigen ruisvoorspelling van het diffusiemodel te gebruiken als een signaal voor distributieve drift, biedt TANGO een mechanisme om het geleerde manifold effectiever te navigeren.

De auteurs nemen een bescheiden standpunt in over de beperkingen van hun aanpak. Ze erkennen dat test-time adaptatie zoekt naar verbeterde oplossingen binnen het manifold dat tijdens de pre-training is geleerd; als er geen geldige voortzetting bestaat voor een specifiek onderwerp (bijv. exotische fysica of nanobiologie door onderrepresentatie in de trainingsdata), kan de methode geen nieuwe kennis creëren. Daarom beschouwen zij hun noise-guided optimalisatie als complementair aan, en niet als een vervanging voor, het opschalen van trainingsdata en modelcapaciteit. De methode wijst effectief inference-time compute toe om betere trajecten te vinden binnen de bestaande kennisbasis, waardoor het model voorkomt dat het vast komt te zitten in lokale maxima of terminale punten.