Train Short, Inference Long: Training-free Horizon Extension for Autoregressive Video Generation

Titel: Train Short, Inference Long: Training-free Horizon Extension voor Autoregressieve Video-Generatie

Auteurs: Jia Li, Xiaomeng Fu, et al. (University of Hong Kong, ByteDance, etc.)
Datum: Preprint, maart 2026

---

1. Het Probleem

Autoregressieve (AR) diffusiemodellen zijn een veelbelovende architectuur voor het genereren van lange video's vanwege hun inferentie-efficiëntie (geen kwadratische complexiteit van bidirectionele attention). Echter, deze modellen lijden aan ernstige extrapolatiefouten wanneer de inferentie-lengte de trainingshorizon overschrijdt.

De auteurs identificeren twee fundamentele oorzaken voor deze degradatie:

1. Spectrale Bias in Positionele Embeddings (3D RoPE):
   • 3D Rotary Positional Embeddings (RoPE) hebben een onbalans in trainingsblootstelling. Laagfrequente componenten (die lange-termijn relaties coderen) worden vaak onvoldoende getraind omdat ze binnen de korte trainingssequenties geen volledige rotatiecyclus voltooien.
   • Bestaande methoden zoals Position Interpolation (PI) comprimeren het spectrum uniform. Dit werkt goed voor tekst (LLMs), maar faalt bij video omdat het de hoogfrequente componenten (noodzakelijk voor fijne tijdsdiscriminatie en beweging) vernietigt, wat leidt tot statische of vervormde video's.
2. Gebrek aan Dynamische Priors in Ruis Sampling:
   • Bestaande methoden gebruiken vaak positief gecorreleerde ruis om temporal consistentie te waarborgen. Dit resulteert echter in een "over-stabilisatie" van de latent ruimte, wat leidt tot monotoon, statisch materiaal met weinig bewegingsenergie en dynamische degradatie in lange sequenties.

Het doel is om een trainingsvrije oplossing te vinden die de kloof tussen korte training en lange inferentie overbrugt, zonder de dure "train long, inference long" aanpak.

---

2. Methodologie: FLEX Framework

De auteurs stellen FLEX (Frequency-aware Length EXtension) voor, een plug-and-play inferentie-framework dat bestaat uit drie kerncomponenten:

A. Frequency-aware 3D RoPE Modulation

Inspiratie opgehaald uit NTK-by-parts voor LLMs, maar aangepast voor de specifieke spectrale eigenschappen van video.

• Analyse: De auteurs definiëren "trainingsblootstelling" ($r_m$) als het aantal volledige rotatiecycli dat een dimensie tijdens training heeft ondergaan.
• Strategie: In plaats van uniforme schaling, wordt een adaptieve modus toegepast:
  • Hoogfrequente componenten ($r_m > \beta$): Worden geëxtrapoleerd (originele rotatiehoeken behouden) om fijne tijdsdetails en beweging te behouden.
  • Laagfrequente componenten ($r_m < \alpha$): Worden geïnterpoleerd (teruggevoerd naar het bekende domein) om de globale structuur te stabiliseren.
  • Overgangsgebied: Een gewogen combinatie van beide.
• Resultaat: Behoudt zowel de globale coherentie als de tijdsdiscriminatie.

B. Antiphase Noise Sampling (ANS)

Om het gebrek aan beweging te verhelpen, wordt de initieel ruisstrategie aangepast.

• Methode: In plaats van onafhankelijke of positief gecorreleerde ruis, wordt een negatief gecorreleerde (antifase) ruisstructuur gebruikt binnen een chunk. Dit wordt gemodelleerd als een AR(1)-proces met een negatieve correlatiecoëfficiënt ($\rho < 0$).
• Effect: Dit verplaatst het vermogen van de ruis naar de hoogfrequente band. Het creëert een initieel "zaad" van hoge temporele variatie, wat de model stimuleert om dynamischere bewegingen te genereren in plaats van statische frames.
• Theoretisch bewijs: De auteurs tonen aan dat dit de "adjacent-difference energy" maximaliseert zonder de randverdeling van de ruis te veranderen (blijft compatibel met voorgeprogrammeerde denoisers).

C. Inference-only Attention Sink

Om de globale context te behouden over zeer lange horizons (waarbij de "attention sink" verschijnsel optreedt):

• Methode: De eerste $N$ frames binnen het lokale attention-venster worden gefixeerd als permanente "anchors" voor semantische en structurele consistentie.
• Voordeel: Dit vereist geen aanpassing van de modelarchitectuur of extra training; het is puur een inferentie-strategie die de drift van het onderwerp en de scène voorkomt.

---

3. Belangrijkste Bijdragen

1. Systematische Analyse: Identificatie van de spectrale bias in 3D RoPE en het gebrek aan dynamische priors als de hoofdoorzaken van extrapolatiefouten in AR-videomodellen.
2. FLEX Framework: Een volledig trainingsvrije oplossing die drie technieken combineert om zowel globale stabiliteit als lokale dynamiek te waarborgen.
3. State-of-the-Art Resultaten: FLEX presteert beter dan bestaande methoden die vereisen dat modellen worden gefinetuned op lange video's, en werkt als een plug-and-play module voor bestaande inferentie-pipelines.

---

4. Resultaten

De evaluaties zijn uitgevoerd op de VBench-Long benchmark, met name op taken van 30 seconden (6x extrapolatie) en 60 seconden (12x extrapolatie) ten opzichte van een trainingshorizon van 5 seconden.

• 30-seconden generatie (6x):

  • FLEX (geïntegreerd in Self Forcing) bereikt een Quality Score van 83.01, wat hoger is dan LongLive (82.78) en Rolling Forcing (82.31).
  • Het minimaliseert kwaliteitsdrift tot slechts -0.06, vergeleken met -1.78 bij de basis Self Forcing.
  • Er is een aanzienlijke verbetering in Dynamic Degree (van 29.38 naar 44.32), wat aantoont dat de video niet statisch wordt.

• 60-seconden generatie (12x):

  • FLEX bereikt een score van 82.68, wat vergelijkbaar is met LongLive (dat vereist dat het model tot 60s is getraind), maar dan zonder die dure training.
  • Het onderdrukt kwaliteitsdrift significant (-0.56 vs -2.51 bij de basis).

• Extensie naar 4 minuten:

  • Geïntegreerd met LongLive toont FLEX consistente verbeteringen in 240-seconden generatie, met een driftreductie van -2.19 naar -1.17 en behoud van identiteit en textuur.

• Ablatie Studies:

  • Zonder RoPE Modulation: Drastische daling in consistentie (tijdsdrift).
  • Zonder ANS: Daling in dynamiek (video wordt statisch).
  • Zonder Attention Sink: Daling in algehele kwaliteit en subject-consistentie.

---

5. Significantie en Impact

• Paradigmaverschuiving: Het paper toont aan dat "Train Short, Inference Long" haalbaar is zonder de noodzaak van kostbare lange-termijn fine-tuning. Dit maakt het mogelijk om bestaande, goed getrainde modellen direct te gebruiken voor minutenlange video's.
• Balans tussen Stabiliteit en Dynamiek: FLEX lost het fundamentele dilemma op waarbij lange video's vaak ofwel vervormen (drift) ofwel statisch worden. Door spectrale aanpassing en antifase ruis, worden beide aspecten geoptimaliseerd.
• Toepasbaarheid: Als plug-and-play module is het direct toepasbaar op bestaande autoregressieve pipelines (zoals Self Forcing, LongLive, CausVid), wat de drempel voor hoogwaardige lange video-generatie verlaagt.

Samenvattend biedt FLEX een elegante, wiskundig onderbouwde oplossing voor het probleem van tijdsdrift en dynamiekverlies in autoregressieve video-generatie, waardoor de limieten van inferentie-horizons aanzienlijk worden opgerekt.