Helios: Real Real-Time Long Video Generation Model

Probleemstelling

Bestaande video-generatiemodellen, vooral die gebaseerd op Diffusion Transformers, kampen met drie fundamentele beperkingen die hen ongeschikt maken voor interactieve toepassingen (zoals game-engines):

1. Geen real-time prestaties: Zelfs geavanceerde modellen (zoals Wan2.1 14B) hebben tientallen minuten nodig om een video van slechts 5-10 seconden te genereren.
2. Drifting bij lange video's: Bij het genereren van lange video's (minutenlang) treden vaak "drifting"-effecten op, zoals verschuivingen in positie, kleurveranderingen en degradatie van de beeldkwaliteit. Bestaande oplossingen hiervoor (zoals Self-Forcing of Error-Banks) vereisen kostbare trainingsrollouts of leiden tot een grotere kloof tussen training en inferentie.
3. Rekenkundige inefficiëntie: Modellen die wel real-time proberen te zijn, vertrouwen vaak op kleine backbones (bijv. 1.3B parameters) die complexe bewegingen en hoge frequentie-details niet goed kunnen modelleren, of ze gebruiken zware versnellingstechnieken (zoals KV-cache, quantisatie) die de kwaliteit ten koste gaan.

Er is een behoefte aan een model dat real-time (interactieve snelheid) lange video's kan genereren met de kwaliteit van grote modellen (14B+), zonder de gebruikelijke compromissen.

Methodologie: Helios

Helios is een autoregressief diffusion model met 14 miljard parameters dat een unificatie van T2V (Text-to-Video), I2V (Image-to-Video) en V2V (Video-to-Video) mogelijk maakt. De architectuur en trainingstechnieken zijn ontworpen rondom drie pijlers:

1. Unificatie en Anti-Drifting (Kwaliteit)

• Unified History Injection: In plaats van causal masking (die de bidirectionele aard van pre-trained modellen beperkt), gebruikt Helios een Unified History Injection. De input bestaat uit een schone historische context ($X_{Hist}$) en een ruwe context ($X_{Noisy}$). Het model denoist de ruwe context onder voorwaarde van de geschiedenis.
• Representation Control: Het model schakelt automatisch tussen taken (T2V, I2V, V2V) op basis van de inhoud van de historische context (bijv. nul voor T2V, laatste frame voor I2V).
• Guidance Attention: Om de invloed van de geschiedenis te versterken zonder de ruwe context te verstoren, wordt een speciale attention-mechanisme gebruikt waarbij de keys van de historische context worden versterkt met amplification tokens.
• Easy Anti-Drifting Strategieën:
  • Relative RoPE: In plaats van absolute tijdsindices (die leiden tot herhalende bewegingen bij lange video's), gebruikt Helios relatieve indexering om de interactie tussen RoPE-periodiciteit en attention te verminderen.
  • First-Frame Anchor: Het eerste frame wordt altijd behouden in de geschiedenis als een visuele anker om kleurschommelingen (color shift) te voorkomen.
  • Frame-Aware Corrupt: Tijdens training wordt de historische context bewust verstoord (blootstelling, ruis, downsampling) om het model robuust te maken tegen imperfecte geschiedenis, wat drift bij inferentie voorkomt.

2. Deep Compression Flow (Efficiëntie)

Om een 14B-model real-time te laten draaien, wordt de rekenlast drastisch gereduceerd:

• Multi-Term Memory Patchification: De historische context wordt opgedeeld in korte, middellange en lange termijn segmenten. Deze worden met verschillende compressiefactoren (grotere kernels voor oudere frames) samengeperst. Dit houdt het aantal tokens constant, ongeacht de videolengte.
• Pyramid Unified Predictor Corrector: Het generatieproces verloopt via een piramide-structuur: eerst op lage resolutie voor globale structuur, daarna oplopend naar hoge resolutie voor details. Dit vermindert het aantal tokens dat in de vroege stappen verwerkt moet worden.
• Adversarial Hierarchical Distillation: Om het aantal sampling-steps te reduceren van 50 naar 3, wordt een distillatieframework gebruikt. Dit omvat:
  • Pure Teacher Forcing: Gebruik van het autoregressieve model als leraar, zonder dure "train-as-infer" rollouts.
  • Staged Backward Simulation: Backward simulatie in meerdere fasen voor betere schaalovergang.
  • Adversarial Post-Training: Een GAN-achtig doel om de kwaliteit te verbeteren en de beperkingen van de leraar te doorbreken.

3. Infrastructuur-optimalisatie

• Helios is ontworpen om op één NVIDIA H100 GPU te trainen en infereren, zonder parallelisme of sharding frameworks (zoals FSDP).
• Cache Grad for GAN: Gradiënten worden gecached om tussenliggende activeringen vroeg vrij te geven, wat het piekgeheugen verlaagt.
• Flash Normalization & Flash RoPE: Aangepaste Triton-kernels voor normalisatie en rotatie-positie-embeddings verminderen geheugenverkeer en versnellen zowel training als inferentie.

Kernbijdragen

1. Eerste 14B Real-Time Model: Helios is het eerste 14B video-model dat 19.5 FPS bereikt op één H100 GPU, wat sneller is dan veel bestaande 1.3B modellen.
2. Drift-vrije Lange Video's zonder Heuristieken: Het model genereert minutenlange video's zonder de gebruikelijke anti-drift technieken (zoals Self-Forcing of Error-Banks) of complexe inferentie-architecturen.
3. Training zonder Sharding: Het is mogelijk om een 14B model te trainen met batchgroottes vergelijkbaar met beeldmodellen op één GPU, dankzij de diepe compressie en geheugenoctimiserende technieken.
4. HeliosBench: Een nieuw open-source benchmark met 240 prompts voor het evalueren van real-time lange video-generatie over vier duurklassen (van 81 tot 1440 frames).

Resultaten

• Snelheid: Helios-Distilled bereikt 19.53 FPS op een H100, wat een 128x snelheidswinst is ten opzichte van de basisversie (Wan2.1 14B) en aanzienlijk sneller is dan concurrenten zoals Krea (6.7 FPS op H100) of FastVideo.
• Kwaliteit: In benchmarks (HeliosBench) presteert Helios consistent beter dan bestaande gedistilleerde modellen en komt het in de buurt van of overtreft het grote basismodellen (zoals Wan 14B) op metrics zoals esthetiek, dynamiek, bewegingssmoothness en semantische uitlijning.
• Lange Video Stabiliteit: Kwalitatieve tests tonen aan dat Helios visuele kwaliteit en coherentie behoudt tot 1440 frames (ongeveer 60 seconden bij 24fps), terwijl basismethoden vaak vervagen, kleuren veranderen of objecten vervormen.
• Geheugen: Het model past in 80GB VRAM en kan trainen zonder sharding, wat de toegankelijkheid voor onderzoekers vergroot.

Significantie

Helios markeert een doorbraak in de video-generatie door de "trilemma" van snelheid, duur en kwaliteit op te lossen. Het bewijst dat grote modellen (14B) niet noodzakelijk traag of duur hoeven te zijn, mits de architectuur en training slim worden ontworpen. Door de afhankelijkheid van complexe infrastructuur (sharding) en kostbare trainingsstrategieën (Self-Forcing) te elimineren, opent Helios de deur voor:

• Interactieve Applicaties: Real-time generatie voor game-engines en virtuele werelden.
• Toegankelijkheid: Het maken van state-of-the-art video-modellen mogelijk op standaard hardware (één GPU).
• Toekomst van Wereldmodellen: Het biedt een robuust fundament voor wereldmodellen die lange, coherente tijdreeksen moeten begrijpen en genereren.

De auteurs kondigen aan dat ze de code, het basismodel en het gedistilleerde model openbaar zullen maken om verdere ontwikkeling in de community te stimuleren.