OmniForcing: Unleashing Real-time Joint Audio-Visual Generation

Probleemstelling

Recente geavanceerde modellen voor gezamenlijke audio-visuele generatie, zoals Diffusion Transformers (DiTs) en modellen als LTX-2 en Veo 3, bereiken opmerkelijke kwaliteit door gebruik te maken van bidirectionele attention over het volledige tijdsverloop. Dit stelt echter een groot probleem voor real-time toepassingen:

1. Hoge Latentie: Omdat het hele fysieke tijdsverloop gelijktijdig moet worden verwerkt, is de Time-To-First-Chunk (TTFC) extreem hoog (bijvoorbeeld ~197 seconden voor een korte clip).
2. Geen Streaming: Deze modellen zijn niet geschikt voor interactieve of streaming scenario's.
3. Bestaande Oplossingen zijn ontoereikend:
   • Gekoppelde pijplijnen (eerst video, dan audio, of andersom) breken de gezamenlijke verdeling, wat leidt tot slechtere synchronisatie en kwaliteit.
   • Autoregressieve modellen voor alleen video kunnen niet direct worden overgebracht naar dubbel-stream architecturen (audio + video) vanwege de extreme temporele asymmetrie. Audio heeft een veel hogere frequentie (bijv. 25 FPS) dan video (bijv. 3 FPS), wat leidt tot token-schaarste, instabiliteit tijdens training (gradient explosions) en Softmax-collapse.

Methodologie: OmniForcing

OmniForcing is het eerste framework dat een zware, offline, bidirectionele audio-visuele diffusion model (de "teacher", in dit geval LTX-2) distilleert naar een high-fidelity streaming autoregressieve generator. De aanpak bestaat uit een drie-traps distillatiepijplijn en specifieke architecturale innovaties:

1. Asymmetrische Block-Causale Uitlijning (Asymmetric Block-Causal Alignment)

Om de kloof tussen de verschillende tijdsfrequenties (video vs. audio) te overbruggen, wordt geen frame-per-frame causale masker gebruikt, maar een op fysieke tijd gebaseerde Macro-block Uitlijning:

• De tijd wordt opgedeeld in blokken van 1 seconde.
• Per blok bevat de video-stroom 3 latente frames (3 tokens) en de audio-stroom 25 latente frames (25 tokens).
• Global Prefix: De initiële frames (bij t=0) worden samengevoegd tot een "Global Prefix" blok ($B_0$). Dit blok is bidirectioneel zichtbaar voor alle toekomstige tokens en fungeert als een stabiel semantisch anker, wat voorkomt dat synchronisatie drift optreedt.

2. Architecturale Stabilisatoren

De directe toepassing van causale masks op audio-stromen leidt tot gradient-explosies door extreme token-schaarste (de eerste audio-token in een blok heeft nauwelijks geschiedenis om naar te kijken). OmniForcing lost dit op met:

• Audio Sink Tokens: Er worden leerbare "Sink Tokens" toegevoegd aan het begin van de audio-stroom. Deze fungeren als een globaal geheugenbuffer dat de normalisatie in de attention-mechanisme vergroot, waardoor de Softmax-verdeling stabiel blijft en de gradienten niet exploderen.
• Identity RoPE: Op deze Sink Tokens wordt een Identity Rotary Position Embedding (RoPE) toegepast. Dit betekent dat ze geen tijdsgebonden rotatie ondergaan, waardoor ze positie-agnostische semantische ankers blijven die de stabiliteit garanderen tijdens de causale verschuiving.

3. Joint Self-Forcing Distillatie

Om het probleem van exposure bias (foutopstapeling tijdens lange generaties) op te lossen, gebruikt het framework een Joint Self-Forcing strategie:

• Het model wordt getraind om zijn eigen voorspellingen (in plaats van ground-truth data) te gebruiken als input voor volgende stappen.
• Dit dwingt het model om dynamisch cross-modale fouten te corrigeren en zorgt voor strikte synchronisatie tussen audio en video tijdens lange rollouts.

4. Asymmetrische Parallelle Inferentie

Om echte real-time prestaties te bereiken, wordt gebruik gemaakt van een Modality-Independent Rolling KV-Cache.

• De video- en audio-stromen worden binnen elke transformer-laag onafhankelijk berekend (via eigen FFN-sublagen) en synchroniseren alleen bij de cross-modale attention grenzen.
• Dit verlaagt de contextcomplexiteit per stap naar $O(L)$ en maakt het mogelijk om beide stromen gelijktijdig op één GPU te draaien.

Belangrijkste Bijdragen

1. OmniForcing Framework: Een unificerend autoregressief framework dat offline bidirectionele modellen omzet in real-time streaming engines zonder synchronisatie te verliezen.
2. Stabilisatie van Asymmetrische Causale Maskers: De introductie van Asymmetric Block-Causal Alignment en Audio Sink Tokens met Identity RoPE lost het probleem van Softmax-collapse en gradient-explosies op bij multimodale token-dichtheidsverschillen.
3. Efficiënte Inferentie: Een Modality-Independent Rolling KV-Cache en Joint Self-Forcing distillatie die exposure bias mitigeren en de complexiteit reduceren, wat leidt tot state-of-the-art streaming op één GPU.

Resultaten

OmniForcing werd geëvalueerd op benchmarks zoals JavisBench en VBench, vergeleken met zowel bidirectionele modellen als cascade-architecturen.

• Snelheid & Latentie:
  • Bereikt ~25 FPS streaming op één enkele GPU.
  • TTFC (Time-To-First-Chunk): ~0.7 seconden (tegenover ~197 seconden voor de teacher LTX-2).
  • Dit is een ~35x versnelling ten opzichte van de offline teacher.
• Kwaliteit:
  • Visueel: FVD (Fréchet Video Distance) van 137.2 (teacher: 125.4), wat aangeeft dat de visuele kwaliteit bijna gelijk is aan de teacher en aanzienlijk beter is dan andere baselines.
  • Audio: FAD (Fréchet Audio Distance) van 5.7, vergelijkbaar met de teacher.
  • Synchronisatie: De synchronisatiescore (JavisScore) is 0.208, wat dicht bij de teacher (0.253) ligt en veel beter is dan cascade-methoden.
  • Tekstconsistentie: OmniForcing behaalde de hoogste CLIP-score (0.322) van alle geteste methoden.
• Ablatie Studies: Toonden aan dat zonder Audio Sink Tokens of met verkeerde RoPE-constraints, de training instabiel wordt (NaN gradients) of degradeert tot ruis/blok-artefacten.

Betekenis

OmniForcing doorbreekt de latentiebarrière voor gezamenlijke audio-visuele generatie. Het bewijst dat het mogelijk is om de hoge kwaliteit van zware, bidirectionele foundation modellen te behouden terwijl ze worden omgezet in echt real-time, interactieve streaming applicaties. Dit opent de deur voor nieuwe toepassingen in live content creatie, interactieve virtuele assistenten en real-time simulaties, waar eerdere modellen te traag of te onstabiel waren.