Video-Rate Streaming Stylization on a Vision-Aware MLLM-Conditioned Edit Diffusion: Asymmetric Batched Inference on a Distilled UNet + MLLM Text Encoder

Technische Samenvatting: Video-Rate Streaming Stylization op een Vision-Aware MLLM-Gecalibreerde Edit Diffusion

Probleemstelling
Real-time videovertaling met diffusiemodellen leunt traditioneel op tekst-geconditioneerde beeld-diffusie stacks, waarbij de U-Net denoiser de per-frame computationele bottleneck vormt en de tekstencoder een lichtgewicht CLIP-klasse netwerk is (~125M parameters). Echter, agressieve distillatie van de denoiser (reductie naar een 4-staps of 1-staps student) keert deze bottleneck om. In een "vision-aware" edit diffusion, waar het systeem zowel een bronafbeelding als een tekstuele instructie moet verwerken, wordt de tekstencoder vervangen door een zwaar Multimodal Large Language Model (MLLM), zoals Qwen3-VL (2.13B parameters).

In dit "Small-Distilled-Denoiser plus Heavy-MLLM-Encoder" (SDD-MTE) regime, wordt de MLLM-tekstencoder de kritieke pad. Standaard streaming technieken ontworpen voor denoiser-gedomineerde pipelines falen hier omdat:

1. Encoder Latentie: De MLLM-encoder is aanzienlijk groter dan de denoiser en bevat intrinsieke CPU-GPU synchronisatiepunten (bijv. in rotary position embeddings) die eenvoudige single-stream dispatch voorkomen.
2. Temporele Consistentie Overhead: Bestaande temporele adapters zoals ControlNet-LLLite vertrouwen op Python-branches en tensor-identity checks die torch.compile graph capture doorbreken, wat leidt tot implementaties die ~3.5× trager draaien dan de basis U-Net.
3. Numerieke Instabiliteit: Breed bereikende MLLM-outputs (std=37, max=1160) veroorzaken overflow in FP16 attention mechanismen, waardoor TensorRT-paden (waarop systemen zoals StreamDiffusion vertrouwen) onbeschikbaar worden.

Het artikel adresseert de uitdaging om video-rate streaming throughput te bereiken op een enkele consumenten GPU binnen dit geïnverteerde bottleneck regime.

Methodologie
De auteurs stellen een streaming pipeline voor die is gebouwd rond drie specifieke engineering mechanismen, ontworpen voor het SDD-MTE regime, geïnstantieerd op een 0.39B gedistilleerde U-Net (DreamLite-mobile) gekoppeld aan een 2.13B Qwen3-VL encoder.

1. Asymmetrische Side-Stream / Main-Stream Pipelining:

   • De pipeline splitst in twee gelijktijdige CUDA streams. De Main Stream handelt de gecompileerde U-Net denoising en VAE decoding af voor de huidige batch ($n$).
   • De Side Stream verwerkt gelijktijdig de MLLM tekst encoding (TE) en VAE encoding voor de volgende batch ($n+1$).
   • Dit ontwerp verbergt de intrinsieke synchronisatie-latentie van de MLLM-encoder achter de U-Net berekening.
   • Batch Amortization: Het systeem buffert $B$ frames (bijv. $B=8$ of $16$) voor elke pipeline call. Omdat de MLLM-encoder sublineair schaalt met batchgrootte (sublineariteit $s \approx 0.226$ bij $B=8$) terwijl de gecompileerde U-Net bijna lineair schaalt ($s \approx 0.77$), vermindert batching de per-frame TE-kosten aanzienlijk zonder de U-Net kosten proportioneel te verhogen.
   • Static-Prompt Caching (Optioneel): Voor streams met vaste instructies kan het systeem één representatieve frame encoderen en de bijbehorende key/value tensoren naar de rest van de batch broadcasten, of de encoding slechts elke $N$ batches verversen.

2. Compile-Friendly ControlNet-LLLite Reformulatie:

   • Om torch.compile optimalisatie mogelijk te maken, herformuleren de auteurs de ControlNet-LLLite adapter om Python-branches en tensor-identity veranderingen te verwijderen die voorheen Dynamo-recompilatie dwongen bij elke frame.
   • Belangrijke wijzigingen omvatten het registreren van condition embeddings als fixed-size buffers met in-place updates, het verwijderen van training-only paden (dropout, dtype checks), en het exposen van een dedicated forward_inference methode.
   • Dit maakt het mogelijk om de volledige U-Net + adapter stack te vouwen in een enkele gefuseerde graph, wat een 4.75× snelheidswinst oplevert ten opzichte van de eager reference implementatie.

3. Periodieke Conditioning Refresh en Hook Subset:

   • Refresh Schedule: In plaats van de LLLite conditioning embedding (afgeleid van de gewarpte vorige frame) voor elke batch opnieuw te berekenen, bouwt het systeem deze elke $N$ batches opnieuw op (bijv. $N=8$). Dit amortiseert de kosten van de conditioning CNN, die de wall time van het LLLite pad domineert.
   • Hook Subset: De volledige 108-hook adapter wordt gereduceerd tot een subset van 38 hooks die zich alleen in de down_blocks bevinden. Dit vermindert de workload van de conditioning encoder met ~65% terwijl de ruimtelijke scherpte wordt behouden die verloren gaat bij het gebruik van alle 108 hooks (die de neiging hebben een "smooth purple" artefact te produceren).
   • Async Flow: De Farneback optical flow berekening wordt gethread en asynchroon gestart tijdens de prefetch om overlap te creëren met de volgende side-stream slot.

Kernbijdragen

• Systeemarchitectuur: Een nieuwe asymmetrische pipelining strategie die de MLLM-encoder behandelt als een aparte, gelijktijdige workload om de geïnverteerde bottleneck in SDD-MTE regimes te overwinnen.
• Compiler Optimalisatie: Een geherformuleerde ControlNet-LLLite implementatie compatibel met torch.compile, wat gefuseerde graph executie mogelijk maakt voor temporele adapters.
• Efficiëntie Mechanismen: Een combinatie van batched TE amortisatie, periodieke conditioning refresh en hook subset selectie die gezamenlijk de per-frame latentie verminderen zonder significante kwaliteitsvermindering.
• Empirische Validatie: Uitgebreide evaluatie op consumentenhardware (RTX 3090 Ti, 4090, 5090) die duurzame throughput en temporele consistentie aantoont in zowel in-domain als cross-dataset scenario's.

Resultaten
Geëvalueerd op een enkele RTX 3090 Ti bij 512×512 resolutie met een batch grootte van $B=8$ en 1-step inference ($K=1$):

• Throughput: De pipeline handhaaft 27.4 FPS (p50 latency ~0.5s) en 29.6 FPS bij $B=16$ (p50 latency ~1.0s) over een run van 480 frames.
• Hardware Schaling: Prestaties schalen naar 54.9 FPS op RTX 4090 en 74.1 FPS op RTX 5090.
• Kwaliteit: De "champion" configuratie (down_blocks hook subset + periodic refresh) bereikt een warping error ($\epsilon_w$) van 18.34, een reductie van 20% in flicker vergeleken met een no-LLLite baseline (22.97), terwijl de ruimtelijke details behouden blijven (Sobel score 4.74 vs. 5.10 baseline).
• Generalisatie: De vrijgegeven temporele adapter generaliseert goed naar 19 niet-gebruikte DAVIS-2017 sequenties en 15 clips van 7 non-DAVIS bronnen, met prestatie-metrieken binnen de in-clip ruis van de in-domain champion.
• Prompt Generalisatie: Het model gaat goed om met onbekende stijl-prompts (bijv. Van Gogh), hoewel de prestaties degraderen voor stijlen met hoogfrequente texturen buiten het trainingsmanifold (bijv. comic halftone).

Betekenis en Claims
Het artikel positioneert zichzelf als een systems study in plaats van een claim over superieuriteit in benchmarks. Het stelt expliciet dat het geen aanspraak maakt op superioriteit boven StreamDiffusion-klasse systemen (die CLIP encoders gebruiken), maar plaatst zijn cijfers tegenover eenzelfde-stack herloop van StreamDiffusion om context te bieden.

De primaire betekenis ligt in het aantonen dat video-rate streaming haalbaar is op een enkele consumenten GPU, zelfs wanneer de tekstencoder een zware MLLM is, mits de systeemarchitectuur wordt herontworpen om het geïnverteerde bottleneck te accommoderen. De auteurs benadrukken dat standaard denoiser-acceleratietechnieken onvoldoende zijn voor dit regime en dat de voorgestelde mechanismen (asymmetrische pipelining, compile-friendly adapters en geamortiseerde conditioning) noodzakelijk zijn om real-time prestaties te ontsluiten.

Het artikel dient ook als gids voor praktijkmensen door het documenteren van negatieve resultaten (bijv. naïeve latent mixing, TensorRT FP16 failures met MLLM outputs, en de valkuilen van het gebruik van warping error alleen als metriek voor smoothing artefact) om veelvoorkomende engineering doodlopende wegen in dit specifieke domein te voorkomen.