Technische Samenvatting: CineMobile

Probleemstelling

De snelle vooruitgang in Diffusion Transformers (DiTs) heeft geleid tot hoogwaardige videogeneratie, maar de implementatie ervan op mobiele apparaten blijft een grote uitdaging. Toestanden van de kunst zoals Wan2.1-14B vereisen aanzienlijke computationele middelen, grote aantallen parameters en iteratieve denoising-processen met meerdere stappen (bijv. 40 stappen), wat resulteert in inferentietijden van minuten, zelfs op krachtige GPU's. Dit maakt real-time, on-device image-to-video (I2V) generatie onhaalbaar. Bovendien richten bestaande mobiele acceleratietechnieken zich primair op U-Net architecturen, waardoor DiT-modellen grotendeels onontgonnen blijven. Een cruciale beperking in mobiele I2V is de noodzaak om prompt-semantiek en fijnmazige details (zoals portretidentiteit) te behouden terwijl agressieve versnelling wordt bereikt, een balans die moeilijk te vinden is met standaard pruning- of kwantisatiemethoden.

Methodologie

CineMobile pakt deze uitdagingen aan via een drieledige optimalisatiestrategie, ontworpen om een DiT-gebaseerd I2V-model te comprimeren terwijl de cinematografische bewegingskwaliteit behouden blijft. Het framework richt zich op drie specifieke cinematografische effecten: bullet time, dolly zoom en slow motion.

1. Gestructureerde Diepte-pruning (Structured Depth Pruning)

Om de modelgrootte te verminderen zonder de temporele modellering of identiteitsbehoud te verstoren, past CineMobile de Pluggable Pruning with Contiguous Layer Distillation (PPCL) methode aan.

• Diepte vs. Breedte: In tegenstelling tot breedte-pruning, die de verborgen dimensies wijzigt en de vooraf getrainde temporele representaties kan verstoren, gebruikt CineMobile gestructureerde diepte-pruning. Het identificeert en verwijdert redundante opeenvolgende lagen terwijl de hidden dimensionality van de backbone ongewijcht blijft.
• Proces: De methode gebruikt residuele lineaire probes en CKA-gelijkenis om redundante interval-intervallen op latente videosequenties te detecteren. Geselecteerde intervallen worden vervangen door een enkele trainbare surrogaatblok, geïnitialiseerd vanuit het midden van het verwijderde bereik.
• Distillatie: De surrogaatblokken worden getraind om de verborgen toestanden van het leraar-model (teacher model) te reproduceren bij de output van het bereik, waarbij gebruik wordt gemaakt van portret- en bewegingsdata om de retentie van identiteitsconsistentie en bewegingscontroleerbaarheid te waarborgen.

2. Stap-distillatie via Adversarial Reinforcement Learning

Om het aantal inferentiestappen van 20+ naar 4 te reduceren, maakt CineMobile gebruik van een tweefasige fine-tuning en distillatie-pipeline:

• Supervised Fine-Tuning (SFT) Warm-up: Voordat de distillatie begint, ondergaat het geprunede student-model een warm-up fase met behulp van flow-matching doelstellingen. Het wordt eerst gefinetuned op video's van het originele dichte model om generatieve capaciteiten te herstellen, en vervolgens aangepast aan de doelgerichte cinematografische bewegingsdistributies met behulp van door de leraar gegenereerde video's.
• Adversarial Distillatie: Voortbouwend op AdvDMD, wordt het model gedistilleerd naar een 4-staps generator. Deze fase integreert Reinforcement Learning (RL) via GRPO (Group Relative Policy Optimization).
  • Een bevroren "echte" score-estimator (leraar) en een online "nep" score-estimator (student) bieden distributie-overeenkomende signalen.
  • Een lichtgewicht discriminator gekoppeld aan het nep-model levert feedback over de adversariële realiteit.
  • De scores van de discriminator op intermediaire latents dienen als beloningen voor GRPO, waardoor het 4-staps denoising-traject wordt verfijnd om de visuele kwaliteit en temporele consistentie te maximaliseren.

3. Hybride Post-Training Quantization (PTQ)

Om te voldoen aan de strikte geheugenbeperkingen van mobiele apparaten, past CineMobile een hybride precisie-kwantisatiestrategie toe:

• Activatie: Gehouden op 16-bit precisie voor numerieke stabiliteit.
• Gewichten: De meeste lineaire lagen (attention, tekst/tijd embeddings) worden gekwantiseerd naar 8-bit (FP8).
• Feed-Forward Networks (FFN): Gezien FFN's een groot deel van de parameters vormen, worden hun lineaire projecties gekwantiseerd naar 4-bit.
• Resultaat: Deze strategie comprimeert de modelvoetafdruk tot onder de 1 GB.

Belangrijkste Resultaten

CineMobile werd geëvalueerd op het MediaTek Dimensity 8400 Ultimate 5G platform en vergeleken met het Wan2.1-14B leraar-model en andere commerciële systemen.

• Efficiëntie:

  • Versnelling: CineMobile bereikt een 40× versnelling in generatietijd vergeleken met het leraar-model.
  • Latentie: Op de MediaTek Dimensity 8400 genereert het 49-frame 480p video's met een per-stap denoising latentie van 20 seconden (de totale generatietijd is aanzienlijk lager dan de 240s van de leraar op een H200).
  • Computatie: Het vermindert de DiT-FLOPs met 71,89× vergeleken met de leraar.
  • Geheugen: Het piekgeheugengebruik op het mobiele apparaat is 1,8 GB, met een modelvoetafdruk onder de 1 GB.

• Kwaliteit:

  • VBench Scores: CineMobile behaalt scores die vergelijkbaar zijn met het 14B leraar-model over drie cinematografische scenario's (Bullet Time: 88,35 vs 89,27; Dolly Zoom: 89,30 vs 89,96; Slow Motion: 88,05 vs 88,51).
  • Menselijke Evaluatie: In vergelijking met commerciële modellen (Kling, Hailuo, Vidu) toonde CineMobile een concurrerende algehele perceptuele kwaliteit en behaalde het de sterkste prestaties in cameracontrole, specif met name in het behouden van vloeiende orbitale beweging en de consistentie tussen onderwerp en achtergrond.
  • Ablatie: De inclusie van GRPO-verfijning verbeterde de totale scores met ongeveer 0,5 punt, wat voornamelijk de esthetische en beeldkwaliteit verbeterde.

Betekenis en Claims

Het artikel beweert dat CineMobile de kloof overbrugt tussen hoogwaardige DiT-gebaseerde videogeneratie en praktische mobiele implementatie. De primaire betekenis ligt in het aantonen dat:

1. Gestructureerde pruning gecombineerd met adversarial step distillation de inferentiestappen en de modelgrootte drastisch kan verminderen zonder de complexe temporele dynamiek op te offeren die vereist is voor cinematografische effecten.
2. Hybride kwantisatie (4-bit/8-bit) het uitvoeren van grootschalige videogeneratiemodellen op consumentengraad mobiele hardware mogelijk maakt met een geheugenvoetafdruk onder de 1 GB.
3. On-device cinematografische generatie haalbaar is, wat een praktische oplossing biedt voor het creëren van bullet time, dolly zoom en slow motion video's direct op smartphones, waarbij de identiteit van het onderwerp en de scène-consistentie beter worden behouden dan bestaande mobiel-georiënteerde methoden.

De auteurs positioneren CineMobile niet als een vervanging voor cloud-schaal generatie, maar als een levensvatbaar, efficiënt alternatief voor on-device creatie, specifiek geoptimaliseerd voor controleerbare camerabeweging in plaats van alleen statische beeldkwaliteit.