YOSE: You Only Select Essential Tokens for Efficient DiT-based Video Object Removal

1. Probleemstelling

Video Object Removal (VOR) heeft tot doel ongewenste objecten uit video's te verwijderen terwijl ruimtelijke realisme en temporele consistentie worden behouden. Recent state-of-the-art (SOTA) methoden, zoals MiniMax Remover, maken gebruik van Diffusion Transformers (DiT) om resultaten van hoge kwaliteit te bereiken. Deze methoden lijden echter onder aanzienlijke inference-latentie en computationele inefficiëntie.

• De Kernkwestie: Bestaande op DiT gebaseerde VOR-modellen voeren dichte berekeningen uit over de volledige spatiotemporale tokenruimte (alle frames en pixels), zelfs wanneer slechts een klein, gemaskeerd gebied verwerking vereist.
• Het Gevolg: De computationele complexiteit blijft constant, ongeacht de grootte van het masker. Aangezien VOR-taken in de echte wereld doorgaans kleine maskerratio's omvatten (bijvoorbeeld ~70% van de gevallen heeft maskers <20%), leidt dit tot enorme redundantie. Bijvoorbeeld, MiniMax Remover werkt slechts op ~10 FPS, wat de praktische toepassing beperkt.

2. Methodologie: YOSE Framework

De auteurs stellen YOSE (You Only Select Essential Tokens) voor, een lichtgewicht, plug-in fine-tuning framework dat is ontworpen om op DiT gebaseerde VOR te versnellen zonder de onderliggende modelarchitectuur te herschikken. YOSE introduceert twee kerncomponenten:

A. Batch Variable-length Indexing (BVI)

BVI is een differentieerbare dynamische indexeringoperator die het model in staat stelt alleen de tokens binnen de gemaskeerde gebieden (essentiële tokens) te verwerken.

• Mechanisme: In plaats van harde indexering (die de gradiëntstroom blokkeert), gebruikt BVI een continue interpolatiegebaseerde selectie (via grid_sample) om gemaskeerde tokens af te beelden op een variabele lengte-sequentie.
• Forward Index ($Ind_F$): Selecteert essentiële tokens uit het gemaskeerde gebied voor verwerking.
• Backward Index ($Ind_B$): Herstelt de verwerkte resultaten naar hun oorspronkelijke spatiotemporale posities.
• Voordeel: Het ondersteunt tokenverwerking met variabele lengte over een batch, waardoor het model verschillende maskergroottes efficiënt kan verwerken terwijl de gradiëntstroom voor end-to-end training behouden blijft. Dit verlaagt de computationele complexiteit van $O(N_{total})$ naar $O(N_{masked})$.

B. Diffusion Process Simulator (DiffSim) Module

Het verwerken van alleen gemaskeerde tokens loopt het risico de semantische continuïteit met de ongemaskeerde (achtergrond) gebieden te verbreken. DiffSim lost dit op door de invloed van ongemaskeerde gebieden te simuleren zonder deze te verwerken.

• Mechanisme:
  1. Het construeert een Residual Latent ($Res_{Nis}$) die het verschil vertegenwoordigt tussen de noise latent en de gemaskeerde video latent.
  2. Het genereert proxy Key & Value (KV)-kenmerken voor de ongemaskeerde gebieden met behulp van leerbare parameters: een combinerende parameter ($G$), een schalingsparameter ($S$) en een bias ($Bias$).
  3. De formule voor de gesimuleerde KV is: $KV = G \cdot Lat_{mask} + (1-G) \cdot Res_{Nis}$, gevolgd door schaling en bias-modulatie.
• Voordeel: Deze gesimuleerde kenmerken worden geïnjecteerd in het self-attention-mechanisme van de DiT. Dit stelt de "interne" (gemaskeerde) tokens in staat om aandacht te schenken aan de "externe" (ongemaskeerde) context, waardoor semantische en temporele consistentie over grenzen heen wordt behouden zonder de kosten van volledige token-berekening.

C. Fusiestrategie

Om randartefacten veroorzaakt door statistische mismatches tussen verwerkte en onverwerkte gebieden te elimineren:

• Het masker wordt gedilateerd om een overlappend gebied te creëren.
• Het gemiddelde en de variantie van het gegenereerde overlappende gebied worden afgestemd op het oorspronkelijke ongemaskeerde gebied.
• Er wordt een gewogen mengstrategie toegepast om een vlotte overgang te garanderen.

3. Belangrijkste Bijdragen

1. YOSE Framework: Een masker-bewust fine-tuning framework dat op DiT gebaseerde VOR versnelt (bijvoorbeeld MiniMax Remover) door alleen essentiële tokens te verwerken, waardoor een lineaire computationele complexiteit wordt bereikt ten opzichte van de maskerratio.
2. Batch Variable-length Indexing (BVI): Een differentieerbare operator die efficiënte, variabele lengte-tokenselectie en -verwerking mogelijk maakt, waardoor problemen met gradiëntstroom en batch-parallelisatie die geassocieerd zijn met dynamische masking worden opgelost.
3. Diffusion Process Simulator (DiffSim): Een nieuw module dat de diffusie-invloed van ongemaskeerde gebieden binnen DiT-blokken benadert, waardoor globale semantische consistentie wordt gewaarborgd zonder redundante berekening.
4. Prestaties: De methode bereikt tot 2,5× snelheidswinst (bereikend ~25 FPS voor maskerratio's van 20%) terwijl visuele kwaliteit vergelijkbaar met of iets beter dan de baseline wordt behouden.

4. Experimentele Resultaten

De auteurs hebben YOSE geëvalueerd op MiniMax Remover en VACE met behulp van de DAVIS en YouTube-VOS datasets.

• Snelheid & Efficiëntie:
  • FLOPs & Latentie: YOSE vertoont een lineair verband tussen inferentietyd en maskerratio.
  • Snelheidswinst: Bereikt 3,3× versnelling bij een maskerratio van 5% en 2,5× versnelling bij een maskerratio van 20% (typische scenario's uit de echte wereld).
  • FPS: Stijgt van 10 FPS (MiniMax) naar **25 FPS** (YOSE) bij een resolutie van 480p.
• Visuele Kwaliteit:
  • Maten: YOSE behoudt vergelijkbare of licht verbeterde scores op VBench-maten (Motion Smoothness, Aesthetic Quality) en achtergrondmaten (PSNR, SSIM, LPIPS).
  • Behoud van Achtergrond: Opmerkelijk is dat YOSE (VACE) de achtergrond-PSNR met 5,47 dB en de SSIM met 0,07 verbeterde ten opzichte van de originele VACE, waardoor "hallucinatie" van masker-vormige artefacten in de achtergrond effectief wordt voorkomen.
• Ablatiestudies:
  • Het verwijderen van DiffSim leidt tot een daling in zowel motion smoothness als achtergrondreconstructiekwaliteit.
  • Het verwijderen van de Fusiestrategie resulteert in zichtbare randartefacten.
  • Trainingsefficiëntie: BVI maakt training mogelijk met een batchgrootte van 4 op 8 GPU's in ~4 uur, vergeleken met ~11 uur voor conventionele benaderingen.

5. Betekenis

YOSE vertegenwoordigt een belangrijke stap richting praktische, real-time videobewerking. Door de computatiekosten te ontkoppelen van de totale videogrootte en deze strikt te koppelen aan het gebied van belang (het masker), lost het de primaire bottleneck van huidige op DiT gebaseerde generatieve videomodellen op.

• Schaalbaarheid: Het maakt hoogwaardige video-objectverwijdering haalbaar op consumentenhardware of voor real-time toepassingen waar latentie kritiek is.
• Generaliseerbaarheid: Het framework is model-agnostisch (plug-and-play) en is succesvol gevalideerd op meerdere op DiT gebaseerde architecturen (MiniMax Remover, VACE).
• Kwaliteit versus Snelheid: Het demonstreert dat agressieve versnelling niet per se een trade-off vereist in visuele fideliteit; in sommige gevallen verbetert de selectieve verwerking zelfs de achtergrondstabiliteit door te voorkomen dat het model ongemaskeerde gebieden overinterpreteert.