Technische Samenvatting: GenEraser

Probleemstelling

Het verwijderen van objecten uit video's worstelt er vaak mee om zowel de doelobjecten als hun bijbehorende fysieke effecten (bijvoorbeeld rook, reflecties, licht, schaduwen en rimpelingen) gelijktijdig te elimineren in scenario's buiten het domein. Bestaande methoden vertrouwen voornamelijk op ruimtelijke maskers, die vaak falen bij het vastleggen van zwak gecorreleerde effecten vanwege complexe spatiotemporale ambiguïteiten. Zo zijn schaduwen sterk gecorreleerd met objecten, terwijl fenomenen zoals licht of rook zwakkere correlaties vertonen, waardoor puur masker-gestuurde verwijdering ontoereikend is.

Bovendien bestaat er een fundamenteel optimalisatieconflict in huidige verwijderingsmodellen tussen hoge-semantische generalisatie (het succesvol verwijderen van objecten en effecten in diverse scènes) en precieze pixel-level behoud van de achtergrond (het handhaven van trouw in niet-bewerkte gebieden). Enkele expertmodellen overfitten vaak op lokale pixels tijdens het trainen, wat hun vermogen om te generaliseren in open-wereldscenario's verslechtert. Daarnaast blijft het potentieel van expliciete tekstuele begeleiding om voorgeöordeelde tekst-naar-vision priors te benutten onderbelicht; de meeste methoden vertrouwen op statische prompts of negeren semantische tokens voor fysieke effecten.

Methodologie

GenEraser is een nieuw raamwerk dat is ontworpen om deze uitdagingen aan te pakken via een twee-trainingsprocedure en een ontkoppelde expertarchitectuur.

1. Multi-Conditional Mixture-of-Experts (MC-MoE) met Bipartiete Tekst

Om volledig gebruik te maken van de multimodale priors van Diffusion Transformers (specifiek de MMDiT-architectuur), introduceren de auteurs een Multi-Conditional Mixture-of-Experts-mechanisme.

• Bipartiete Tekstbegeleiding: In tegenstelling tot standaard prompts, maakt het systeem gebruik van "Bipartiete Tekst" die expliciet zowel de doelobjecten die moeten worden gewist (in rood) als de bijbehorende fysieke effecten die moeten worden geëlimineerd (in geel) beschrijft, naast de gewenste achtergrondtoestand. Dit stelt het cross-attention-mechanisme in staat om directe semantische verbindingen aan te gaan met complexe effecten.
• Conditionele Dropout: Tijdens de training in Fase I wordt het model geoptimaliseerd onder drie verschillende takken via willekeurige conditionele dropout:
  1. Alleen-tekstbegeleiding: Dwingt het model om doelen te reconstrueren uitsluitend met behulp van tekstuele aanwijzingen.
  2. Alleen-maskerbegeleiding: Verlaat zich op ruimtelijke beperkingen.
  3. Gecombineerde (volledige) begeleiding: Combineert beide modaliteiten.
     Deze strategie cultiveert modaliteitsspecifieke experts, waardoor het vermogen van het model om complexe effecten te identificeren die maskers alleen zouden missen, wordt versterkt.

2. Leerbare Diepe "CFG" Fusie (LD-CFG)

Om de variërende dominantie van tekst versus maskercondities in verschillende scenario's aan te pakken (bijvoorbeeld: tekst is dominant bij het verwijderen van rimpelingen, terwijl maskers dominant zijn bij het vermijden van het verwijderen van niet-doelpersonen), stellen de auteurs de LD-CFG-module voor.

• In tegenstelling tot traditionele Classifier-Free Guidance (CFG), die vertrouwt op handmatige, heuristische afstelling van geleidingsschalen, balanceert LD-CFG adaptief tekstuele en maskeraanduidingen.
• Tijdens de training in Fase II verwerkt het model invoer van alleen-tekst-, alleen-masker- en gecombineerde takken parallel. Leerbare lineaire lagen binnen elke DiT-blok fuseren deze kenmerken, waardoor het model dynamisch de relatieve dominantie van elke modaliteit voor een specifieke scène kan bepalen zonder handmatige ingreep.

3. Ontkoppelde Expertarchitectuur (Locator en Preserver)

Om de afweging tussen semantische generalisatie en pixeluitlijning op te lossen, maakt GenEraser gebruik van twee verschillende expertmodellen:

• Locator (High-Noise Expert): Getraind op een diverse mix van synthetische en real-world data (VOR en ROSE) voor minder optimalisatiestappen. Het primaire doel is robuuste semantische generalisatie om complexe fysieke effecten nauwkeurig te lokaliseren en te elimineren in open-wereldscenario's.
• Preserver (Low-Noise Expert): Uitsluitend getraind op "pixel-perfect" synthetische data (ROSE) gedurende een langere periode. Het doel is om een reconstructie van hoge trouw van niet-bewerkte achtergrondgebieden te garanderen, waarbij de uitlijningsartefacten die vaak in real-world datasets worden aangetroffen, worden vermeden.
• Synergie: De Locator is verantwoordelijk voor het verwijderen van objecten en effecten, terwijl de Preserver ervoor zorgt dat de achtergrond trouw blijft aan de originele video.

Belangrijkste Bijdragen

1. Multi-Conditional Mixture-of-Experts en Bipartiete Tekst: Een mechanisme dat rijke multimodale priors benut om de identificatie en eliminatie van complexe fysieke effecten te verbeteren door zowel objecten als hun causale effecten expliciet via tekst te modelleren.
2. Leerbare Diepe "CFG" Fusiemechanisme: Een module die een continue, scène-adaptieve balans tussen masker- en tekstcondities bereikt, waardoor de beperkingen van handmatige hyperparameterafstelling worden overwonnen.
3. Ontkoppelde Expertarchitectuur: Een nieuw ontwerp dat de rollen "Locator" en "Preserver" scheidt om het inherente conflict tussen semantische generalisatie en pixel-level uitlijning te mitigeren.
4. State-of-the-Art Prestaties: Uitgebreide experimenten die superieure prestaties aantonen over meerdere benchmarks, terwijl robuuste generalisatie wordt gehandhaafd.

Resultaten

GenEraser werd geëvalueerd op de ROSE Benchmark, VOR-Eval en VOR-Wild datasets.

• Kwantitatieve Verbeteringen: De 5B-variant van GenEraser behaalde een verbetering van 2,16 dB in PSNR ten opzichte van de vorige state-of-the-art (SVOR) op de ROSE Benchmark en een verbetering van 1,44 dB ten opzichte van EffectErase op VOR-Eval.
• Generalisatie: Op de VOR-Wild benchmark (open-wereldscenario's) behaalde GenEraser een Verwijderingsvoorkeursratio (EPR) van 0,5872 (5B-model), wat aanzienlijk beter presteert dan baselines zoals ROSE (0,3744) en SVOR (0,4769).
• Kwalitatieve Prestaties: Het model verwijdert succesvol een bredere reeks fysieke effecten – waaronder rook, vervormingen, licht, spiegels, schaduwen en reflecties – waarbij concurrerende methoden vaak artefacten, discontinuïteiten in de achtergrond of onvolledige verwijderingen achterlaten.

Betekenis

Het artikel stelt dat GenEraser een nieuwe state-of-the-art zet voor het verwijderen van objecten en effecten uit video's. De betekenis ligt in het overstijgen van de beperkingen van puur masker-gestuurde methoden door expliciet gebruik te maken van tekst-naar-vision priors om complexe spatiotemporale effecten aan te pakken. Door de taken van semantische verwijdering en achtergrondbehoud te ontkoppelen, lost het raamwerk succesvol het optimalisatieconflict op dat historisch de generalisatie in open-wereldscenario's heeft gehinderd. De introductie van de LD-CFG-module brengt het veld verder door adaptieve, scène-specifieke balans van geleidingsmodaliteiten mogelijk te maken, waardoor handmatige, heuristische afstelling overbodig wordt.