Technische Samenvatting: Real2SAM2Real

Probleemstelling

Video Diffusion Models (VDMs) hebben hoge getrouwheid bereikt in videosynthese door gebruik te maken van rijke spatiotemporele priors die zijn geleerd van massale datasets. Het mogelijk maken van precieze controle over cameratrajecten en scènedynamiek blijft echter een aanzienlijke uitdaging. Bestaande benaderingen vallen over het algemeen uiteen in twee paradigma's, die beide kritieke beperkingen vertonen in complexe scenario's:

1. Geparametriseerde Camera-embeddings: Methoden die numerieke camerastellingen (bijv. extrinsieke matrices) in het model injecteren, hebben vaak moeite met schaalambiguïteit en een grote cross-modale kloof tussen abstracte poses en dichte visuele kenmerken, wat leidt tot trage adaptatie en degradatie van vooraf getrainde priors.
2. "Warp-and-Inpaint"-strategieën: Deze methoden maken gebruik van expliciete pixelgewijze 3D-reconstructies (bijv. puntenwolken) om generatie te sturen. Hoewel ze de modaliteitskloof verkleinen, vertrouwen ze op incomplete geometrie (niet-gesloten zichtbare schalen). Dit introduceert perspectivische ambiguïteiten (structurele gaten, foutieve gevels) en misleidende aanwijzingen in niet-Lambertiaanse regio's (reflecties, brekingen). Cruciaal is dat beide paradigma's er niet in slagen betrouwbare 3D-context te bieden voor niet-geobserveerde regio's, waardoor VDMs gedwongen worden ontbrekende inhoud te "hallucineren", wat onvermijdelijk leidt tot structurele instorting tijdens hoogdynamische bewegingen of ernstige occlusies.

Het kernprobleem dat wordt geïdentificeerd, is dat VDMs, hoewel robuust in 2D temporele en semantische priors, een aanvullende 3D-bewuste sturing missen die nodig is om complexe ruimtelijke dynamiek te navigeren zonder artefacten te genereren.

Methodologie

De auteurs stellen Real2SAM2Real voor, een framework dat generatieve 3D-liftingmodellen gebruikt om een expliciet bewerkbare, instantie-complete 3D-geometrie-cache te creëren. Deze cache dient als een robuust geometrisch steiger voor de VDM, waarbij de ruimtelijke lay-out wordt ontkoppeld van de verschijning.

1. Instantie-complete 3D-geometrie-cache

In plaats van te proberen een volledige scène (inclusief achtergronden met oneindige diepte) te reconstrueren vanuit een enkele afbeelding, beperkt het framework de expliciete geometrische modellering tot voorgrondentiteiten.

• Constructie: Beginnend vanuit een enkele referentieafbeelding, extraheert een layout-bewust 3D-generatieframework (bijv. SAM3D) een unie van gedecoupleerde, topologisch gesloten 3D-voorgrondmeshes ($O_k$).
• Dynamische Configuratie: Gebruikersgespecificeerde ruimtelijke manipulaties (bijv. 6-DoF rigide transformaties) worden toegepast op deze instanties. Omdat elke instantie een gesloten 3D-asset is, houdt de resulterende scèneconfiguratie ($S^{(t)}_{3D}$) inherent rekening met niet-geobserveerde achterzijden, waardoor het "kartoneffect" en structurele gaten die gebruikelijk zijn bij monoculaire warping worden omzeild.

2. 3D-vrije Data Curatie en Perturbatie

Om de kloof tussen expliciete 3D-priors en het visuele domein van de VDM te overbruggen, gebruikt het systeem instantie-gemaskeerde normaal maps als een cross-modale brug.

• Representatie: Normaal maps zijn dichte, schaalinvariante geometrische beschrijvers die lijken op de RGB-ruimte, wat de domeinkloof verkleint.
• Data Pipeline: De auteurs hanteren een "3D-vrije" geautomatiseerde curatiestrategie. Met behulp van standaard 2D dichte predictie (NormalCrafter) en instantiesegmentatie (SAM 3, VLMs) extraheren zij pseudo-normale sequenties uit monoculaire video-datasets. Dit voorkomt de domeinkloof die gepaard gaat met synthetische 3D-datasets.
• Perturbatie: Om het verschil aan te pakken tussen schone trainingsdata en de ruisachtige, grove grenzen van single-image 3D lifting tijdens inferentie, wordt een instantie-niveau willekeurige perturbatiestrategie toegepast tijdens de training (elastische deformaties, morfologische operaties). Dit leert de VDM om normaal maps te behandelen als veerkrachtige, grove ankers in plaats van rigide pixelgewijze beperkingen.

3. Soft Spatial-Aligned Injectie en Fine-Tuning

Het framework maakt gebruik van een minimaal invasieve fine-tuning strategie op een fundamentele VDM (Wan 2.2 Image-to-Video DiT) om zero-shot generalisatie te behouden.

• Dual-Path Injectie:
  • Verschijning ($c_{app}$): Geïnjecteerd via een dual-path mechanisme (VAE latents voorafgevoegd aan de sequentie; CLIP-features via cross-attention).
  • Geometrie ($c_{geo}$): Geïnjecteerd via een Soft Spatial-Aligned mechanisme. De normaal map sequentie wordt gecodeerd door een bevroren VAE, verwerkt door een trainbare 3D convolutionele patch embedding laag, en additief geïnjecteerd in de DiT hidden states.
• Ontkoppeling: Cruciaal is dat de geometrische conditie de voorafgevoegde verschijnings-tokens omzeilt. Dit voorkomt het "vastbakken" van grove geometrische grenzen in de textuur, wat verschijningsvervorming en kleurbloeden voorkomt.
• Efficiëntie: Slechts ~1,8% van de netwerkparameters (patch embedding laag en LoRA modules) is trainbaar, terwijl de backbone, VAE en encoders bevroren blijven.

Belangrijkste Bijdragen

1. Instantie-complete 3D-geometrie-cache: De introductie van een expliciet bewerkbare, instantie-complete 3D-proxy die dient als complementaire in-context sturing. Deze formulering ontsluit hoogdynamische generatiecapaciteiten terwijl het robuuste ruimtelijke ankers biedt die de perspectivische ambiguïteiten en artefacten van pixel-niveau reconstructies omzeilen.
2. Cross-Modale Brug via Normaal Maps: Het gebruik van instantie-gemaskeerde normaal maps om expliciete 3D-sturing te injecteren. Deze representatie biedt een hoge geometrische dichtheid en schaalinvariantie terwijl het verschijningsdetails uitsluit, wat zorgt voor orthogonale sturing die competitie tussen features vermijdt. De bijbehorende 3D-vrije data curatie strategie maakt geautomatiseerde datasetconstructie mogelijk met enkel 2D-modellen.
3. Soft Spatial-Aligned Injectie & Minimale Fine-Tuning: Een nieuw injectiemechanisme en fine-tuning paradigma dat de preservatie van pre-trained priors maximaliseert. Deze aanpak biedt inherente fouttolerantie tegen imperfecties in huidige 3D-generatiemodellen en bereikt snelle adaptatie op weinig data.

Experimentele Resultaten

Uitgebreide experimenten tonen aan dat Real2SAM2Real de state-of-the-art baselines (bijv. ReCamMaster, ViewCrafter, TrajectoryCrafter, WorldForge) overtreft in zowel cameracontrole als entiteitsmanipulatie.

• Camera Control: Op een testset van 100 in-the-wild afbeeldingen met grote viewpoint verschuivingen, behoudt de voorgestelde methode getrouwe verschijning en spatiotemporele coherentie. Baseline methoden vertonen cascade-artefacten en structurele breakdowns onder vergelijkbare omstandigheden. Kwantitatieve metrieken (ATE, RPE-T, RPE-R) tonen superieure camerafideliteit.
• Entity Motion: In scenario's met gerandomiseerde objecttranslatie en rotatie, bereikt Real2SAM2Real aanzienlijk lagere Rotatie en Translatie fouten vergeleken met baselines. Het handelt complexe occlusies en gelijktijdige multi-entiteit manipulatie succesvol af zonder structurele degradatie.
• Ablatie Studies:
  • Het verwijderen van de Soft Spatial-Aligned Injection (terugkeren naar kanaal concatenatie) leidt tot verschijningsvervorming en kleurbloeden, wat de noodzaak bevestigt van het ontkoppelen van geometrie en verschijning.
  • Het verwijderen van Instance-Level Perturbation resulteert in een train-inferentie discrepantie waarbij het model rigide vasthoudt aan grove grenzen, wat leidt tot visuele degradatie en temporele flikkering.
  • Het volledige model behaalt de hoogste scores in VBench metrieken voor consistentie, bewegingssmoothness en esthetische kwaliteit.

Betekenis en Claims

Het artikel claimt dat Real2SAM2Real fundamenteel de beperkingen van huidige video-generatie aanpakt door geometrie van verschijning te ontkoppelen. Door een generatieve 3D-cache als complementaire context te gebruiken, slaagt het framework erin om:

• Artefacten te Elimineren: Het elimineert perspectivische ambiguïteiten veroorzaakt door structurele gaten en foutieve gevels, evenals misleidende aanwijzingen van niet-Lambertiaanse oppervlakken (reflecties, brekingen) die traditionele "warp-and-inpaint" pipelines teisteren.
• Precieze Controle Mogelijk te Maken: Het staat precieze, gedecoupleerde controle toe over cameratrajecten en multi-entiteit bewegingen, zelfs bij grote camerashifts en ernstige occlusies.
• Priors te Preserveren: Door minimaal invasieve fine-tuning en soft injectie, behoudt het de krachtige zero-shot generalisatie en fotorealistische rendering capaciteiten van de fundamentele VDM.
• 3D-Controle te Democratiseren: De 3D-vrije data curatie en few-shot adaptatie maken het framework toegankelijk zonder dat er massale gepaarde 3D-datasets vereist zijn.

De auteurs positioneren dit werk als een stap naar het "temmen" van VDMs voor productie-waardige controleerbaarheid door de noodzakelijke 3D-bewuste sturing te bieden die 2D-priors alleen niet kunnen leveren.