UniGeo: Unifying Geometric Guidance for Camera-Controllable Image Editing via Video Models

Probleemstelling

Het doel van camera-controleerbare beeldbewerking is het synthetiseren van nieuwe weergaven van een scène onder variërende cameraposities, terwijl de geometrische consistentie tussen verschillende weergaven strikt wordt behouden. Bestaande methoden kampen echter met twee fundamentele beperkingen die leiden tot structurele vervormingen en artefacten bij continue camerabeweging:

1. Gebrek aan Continuïteit: De meeste huidige methoden zijn gebaseerd op beelddiffusiemodellen die werken met discrete weergavemapping. Ze kunnen de continue evolutie van een scène langs een cameratrajectorie niet effectief modelleren, wat resulteert in onstabiele generaties.
2. Gebrek aan Gecentraliseerde Geometrische Gidsing: Bestaande technieken vertrouwen vaak op "fragmentarische" geometrische gidsing (bijvoorbeeld alleen het injecteren van puntwolken op het representatieniveau). Omdat deze gidsing niet door het hele model (architectuur en verliesfunctie) wordt doorgevoerd, ontstaat er geen unified geometrisch begrip. Dit leidt tot het instorten van de 3D-structuur en gebroken geometrische relaties tijdens continue beweging.

Hoewel videomodellen van nature beschikken over priors voor continue weergaven, blijken deze ook te falen als de geometrische gidsing niet systematisch is geïntegreerd.

Methodologie: UniGeo

Om deze problemen op te lossen, stellen de auteurs UniGeo voor. Dit is een nieuw raamwerk dat videomodellen gebruikt en geïntegreerde geometrische gidsing toepast op drie fundamentele niveaus van het generatieve proces: representatie, architectuur en verliesfunctie.

1. Representatieniveau: Frame-Decoupled Point Cloud Injection

In plaats van puntwolken direct te concateneren met beeldkarakteristieken (wat leidt tot strikte pixel-voor-pixel afstemming en fouten bij ontbrekende punten), introduceert UniGeo een frame-ontkoppelde injectie:

• De invoerafbeelding wordt omgezet in een reeks 3D-puntwolken die zijn uitgelijnd met de doel-cameratrajectorie.
• Deze geometrische referentieframes worden onafhankelijk (gedecoupeerd) langs de framendimensie ingebracht in het videomodel.
• Dit zorgt voor een robuuste geometrische context zonder de gegenereerde afbeelding direct te corrumperen door imperfecties in de puntwolk.

2. Architectuurniveau: Geometric Anchor Attention

Om consistentie tussen verschillende weergaven te garanderen, wordt een nieuw attentiemechanisme geïntroduceerd:

• De kenmerken van het eerste frame dienen als een "geometrische anker" (anchor).
• Tijdens de interactie van de attention-mechanismen worden de kenmerken van alle daaropvolgende frames continu uitgelijnd met deze anker.
• Dit zorgt ervoor dat de model niet alleen de visuele continuïteit behoudt, maar ook de structurele consistentie over verschillende cameraposities.

3. Verliesfunctieniveau: Trajectory-Endpoint Geometric Supervision

De verliesfunctie wordt aangepast om de geometrische stabiliteit aan de eindpunten van de cameratrajectorie te versterken:

• Er wordt gebruik gemaakt van spare tijdsampling om de rekentijd te verminderen.
• Een gewichtsstrategie wordt toegepast waarbij frames aan de eindpunten van de trajectorie een zwaarder gewicht krijgen in de loss-functie dan de tussenliggende frames.
• Dit dwingt het model om de 3D-structuur aan de doelweergaven (eindpunten) met hoge precisie te behouden, terwijl de tussenliggende frames de natuurlijke continuïteit van het videomodel volgen.

Belangrijkste Bijdragen

• UniGeo Framework: Het eerste raamwerk voor camera-controleerbare beeldbewerking dat volledig is gebaseerd op geïntegreerde geometrische gidsing in plaats van gefragmenteerde aanpakken.
• Systematisch Ontwerp: Een strak gekoppeld model dat geometrische priors systematisch integreert via drie lagen:
  1. Frame-Decoupled Point Cloud Injection voor robuuste context.
  2. Geometric Anchor Attention voor structurele consistentie.
  3. Trajectory-Endpoint Supervision voor hoge structurele fideliteit.
• SOTA Prestaties: Het bereiken van state-of-the-art resultaten in zowel uitgebreide als beperkte camerabewegingssituaties.

Resultaten

De auteurs hebben UniGeo getest op meerdere publieke datasets, waaronder RealEstate10K (RE10K), Tanks and Temples, DL3DV en MannequinChallenge. De evaluatie omvatte zowel uitgebreide camerabewegingen (grote perspectiefveranderingen) als beperkte bewegingen.

• Kwantitatieve Resultaten: UniGeo presteert significant beter dan bestaande methoden (zoals ViewCrafter, FlexWorld, PE-Field, CameraCtrl) op alle kernmetrieken (FID, SSIM, LPIPS, PSNR).
  • Bijvoorbeeld op RE10K met uitgebreide beweging daalde de LPIPS van 0.3008 (FlexWorld) naar 0.2377 (UniGeo).
  • Op Tanks met beperkte beweging steeg de PSNR van 16.9580 naar 17.8171.
• Kwalitatieve Resultaten: Visuele vergelijkingen tonen aan dat UniGeo structurele vervormingen, object-duplicatie en geometrische inconsistenties effectief voorkomt. Het behoudt de geometrie van de scène en de identiteit van objecten (zoals mensen) veel beter tijdens camerabewegingen.
• Ablatie Studies: Experimenten bevestigen dat elk van de drie componenten (injectie, attention, supervision) essentieel is voor de uiteindelijke prestaties. Het verwijderen van een component leidt tot een merkbare daling in kwaliteit.

Significantie

UniGeo biedt een fundamentele doorbraak in het veld van camera-controleerbare beeldbewerking. Door de beperkingen van gefragmenteerde geometrische gidsing te overwinnen en de continue-prior van videomodellen optimaal te benutten, stelt het een nieuwe standaard voor het genereren van fotorealistische en geometrisch consistente nieuwe weergaven. Dit heeft grote implicaties voor toepassingen zoals filmproductie (post-productie), robotica (perceptie) en virtuele realiteit, waar betrouwbare 3D-structuurbehoud onder camerabeweging cruciaal is.