GeoFusionLRM: Geometry-Aware Self-Correction for Consistent 3D Reconstruction

Probleemstelling

Het herstel van 3D-geometrie uit één enkele afbeelding (single-image 3D reconstruction) is een fundamentele uitdaging in computer vision. Hoewel recente Large Reconstruction Models (LRM's), zoals InstantMesh, aanzienlijke vooruitgang hebben geboekt door transformer-architecturen te trainen op grote datasets, vertonen hun reconstructies vaak geometrische inconsistenties.

De belangrijkste beperkingen van bestaande methoden zijn:

• Onnauwkeurige geometrie: De gegenereerde mesh komt niet altijd overeen met de structuur van de conditionering afbeelding.
• Verstoorde oppervlaktenormals: De richting van de oppervlakken (normals) is vaak onjuist, wat leidt tot vervormde schaduwen en texturen.
• Misalignement van details: Fijne details worden vaak gemist of verkeerd weergegeven, vooral in gebieden die worden verduisterd of op de achterkant van het object liggen.
• Afhankelijkheid van semantiek: Bestaande modellen vertrouwen te veel op semantische features uit de inputafbeelding en missen expliciete mechanismen om geometrische fouten te corrigeren tijdens het reconstructieproces.

Methodologie: GeoFusionLRM

Om deze problemen aan te pakken, stellen de auteurs GeoFusionLRM voor, een geometrie-bewust zelf-corrigerend framework. In plaats van alleen te vertrouwen op features uit de inputafbeelding, gebruikt dit model de eigen diepte- en normaalvoorspellingen van het model om de structuur in een tweede fase te verfijnen.

De architectuur bestaat uit de volgende kerncomponenten:

1. Twee-staps proces:

   • Fase 1 (Initiële reconstructie): Een baseline LRM (gebaseerd op InstantMesh) genereert een eerste ruwe 3D-mesh vanuit de inputafbeelding.
   • Fase 2 (Zelf-correctie): Het model rendert dieptekaarten ($D$) en normaal-kaarten ($N$) van deze initiële mesh. Deze geometrische kaarten worden vervolgens opnieuw ingevoerd in het systeem om de reconstructie te corrigeren.

2. GeoFormer (Geometrie-bewuste Encoder):

   • Dit is een parallelle tak in het netwerk, geïnitialiseerd met de ViT-encoder van DINO (voor semantische features).
   • De inputlaag is uitgebreid van 3 kanalen (RGB) naar 4 kanalen om diepte en normals te verwerken.
   • GeoFormer is fijngefineerd met geometrische supervisie om structurele consistentie te leren uit de diepte- en normaalprojecties.

3. GeoFuser (Token-Level Fusion Module):

   • Deze module fuseert de semantische tokens (uit de inputafbeelding) met de geometrie-bewuste tokens (uit GeoFormer).
   • Het werkt via een residuele correctie: $F_{fused} = F_{sem} + f_\theta(F_{sem}, F_{geo})$.
   • De correctielaag wordt initieel gedeactiveerd (gewichten op 0) zodat de eerste iteratie als baseline fungeert. In de volgende iteratie worden de tokens verfijnd op basis van de inconsistenties tussen de input en de gerendeerde geometrie.

4. Training:

   • De baseline InstantMesh backbone blijft bevroren; alleen GeoFormer en GeoFuser worden geoptimaliseerd.
   • Het verlies ($L$) combineert fotometrische fouten (MSE, LPIPS), mask-consistentie, diepte-uitlijning, normal-similariteit en FlexiCubes regularisatie.

Belangrijkste Bijdragen

• Zelf-voorspelde geometrie-conditionering: Een nieuw kader dat meshes verfijnt door te conditioneren op diepte- en normaalhints die door het model zelf zijn voorspeld uit tussentijdse reconstructies.
• GeoFormer Encoder: Een geometrie-bewuste encoder die is geinitialiseerd met DINO en specifiek is getraind om structurele uitlijning met de conditionering afbeelding te vastleggen.
• GeoFuser Module: Een lichtgewicht netwerk dat semantische en geometrische features op token-niveau samenvoegt om verfijnde triplane-conditioning te produceren.
• Verbeterde consistentie: Het bewijst dat interne geometrische feedback leidt tot scherpere geometrie en betere uitlijning zonder externe supervisie of extra voorspellers.

Resultaten

De auteurs hebben GeoFusionLRM getest op de GSO en OmniObject3D datasets en vergeleken met state-of-the-art methoden zoals OpenLRM, SPAR3D, LGM en InstantMesh.

• Kwantitatieve resultaten:

  • GeoFusionLRM behaalt de hoogste scores op alle metrieken (PSNR, SSIM, LPIPS) voor zowel RGB-afbeeldingen als normaal-kaarten.
  • De verbetering is het meest opvallend in de normaal-kaarten, wat aantoont dat de geometrische consistentie significant is verbeterd vergeleken met de baselines.
  • Op de OmniObject3D benchmark (16 views per object) overtreft het model InstantMesh met een PSNR van 22.75 vs 21.85 (RGB) en 25.76 vs 24.24 (Normals).

• Kwalitatieve resultaten:

  • Bestaande methoden neigen naar "plausibele" texturen ten koste van de geometrie (bijv. het gladstrijken van complexe patronen).
  • GeoFusionLRM behoudt fijne geometrische details (zoals scherpe randen van kommen en complexe uitsparingen in plantenbakken) en corrigeert fouten in donkere, weinig detailrijke gebieden waar andere modellen gaten hallucineren.

• Iteratie-analyse:

  • De meeste winst wordt behaald na de eerste verfijningsstap. Verdere iteraties leveren afnemende opbrengsten op, waardoor een twee-staps proces (initieel + één verfijning) de optimale balans biedt tussen kwaliteit en rekentijd.

• Rekenkosten:

  • De methode vereist meer rekenkracht dan InstantMesh (TFLOPs stijgen van ~3.9 naar ~8.7 en de inferentietijd van ~1s naar ~3.9s), wat een afweging is tussen kwaliteit en snelheid.

Betekenis en Toekomstperspectief

GeoFusionLRM markeert een belangrijke stap in de evolutie van single-image 3D-reconstructie. Het bewijst dat self-supervised geometric refinement effectief is om de inherente ambiguïteit van het probleem op te lossen zonder externe data of zware optimalisatie.

• Impact: Het biedt een oplossing voor het veelvoorkomende probleem van "geometrisch onjuiste maar visueel mooie" reconstructies, wat essentieel is voor toepassingen in AR/VR, robotica en content creatie.
• Beperkingen: De methode heeft nog moeite met extreem fijne structuren (zoals dunne takken) vanwege de beperkte resolutie van de onderliggende triplane-representatie van de baseline.
• Toekomst: Verdere onderzoek richt zich op het integreren van globale geometrische prioren (zoals symmetrie en semantische structuur) om de reconstructie nog verder te regulariseren.

Kortom, GeoFusionLRM introduceert een krachtige, zelfcorrigerende cyclus die de geometrische trouw van 3D-reconstructies aanzienlijk verbetert door het model zijn eigen geometrische fouten te laten zien en corrigeren.