Seeing Before Generating: Object Perception Enhances Single-View 3D Reconstruction

Technische Samenvatting: Eerst Zien, Dan Genereren: Objectperceptie Verbeterert Single-View 3D-reconstructie

Probleemstelling
Single-view 3D-objectreconstructie is een inherent slecht gestelde (ill-posed) taak, waarbij modellen ongeziene geometrie moeten afleiden en nieuwe gezichtspunten moeten synthetiseren op basis van beperkte input. Hoewel moderne benaderingen, inclusief diffusie-gebaseerde modellen en Neural Radiance Fields (NeRF), indrukwekkende visuele getrouwheid hebben bereikt, behandelen zij reconstructie voornamelijk als een geometrische of generatieve modelleringsopgave. Deze methoden vertrouwen vaak op data-gestuurde priors of tekst/afbeelding-conditionering, maar missen een expliciet mechanisme om een gestructureerd perceptueel begrip van het object zelf te integreren. Hierdoor hebben ze vaak moeite met semantische consistentie, structurele plausibiliteit en view-coherentie, vooral wanneer de invoerafbeelding ambiguïteit of occlusie bevat. De auteurs stellen dat het behandelen van reconstructie puur als een generatief probleem onvoldoende is en dat het gebaseerd moet zijn op objectperceptie om deze ambiguïteiten op te lossen.

Methodologie
Het artikel stelt een model-agnostisch framework voor dat expliciet perceptuele signalen van vooraf getrainde perceptiemodellen injecteert in het reconstructieproces. De kerninnovatie is de Generation-Perception Alignment Module (GPAM), die fungeert als een plug-and-play verbetering voor bestaande single-view 3D-reconstructie-pipelines (specifiek getest op Wonder3D en Era3D).

De methode werkt als volgt:

1. Extractie van Perceptuele Signalen: Het framework maakt gebruik van fundamentele grootschalige modellen om twee soorten perceptuele informatie te extraheren uit de invoerafbeelding $y$:
   • Semantische Perceptie: Gebruikt een Vision-Language Model (Qwen2.5VL-7B) om een gedetailleerde tekstuele beschrijving (caption) te genereren van de vorm, geometrie en structuur van het object. Deze caption wordt gecodeerd naar een 768-dimensionale embedding met behulp van een T5-base encoder.
   • Geometrische Perceptie: Gebruikt een monoculaire diepteschattingsmodellen (DepthAnything-V2) om intermediaire feature maps te extraheren (specifiek van de refinenet3 laag) in plaats van de uiteindelijke dieptekaart, waardoor hoogwaardige geometrische en stilistische informatie wordt vastgelegd.
2. Generation-Perception Alignment (GPAM): Deze module brengt de features die tijdens het generatieproces worden geleerd (van de U-Net van het diffusiemodel) in lijn met de geëxtraheerde perceptuele signalen.
   • Feature Aggregatie: Intermediaire activaties van de bevroren U-Net decoderblokken worden geaggregeerd tot een compact multi-view representatie.
   • Perceptie Mapping: De geaggregeerde features worden geprojecteerd naar de doel-perceptieruimte. Voor semantische modaliteiten worden features gepoold naar een object-niveau vector en gemapt via een MLP. Voor geometrische modaliteiten worden features van de voorzijde, voorzijde-links en voorzijde-rechts geconcateneerd en verwerkt via een lichtgewicht convolutionele decoder.
3. Begeleide Sampling: Tijdens de inferentie leiden de perceptuele signalen de ruisvoorspellingsstap in het diffusieproces (specifiek DDIM). De standaard ruisvoorspelling $\epsilon_\theta$ wordt aangepast door de gradiënt van een verliesfunctie $L(s, u)$ af te trekken, die de gelijkenis meet tussen het perceptuele signaal $s$ en de uitgelijnde generatieve features $u$.
   • Voor semantische uitlijning wordt een cosine similarity loss gebruikt.
   • Voor geometrische uitlijning wordt een samengestelde loss gebruikt, die een schaal-shift-invariante MSE-loss voor de voorzijde combineert met Centered Kernel Alignment (CKA) loss voor de zij-views om cross-view geometrische consistentie af te dwingen.

Belangrijkste Bijdragen

• Nieuw Framework: De auteurs stellen een model-agnostisch framework voor dat perceptuele signalen van vooraf getrainde modellen gebruikt om single-view 3D-objectreconstructie aan te sturen.
• Systematische Integratie: Het artikel bestudeert systematisch de integratie van diverse perceptuele signalen (semantisch en geometrisch) over verschillende single-view 3D-reconstructie-paradigma's.
• Plug-and-Play Ontwerp: De aanpak vereist geen hertraining van het basisgeneratieve model; het werkt door het generatieve en perceptiemodel te bevriezen en alleen de lichtgewicht GPAM te trainen, wat zorgt voor een flexibele integratie in diverse pipelines.

Experimentele Resultaten
De methode werd geëvalueerd op de Google Scanned Objects (GSO) dataset met behulp van twee state-of-the-art pipelines: Wonder3D en Era3D.

• Kwantitatieve Verbeteringen: Het integreren van perceptie verminderde consequent de Chamfer Distance (CD) en verbeterde andere metrieken (IoU, PSNR, SSIM).
  • Bij Wonder3D zorgde de combinatie van semantische en diepteperceptie voor een reductie van de CD met 9,0% vergeleken met de baseline.
  • Bij Era3D zorgde de gecombineerde aanpak voor een reductie van de CD met 32,7%, waarbij de dieptemodaliteit alleen al bijdroeg aan een reductie van 30,4%.
• Kwalitatieve Analyse: De methode demonstreerde het vermogen om fijne geometrische details te herstellen en vorminstortingen (bijv. bij hoeden, alarmen en speelgoed) te corrigeren waar baseline-modellen faalden. Er werd waargenomen dat de perceptuele begeleiding het sterkst werkt op objecten die de baseline slecht reconstrueert, waardoor ambigue gevallen effectief worden "gered".
• Ablatie-studies: Experimenten bevestigden dat het gebruik van intermediaire dieptefeatures beter presteert dan het gebruik van uiteindelijke dieptekaarten. Bovendien bleek de CKA-loss effectiever dan de VGG-loss voor geometrische uitlijning, en leverde een gewogen combinatie van semantische en diepte-modaliteiten (specifiek $\lambda_d=0,85, \lambda_s=0,15$) de optimale resultaten op.

Betekenis en Claims
Het artikel claimt dat objectperceptie dient als een krachtige bron van kennis voor 3D-reconstructie, wat de hypothese valideert dat perceptie de sleutel is tot het oplossen van ambiguïteit in single-view settings. De auteurs benadrukken dat hun methode een algemeen en flexibel framework biedt dat perceptie en generatie overbrugt. In tegenstelling tot methoden die impliciet vertrouwen op grootschalige priors, introduceert deze aanpak expliciet perceptueel begrip als een controleerbaar signaal. De resultaten suggereren dat verschillende perceptuele modaliteiten niet-redundante correcties leveren aan de generatieve prior, waarbij het framework uitbreidbaar is naar andere generatieve settings waar vooraf getrainde perceptiemodellen bestaan. De auteurs positioneren dit werk als een stap naar het gebruik van perceptie als een algemene prior voor generatieve systemen, waarbij toekomstig werk gericht is op 3D-scène reconstructie vanuit een enkele afbeelding.