GeoFusionLRM: Geometry-Aware Self-Correction for Consistent 3D Reconstruction

1. Il Problema

La ricostruzione 3D da una singola immagine è un compito fondamentale per applicazioni come la creazione di contenuti, la realtà aumentata/virtuale e la robotica. Sebbene i recenti Large Reconstruction Models (LRM) abbiano fatto progressi significativi nel generare asset 3D direttamente da una singola vista, questi modelli soffrono di limitazioni critiche:

• Incoerenze geometriche: Le mesh generate spesso presentano dettagli distorti o allineati in modo errato rispetto all'immagine di input.
• Mancanza di fedeltà strutturale: I modelli tendono a produrre superfici lisce che mascherano errori geometrici sottostanti (ad esempio, buchi suggeriti dall'aspetto visivo ma assenti nella geometria reale).
• Ambiguità: La mancanza di informazioni volumetriche dirette porta a errori nelle regioni occluse o rivolte all'indietro, dove la geometria deve essere inferita da priors appresi piuttosto che da evidenze visive.

Gli approcci esistenti si basano principalmente su features semantiche estratte dall'immagine, ignorando spesso i segnali geometrici diretti (come profondità e normali) necessari per correggere questi errori strutturali.

2. Metodologia: GeoFusionLRM

Il paper propone GeoFusionLRM, un framework di auto-correzione consapevole della geometria che integra un processo a due stadi per affinare la ricostruzione 3D. L'architettura si basa su un modello LRM di base (in questo caso InstantMesh) e introduce due componenti principali:

A. Processo a Due Stadi (Self-Correction)

Invece di generare la mesh in un'unica passata, il modello opera in modo iterativo:

1. Ricostruzione Iniziale: Viene generata una mesh iniziale $M^{(0)}$ partendo dall'immagine di input.
2. Rendering Geometrico: Da questa mesh iniziale, il sistema rende mappe di profondità ($D$) e normali ($N$) dalla stessa prospettiva dell'immagine di input.
3. Seconda Passata (Refinement): Queste mappe geometriche vengono codificate e fuse con le features semantiche originali per correggere gli errori residui e generare una mesh finale più accurata.

B. Componenti Chiave dell'Architettura

1. GeoFormer (Geometry-Aware Encoder):
   • È un encoder basato su ViT (Vision Transformer), inizializzato con pesi pre-addestrati (DINO) e fine-tuned con supervisione geometrica.
   • Riceve in input le mappe di profondità e normali (canali 4: RGB + Depth/Normal o solo Depth/Normal a seconda della configurazione, ma nel paper si usa la fusione) e produce token geometrici ($F_{geo}$) che catturano la coerenza strutturale.
2. GeoFuser (Token-Level Fusion Module):
   • È una rete leggera che fonde i token semantici ($F_{sem}$) provenienti dall'encoder visivo con i token geometrici ($F_{geo}$) di GeoFormer.
   • Utilizza un meccanismo di correzione residua: $F_{fused} = F_{sem} + f_\theta(F_{sem}, F_{geo})$.
   • I pesi del livello finale sono inizializzati a zero, garantendo che al primo passo (inizializzazione) la correzione sia disabilitata e si attivi solo nelle iterazioni successive di affinamento.

C. Strategia di Addestramento

• Il backbone LRM di base (InstantMesh) viene mantenuto congelato.
• Vengono ottimizzati solo i parametri di GeoFormer e GeoFuser.
• La funzione di perdita combina errori fotometrici (MSE, LPIPS), coerenza della maschera, allineamento della profondità, similarità delle normali e regolarizzazione FlexiCubes.
• Durante l'addestramento, il processo di raffinamento viene "srotolato" per 3 passi, mentre all'inferenza è sufficiente un singolo passo di raffinamento dopo la ricostruzione iniziale.

3. Contributi Chiave

• Condizionamento Geometrico Auto-Predetto: Introduzione di un framework che utilizza le proprie previsioni di profondità e normali per correggere iterativamente la mesh, senza bisogno di predittori esterni o segnali di supervisione aggiuntivi.
• GeoFormer: Un encoder specifico per la geometria, inizializzato da DINO e specializzato nel catturare l'allineamento strutturale dalle mappe di profondità e normali.
• GeoFuser: Un modulo di fusione efficiente a livello di token che integra features semantiche e geometriche per produrre condizioni di affinamento migliorate.
• Miglioramento della Fedeltà: Dimostrazione che questo approccio produce mesh con geometrie più nitide, normali più accurate e una migliore coerenza con l'immagine di input rispetto agli stati dell'arte.

4. Risultati Sperimentali

Il modello è stato valutato sui dataset Objaverse-1.0 (addestramento), OmniObject3D e Google Scanned Objects (GSO) (valutazione), confrontandosi con baseline come LRM, SPAR3D, LGM e InstantMesh.

• Metriche Quantitative:
  • GeoFusionLRM ottiene il primo posto in tutte le metriche (PSNR, SSIM, LPIPS) sia per le immagini RGB che per le mappe di normali.
  • I miglioramenti sono particolarmente evidenti nelle metriche delle normali (es. su GSO: PSNR 26.39 vs 25.83 di InstantMesh; LPIPS 0.0592 vs 0.0625), indicando una superiorità nella ricostruzione della struttura superficiale.
• Risultati Qualitativi:
  • Il modello riesce a preservare dettagli geometrici fini (bordi netti, fori complessi) che altri modelli tendono a "appiattire" o distorcere.
  • Mostra una maggiore capacità di inferire geometrie coerenti in regioni ambigue o scure (es. un cappello con una fascia scura), evitando di generare buchi fantasma o forme semplificate errate.
• Analisi di Iterazione:
  • L'analisi mostra che il miglioramento è significativo dopo il primo passo di raffinamento, con rendimenti decrescenti per iterazioni successive. Viene quindi adottata una configurazione a due iterazioni (iniziale + 1 raffinamento) come compromesso ottimale tra qualità ed efficienza.
• Costo Computazionale:
  • Il costo in termini di TFLOPs e tempo di inferenza è più alto rispetto a InstantMesh (circa 3.8 secondi contro 0.98 secondi per oggetto), a causa della necessità di passaggi forward aggiuntivi per il raffinamento.

5. Significato e Conclusioni

GeoFusionLRM rappresenta un passo avanti significativo nella ricostruzione 3D da singola immagine, spostando il focus dalla sola generazione di texture semantiche alla correzione attiva della geometria.

• Impatto: Risolve il problema della discrepanza tra l'aspetto visivo (RGB) e la struttura sottostante (mesh), garantendo che le mesh siano geometricamente coerenti con l'immagine di input.
• Limitazioni: Il metodo migliora la coerenza strutturale (es. rami di piante), ma fatica ancora con dettagli estremamente fini (es. radici sottili) a causa della risoluzione limitata della rappresentazione "triplane" utilizzata dal backbone di InstantMesh.
• Futuro: Le direzioni future includono l'integrazione di priors geometrici globali (come simmetria o coerenza semantica strutturale) nel modulo di fusione.

In sintesi, GeoFusionLRM dimostra che l'uso di segnali geometrici auto-generati in un ciclo di feedback interno può superare i limiti dei modelli LRM attuali, offrendo ricostruzioni 3D più robuste, accurate e fedeli alla realtà.