Holo360D: A Large-Scale Real-World Dataset with Continuous Trajectories for Advancing Panoramic 3D Reconstruction and Beyond

Riassunto Tecnico: Holo360D

1. Il Problema (Problem Statement)

Nonostante i rapidi progressi nei modelli di ricostruzione 3D feed-forward (come DUST3R o VGGT), questi presentano criticità significative quando applicati alle immagini panoramiche:

• Distorsione Sferica: Le proiezioni equirettangolari introducono campionamenti non uniformi e forti allungamenti ai poli, invalidando i prior geometrici appresi su immagini prospettiche standard.
• Limiti dei Dataset Esistenti: I dataset panoramici attuali (es. Matterport3D, KITTI-360) soffrono di tre problemi principali:
  1. Scala ridotta: Numero limitato di campioni per un fine-tuning efficace.
  2. Bassa qualità delle mappe di profondità: Presenza di buchi (zone occluse o vetrate) e scarsa precisione nell'allineamento tra RGB e profondità.
  3. Traiettorie discontinue: Le immagini sono spesso catturate in posizioni discrete e fisse, impedendo lo sviluppo di modelli multi-view capaci di gestire traiettorie continue e dense.

2. Metodologia (Methodology)

Gli autori propongono Holo360D, un dataset che risolve queste criticità attraverso un processo strutturato in tre fasi:

A. Acquisizione dei Dati (Data Collection):
Viene utilizzato un sistema portatile integrato composto da uno scanner laser 3D (LiDAR, RTK-GNSS, IMU, camere pinhole) e una camera a 360°. Il sistema è sincronizzato via software per garantire la coerenza temporale tra immagini panoramiche, nuvole di punti e pose della camera. La strategia di movimento è graduale (0.3-0.6 m/s) per massimizzare la densità dei dati.

B. Ricostruzione Offline (Offline Reconstruction):
I dati grezzi vengono elaborati tramite un sistema SLAM ad alta precisione per generare pose della camera allineate e nuvole di punti registrate. Viene poi eseguita la ricostruzione della superficie tramite l'algoritmo di Poisson per ottenere un modello mesh denso e coerente.

C. Pipeline di Post-elaborazione (Data Post-processing):
Per garantire la massima qualità delle mappe di profondità, viene implementata una pipeline specifica:

1. Denoising: Rimozione di outlier causati da riflessi speculari o oggetti dinamici (pedoni).
2. Mesh Hole Filling: Riempimento automatico dei buchi nelle mesh (causati da occlusioni o trasparenze come i vetri) utilizzando una triangolazione che preserva la curvatura.
3. Region-specific Remeshing: Per le strutture sottili o complesse (es. mobili), la mesh viene ricostruita utilizzando la nuvola di punti originale ad alta risoluzione per evitare la perdita di dettagli dovuta al smoothing.

3. Contributi Chiave (Key Contributions)

• Dataset Holo360D: Il primo dataset panoramico su larga scala (109.495 panoramiche) con traiettorie continue e mappe di profondità ad alta completezza e precisione.
• Pipeline di Raffinamento: Un metodo avanzato per la pulizia e la ricostruzione geometrica di mesh e nuvole di punti ottimizzato per la visione a 360°.
• Nuovo Benchmark: L'istituzione di un protocollo di valutazione per il fine-tuning di modelli di ricostruzione 3D panoramica, fornendo strategie ottimali per l'addestramento.

4. Risultati (Results)

Attraverso esperimenti di fine-tuning su modelli allo stato dell'arte (come $\pi3$, VGGT e FLARE), i risultati dimostrano che:

• Superiorità del Dataset: Il fine-tuning su Holo360D produce prestazioni nettamente superiori rispetto al fine-tuning su Matterport3D in termini di accuratezza della posa (ATE, RPE) e qualità della ricostruzione della nuvola di punti (Accuratezza e Completezza).
• Strategie di Ottimizzazione:
  • Rappresentazione: Dividere la panoramica in più viste prospettiche (split views) è più efficace rispetto all'uso diretta della panoramica per mitigare la distorsione sferica.
  • Composizione delle viste: Una configurazione a 8 viste (orizzontali) è preferibile a una a 10 viste (che include zenit e nadir), poiché le viste verticali introducono spesso rumore (es. soffitti o pavimenti).
  • Supervisione: La supervisione basata sulla mesh fornisce segnali geometrici più forti e coerenti rispetto alla sola nuvola di punti.
• Gestione delle Superfici Trasparenti: Il modello fine-tuned mostra una capacità senza precedenti di ricostruire geometrie accurate in presenza di vetrate.

5. Significato (Significance)

Holo360D rappresenta un punto di svolta per la visione artificiale 3D. Fornendo dati che colmano il divario tra la teoria (modelli prospettici) e la realtà (visione panoramica), il dataset abilita lo sviluppo di sistemi di ricostruzione 3D più robusti, capaci di operare in ambienti reali complessi con una continuità spaziale e una precisione geometrica precedentemente non raggiungibili.