Riepilogo Tecnico: SurfFill - Completamento di Nuvole di Punti LiDAR tramite Splatting di Surfels Gaussiani

1. Enunciato del Problema

Le nuvole di punti LiDAR sono ampiamente considerate lo standard aureo per la ricostruzione 3D attiva grazie alla loro elevata coerenza globale e precisione. Tuttavia, soffrono di lacune sistematiche, in particolare nelle strutture sottili, nei contorni e sui bordi. La causa principale identificata è la divergenza del fascio: mentre i fasci laser viaggiano, la loro sezione trasversale si espande, causando l'illuminazione di una singola sia delle superfici in primo piano che di quelle sullo sfondo vicino alle discontinuità geometriche. Ciò risulta in "pixel misti" (misure di distanza spurie) che vengono successivamente scartati dai filtri di pre-elaborazione come valori anomali.

Di conseguenza, le scansioni LiDAR spesso mancano di dettagli geometrici fini. Sebbene i metodi di ricostruzione basati su immagini (ad es. Stereo Multi-vista, Campi Neurali di Radiazione, Splatting Gaussiano) possano inferire questi dettagli da regioni ricche di caratteristiche, spesso falliscono in aree povere di caratteristiche e mancano della precisione globale del LiDAR. Inoltre, i metodi standard di completamento della forma (spesso basati su deep learning) sono tipicamente progettati per scene piccole e centrate sull'oggetto (migliaia di punti) e faticano a generalizzare su dataset LiDAR su larga scala, delle dimensioni di un edificio, contenenti milioni di punti.

La sfida principale è integrare la ricostruzione fotometrica con i dati LiDAR per colmare queste lacune senza introdurre valori anomali o compromettere l'accuratezza delle regioni ben scansionate.

2. Metodologia: SurfFill

Gli autori propongono SurfFill, uno schema di completamento LiDAR basato su surfels gaussiani. La pipeline opera attraverso quattro fasi principali:

2.1. Euristica di Ambiguità e Mappatura dell'Incertezza

Per identificare dove mancano i dati LiDAR, il metodo analizza le regioni di transizione tra le aree ben scansionate e le lacune.

• Euristica di Ambiguità 3D: Gli autori osservano che mentre le lacune hanno densità zero e le aree ben scansionate hanno alta densità, le zone di transizione (causate dalla divergenza del fascio e dal filtraggio) esibiscono una caratteristica bassa ma non nulla densità di punti. Calcolano un punteggio di ambiguità $p(x)$ per ogni punto basato sull'inverso della sua densità locale dei k-vicini più prossimi (KNN). Punteggi di ambiguità elevati indicano regioni di transizione adiacenti a strutture mancanti.
• Mappe di Incertezza 2D: Per completare il segnale 3D, il metodo stima le normali superficiali monocromatiche da immagini RGB. Grandi gradienti in queste normali indicano confini geometrici dove i dati LiDAR sono probabilmente incompleti. Ciò genera una mappa di incertezza $U$ per guidare l'ottimizzazione.

2.2. Pre-elaborazione e Inizializzazione

• Sottocampionamento Non Uniforme: La nuvola di punti LiDAR di input viene sottocampionata in modo non uniforme. I punti con alti punteggi di ambiguità (regioni di transizione) sono mantenuti ad alta densità per servire come semi per la ricostruzione. Le regioni ben scansionate vengono diradate aggressivamente per risparmiare risorse computazionali.
• Inizializzazione di Surfels Gaussiani: Un modello di surfel gaussiano viene inizializzato utilizzando i punti sottocampionati. Le scale iniziali dei Gaussiani sono impostate in base al punteggio di ambiguità locale per incoraggiare una ricostruzione più fine nelle aree ambigue.

2.3. Ottimizzazione Focalizzata di Surfels Gaussiani

Il processo di ottimizzazione è vincolato per concentrarsi sul completamento delle aree mancanti piuttosto che sulla ricostruzione dell'intera scena da zero.

• Controllo Adattivo della Densità (ADC): Il modulo ADC standard è modificato. Invece dei gradienti medi nello spazio schermo, viene utilizzato il gradiente massimo per la divisione e la clonazione per gestire meglio i dati RGB sparsi. Un flag "was-densified" traccia i nuovi Gaussiani creati.
• Campionamento delle Viste di Addestramento: Le viste sono campionate in base al numero di punti ad alta ambiguità proiettati, dando priorità alle immagini che contengono le regioni di interesse.
• Funzioni di Perdita: La funzione obiettivo combina perdite fotometriche standard con regolarizzatori specifici:
  • Perdita del Gradiente ($L_g$): Incoraggia la ricostruzione dei bordi.
  • Regolarizzazione della Scala ($R_s$): Impedisce ai Gaussiani di diventare troppo grandi, garantendo che i dettagli fini siano preservati.
  • Perdite di Profondità/Normali Mascherate: Applicate solo alle regioni ambigue per evitare di appiattire le strutture fini nelle aree ben scansionate.
  • Mascheratura dell'Incertezza: La mappa di incertezza $U$ è utilizzata per pesare la perdita, dirigendo l'ottimizzazione verso le regioni incerte.

2.4. Filtraggio e Campionamento

Dopo l'addestramento, il modello gaussiano viene filtrato per estrarre punti di completamento validi:

• Rimozione degli Outlier: I Gaussiani con scale elevate (floaters) o bassa opacità vengono scartati.
• Filtraggio dell'Ambiguità: I Gaussiani che non sono stati densificati o hanno bassa ambiguità (indicando che si trovano in aree ben scansionate) vengono rimossi.
• Filtraggio della Distanza: Un passaggio critico in cui i Gaussiani sono confrontati con la scansione LiDAR originale. I punti più vicini di una soglia ($t_{min} = 0.01$ m) vengono rimossi per evitare di duplicare dati LiDAR accurati. I punti più lontani di $t_{max}$ vengono rimossi come outlier.
• Campionamento: I punti sono campionati dai Gaussiani filtrati, incluso il campionamento tra Gaussiani vicini per colmare le lacune nelle strutture sottili.

2.5. Estensione su Larga Scala

Per gestire scene delle dimensioni di un edificio (decine di milioni di punti), gli autori adottano una strategia divide-et-impera. La scena è suddivisa in blocchi allineati agli assi, ciascuno elaborato indipendentemente con un sottoinsieme di telecamere e punti. Ciò consente l'elaborazione parallela su più GPU e supera i limiti di memoria della GPU.

3. Contributi Chiave

1. Analisi degli Artefatti LiDAR: Identificazione della divergenza del fascio come causa radice delle lacune sistematiche e proposta di un'euristica di ambiguità basata sulla densità per rilevare le regioni di transizione da completare.
2. Splatting di Surfels Gaussiani Focalizzato: Integrazione dell'euristica di ambiguità nell'ottimizzazione dei surfels gaussiani, caratterizzata da densificazione vincolata, regolarizzazione della scala e una pipeline di filtraggio specificamente progettata per il completamento LiDAR.
3. Elaborazione su Larga Scala: Applicazione di una strategia di suddivisione in blocchi per abilitare il completamento di dataset LiDAR su scala edilizia (ad es. 73 milioni di punti) entro tempi fattibili.
4. Prestazioni: Dimostrazione di un metodo che supera le tecniche esistenti di ricostruzione e completamento della forma sia in scenari sintetici che reali.

4. Risultati

Il metodo è stato valutato su scene sintetiche (Attico, Cucina, Museo) e dataset reali (ScanNet++, Tanks&Temples e acquisizioni personalizzate).

• Prestazioni Quantitative: SurfFill ha raggiunto una Distanza di Chamfer media di 0.0055 m e un punteggio F1 di 0.9176, superando significativamente le linee di base come 2DGS (0.0618 m di Distanza di Chamfer), 3DGS, Neuralangelo e COLMAP.
• Precisione vs Richiamo: Mentre COLMAP ha raggiunto un richiamo comparabile (trovando un numero simile di punti mancanti), SurfFill ha dimostrato una precisione superiore (0.986 contro 0.789), indicando che i punti ricostruiti sono spazialmente più accurati e meno rumorosi.
• Risultati Qualitativi: Il metodo ha ricostruito con successo dettagli fini come sbarre di recinzione, gambe di sedie e ganci che mancavano nelle scansioni LiDAR originali. Ha introdotto rumore minimo nelle regioni piane ben scansionate.
• Efficienza: Il metodo elabora scene delle dimensioni di un edificio in circa 3 ore su una singola GPU (o ~70 minuti con 6 GPU), rispetto a giorni per alcuni metodi basati su NeRF.
• Studi di Ablazione: La rimozione del passaggio di filtraggio ha ridotto il punteggio F1 di circa il 2,5%, evidenziandone l'importanza nel prevenire il rumore nelle regioni accurate. La regolarizzazione della scala e le mappe di incertezza sono state cruciali per stabilizzare la ricostruzione nelle aree testurizzate.

5. Significato e Affermazioni

Il documento afferma che SurfFill colma efficacemente il divario tra l'alta precisione del LiDAR e l'alto dettaglio della ricostruzione fotometrica. Sfruttando i pattern specifici degli artefatti del LiDAR (zone di transizione) per guidare un'ottimizzazione focalizzata dei surfels gaussiani, il metodo recupera le strutture geometriche mancanti senza compromettere l'integrità della scansione originale.

Gli autori sottolineano che il loro approccio è distinto dai metodi diretti di completamento della forma (che falliscono su larga scala) e dallo Splatting Gaussiano standard (che manca dei vincoli specifici per il riempimento delle lacune LiDAR). Il metodo è particolarmente significativo per le applicazioni che richiedono modelli 3D su larga scala ad alta fedeltà dove i dati LiDAR sono incompleti a causa delle limitazioni fisiche del sensore.

Limitazioni Riconosciute:

• Il metodo si basa sulla presenza di regioni di transizione; se una struttura viene rimossa completamente senza lasciare traccia, non può essere recuperata.
• Le prestazioni peggiorano con rumore significativo nella posa o in scene con configurazioni di vista sparse (ad es. la scena del Ponte).
• Il metodo non mira specificamente a superfici scure o riflettenti, poiché anche i metodi fotometrici faticano lì; lascia correttamente queste regioni invariate piuttosto che allucinare geometria.
• I punti completati mancano della spaziatura uniforme del pre-processing LiDAR originale, potendo apparire visivamente più rumorosi, sebbene geometricamente accurati.