Learning Bijective Surface Parameterization for Inferring Signed Distance Functions from Sparse Point Clouds with Grid Deformation

Riepilogo Tecnico: Apprendimento della Parametrizzazione Superficiale Biunivoca per l'Inferenza di Funzioni a Distanza Segnata da Nuvole di Punti Sparse con Deformazione della Griglia

Enunciato del Problema

La ricostruzione di superfici continue a partire da nuvole di punti sparse rimane una sfida significativa nella visione artificiale 3D. Sebbene i metodi di deep learning abbiano appreso con successo le Funzioni a Distanza Segnata (SDF) da nuvole di punti dense per generare isosuperfici robuste, incontrano difficoltà quando i dati di input sono sparsi. Il limite principale è la mancanza di informazioni geometriche dettagliate negli input sparsi, che ostacola l'apprendimento di un campo continuo. Gli approcci esistenti si basano tipicamente su distanze segnate di verità fondamentale, supervisione densa o priori di forma su larga scala. Tuttavia, i metodi basati su priori spesso non riescono a generalizzare su input reali diversificati con geometrie complesse, e i metodi auto-supervisionati faticano a recuperare geometrie complete da punti estremamente sparsi, risultando spesso in approssimazioni grossolane o errori topologici.

Metodologia

Gli autori propongono un nuovo framework end-to-end che apprende una rete di deformazione dinamica per inferire SDF da nuvole di punti sparse senza richiedere priori di superficie aggiuntivi. Il metodo consiste in due componenti fondamentali:

1. Parametrizzazione Superficiale Biunivoca (BSP)
Per affrontare il problema della sparsità, gli autori introducono una mappatura biunivoca tra un dominio parametrico sferico canonico e lo spazio 3D.

• Mappatura Canonica ($\Phi$): Un encoder basato su PointTransformer mappa ogni punto 3D sparso $q_n$ su una coordinata di un dominio parametrico sferico unitario $U$.
• Campionamento di Patch Locali: Ogni punto mappato sulla sfera funge da centro per il campionamento di patch locali. Questo "densifica" efficacemente la rappresentazione nello spazio parametrico generando più codici attorno a ogni punto originale.
• Mappatura Inversa ($\Psi$): Un decoder Transformer apprende la mappatura inversa per proiettare queste patch locali densificate dal dominio parametrico di nuovo nello spazio 3D.
• Integrazione Globale: Le patch locali vengono integrate per formare una superficie globale e continua $S$. Questa superficie è più densa dell'input originale e funge da segnale di supervisione di alta qualità.

2. Ottimizzazione della Deformazione della Griglia (GDO)
Utilizzando la superficie densificata $S$ come supervisione, il metodo impiega una griglia tetraedrica deformabile per stimare la SDF finale.

• Strategia di Deformazione: Invece di prevedere direttamente degli offset (che possono portare a direzioni di deformazione incoerenti), la rete prevede un campo implicito $g(V)$ e il suo gradiente $\nabla g(V)$. I punti della griglia $V$ vengono deformati verso la superficie target $S$ utilizzando il valore del campo come passo e il gradiente normalizzato come direzione.
• Ottimizzazione: Il processo di deformazione è guidato da una funzione di perdita che minimizza la distanza tra i punti della griglia deformati (estratti tramite Tetraedri in Marcia Profondi) e la superficie parametrica $S$.
• Vincolo di Livello: Un termine di perdita aggiuntivo incoraggia i punti della griglia a giacere sul livello zero del campo previsto, garantendo la generazione di forme ermetiche.

L'intero sistema è addestrato end-to-end, dove la BSP fornisce una supervisione precisa per la rete di deformazione della griglia, permettendo al modello di apprendere campi impliciti dal grezzo al fine.

Contributi Chiave

• Framework Innovativo: Un nuovo approccio che apprende una rete di deformazione neurale per inferire campi a distanza segnata da punti sparsi senza fare affidamento su priori di forma esterni.
• Parametrizzazione Biunivoca: L'introduzione della Parametrizzazione Superficiale Biunivoca (BSP), che costruisce una mappatura biunivoca continua per trasformare punti sparsi in patch locali dense in uno spazio parametrico, consentendo il recupero di una geometria globale più fine.
• Ottimizzazione della Deformazione della Griglia (GDO): Una strategia che utilizza griglie tetraedriche deformabili e coerenza del gradiente per ottimizzare l'approssimazione della superficie, ottenendo direzioni di deformazione più coerenti e distribuzioni di forma accurate rispetto alla previsione diretta degli offset.
• Prestazioni all'Avanguardia: Il metodo ottiene risultati superiori sia su dataset sintetici che su dataset scansionati dal mondo reale rispetto ai metodi esistenti all'avanguardia.

Risultati Sperimentali

Il metodo è stato valutato su cinque dataset: ShapeNet, D-FAUST, SRB (scansioni reali), 3DScene e KITTI.

• ShapeNet: Utilizzando 300 punti di input, il metodo ha superato i concorrenti (inclusi Nspline, NDrop, Onsurf, SparseOcc e NTPS) in tutte le metriche (Distanza di Chamfer $L_1$/$L_2$ e Coerenza delle Normale) per varie categorie di oggetti (ad esempio, Aereo, Sedia, Lampada).
• D-FAUST: Ha ottenuto le prestazioni migliori nella ricostruzione di corpi umani con pose diverse, mostrando distanze di Chamfer inferiori e una maggiore coerenza delle normali rispetto a baseline come VIPSS e NDrop.
• Scene del Mondo Reale (SRB, 3DScene, KITTI): Il metodo ha ricostruito con successo forme complete e catturato dettagli locali (ad esempio, pose umane, scene stradali) dove altri metodi producevano superfici grossolane o non riuscivano a gestire geometrie complesse. I confronti visivi hanno dimostrato superfici più lisce e un migliore recupero dei dettagli interni.

Significato e Affermazioni

Il documento afferma che il framework proposto avanza significativamente lo stato dell'arte nella ricostruzione di superfici sparse. Disaccoppiando l'apprendimento della forma globale dai dettagli locali attraverso la parametrizzazione biunivoca, il metodo supera i limiti degli approcci precedenti che faticano con la mancanza di informazioni geometriche negli input sparsi. Gli autori sottolineano che il loro approccio non richiede supervisione densa o embedding pre-addestrati, rendendolo applicabile a scenari reali in cui sono disponibili solo nuvole di punti sparse. Gli studi di ablazione confermano che sia la strategia BSP che l'ottimizzazione GDO sono critiche per raggiungere un'alta accuratezza di ricostruzione e continuità geometrica.