Comprehensive Machine Learning Benchmarking for Fringe Projection Profilometry with Photorealistic Synthetic Data

Problematica

Gli approcci di machine learning (ML) per la Profilometria a Proiezione di Frange (FPP) affrontano barriere significative all'adozione e all'avanzamento a causa dell'assenza di dataset su larga scala e diversificati con una ground truth perfetta e della mancanza di protocolli di benchmarking completi e standardizzati. Mentre la FPP tradizionale si affida ad algoritmi di spostamento di fase multi-step per una precisione sub-millimetrica, il ML offre il potenziale per la ricostruzione single-shot, abilitando applicazioni in tempo reale. Tuttavia, il progresso è ostacolato da tre problemi fondamentali:

1. Scarsità di Dati: A differenza della visione artificiale generale, la FPP manca di dataset standardizzati. Acquisire una ground truth 3D perfetta è difficile a causa degli errori intrinseci del sistema di misurazione.
2. Metodologie Incoerenti: Gli studi esistenti impiegano rappresentazioni dei dati arbitrarie (ad esempio, variando tra millimetri grezzi, valori normalizzati [0,1] o metri) e funzioni di perdita (L1, L2, SSIM, ecc.) senza una giustificazione o un confronto sistematico. Questa incoerenza oscura se i guadagni di prestazione derivino dall'innovazione architettonica o dalla sintonizzazione degli iperparametri.
3. Limitazioni Irrisolte: Resta da chiarire se gli errori nella ricostruzione single-shot siano dovuti a configurazioni di modello subottimali o a deficit informativi fondamentali nelle singole immagini delle frange.

Metodologia

Gli autori introducono un framework di benchmarking sistematico basato su VIRTUS-FPP, un sistema FPP virtuale basato sulla fisica sviluppato in NVIDIA Isaac Sim. La metodologia prevede tre fasi di studi di ablazione per isolare l'impatto delle decisioni di progettazione sulla ricostruzione 3D single-shot.

1. Generazione del Dataset:

• Fonte: Un dataset sintetico fotorealistico composto da 15.600 immagini di frange e 300 ricostruzioni di profondità su 50 oggetti diversi (dal set YCB e dal NVIDIA Physical AI Warehouse).
• Simulazione: Gli oggetti sono scansionati in un intervallo compreso tra 1,5 e 2,1 metri. Il sistema utilizza una sequenza di spostamento di fase a 18 step per la generazione della ground truth, elaborata tramite triangolazione standard.
• Setup Virtuale: Una coppia camera-proiettore calibrata è modellata con ray tracing OptiX per il rendering fotorealistico, catturando complessi trasporti di luce (multi-rimbalzo, riflettività, occlusione ambientale) pur disabilitando le ombre per garantire pattern di frange puliti.

2. Progettazione Sperimentale (Ablazione in Tre Fasi):

• Fase 1: Normalizzazione dei Dati: Gli autori confrontano tre strategie per la rappresentazione della profondità della ground truth:
  • Profondità Grezza (Raw Depth): Valori in millimetri non normalizzati (0–2000 mm).
  • Normalizzazione Globale: Scalata in metri (0–2 m).
  • Normalizzazione Individuale: La mappa di profondità di ogni oggetto è scalata indipendentemente a [0, 1], disaccoppiando la forma dalla scala assoluta.
  • Ablazione dello Sfondo: Un esperimento che rimuove i pattern di frange dello sfondo per testare il loro ruolo come rumore o segnale.
• Fase 2: Funzioni di Perdita: Vengono valutate sei funzioni di perdita (L1, RMSE, varianti mascherate e varianti ibride) per determinare l'equilibrio ottimale tra il focus sulla geometria dell'oggetto e la stabilità della scala globale.
• Fase 3: Benchmarking dell'Architettura: Quattro architetture (UNet, Hformer, ResUNet, Pix2Pix) vengono testate utilizzando la configurazione ottimale identificata nelle Fasi 1 e 2.

3. Metriche di Valutazione:
Per evitare la diluizione degli errori dell'oggetto causata dai pixel dello sfondo (che occupano il 60–90% dell'immagine), gli autori riportano tre metriche distinte:

• Errore dell'Oggetto: Calcolato solo sui pixel di profondità non nulli (MAE/RMSE).
• Errore dello Sfondo: Calcolato solo sui pixel di profondità zero.
• Errore Complessivo: Calcolato su tutti i pixel.

Contributi Chiave

1. Primo Benchmark FPP Open-Source: Il rilascio di un dataset sintetico fotorealistico (15.600 immagini) con ground truth perfetta, generato tramite NVIDIA Isaac Sim, disponibile su Hugging Face.
2. Studi di Ablazione Sistematici: Il documento stabilisce le configurazioni di apprendimento ottimali per la FPP single-shot, passando da scelte arbitrarie a pratiche basate sull'evidenza.
3. Scoperta di Limitazioni Fondamentali: Il lavoro fornisce prove empiriche che il vincolo primario nella FPP single-shot è un deficit informativo, non il design del modello, poiché anche i migliori modelli non riescono a raggiungere una precisione sub-millimetrica senza informazioni di fase esplicite.

Risultati Chiave

1. Strategia di Normalizzazione:

• La Normalizzazione Individuale è Superiore: Disaccoppiare la forma dell'oggetto dalla scala assoluta produce un miglioramento di 9,1× nella ricostruzione dell'oggetto rispetto alla profondità grezza (16,20 mm MAE vs 148,07 mm MAE) e un miglioramento di 5,1× rispetto alla normalizzazione globale.
• Le Frange dello Sfondo sono Segnale, non Rumore: Controintuitivamente, rimuovere i pattern di frange dallo sfondo degrada catastroficamente le prestazioni (da 2,8× a 7,3× peggio in tutte le normalizzazioni). Ciò prova che le frange dello sfondo forniscono un essenziale riferimento spaziale di fase necessario per risolvere l'ambiguità intrinseca di $2\pi$ nella ricostruzione single-shot.

2. Ottimizzazione della Funzione di Perdita:

• La Perdita Ibrida L1 è Ottimale: Una perdita L1 ibrida con $\alpha=0,7$ (che bilancia la perdita dell'oggetto mascherata e la perdita globale) raggiunge le migliori prestazioni, migliorando l'errore dell'oggetto del 10% rispetto alla baseline RMSE (14,54 mm vs 16,20 mm MAE).
• Le Perdite Mascherate Falliscono: Le funzioni di perdita che escludono i pixel dello sfondo (RMSE/L1 mascherate) causano un drift di scala catastrofico (errori >120 mm), poiché la rete manca dei vincoli globali necessari per mantenere la coerenza metrica.

3. Confronto tra Architetture:

• UNet Domina: Utilizzando la configurazione ottimale (Normalizzazione Individuale + L1 Ibrida $\alpha=0,7$), UNet raggiunge le migliori prestazioni (14,54 mm oggetto MAE), superando Hformer del 52%, ResUNet del 60% e Pix2Pix del 91%.
• Il Fallimento di Pix2Pix: Pix2Pix mostra un disallineamento fondamentale tra l'addestramento avversario e gli obiettivi metrologici. Sebbene produca superfici visivamente plausibili e lisce con range di profondità statisticamente corretti, soffre di offset sistematici (20–40 mm) che determinano la peggiore accuratezza metrica. Ciò evidenzia che la plausibilità percettiva non equivale alla precisione di misura.
• Deficit Informativo: Il divario di prestazioni tra la migliore (UNet) e la peggiore (Pix2Pix) architettura è modesto (1,9×). Anche l'errore del miglior modello (14,54 mm) rappresenta il 18% dell'intervallo di profondità dell'oggetto (80 mm), lontano dalle capacità sub-millimetriche della FPP tradizionale. Ciò conferma che le singole immagini di frange mancano di informazioni sufficienti per un recupero accurato della profondità senza dati di fase espliciti.

Significato e Rivendicazioni

Il documento sostiene di fornire il primo protocollo di valutazione standardizzato e un robusto dataset di benchmark per la FPP basata sull'apprendimento. Il suo significato principale risiede nello spostamento della comprensione della comunità sulla ricostruzione single-shot:

• Il Limite è Fondamentale: L'incapacità di raggiungere un'alta precisione non è dovuta a un cattivo design del modello, ma a una mancanza fondamentale di informazioni nelle singole immagini di frangia. Le reti apprendono modelli di forma grossolani piuttosto che geometrie precise.
• Rifiuto degli Approcci Puramente End-to-End: I risultati suggeriscono che la mappatura diretta frangia-profondità senza informazioni di fase è fondamentalmente limitata.
• Direzione Futura: Gli autori motivano un passaggio verso approcci ibridi che combinano la FPP tradizionale basata sulla fase (per la precisione geometrica) con il raffinamento appreso (per la robustezza al rumore e all'ambiguità), piuttosto che perseguire architetture sempre più complesse per la mappatura diretta.

Il lavoro serve come fondamento per la ricerca sulla FPP guidata dai dati, offrendo strumenti open-source (dataset e codice) per consentire il confronto sistematico e lo sviluppo di pipeline ibride fisica-ML.