Diagnosing and Repairing Shape-Prior Shortcuts in Long-Range Single-Shot Fringe Projection Profilometry

Sintesi Tecnica: Diagnosi e Riparazione delle Scorciatoie basate su Prior di Forma nella Proiezione di Frange Single-Shot a Lungo Raggio

Definizione del Problema
L'apprendimento automatico applicato alla profilometria a proiezione di frange (FPP) single-shot ha ottenuto successi nei regimi a corto raggio (es. endoscopia, tabletop), dove il contrasto delle frange e la geometria di triangolazione sono favorevoli. Tuttavia, il regime a lungo raggio (standoff > 1 m) rimane ampiamente inesplorato a causa di tre sfide accoppiate: (1) l'attenuazione dell'intensità luminosa secondo la legge dell'inverso del quadrato degrada il rapporto segnale-rumore e l'affidabilità della verità fisica di base; (2) la formulazione single-shot è intrinsecamente mal posta perché l'informazione sull'ordine delle frange non è disponibile da una singola immagine, portando a errori di profondità che scalano quadraticamente con la distanza; (3) le architetture esistenti mancano di interpretabilità meccanicistica, lasciando la diagnosi degli errori priva di una guida principiata. Inoltre, il campo manca di un benchmark condiviso, con protocolli di normalizzazione, funzioni di perdita ed valutazione inconsistenti tra gli studi.

Metodologia
Gli autori presentano uno studio unificato "diagnosi-riparazione-verifica" utilizzando FPP-ML-Bench, il primo benchmark sintetico fotorealistico open-source per la FPP single-shot. Costruito sul framework VIRTUS-FPP all'interno di NVIDIA Isaac Sim, il dataset comprende 15.600 immagini di frange di 50 oggetti diversi a una distanza di standoff di 1,5–2,1 m.

La metodologia procede in quattro fasi:

1. Ablazione Sistematica: Gli autori isolano le scelte di progettazione (normalizzazione, elaborazione dello sfondo, composizione multi-frame, funzioni di perdita e architettura) per stabilire una baseline ad alte prestazioni.
2. Diagnosi tramite Interpretabilità Meccanicistica (MI): Utilizzando il linear probing, Grad-CAM e test su piani piatti fuori distribuzione (OOD), gli autori indagano se la rete apprende la decodifica delle frange basata sulla fisica o scorciatoie geometriche.
3. Riparazione Architetturale: Sulla base della diagnosi, gli autori introducono PhiCalNet, un'architettura a fase intermedia. A differenza delle standard reti di regressione della profondità, PhiCalNet produce una rappresentazione di fase avvolta $(\sin \phi, \cos \phi)$. Uno strato di calibrazione fisso e differenziabile mappa deterministicamente questa fase in profondità utilizzando la fisica della triangolazione FPP. Questo design rimuove la soluzione basata sul prior di forma dallo spazio di ipotesi tramite un vincolo architettonico piuttosto che tramite una penalità di perdita.
4. Verifica: La riparazione è verificata tramite:
   • MI: Ri-applicando la batteria di interpretabilità a PhiCalNet per confermare che apprenda la fase anziché la forma.
   • Quantificazione dell'Incertezza (UQ): Applicando la predizione conforme pixel-wise su un ensemble di snapshot per determinare se l'incertezza auto-riportata dal modello sia allineata con i suoi modi di fallimento.
   • Controfattuali: Confrontando PhiCalNet con una baseline PINN (Physics-Informed Neural Network) in cui la fisica è imposta tramite una soft loss penalty piuttosto che tramite architettura.

Risultati Chiave e Conclusioni

• Ottimizzazione della Baseline: Le ablazioni sistematiche hanno rivelato che la normalizzazione della profondità individuale (decoupling di scala e forma) ha migliorato l'Errore Assoluto Medio (MAE) dell'oggetto di 9,1× rispetto alla profondità grezza. Contrariamente all'intuizione, le frange di sfondo sono segnali essenziali, non rumore; rimuoverle ha degradato le prestazioni di 2,8–7,3×. La perdita ibrida L1 ($\alpha=0,7$) e l'architettura UNet hanno superato TransUNet, ResUNet e Pix2Pix. La migliore baseline (UNet) ha raggiunto un MAE dell'oggetto di 14,54 mm, ma l'analisi dei residui ha suggerito un limite di rappresentazione piuttosto che un problema di capacità.
• La Diagnosi della Scorciatoia: L'analisi meccanicistica della baseline UNet ha rivelato che essa risolve il compito tramite prior di forma dei bordi dell'oggetto anziché tramite la decodifica della fase delle frange.
  • Linear Probing: Le caratteristiche geometriche (bordi) erano 2,82× più facili da decodificare dalle attivazioni interne rispetto ai valori di profondità.
  • Grad-CAM: L'attenzione correla più fortemente con i bordi dell'oggetto (1,28×) che con i pattern delle frange.
  • Test OOD: Su un piano piatto privo di caratteristiche, la rete è collassata verso predizioni di profondità vicine allo zero, fallendo nell'utilizzare le valide frange presenti, confermando la dipendenza da template di forma.
• Prestazioni di PhiCalNet: Imponendo alla rete di produrre la fase avvolta, PhiCalNet ha ridotto il MAE dell'oggetto del 3,3× (da 14,54 mm a 4,46 mm) rispetto alla baseline UNet.
  • Un controfattuale PINN (imponendo la fisica tramite soft loss su una rete di regressione della profondità) non ha prodotto alcun guadagno misurabile, isolando l'inquadramento architettonico come il fattore operativo.
  • L'errore residuo di PhiCalNet è localizzato allo 0,103% dei pixel alla discontinuità di wrap $\pm\pi$, un limite strutturale della regressione continua di un target discontinuo.
  • Un'estensione a 3 frame di PhiCalNet ha ulteriormente ridotto il MAE a 1,16 mm, validando il deficit informativo-teoretico dell'acquisizione single-shot.
• Quantificazione dell'Incertezza: La predizione conforme pixel-wise ha dimostrato che gli errori di PhiCalNet sono strutturalmente leggibili. Rifiutando il top 5% dei pixel per disaccordo tra gli snapshot, la RMSE di PhiCalNet è stata ridotta del 64% (20,6 mm $\to$ 7,4 mm), mentre la stessa procedura ha ridotto la RMSE della baseline UNet di soli 3,5%. Ciò conferma che i fallimenti di PhiCalNet sono concentrati in loci geometrici specifici dove il modello identifica correttamente l'alta incertezza, diversamente dagli errori diffusi della baseline.

Significatività e Rivendicazioni
Il documento rivendica tre contributi primari:

1. Benchmarking: L'introduzione di FFF-ML-Bench fornisce una superficie di valutazione standardizzata e riproducibile per la FPP single-shot a lungo raggio, affrontando la mancanza di infrastrutture condivise nel settore.
2. Insight Meccanicistico: Questa è la prima applicazione dell'interpretabilità meccanicistica alla FPP, rivelando che gli approcci standard di deep learning in questo dominio spesso si affidano a scorciatoie geometriche (prior di forma) piuttosto che alla decodifica della fase fisica, un modo di fallimento esacerbato dalla natura mal posta della ricostruzione single-shot a lungo raggio.
3. Soluzione Architetturale: Gli autori dimostrano che i vincoli architettonici (output della fase invece della profondità) sono più efficaci delle penalità di perdita (PINN) per imporre la coerenza fisica. PhiCalNet riesce a rimuovere la scorciatoia del prior di forma dallo spazio di ipotesi.

Gli autori inquadrano la convergenza di l'Interpretabilità Meccanicistica, l'Analisi dell'Errore Residuo e la Quantificazione dell'Incertezza in un singolo locus fisico (la discontinuità di wrap $\pm\pi$) come un template metodologico per l'apprendimento informato dalla fisica. Argomentano che quando il modo di fallimento di un modello ha un locus geometrico o fisico specifico, questi tre strumenti diagnostici possono convergere per fornire una spiegazione coerente del comportamento del modello, una condizione spesso assente nei modi di fallimento diffusi trovati in altri domini come il linguaggio o l'imaging medico.

Il documento conclude che l'errore residuo nella FPP single-shot è fondamentalmente informativo-teoretico (a causa della mancanza di informazioni sull'ordine delle frange) piuttosto che un limite di modellazione, e che sebbene PhiCalNet migliori significativamente l'accuratezza, l'errore rimanente è strutturalmente limitato dalla fisica del problema.