Repairing Shape-Prior Shortcuts in Long-Range Single-Shot Fringe Projection Profilometry

Technische Samenvatting: Het repareren van Shape-Prior Shortcuts in Long-Range Single-Shot FPP

Probleemstelling
Single-shot fringe projection profilometry (FPP) streeft naar een dichte, contactloze 3D-reconstructie vanuit één enkel fringe-beeld, wat operatie mogelijk maakt onder niet-stationaire condities (bewegende objecten, variërende verlichting) waar conventionele multi-step phase-shifting FPP faalt. Echter, in het long-range regime (stand-off > 1 m) is single-shot reconstructie inherent slecht gesteld (ill-posed). De mapping van een enkele fringe-intensiteit naar diepte is niet-injectief zonder fringe-orde informatie, omdat de intensiteit afhankelijk is van een $2\pi$-periodieke cosinusfunctie. Gevolgjelijk induceert een incorrecte fringe-orde dieptefouten die kwadratisch groeien met de afstand ($Z^2$).

Vorig werk (Haroon et al., 2026b) stelde vast dat standaard deep learning baselines (specifiek diepte-regressieve UNets) er niet in slagen dit probleem op long-range benchmarks op te lossen. In plaats van de fringe-fase te decoderen om diepte te herstellen, exploiteren deze netwerken een "shape-prior shortcut". Ze detecteren objectgrenzen en vullen geleerde vormtemplates in, waarbij ze de fringe-fysica volledig omzeilen. Dit falen is een eigenschap van de hypotheseruimte: omdat de mapping niet-injectief is, convergeren optimizers getraind met standaard $L_1/L_2$ regressie naar de shape-prior surrogaat. Het toevoegen van meer data of modelcapaciteit lost dit niet op, aangezien de shortcut beschikbaar blijft binnen de zoekruimte.

Methodologie: PhiCalNet
Om dit falen te repareren, introduceren de auteurs PhiCalNet, een fase-intermediaire architectuur die ontworpen is om de shape-prior oplossing uit de hypotheseruimte te verwijderen door constructie, in plaats van deze enkel te ontmoedigen via loss-straffen.

1. Architecturale Inkadering: In tegenstelling tot standaard netwerken die direct diepte regresseren ($I \to Z$), geeft PhiCalNet een wrapped-fase representatie $(\sin \phi, \cos \phi)$ terug. Het netwerk produceert nooit diepte als een directe geleerde grootheid.
2. Vaste Differentiabele Kalibratie: De output-fase wordt naar diepte gemapt via een vaste, niet-leerbare, differentiabele kalibratielaag ($\mathcal{C}$) die de deterministische FPP-triangulatie-fysica toepast. Dit zorgt ervoor dat de enige weg naar accurate diepte is voor het netwerk om de wrapped-fase accuraat te voorspellen.
3. Auxiliaire Fringe-orde: Om de niet-injectiviteit van single-shot reconstructie op te lossen, neemt PhiCalNet de fringe-orde ($k$) op als verklaarde hulpinformatie (bijv. uit gray-code of multi-frequency decoding). Het netwerk leert de mapping $I \to (\sin \phi, \cos \phi)$, terwijl het unwrapping-proces ($\Phi = \phi + 2\pi k$) en de triangulatie worden afgehandeld door de vaste pipeline.
4. Loss Functie: De training maakt gebruik van een composiete loss:
   • $\mathcal{L}_{circ}$: Een geodesische fase-term op de eenheidscirkel, gewogen om fouten nabij de $\pm \pi$ wrap-grens te zwaarder te wegen.
   • $\mathcal{L}_{\nabla}$: Een smoothness regularisator op de fase-gradiënten.
   • $\mathcal{L}_{d}$: Een hybride $L_1$ loss op de uiteindelijke diepte (berekend via de kalibratielaag), die een gradiëntpad activeert terug naar de backbone via de vaste kalibratie.

Kernbijdragen

1. Architecturale Reparatie boven Loss-Straffen: De paper demonstreert dat het afdwingen van fysica via een zachte loss-straf (een Physics-Informed Neural Network of PINN baseline) geen verbetering oplevert ten opzichte van de standaard UNet. De verbetering komt strikt voort uit de architecturale keuze om reconstructie via een vaste kalibratielaag te routeren, wat het netwerk dwingt fase te representeren.
2. Mechanistische Interpreteerbaarheid: De auteurs passen een batterij aan interpreteerbaarheids-probes toe (linear probing, dual-mode Grad-CAM, en flat-plane out-of-distribution testen) om te verifiëren dat PhiCalNet de beoogde fysica leert.
   • Linear Probing: Fase is de meest decodeerbare interne feature, terwijl diepte de minst decodeerbare is (in tegen tegenstelling tot de UNet baseline waar diepte-als-vorm geconsolideerd is in de decoder).
   • Grad-CAM: In "fase-modus" let het netwerk op fringe-patronen; in "diepte-modus" verschuift de aandacht naar objectgrenzen pas nadat gradiënten door de kalibratielaag stromen.
   • Flat-Plane Test: PhiCalNet herstelt correct een uniforme diepte op een vormloos vlak (waar shape-priors falen), terwijl de UNet baseline inklapt naar een diepte nabij nul.
3. Onzekerheidskwantificering (UQ): De paper past voor het eerst pixel-wise conformal prediction toe op FPP. Het toont aan dat de onzekerheid van het model (snapshot ensemble disagreement) precies geconcentreerd is bij de $\pm \pi$ wrap-discontinuïteiten, dezelfde locus die door de residu-analyse is geïdentificeerd.
4. Methodologische Template: De convergentie van mechanistische interpreteerbaarheid (MI), residu-analyse en onzekerheidskwantificering (UQ) op één enkele geometrische locus wordt voorgesteld als een "diagnose-repareer-verifieer" template voor physics-informed leren.

Resultaten
Geëvalueerd op de FPP-ML-Bench (15.600 fringe-beelden, 50 objecten bij 1,5–2,1 m stand-off):

• Accuratesse: PhiCalNet reduceert de object Mean Absolute Error (MAE) met een factor 3,3$\times$ vergeleken met de beste UNet baseline (4,46 mm vs. 14,54 mm).
• Residu-analyse: De resterende fout is sterk gelokaliseerd. De gehele Root Mean Square Error (RMSE) staart wordt gedragen door 0,103% van de objectpixels die zich bij de $\pm \pi$ wrap-discontinuïteit bevinden. Dit wordt geïdentificeerd als een structurele limiet van continue regressie op een discontinue target, niet als een fitting-fout.
• Multi-Frame Extensie: Het uitbreiden van de input naar drie phase-shifted frames reduceert de object MAE naar 1,16 mm, wat bevestigt dat de single-shot residu informatie-theoretisch is.
• Fringe-Order Sensitiviteit: Het systeem blijft binnen 5% van zijn oracle accuratesse, zelfs met tot 5% pixel-wise corruptie van de fringe-orde, wat aangeeft dat de oracle-aanname een formalisme is en geen strikte vereiste voor implementatie.
• Effectiviteit van UQ: Het verwerpen van de top 5% pixels met de hoogste snapshot disagreement reduceert de RMSE van PhiCalNet met 64% (20,6 mm $\to$ 7,4 mm), terwijl dezelfde procedure op de UNet baseline slechts een reductie van 3,5% oplevert.

Betekenis en Claims
De paper claimt dat het falen van single-shot FPP netwerken geen capaciteitprobleem is maar een representatieprobleem, waarbij optimizers shape-priors exploiteren om de ill-posed fysica te omzeilen. De betekenis van PhiCalNet ligt in de architecturale inkadering, die de shape-prior shortcut verwijdert door diepte als een deterministisch gevolg van vaste fysica te maken en fase als de primaire output te stellen.

De auteurs kaderen hun bijdragen bescheiden als:

1. Een specifieke architecturale oplossing (PhiCalNet) die beter presteert dan loss-level fysica-afdwinging.
2. Een empirische en analytische karakterisering van de residu-fout als een wrap-boundary artefact.
3. Een verificatiewerkstroom waarbij MI en UQ convergeren op dezelfde failure locus, wat een template biedt voor het diagnosticeren en repareren van physics-informed leeringssystemen waar de foutmodi specifieke geometrische loci hebben.

De paper claimt niet het sim-to-real transfer probleem op te lossen of de noodzaak voor fringe-orde informatie in single-shot opstellingen te elimineren; in plaats daarvan isoleert het de architecturale oorzaak van de shortcut learning en demonstreert het dat het fixen van de architectuur een structureel leesbare foutmodus oplevert die effectief beheerd kan worden via onzekerheidskwantificering.