Diagnosing and Repairing Shape-Prior Shortcuts in Long-Range Single-Shot Fringe Projection Profilometry

Technische Samenvatting: Diagnostiek en Reparatie van Vorm-Prior Afkortingen in Lange-Afstand Single-Shot Fringe Projection Profilometry

Probleemstelling
Op basis van leren (learning-based) single-shot fringe projection profilometry (FPP) heeft succes geboekt in nabijheidsregimes (bijv. endoscopie, tafelopstellingen) waar het contrast van de franjes en de triangulatiegeometrie gunstig zijn. Echter, het lange-afstandregime (stand-off > 1 m) blijft grotendeels onbehandeld vanwege drie gekoppelde uitdagingen: (1) de inverse-kwadraat afname van lichtintensiteit degradeert de signaal-ruisverhouding en de betrouwbaarheid van de fysieke grondwaarheid; (2) de single-shot formulering is inherent slecht gestel omdat franjes-orde informatie niet beschikbaar is vanuit een enkele afbeelding, wat leidt tot dieptefouten die kwadratisch schalen met de afstand; en (3) bestaande architecturen missen mechanistische interpreteerbaarheid, waardoor foutdiagnose zonder principieel beleid plaatsvindt. Bovendien ontbreekt een gedeelde benchmark in het veld, met inconsistente normalisatie, verliesfuncties en evaluatieprotocollen over verschillende studies heen.

Methodologie
De auteurs presenteren een verenigde "diagnose-repareer-verifieer" studie gebruikmakend van FPP-ML-Bench, de eerste open-source fotorealistische synthetische benchmark voor single-shot FPP. Gebouwd op het VIRTUS-FPP framework binnen NVIDIA Isaac Sim, bestaat de dataset uit 15.600 franje-afbeeldingen van 50 diverse objecten bij een stand-off van 1,5–2,1 m.

De methodologie verloopt in vier stadia:

1. Systematische Ablatie: De auteurs isoleren ontwerpkeuzes (normalisatie, achtergrondverwerking, multi-frame compositie, verliesfuncties en architectuur) om een best presterende baseline vast te stellen.
2. Mechanistische Interpreteerbaarheid (MI) Diagnostiek: Met behulp van linear probing, Grad-CAM en out-of-distribution (OOD) vlakke-plaat testen, onderzoeken de auteurs of het baseline-netwerk fysica-gebaseerde franje-decodering leert of geometrische afkortingen (shortcuts).
3. Architecturale Reparatie: Op basis van de diagnose introduceren de auteurs PhiCalNet, een fase-intermediaire architectuur. In tegenstelling tot standaard diepte-regressie netwerken, geeft PhiCalNet een ingepakte fase-representatie $(\sin \phi, \cos \phi)$ uit. Een vaste, differentieerbare kalibratielaag brengt deze fase vervolgens deterministisch in kaart naar diepte middels FPP-triangulatiefysica. Dit ontwerp verwijdert de vorm-prior oplossing uit de hypotheseruimte door middel van architecturale beperking in plaats van een verliespenalty.
4. Verificatie: De reparatie wordt geverifieerd via:
   • MI: Het opnieuw toepassen van de interpreteerbaarheidsbatterij op PhiCalNet om te bevestigen dat het fase leert in plaats van vorm.
   • Onzekerheidskwantificering (UQ): Het toepassen van pixel-wijze conformal prediction op een snapshot ensemble om te bepalen of de zelfgerapporteerde onzekerheid van het model overeenkomt met de faalmodi.
   • Counterfactuals: Het vergelijken van PhiCalNet met een Physics-Informed Neural Network (PINN) baseline waarbij fysica wordt afgedwongen via een zachte verliespenalty in plaats van architectuur.

Belangrijkste Bevindingen en Resultaten

• Baseline Optimalisatie: Systematische ablaties toonden aan dat individuele diepte-normalisatie (het ontkoppelen van schaal van vorm) de object Mean Absolute Error (MAE) met 9,9× verbeterde ten op toe de ruwe diepte. Tegen de intuïtie in zijn achtergrondfranjes essentiële signalen, geen ruis; het verwijderen ervan degradeerde de prestaties met 2,8–7,3×. Een hybride L1 loss ($\alpha=0,7$) en UNet architectuur presteerden beter dan TransUNet, ResUNet en Pix2Pix. De beste baseline (UNet) bereikte een object MAE van 14,54 mm, maar residu-analyse suggereerde een representationele limiet in plaats van een capaciteitsprobleem.
• De Shortcut Diagnostiek: Mechanistische analyse van de UNet baseline onthulde dat het de taak oplost via object-rand vorm-priors in plaats van franje-fase decodering.
  • Linear Probing: Geometrische kenmerken (randen) waren 2,82× gemakkelijker te decoderen uit interne activaties dan dieptewaarden.
  • Grad-CAM: Aandacht correleerde sterker met objectranden (1,28×) dan met franjepatronen.
  • OOD Test: Op een vormloos vlak stortte het netwerk in naar dieptevoorspellingen nabij nul, waarbij het de aanwezige geldige franjepatronen niet gebruikte, wat de afhankelijkheid van vormtemplates bevestigt.
• PhiCalNet Prestaties: Door het netwerk te dwingen de ingepakte fase uit te geven, verminderde PhiCalNet de object MAE met 3,3× (van 14,54 mm naar 4,46 mm) vergeleken met de UNet baseline.
  • Een PINN counterfactual (het afdwingen van fysica via een zachte loss op een diepte-regressie netwerk) leverde geen meetbare winst op, wat de architecturale inkadering als de operatieve factor isoleert.
  • De residuele fout van PhiCalNet was gelokaliseerd bij 0,103% van de pixels bij de $\pm\pi$ wrap discontinuïteit, een structurele limiet van continue regressie van een discontinue doelstelling.
  • Een 3-frame extensie van PhiCalNet reduceerde de MAE verder naar 1,16 mm, wat het informatie-theoretische tekort van single-shot acquisitie valideert.
• Onzekerheidskwantificering: Pixel-wijze conformal prediction toonde aan dat de fouten van PhiCalNet structureel leesbaar zijn. Het verwerpen van de top 5% van de pixels op basis van snapshot onenigheid verminderde de RMSE van PhiCalNet met 64% (20,6 mm $\to$ 7,4 mm), terwijl dezelfde procedure de UNet baseline RMSE slechts met 3,5% verminderde. Dit bevestigt dat de fouten van PhiCalNet geconcentreerd zijn in specifieke geometrische loci waar het model correct hoge onzekerheid identificeert, in tegenstelling tot de diffuse fouten van de baseline.

Significantie en Claims
Het artikel claimt drie primaire bijdragen:

1. Benchmarking: De introductie van FPP-ML-Bench biedt een gestandaardiseerd, reproduceerbaar evaluatieoppervlak voor lange-afstand single-shot FPP, waarmee het gebrek aan gedeelde infrastructuur in het veld wordt geadresseerd.
2. Mechanistisch Inzicht: Dit is de eerste toepassing van mechanistische interpreteerbaarheid op FPP, wat onthult dat standaard deep learning benaderingen in dit domein vaak vertrouwen op geometrische afkortingen (vorm-priors) in plaats van fysieke fase-decodering, een faalmodus die wordt verergerd door de slecht gestelde aard van single-shot lange-afstand reconstructie.
3. Architecturale Oplossing: De auteurs demonstreren dat architecturale beperkingen (het uitgeven van fase in plaats van diepte) effectiever zijn dan verlies-penalties (PINNs) voor het afdwingen van fysieke consistentie. PhiCalNet slaagt erin de vorm-prior afkorting uit de hypotheseruimte te verwijderen.

De auteurs kaderen de convergentie van Mechanistische Interpreteerbaarheid, Residuele Foutanalyse en Onzekerheidskwantificering op een enkel fysiek locus (de $\pm\pi$ wrap discontinuïteit) als een methodologische blauwdruk voor physics-informed learning. Ze beargumenteren dat wanneer de faalmodus van een model een specifieke geometrische of fysieke locus heeft, deze drie diagnostische instrumenten kunnen convergeren om een coherente verklaring van modelgedrag te bieden, een conditie die vaak afwezig is bij diffuse faalmodi gevonden in andere domeinen zoals taal of medische beeldvorming.

Het artikel concludeert dat de residuele fout in single-shot FPP fundamenteel informatie-theoretisch is (door het gebrek aan franje-orde informatie) in plaats van een modelleringsbeperking, en dat hoewel PhiCalNet de nauwkeurigheid aanzienlijk heeft verbeterd, de resterende fout structureel begrensd is door de fysica van het probleem.