Comprehensive Machine Learning Benchmarking for Fringe Projection Profilometry with Photorealistic Synthetic Data

Probleemstelling

Machine learning (ML)-benaderingen voor Fringe Projection Profilometry (FPP) kampen met aanzienlijke barrières voor adoptie en vooruitgang vanwege het ontbreken van grootschalige, diverse datasets met perfecte grondwaarheid (ground truth) en het gebrek aan uitgebreide, gestandaardiseerde benchmarkprotocollen. Hoewel traditionele FPP vertrouwt op multi-step faseverschuivingsalgoritmen voor submillimeterprecisie, biedt ML het potentieel voor single-shot reconstructie, wat real-time toepassingen mogelijk maakt. De vooruitgang wordt echter gehinderd door drie fundamentele problemen:

1. Datagebrek: In tegenstelling tot algemene computer vision ontbreekt het FPP aan gestandaardiseerde datasets. Het verkrijgen van perfecte 3D-grondwaarheid is moeilijk vanwege inherente meetinstrumentfouten.
2. Inconsistente Methodologieën: Bestaande studies maken gebruik van willekeurige datarepresentaties (bijv. variërend tussen ruwe millimeters, genormaliseerd [0,1], of meters) en verliesfuncties (L1, L2, SSIM, etc.) zonder systematische rechtvaardiging of vergelijking. Deze inconsistentie vertroebelt of prestatiewinsten voortkomen uit architecturale innovatie of hyperparameteroptimalisatie.
3. Onopgeloste Beperkingen: Het blijft onduidelijk of de fouten in single-shot reconstructie te wijten zijn aan suboptimale modelconfiguraties of aan fundamentele informatiegebreken in enkele fringe-afbeeldingen.

Methodologie

De auteurs introduceren een systematisch benchmarkframework gebouwd op VIRTUS-FPP, een physics-gebaseerd virtueel FPP-systeem ontwikkeld in NVIDIA Isaac Sim. De methodologie omvat drie fasen van ablatie-studies om de impact van ontwerpbeslissingen op single-shot 3D-reconstructie te isoleren.

1. Datasetgeneratie:

• Bron: Een fotorealistische synthetische dataset bestaande uit 15.600 fringe-afbeeldingen en 300 diepte-reconstructies over 50 diverse objecten (afkomstig van YCB en NVIDIA Physical AI Warehouse).
• Simulatie: Objecten worden gescand op een bereik van 1,5–2,1 meter. Het systeem gebruikt een 18-staps faseverschuivingssequentie voor de generatie van de grondwaarheid, verwerkt via standaard triangulatie.
• Virtuele Opstelling: Een gekalibreerd camera-projectorpaar is gemodelleerd met OptiX ray tracing voor fotorealistische rendering, waarbij complexe lichttransportprocessen (multi-bounce, reflectiviteit, ambient occlusion) worden vastgelegd, terwijl schaduwen zijn uitgeschakeld om schone fringe-patronen te garanderen.

2. Experimenteel Ontwerp (Driefasige Ablatie):

• Fase 1: Datanormalisatie: De auteurs vergelijken drie strategieën voor de representatie van de diepte van de grondwaarheid:
  • Raw Depth: Ongenormaliseerde millimeterwaarden (0–2000 mm).
  • Global Normalized: Geschaald naar meters (0–2 m).
  • Individual Normalized: De dieptekaart van elk object wordt onafhankelijk geschaald naar [0, 1], waardoor vorm wordt ontkoppeld van de absolute schaal.
  • Background Ablation: Een experiment waarbij achtergrond-fringe patronen worden verwijderd om hun rol als ruis of signaal te testen.
• Fase 2: Verliesfuncties: Zes verliesfuncties worden geëvalueerd (L1, RMSE, gemaskeerde varianten en hybride varianten) om de optimale balans te bepalen tussen de focus op objectgeometrie en globale schaalstabiliteit.
• Fase 3: Architectuur Benchmarking: Vier architecturen (UNet, Hformer, ResUNet, Pix2Pix) worden getest met de optimale configuratie die in Fase 1 en 2 is geïdentificeerd.

3. Evaluatiemetrieken:
Om de fouten van objecten te voorkomen door de invloed van achtergrondpixels (die 60–90% van de afbeelding beslaan), rapporteren de auteurs drie afzonderlijke metrieken:

• Object Error: Berekend alleen op niet-nul dieptepixels (MAE/RMSE).
• Background Error: Berekend alleen op nul-dieptepixels.
• Overall Error: Berekend over alle pixels.

Belangrijkste Bijdragen

1. Eerste Open-Source FPP Benchmark: De release van een fotorealistische synthetische dataset (15.600 afbeeldingen) met perfecte grondwaarheid, gegenereerd via NVIDIA Isaac Sim, beschikbaar op Hugging Face.
2. Systematische Ablatie-studies: Het artikel stelt optimale leerconfiguraties vast voor single-shot FPP, waarbij men verder gaat dan willekeurige keuzes naar op bewijs gebaseerde praktijken.
3. Ontdekking van Fundamentele Beperkingen: Het werk levert empirisch bewijs dat de primaire beperking in single-shot FPP een informatiegebrek is, en niet een modelontwerp, aangezien zelfs de beste modellen niet de submillimeterprecisie bereiken zonder expliciete fase-informatie.

Belangrijkste Resultaten

1. Normalisatiestrategie:

• Individual Normalization is Superieur: Het ontkoppelen van de objectvorm van de absolute schaal levert een 9,1× verbetering op in objectreconstructie vergeleken met raw depth (16,20 mm MAE versus 148,07 mm MAE) en een 5,1× verbetering ten opzichte van global normalization.
• Background Fringes zijn Signaal, Geen Ruis: Tegenintuïtief genoeg zorgt het verwijderen van de achtergrond-fringe patronen uit de input voor een catastrofale verslechtering van de prestaties (2,8× tot 7,3× slechter over alle normalisaties heen). Dit bewijst dat achtergrond-fringes een essentiële ruimtelijke fase-referentie bieden die nodig is om de inherente $2\pi$ ambiguïteit van single-shot reconstructie op te lossen.

2. Optimalisatie van de Verliesfunctie:

• Hybride L1 Loss is Optimaal: Een Hybride L1 loss met $\alpha=0,7$ (die een balans vindt tussen de gemaskeerde objectverlies en de globale verlies) bereikt de beste prestaties, met een verbetering van 10% in objectfout ten opzien van de baseline RMSE (14,54 mm versus 16,20 mm MAE).
• Gemaskeerde Losses Falen: Verliesfuncties die achtergrondpixels uitsluiten (Masked RMSE/L1) resulteren in een catastrofale schaaldrift (fouten >120 mm), omdat het netwerk de globale beperkingen mist die nodig zijn om metrische consistentie te handhaven.

3. Architectuurvergelijking:

• UNet Domineert: Gebruikmakend van de optimale configuratie (Individual Normalization + Hybrid L1 $\alpha=0,7$) behaalt UNet de beste prestaties (14,54 mm object MAE), waarmee het Hformer met 52%, ResUNet met 60% en Pix2Pix met 91% verslaat.
• Pix2Pix Falen: Pix2Pix vertoont een fundamentele mismatch tussen adversariële training en metrologische doelstellingen. Hoewel het visueel plausibele, gladde oppervlakken produceert met statistisch correcte dieptebereiken, lijdt het onder systematische offsets (20–40 mm) die resulteren in de slechtste metrieke nauwkeurigheid. Dit benadrukt dat perceptuele plausibiliteit niet gelijk staat aan meetprecisie.
• Informatiegebrek: De prestatiekloof tussen de beste (UNet) en de slechtste (Pix2Pix) architecturen is bescheiden (1,9×). Zelfs de fout van het beste model (14,54 mm) vertegenwoordigt 18% van het dieptebereik van het object (80 mm), ver verwijderd van de submillimeter-mogelijkheden van traditionele FPP. Dit bevestigt dat single fringe-afbeeldingen onvoldoende informatie bevatten voor nauwkeurige diepterecovering zonder expliciete fasegegevens.

Betekenis en Claims

Het artikel claimt de eerste gestandaardiseerde evaluatieprotocol en robuuste benchmarkdataset voor learning-gebaseerde FPP te bieden. De primaire betekenis ligt in het verschuiven van het begrip van de community over single-shot reconstructie:

• Beperking is Fundamenteel: Het onvermogen om hoge precisie te bereiken komt niet door een slecht modelontwerp, maar door een fundamenteel gebrek aan informatie in single fringe-afbeeldingen. Netwerken leren grove vorm-priors in plaats van precieze geometrie.
• Afwijzing van Pure End-to-End Benaderingen: De resultaten suggereren dat directe fringe-naar-diepte mapping zonder fase-informatie fundamenteel beperkt is.
• Toekomstige Richting: De auteurs motiveren een verschuiving naar hybride benaderingen die traditionele fase-gebaseerde FPP (voor geometrische precisie) combineren met geleerde verfijning (voor robuustheid tegen ruis en ambiguïteit), in plaats van het nastreven van steeds complexere architecturen voor directe mapping.

Dit werk dient als fundament voor data-gedreven FPP-onderzoek en biedt open-source tools (dataset en code) om systematische vergelijking en de ontwikkeling van hybride physics-ML pipelines mogelijk te maken.