Technische Samenvatting: Fysiek Gegronde Monoculaire Diepte via Nanofotonische Wavefront-codering

1. Probleemstelling

Monoculaire diepte-inschatting heeft aanzienlijke vooruitgang geboekt door middel van Depth Foundation Models (DFMs), die gebruikmaken van grootschalige data om rijke geometrische priors te leren. Deze modellen missen echter inherent fysieke dieptekenmerken vanuit een enkele RGB-opname, wat de metrische diepte-inschatting een slecht gesteld probleem (ill-posed) maakt. Dit leidt tot ambiguïteit in schaal en onnauwkeurigheid in toepassingen waar een precieze metrische diepte vereist is. Hoewel recente benaderingen proberen dit op te lossen door actieve sensoren zoals LiDAR te integreren, verhogen dergelijke oplossingen de systeemcomplexiteit, de vormfactor en het stroomverbruik, wat afwijkt van een strikte monoculaire setting. De kernuitdaging die door dit werk wordt aangepakt, is hoe DFMs fysiek te gronden met behulp van enkel passieve optica binnen een compact, single-sensor apparaat om nauwkeurige metrische diepte te bereiken zonder actieve verlichting of extra sensoren.

2. Methodologie

Het voorgestelde framework integreert nanofotonische hardware met deep learning software om een fysiek gegronde dieptesensor te creëren. De methodologie bestaat uit drie primaire componenten:

2.1 Birefringente Metalens Hardware

Het systeem maakt gebruik van een op maat gemaakte, ultra-dunne birefringente metalens (3 mm diameter) vervaardigd uit Titaniumdioxide (TiO2) nanopillars op een glazen substraat.

• Polarisatie-multiplexing: De metalens moduleert onafhankelijk de fase van x- en y-gepolariseerd licht.
• Roterende Point Spread Functions (PSFs): De metalens is ontworien om diepte-afhankelijke PSFs te creëren die roteren als functie van de objectafstand. Specifiek is het faseprofiel verdeeld in concentrische ringen met variërende topologische ladingen, waardoor de PSF roteert met een hoek $\Delta\phi_i(z)$ die lineair gerelateerd is aan $1/z$ (inverse diepte).
• Ruimtelijke Scheiding: De focusfase is ontworpen om tegengestelde verticale deflecties te introduceren voor de twee polarisatiekanalen, waardoor de twee geroteerde PSF-beelden op afzonderlijke helften van een enkele monochrome sensor worden geprojecteerd in één enkele belichting.
• Diepte-codering: De relatieve positionele verschuiving (dispariteit) tussen de twee conjugeerde PSFs codeert de metrische diepte. Omdat de verschuivingen in tegengestelde richtingen optreden voor de twee polarisaties, volgt de hoek van de dispariteitsvector de diepte op een monotone wijze.

2.2 Input Adaptatie en Model Fine-tuning

Om pretrained DFMs te kunnen benutten zonder architecturale wijzigingen, stellen de auteurs een eenvoudige input-adaptatiestrategie voor:

• Pseudo-RGB Constructie: De twee polarisatiekanalen ($I_x, I_y$) worden gecombineerd tot een driekanaals input: $(I_x, I_y, (I_x + I_y)/2)$.
• Directe Fine-tuning: Dit inputformaat komt overeen met de verwachte input van standaard monoculaire dieptemodellen (specifiek Depth Anything V2). Het model wordt direct gefinetuned op deze aangepaste input, waardoor het zijn robuuste geleerde visuele priors kan benutten terwijl het tegelijkertijd de metrische schaal kan herstellen uit de fysieke optische signalen. Er zijn geen decoder-zijde fusiemodules of hulpbranches vereist.

2.3 Simulation-to-Real Transfer Pipeline

Om het tekort aan real-world gepaarde polarisatie-diepte data te overwinnen, is een uitgebreide simulatiepipeline ontwikkeld:

• Optisch Forward Model: Een natuurkundig gebaseerde simulator genereert polarisatiebeelden van RGB-D datasets door scène-slices te convolueren met diepte-afhankelijke PSFs.
• Disocclusie-bewust Modelleren: Standaard lineaire convolutiomodellen falen bij diepte-discontinuïteiten, wat artefacten veroorzaakt zoals heldere occlusie-randen en donkere disocclusie-gaten. De auteurs introduceren een gespecialiseerde module die diepte-discontinuïteiten detecteert, rand-extrapolatie uitvoert en ontbrekende achtergrondinformatie reconstrueert met behulp van alpha compositing.
• Polarisatie-bewuste Augmentatie: Om de sim-to-real kloof te overbruggen, wordt de trainingsdata geaugmenteerd met globale schaling, lokale helderheidsperturbaties, ruisinjectie en Gaussische vervaging om fabricage-imperfecties en omgevingsvariaties te simuleren.
• Few-Shot Real Adaptatie: Een klein aantal handmatig geannoteerde real-world samples wordt gemengd in de trainingsset om het model verder af te stemmen op de fysieke realiteit.

3. Belangrijkste Bijdragen

1. Fysiek Gegrond Framework: Introductie van een nieuwe aanpak voor monoculaire metrische diepte-inschatting met behulp van een birefringente metalens die diepte codeert in polarisatie-afhankelijke PSF-rotaties, wat directe fine-tuning van DFMs mogelijk maakt.
2. Disocclusie-bewuste Simulator: Ontwikkeling van een optisch forward model dat de asymmetrische PSF-vorming accuraat simuleert en disocclusie-artefacten afhandelt, wat de sim-to-real kloof aanzienlijk verkleint.
3. Geïntegreerd Hardware-Software Systeem: Demonstratie van een compact, passief dieptesensorsysteem dat een hoge metrische nauwkeurigheid bereikt door de synergie tussen fysieke optische cues en geleerde dieptepriors, waarbij het zowel standaard monoculaire estimators als depth-from-defocus baselines overtreft.

4. Experimentele Resultaten

De auteurs evalueerden het systeem via zowel uitgebreide simulaties als fysieke experimenten.

• Simulatieprestaties: Op standaard benchmarks (NYU Depth V2, MIT-CGH-4k, MPI Sintel, Hypersim) overtrof de methode alle LiDAR-vrije monoculaire metrische diepte baselines (inclusclusief Depth Anything v2/v3, Depth Pro, Marigold, en UniDepth v2). Opmerkelijk genoeg behaalde het prestaties die vergelijkbaar zijn met PromptDA, een state-of-the-art methode die vertrouwt op LiDAR als een hulp-sensor.
• Fysieke Experimenten: Met behulp van een prototype camera met een 3-mm metalens en een 20-MP sensor, werd het systeem getest op 42 scènes. De methode presteerde consequent beter dan LiDAR-vrije baselines en behield een duidelijke marge ten opzichte van hen, zelfs na optimale schaal/shift uitlijning. Het demonstreerde metrische nauwkeurigheid en behield scherpe objectgrenzen.
• Vergelijking met Depth-from-Defocus (DfD): Het systeem presteerde aanzienlijk beter dan gespecialiseerde DfD baselines (DeepDfD, Split-Aperture) over alle metrieken, wat wordt toegeschreven aan de combinatie van de ontworpen roterende PSF en de krachtige DFM backbone.
• Ablatie-studies:
  • Pretrained Priors: Het verwijderen van de pretrained DFM initialisatie veroorzaakte een steile daling in nauwkeurigheid, wat bevestigt dat de geleerde priors de primaire drijfveer van de prestaties zijn.
  • Optisch Ontwerp: Het specifieke metalens-ontwerp bood superieure fysieke gronding vergeleken met standaard DfD-optica.
  • Input Adaptatie: De eenvoudige input-adaptatiestrategie bleek effectiever en efficiënter dan decoder-zijde fusiemodules.
  • Sim-to-Real: Het verwijderen van de disocclusie-afhandelingsmodule of data-augmentaties verslechterde de prestaties aanzienlijk, wat de noodzaak van de voorgestelde pipeline valideert.

5. Betekenis en Claims

Het artikel claimt dat dit werk een effectief pad legt voor nauwkeurige monoculaire metrische diepte-inschatting door de kloof tussen nanofotonica en foundation models te overbruggen. Door de ontbrekende metrische cues fysiek te coderen via passieve optica, lost het systeem de inherente schaal-ambiguïteit van monoculaire capture op zonder de noodzaak van actieve sensoren of complexe multi-sensor opstellingen.

De auteurs positioneren deze technologie als een levensvatbare oplossing voor toepassingen die compacte, energiezuinige 3D-visie vereisen, waarbij ze specifiek verwijzen naar VR/AR, miniature robotica, medische endoscopie en andere embedded 3D-visiesystemen. Ze benadrukken dat de aanpak het "beste van beide werelden" benut: het hoge-resolutie, semantische begrip van grootschalige pretrained modellen en de fysieke strengheid van nanofotonische wavefront-codering.

Het werk wordt gepresenteerd als een proof of concept voor het "fysiek gronden" van foundation models, wat wijst op een toekomstige richting waarbij optische hardware en AI-modellen gezamenlijk worden ontworpen om de beperkingen van louter data-gedreven perceptie te overwinnen.