Résumé Technique : Encodage de Front d'Onde Nanophotonique pour la Profondeur Monoculaire Physiquement Ancrée

1. Énoncé du Problème

L'estimation de la profondeur monoculaire a connu des avancées significatives grâce aux Modèles de Fondation de Profondeur (DFM), qui exploitent des données à grande échelle pour apprendre des priors géométriques riches. Cependant, ces modèles manquent intrinsèquement d'indices de profondeur physiques à partir d'une seule capture RGB, ce qui rend l'estimation de la profondeur métrique mal posée. Cela entraîne des ambiguïtés d'échelle et une imprécision dans les applications exigeant une profondeur métrique précise. Bien que des approches récentes tentent de résoudre cela en intégrant des capteurs actifs comme le LiDAR, de telles solutions augmentent la complexité du système, le facteur de forme et la consommation d'énergie, s'écartant ainsi d'un cadre strictement monoculaire. Le défi central abordé par ce travail est de savoir comment ancrer les DFM dans la physique en utilisant uniquement l'optique passive au sein d'un dispositif compact à capteur unique, afin d'obtenir une profondeur métrique précise sans illumination active ni capteurs supplémentaires.

2. Méthodologie

Le cadre proposé intègre un matériel nanophotonique à un logiciel d'apprentissage profond pour créer un système de détection de profondeur physiquement ancré. La méthodologie se compose de trois composantes principales :

2.1 Matériel de Métalent Birefringent

Le système utilise une métalent birefringente sur mesure, ultra-fine (3 mm de diamètre), fabriquée à partir de nanopiliers de dioxyde de titane (TiO2) sur un substrat de verre.

• Multiplexage de Polarisation : La métalent module indépendamment la phase de la lumière polarisée selon les axes $x$ et $y$.
• Fonctions d'Étalement du Point (PSF) Rotatives : La métalent est conçue pour créer des PSF dépendantes de la profondeur qui pivotent en fonction de la distance de l'objet. Plus précisément, le profil de phase est partitionné en anneaux concentriques avec des charges topologiques variables, provoquant la rotation de la PSF d'un angle $\Delta\phi_i(z)$ qui est linéairement lié à $1/z$ (l'inverse de la profondeur).
• Séparation Spatiale : La phase de focalisation est conçue pour introduire des déflexions verticales opposées pour les deux canaux de polarisation, projetant les deux images de PSF rotatives sur deux moitiés distinctes d'un seul capteur monochrome lors d'une seule exposition.
• Encodage de la Profondeur : Le décalage de position relatif (disparité) entre les deux PSF conjuguées encode la profondeur métrique. Comme les décalages se produisent dans des directions opposées pour les deux polarisations, l'angle du vecteur de disparité suit la profondeur de manière monotone.

2.2 Adaptation de l'Entrée et Ajustement Fin du Modèle

Pour exploiter les DFM pré-entraînés sans modification architecturale, les auteurs proposent une stratégie simple d'adaptation d'entrée :

• Construction de Pseudo-RGB : Les deux canaux de polarisation ($I_x, I_y$) sont combinés en une entrée à trois canaux : $(I_x, I_y, (I_x + I_y)/2)$.
• Ajustement Fin Direct (Fine-Tuning) : Ce format d'entrée correspond à l'entrée attendue des modèles de profondeur monoculaire standards (spécifiquement Depth Anything V2). Le modèle est ajusté directement sur cette entrée adaptée, lui permettant d'utiliser ses priors visuels appris robustes tout en récupérant l'échelle métrique à partir des signaux optiques physiques. Aucun module de fusion côté décodeur ou branche auxiliaire n'est requis.

2.3 Pipeline de Transfert de la Simulation vers le Réel

Pour surmonter la rareté des données de profondeur-polarisation appariées dans le monde réel, un pipeline de simulation complet a été développé :

• Modèle Optique Direct (Forward Model) : Un simulateur basé sur la physique génère des images de polarisation à partir de jeux de données RGB-D en convoluant des tranches de scène avec des PSF dépendantes de la profondeur.
• Modélisation Sensible aux Occlusions : Les modèles de convolution linéaire standards échouent aux discontinuités de profondeur, créant des artefacts tels que des bords d'occlusion brillants et des lacunes de disocclusion sombres. Les auteurs introduisent un module spécialisé qui détecte les discontinuités de profondeur, effectue une extrapolation de bord et reconstruit les informations d'arrière-plan manquantes via un composition alpha.
• Augmentation Sensible à la Polarisation : Pour combler l'écart entre la simulation et la réalité, les données d'entraînement sont augmentées par un redimensionnement global, des perturbations de luminosité locale, de l'injection de bruit et un flou gaussien pour simuler les imperfections de fabrication et les variations environnementales.
• Adaptation Réelle à Faible Échantillonnage (Few-Shot) : Un petit nombre d'échantillons du monde réel annotés manuellement est mélangé au jeu d'entraînement pour aligner davantage le modèle avec la réalité physique.

3. Contributions Clés

1. Cadre Physiquement Ancré : Introduction d'une nouvelle approche pour l'estimation de la profondeur métrique monoculaire utilisant une métalent birefringente qui encode la profondeur dans des rotations de PSF dépendantes de la polarisation, permettant un ajustement fin direct des DFM.
2. Simulateur Sensible aux Occlusions : Développement d'un modèle optique direct qui simule avec précision la formation de PSF asymétriques et gère les artefacts de disocclusion, réduisant considérablement l'écart entre la simulation et la réalité.
3. Système Matériel-Logiciel Intégré : Démonstration d'un système de détection de profondeur passif et compact qui atteint une haute précision métrique en synergie entre les indices optiques physiques et les priors de profondeur appris, surpassant les estimateurs monoculaires standards et les bases de comparaison de type "profondeur par défocalisation" (depth-from-defocus).

4. Résultats Expérimentaux

Les auteurs ont évalué le système à travers des simulations étendues et des expériences physiques.

• Performance de Simulation : Sur les benchmarks standards (NYU Depth V2, MIT-CGH-4k, MPI Sintel, Hypersim), la méthode a surpassé tous les modèles de référence de profondeur métrique monoculaire sans LiDAR (incluant Depth Anything v2/v3, Depth Pro, Marigold et UniDepth v2). Notamment, elle a obtenu des performances comparables à PromptDA, une méthode de pointe qui repose sur un capteur LiDAR auxiliaire.
• Expériences Physiques : Utilisant un prototype de caméra avec une métalent de 3 mm et un capteur de 20 MP, le système a été testé sur 42 scènes. La méthode a systématiquement surpassé les références sans LiDAR et a maintenu un écart net sur elles, même après un alignement optimal d'échelle et de décalage. Elle a démontré une précision métrique et a préservé des contours d'objets nets.
• Comparaison avec la Profondeur par Défocalisation (DfD) : Le système a nettement surpassé les bases de comparaison spécialisées en DfD (DeepDfD, Split-Aperture) sur tous les indicateurs, grâce à la combinaison de la PSF rotative ingénierée et de la puissance du backbone DFM.
• Études d'Ablation :
  • Priors Pré-entraînés : Le retrait de l'initialisation du DFM pré-entraîné a causé une chute brutale de la précision, confirmant que les priors appris sont le principal moteur de la performance.
  • Conception Optique : La conception spécifique de la métalent a fourni un ancrage physique supérieur par rapport aux optiques DfD standards.
  • Adaptation de l'Entrée : La stratégie simple d'adaptation d'entrée s'est avérée plus efficace et plus performante que les modules de fusion côté décodeur.
  • Sim-to-Real : Le retrait du module de gestion des disocclusions ou des augmentations de données a considérablement dégradé les performances, validant la nécessité du pipeline proposé.

5. Signification et Revendications

L'article affirme que ce travail établit une voie efficace pour la détection de la profondeur métrique monoculaire en comblant le fossé entre la nanophotonique et les modèles de fondation. En encodant physiquement les indices métriques manquants via l'optique passive, le système résout l'ambiguïté d'échelle inhérente à la capture monoculaire sans nécessiter de capteurs actifs ou de configurations multi-capteurs complexes.

Les auteurs positionnent cette technologie comme une solution viable pour les applications nécessitant une vision 3D compacte et à faible consommation, citant spécifiquement la VR/AR, la robotique miniature, l'endoscopie médicale et d'autres systèmes de vision 3D embarqués. Ils soulignent que l'approche tire parti du "meilleur des deux mondes" : la compréhension sémantique à haute résolution des modèles pré-entraînés à grande échelle et la rigueur physique de l'encodage de l'onde nanophotonique.

Ce travail est présenté comme une preuve de concept pour l'« ancrage physique » des modèles de fondation, suggérant une direction future où le matériel optique et les modèles d'IA sont co-conçus pour surmonter les limites de la perception purement basée sur les données.