Resumen Técnico: Profundidad Monocular Físicamente Anclada mediante Codificación de Frente de Onda Nanofotónica

1. Planteamiento del Problema

La estimación de profundidad monocular ha experimentado avances significativos a través de los Modelos de Fundación de Profundidad (DFM, por sus siglas en inglés), que aprovechan datos a gran escala para aprender ricos priors geométricos. Sin embargo, estos modelos carecen intrínsecamente de pistas de profundidad física a partir de una captura RGB única, lo que hace que la estimación de la profundidad métrica sea un problema mal planteado. Esto genera ambigüedades en la escala e inexactitud en aplicaciones que requieren una profundidad métrica precisa. Si bien enfoques recientes intentan resolver esto integrando sensores activos como LiDAR, tales soluciones aumentan la complejidad del sistema, el factor de forma y el consumo de energía, desviándose de un entorno estrictamente monocular. El desafío central abordado por este trabajo es cómo anclar los DFM en la física utilizando únicamente óptica pasiva dentro de un dispositivo compacto de un solo sensor para lograr una profundidad métrica precisa sin iluminación activa ni sensores adicionales.

2. Metodología

El marco propuesto integra hardware nanofotónico con software de aprendizaje profundo para crear un sistema de detección de profundidad físicamente anclado. La metodología consta de tres componentes principales:

2.1 Hardware de Metalente Birefringente

El sistema emplea un metalente de birrefringencia personalizada, ultra delgado (3 mm de diámetro), fabricado a partir de nanopilares de Dióxido de Titanio (TiO2) sobre un sustrato de vidrio.

• Multiplexación de Polarización: El metalente modula independientemente la fase de la luz polarizada en $x$ e $y$.
• Funciones de Propagación de Punto (PSF) Rotatorias: El metalente está diseñado para crear PSFs dependientes de la profundidad que rotan en función de la distancia del objeto. Específicamente, el perfil de fase se divide en anillos concéntricos con cargas topológicas variables, lo que provoca que la PSF rote un ángulo $\Delta\phi_i(z)$ que está relacionado linealmente con $1/z$ (profundidad inversa).
• Separación Espacial: La fase de enfoque está diseñada para introducir deflexiones verticales opuestas para los dos canales de polarización, proyectando las dos imágenes de la PSF rotada en mitades separadas de un único sensor monocromático en una sola exposición.
• Codificación de Profundidad: El desplazamiento posicional relativo (disparidad) entre las dos PSFs conjugadas codifica la profundidad métrica. Debido a que los desplazamientos ocurren en direcciones opuestas para las dos polarizaciones, el ángulo del vector de disparidad rastrea la profundidad de forma monótona.

2.2 Adaptación de Entrada y Ajuste Fino del Modelo

Para aprovechar los DFM preentrenados sin cambios arquitectónicos, los autores proponen una estrategia simple de adaptación de entrada:

• Construcción de Pseudo-RGB: Los dos canales de polarización ($I_x, I_y$) se combinan en una entrada de tres canales: $(I_x, I_y, (I_x + I_y)/2)$.
• Ajuste Fino Directo: Este formato de entrada coincide con el formato esperado de los modelos de profundidad monocular estándar (específicamente Depth Anything V2). El modelo se ajusta directamente sobre esta entrada adaptada, lo que le permite utilizar sus robustos priors visuales aprendidos mientras recupera simultáneamente la escala métrica a partir de las señales ópticas físicas. No se requieren módulos de fusión en el decodificador ni ramas auxiliares.

2.3 Pipeline de Transferencia de Simulación a Realidad

Para superar la escasez de datos de polarización-profundidad emparejados en el mundo real, se desarrolló un pipeline de simulación exhaustivo:

• Modelo de Propagación Óptica: Un simulador basado en la física genera imágenes de polarización a partir de conjuntos de datos RGB-D mediante la convolución de secciones de la escena con PSFs dependientes de la profundidad.
• Modelado Consciente de la Oclusión (Disocclusion-Aware): Los modelos de convolución lineal estándar fallan en las discontinuidades de profundidad, creando artefactos como bordes de oclusión brillantes y brechas de disocclusión oscuras. Los autores introducen un módulo especializado que detecta discontinuidades de profundidad, realiza la extrapolación de bordes y reconstruye la información faltante del fondo utilizando composición alfa.
• Aumento de Datos Consciente de la Polarización: Para cerrar la brecha entre simulación y realidad, los datos de entrenamiento se aumentan con escalado global, perturbaciones de brillo local, inyección de ruido y desenfoque gaussiano para simular imperfecciones de fabricación y variaciones ambientales.
• Adaptación Real de Pocos Ejemplos (Few-Shot): Un pequeño número de muestras del mundo real anotadas manualmente se mezcla en el conjunto de entrenamiento para alinear aún más el modelo con la realidad física.

3. Contribuciones Clave

1. Marco Físicamente Anclado: Introducción de un nuevo enfoque para la estimación de profundidad métrica monocular utilizando un metalente de birrefringencia que codifica la profundidad en rotaciones de la PSF dependientes de la polarización, permitiendo el ajuste fino directo de los DFM.
2. Simulador Consciente de la Disocución: Desarrollo de un modelo de propagación óptica que simula con precisión la formación de PSF asimétrica y maneja los artefactos de disocución, reduciendo significativamente la brecha entre simulación y realidad.
3. Sistema Integrado de Hardware-Software: Demostración de un sistema de detección de profundidad pasivo y compacto que logra una alta precisión métrica al sinergizar las pistas ópticas físicas con los priors de profundidad aprendidos, superando tanto a los estimadores monoculares estándar como a las bases de comparación de profundidad desde el desenfoque (depth-from-defocus).

4. Resultados Experimentales

Los autores evaluaron el sistema tanto mediante simulaciones extensas como mediante experimentos físicos.

• Rendimiento en Simulación: En los bancos de pruebas estándar (NYU Depth V2, MIT-CGH-4k, MPI Sintel, Hypersim), el método superó a todas las bases de comparación de profundidad métrica monocular sin LiDAR (incluyendo Depth Anything v2/v3, Depth Pro, Marigold y UniDepth v2). Notablemente, logró un rendimiento comparable a PromptDA, un método de vanguardia que depende de un sensor LiDAR como sensor auxiliar.
• Experimentos Físicos: Utilizando una cámara prototipo con un metalente de 3 mm y un sensor de 20 MP, el sistema fue probado en 42 escenas. El método superó consistentemente a las bases de comparación sin LiDAR y mantuvo un margen claro sobre ellas incluso después del alineamiento óptimo de escala/desplazamiento. Demostró precisión métrica y preservó bordes de objetos nítidos.
• Comparación con Profundidad desde el Desenfoque (DfD): El sistema superó significativamente a las bases de comparación especializadas en DfD (DeepDfD, Split-Aperture) en todas las métricas, debido a la combinación de la PSF rotatoria diseñada y el potente backbone del DFM.
• Estudios de Ablación:
  • Priors Preentrenados: Eliminar la inicialización del DFM preentrenado causó una caída drástica en la precisión, confirmando que los priors aprendidos son el principal motor del rendimiento.
  • Diseño Óptico: El diseño específico del metalente proporcionó un anclaje físico superior en comparación con la óptica DfD estándar.
  • Adaptación de Entrada: La estrategia simple de adaptación de entrada resultó ser más efectiva y eficiente que los módulos de fusión en el lado del decodificador.
  • Sim-to-Real: Eliminar el módulo de manejo de disocución o las aumentaciones de datos degradó significativamente el rendimiento, validando la necesidad del pipeline propuesto.

5. Significado y Reivindicaciones

El artículo afirma que este trabajo establece una vía efectiva para la detección de profundidad métrica monocular precisa al cerrar la brecha entre la nanofotónica y los modelos de fundación. Al codificar físicamente las pistas métricas faltantes mediante óptica pasiva, el sistema resuelve la ambigüedad de escala inherente de la captura monocular sin necesidad de sensores activos o configuraciones de múltiples sensores complejos.

Los autores posicionan esta tecnología como una solución viable para aplicaciones que requieren visión 3D compacta y de bajo consumo, citando específicamente VR/AR, robótica miniatura, endoscopia médica y otros sistemas de visión 3D embebidos. Enfatizan que el enfoque aprovecha "lo mejor de ambos mundos": la comprensión semántica de alta resolución de los modelos preentrenados a gran escala y el rigor físico de la codificación de frente de onda nanofotónica.

El trabajo se presenta como una prueba de concepto para "anclar físicamente" los modelos de fundación, sugiriendo una dirección futura donde el hardware óptico y los modelos de IA se co-diseñen para superar las limitaciones de la percepción puramente basada en datos.