Resumo Técnico: Profundidade Monocular Fisicamente Fundamentada via Codificação de Frente de Onda Nanofotônica

1. Declaração do Problema

A estimativa de profundidade monocular tem visto avanços significativos através de Modelos de Fundação de Profundidade (DFMs), que aproveitam dados de larga escala para aprender priors geométricos ricos. No entanto, esses modelos são inerentemente carentes de pistas de profundidade físicas a partir de uma única captura RGB, o que torna a estimativa de profundidade métrica um problema mal posto. Isso leva a ambiguidades de escala e imprecisões em aplicações que exigem profundidade métrica precisa. Embora abordagens recentes tentem resolver isso integrando sensores ativos como LiDAR, tais soluções aumentam a complexidade do sistema, o fator de forma e o consumo de energia, desviando-se de um cenário estritamente monocular. O desafio central abordado por este trabalho é como fundamentar os DFMs na física usando apenas óptica passiva dentro de um dispositivo compacto de sensor único para alcançar profundidade métrica precisa sem iluminação ativa ou sensores adicionais.

2. Metodologia

O framework proposto integra hardware nanofotônico com software de aprendizado profundo para criar um sistema de sensoriamento de profundidade fisicamente fundamentado. A metodologia consiste em três componentes primários:

2.1 Hardware de Metalente Birefringente

O sistema emprega uma metalente de índice de refração duplo (birefringente) personalizada e ultrafina (3 mm de diâmetro), fabricada a partir de nanopilares de Dióxido de Titânio (TiO2) em um substrato de vidro.

• Multiplexação de Polarização: A metalente modula independentemente a fase da luz polarizada em $x$ e $y$.
• Funções de Espalhamento de Ponto (PSFs) Rotativas: A metalente é projetada para criar PSFs dependentes da profundidade que rotacionam em função da distância do objeto. Especificamente, o perfil de fase é particionado em anéis concêntricos com cargas topológicas variadas, fazendo com que a PSF rotacione em um ângulo $\Delta\phi_i(z)$ que é linearmente relacionado a $1/z$ (profundidade inversa).
• Separação Espacial: A fase de foco é projetada para introduzir deflexões verticais opostas para os dois canais de polarização, projetando as duas imagens de PSF rotacionadas em metades separadas de um único sensor monocromático em uma única exposição.
• Codificação de Profundidade: O deslocamento posicional relativo (disparidade) entre as duas PSFs conjugadas codifica a profundidade métrica. Como os deslocamentos ocorrem em direções opostas para as duas polarizações, o vetor de disparidade rastreia a profundidade monotonicamente.

2.2 Adaptação de Entrada e Ajuste Fino do Modelo

Para aproveitar DFMs pré-treinados sem alterações arquitetônicas, os autores propõem uma estratégia simples de adaptação de entrada:

• Construção de Pseudo-RGB: Os dois canais de polarização ($I_x, I_y$) são combinados em uma entrada de três canais: $(I_x, I_y, (I_x + I_y)/2)$.
• Ajuste Fino Direto (Fine-Tuning): Este formato de entrada corresponde ao formato esperado dos modelos de profundidade monocular padrão (especificamente o Depth Anything V2). O modelo é ajustado finamente diretamente sobre esta entrada adaptada, permitindo que ele utilize seus robustos priors visuais aprendidos enquanto simultaneamente recupera a escala métrica a partir dos sinais ópticos físicos. Não são necessários módulos de fusão no lado do decodificador ou ramos auxiliares.

2.3 Pipeline de Transferência de Simulação-para-Realidade

Para superar a escassez de dados de polarização-profundidade pareados no mundo real, um pipeline de simulação abrangente foi desenvolvido:

• Modelo de Frente Óptica: Um simulador baseado em física gera imagens de polarização a partir de conjuntos de dados RGB-D através da convolução de fatias de cena com PSFs dependentes da profundidade.
• Modelagem Consciente de Desoclusão: Modelos de convolução linear padrão falham em descontinuidades de profundidade, criando artefatos como bordas de oclusão brilhantes e lacunas de desoclusão escuras. Os autores introduzem um módulo especializado que detecta descontinuidades de profundidade, realiza a extrapolação de bordas e reconstrói informações de fundo ausentes usando composição alfa.
• Aumento Consciente de Polarização: Para reduzir o gap entre simulação e realidade, os dados de treinamento são aumentados com escalonamento global, perturbações de brilho local, injeção de ruído e desfoque gaussiano para simular imperfeições de fabricação e variações ambientais.
• Adaptação Real de Poucos Disparos (Few-Shot): Um pequeno número de amostras do mundo real anotadas manualmente é misturado ao conjunto de treinamento para alinhar ainda mais o modelo com a realidade física.

3. Principais Contribuições

1. Framework Fisicamente Fundamentado: Introdução de uma abordagem inovadora para estimativa de profundidade métrica monocular usando uma metalente de índice de refração duplo que codifica a profundidade em rotações de PSF dependentes da polarização, permitindo o ajuste fino direto de DFMs.
2. Simulador Consciente de Desoclusão: Desenvolvimento de um modelo de frente óptica que simula com precisão a formação de PSF assimétrica e lida com artefatos de desoclusão, reduzindo significativamente o gap de simulação-para-realidade.
3. Sistema Integrado de Hardware-Software: Demonstração de um sistema de sensoriamento de profundidade passivo e compacto que alcança alta precisão métrica ao sinergizar pistas ópticas físicas com priors de profundidade aprendidos, superando tanto estimadores monoculares padrão quanto baselines de profundidade a partir do desfoque (depth-from-defocus).

4. Resultados Experimentais

Os autores avaliaram o sistema através de extensas simulações e experimentos físicos.

• Desempenho de Simulação: Nos benchmarks padrão (NYU Depth V2, MIT-CGH-4k, MPI Sintel, Hypersim), o método superou todos os baselines de profundidade métrica monocular sem LiDAR (incluindo Depth Anything v2/v3, Depth Pro, Marigold e UniDepth v2). Notavelmente, alcançou desempenho comparável ao PromptDA, um método de estado da arte que depende de LiDAR como um sensor auxiliar.
• Experimentos Físicos: Usando uma câmera protótipo com uma metalente de 3 mm e um sensor de 20 MP, o sistema foi testado em 42 cenas. O método superou consistentemente os baselines sem LiDAR e manteve uma margem clara sobre eles mesmo após o alinhamento ideal de escala/deslocamento. Demonstrou precisão métrica e preservou bordas nítidas de objetos.
• Comparação com Profundidade a partir do Desfoque (DfD): O sistema superou significativamente os baselines especializados de DfD (DeepDfD, Split-Aperture) em todas as métricas, atribuído à combinação da PSF rotativa projetada e do poderoso backbone DFM.
• Estudos de Ablação:
  • Priors Pré-treinados: Remover a inicialização do DFM pré-treinado causou uma queda acentuada na precisão, confirmando que os priors aprendidos são o principal motor do desempenho.
  • Design Óptico: O design específico da metalente proporcionou um embasamento físico superior em comparação com as óticas de DfD padrão.
  • Adaptação de Entrada: A estratégia simples de adaptação de entrada provou ser mais eficaz e eficiente do que módulos de fusão no lado do decodificador.
  • Sim-to-Real: Remover o módulo de tratamento de desoclusão ou as aumentações de dados degradou significativamente o desempenho, validando a necessidade do pipeline proposto.

5. Significância e Alegações

O artigo afirma que este trabalho estabelece um caminho eficaz para a sensoriamento de profundidade métrica monocular precisa ao unir a nanofotônica e os modelos de fundação. Ao codificar fisicamente as pistas métricas ausentes via óptica passiva, o sistema resolve a ambiguidade de escala inerente da captura monocular sem a necessidade de sensores ativos ou configurações de múltiplos sensores complexos.

Os autores posicionam esta tecnologia como uma solução viável para aplicações que exigem visão 3D compacta e de baixo consumo, citando especificamente VR/AR, robótica em miniatura, endoscopia médica e outros sistemas de visão 3D embarcados. Eles enfatizam que a abordagem aproveita o "melhor dos dois mundos": a compreensão semântica de alta resolução de modelos pré-treinados de larga escala e o rigor físico da codificação de frente de onda nanofotônica.

O trabalho é apresentado como uma prova de conceito para o "fundamentar fisicamente" modelos de fundação, sugerindo uma direção futura onde o hardware óptico e os modelos de IA sejam co-projetados para superar as limitações da percepção puramente baseada em dados.