Riepilogo Tecnico: Profondità Monoculare Fisicamente Fondata tramite Codifica del Fronte d'Onda Nanofotonica

1. Definizione del Problema

La stima della profondità monoculare ha visto progressi significativi grazie ai Modelli di Fondazione per la Profondità (DFM), che sfruttano dati su larga scala per apprendere ricchi prior geometrici. Tuttavia, questi modelli mancano intrinsecamente di indizi di profondità fisica da una singola acquisizione RGB, rendendo la stima della profondità metrica un problema mal posto. Ciò porta ad ambiguità nella scala e inesattezze in applicazioni che richiedono una profondità metrica precisa. Sebbene approcci recenti tentino di risolvere questo problema integrando sensori attivi come il LiDAR, tali soluzioni aumentano la complessità del sistema, il fattimento e il consumo energetico, allontanandosi da un rigoroso contesto monoculare. La sfida centrale affrontata da questo lavoro è come fondare i DFM sulla fisica utilizzando solo l'ottica passiva all'interno di un dispositivo compatto a singolo sensore, per ottenere una profondità metrica accurata senza illuminazione attiva o sensori aggiuntivi.

2. Metodologia

Il framework proposto integra l'hardware nanofotonico con il software di deep learning per creare un sistema di rilevamento della profondità fisicamente fondato. La metodologia si compone di tre componenti primarie:

2.1 Hardware a Metalens Birefrangente

Il sistema impiega una metalens birefrangente personalizzata, ultra-sottile (3 mm di diametro), fabbricata con nanopilastri di Biossido di Titanio (TiO2) su un substrato di vetro.

• Moltiplicazione della Polarizzazione: La metalens modula indipendentemente la fase della luce polarizzata in $x$ e $y$.
• Funzioni di Diffusione (PSF) Rotanti: La metalens è progettata per creare PSF dipendenti dalla profondità che ruotano in funzione della distanza dell'oggetto. Nello specifico, il profilo di fase è suddiviso in anelli concentrici con cariche topologiche variabili, causando la rotazione della PSF di un angolo $\Delta\phi_i(z)$ che è linearmente correlato a $1/z$ (profondità inversa).
• Separazione Spaziale: La fase di focalizzazione è progettata per introdurre deflessioni verticali opposte per i due canali di polarizzazione, proiettando le due immagini PSF ruotate su due metà separate di un singolo sensore monocromatico in un'unica esposizione.
• Codifica della Profondità: Lo spostamento posizionale relativo (disparità) tra le due PSF coniugate codifica la profondia metrica. Poiché gli spostamenti avvengono in direzioni opposte per le due polarizzazioni, l'angolo del vettore disparità traccia la profondità in modo monotono.

2.2 Adattamento dell'Input e Fine-Tuning del Modello

Per sfruttare i DFM pre-addestrati senza modifiche architettoniche, gli autori propongono una semplice strategia di adattamento dell'input:

• Costruzione del Pseudo-RGB: I due canali di polarizzazione ($I_x, I_y$) vengono combinati in un input a tre canali: $(I_x, I_y, (I_x + I_y)/2)$.
• Fine-Tuning Diretto: Questo formato di input corrisponde all'input atteso dei modelli di profondità monoculare standard (specificamente Depth Anything V2). Il modello viene sottoposto a fine-tuning direttamente su questo input adattato, permettendogli di utilizzare i suoi robusti prior visivi appresi pur recuperando contemporaneamente la scala metrica dai segnali ottici fisici. Non sono richiesti moduli di fusione nel decoder o rami ausiliari.

2.3 Pipeline di Trasferimento da Simulazione a Realtà

Per superare la scarsità di dati accoppiati polarizzazione-profondità nel mondo reale, è stata sviluppata una pipeline di simulazione completa:

• Modello Forward Ottico: Un simulatore basato sulla fisica genera immagini di polarizzazione da dataset RGB-D convolendo sezioni di scena con PSF dipendenti dalla profondità.
• Modellazione Consapevole delle Occlusioni: I modelli di convoluzione lineare standard falliscono in presenza di discontinuità di profondità, creando artefatti come bordi di occlusione luminosi e lacune di disocclusione scure. Gli autori introducono un modulo specializzato che rileva le discontinuità di profondità, esegue l'estrapolazione dei bordi e ricostruisce le informazioni mancanti dello sfondo utilizzando il compositing alfa.
• Augmentation Consapevole della Polarizzazione: Per colmare il divario tra simulazione e realtà, i dati di addestramento sono aumentati con scaling globale, perturbazioni di luminosità locale, iniezione di rumore e sfocatura gaussiana per simulare imperfezioni di fabbricazione e variazioni ambientali.
• Adattamento Few-Shot alla Realtà: Un piccolo numero di campioni del mondo reale annotati manualmente viene miscelato nel set di addestramento per allineare ulteriormente il modello con la realtà fisica.

3. Contributi Chiave

1. Framework Fisicamente Fondato: Introduzione di un nuovo approccio per la stima della profondità metrica monoculare utilizzando una metalens birefrangente che codifica la profondità tramite rotazioni della PSF dipendenti dalla polarizzazione, consentendo il fine-tuning diretto dei DFM.
2. Simulatore Consapevole delle Occlusioni: Sviluppo di un modello forward ottico che simula accuratamente la formazione di PSF asimmetriche e gestisce gli artefatti di disocclusione, riducendo significativamente il divario tra simulazione e realtà.
3. Sistema Integrato Hardware-Software: Dimostrazione di un sistema di rilevamento della profondità passivo e compatto che raggiunge un'elevata accuratezza metrica sinergizzando i segnali ottici fisici con i prior di profondità appresi, superando sia gli stimatori monoculari standard che i baseline di profondità da defocus (depth-from-defocus).

4. Risultati Sperimentali

Gli autori hanno valutato il sistema attraverso sia estese simulazioni che esperimenti fisici.

• Prestazioni in Simulazione: Sui benchmark standard (NYU Depth V2, MIT-CGH-4k, MPI Sintel, Hypersim), il metodo ha superato tutti i baseline di profondità metrica senza LiDAR (inclusi Depth Anything v2/v3, Depth Pro, Marigold e UniDepth v2). Notevolmente, ha ottenuto prestazioni comparabili a PromptDA, un metodo allo stato dell'arte che si affida al LiDAR come sensore ausiliario.
• Esperimenti Fisici: Utilizzando una telecamera prototipo con una metalens da 3 mm e un sensore da 20 MP, il sistema è stato testato su 4 el scenari. Il metodo ha costantemente superato i baseline senza LiDAR e ha mantenuto un chiaro margine rispetto a essi anche dopo l'allineamento ottimale di scala/shift. Ha dimostrato accuratezza metrica e ha preservato i bordi netti degli oggetti.
• Confronto con il Depth-from-Defocus (DfD): Il sistema ha superato significativamente i baseline specializzati DfD (DeepDfD, Split-Aperture) in tutte le metriche, grazie alla combinazione della PSF rotante ingegnerizzata e del potente backbone DFM.
• Studi di Ablazione:
  • Prior Pre-addestrati: Rimuovendo l'inizializzazione del DFM pre-addestrato, si è verificato un drastico calo dell'accuratezza, confermando che i prior appresi sono il driver principale delle prestazioni.
  • Design Ottico: Il design specifico della metalens ha fornito un grounding fisico superiore rispetto alle ottiche DfD standard.
  • Adattamento dell'Input: La semplice strategia di adattamento dell'input si è rivelata più efficace ed efficiente rispetto ai moduli di fusione nel decoder.
  • Sim-to-Real: La rimozione del modulo di gestione delle occlusioni o delle aumentazioni dei dati ha degradato significativamente le prestazioni, validando la necessità della pipeline proposta.

5. Significato e Rivendicazioni

L'articolo sostiene che questo lavoro stabilisce un percorso efficace per il rilevamento della profondità metrica monoculare collegando la nanofotonica ai modelli di fondazione. Codificando fisicamente i segnali metrici mancanti tramite ottica passiva, il sistema risolve l'intrinseca ambiguità di scala della cattura monoculare senza la necessità di sensori attivi o configurazioni multi-sensore complesse.

Gli autori posizionano questa tecnologia come una soluzione valida per applicazioni che richiedono visione 3D compatta e a basso consumo, citando specificamente VR/AR, robotica in miniatura, endoscopia medica e altri sistemi di visione 3D embedded. Essi sottolineano che l'approccio sfrutta il "meglio di entrambi i mondi": la comprensione semantica ad alta risoluzione dei modelli pre-addestrati su larga scala e il rigore fisico della codifica del fronte d'onda nanofotonica.

Il lavoro è presentato come una prova di concetto per il "grounding fisico" dei modelli di fondazione, suggerendo una direzione futura in cui l'hardware ottico e i modelli AI siano co-progettati per superare i limiti della percezione puramente basata sui dati.