Guided Lensless Polarization Imaging

1. Il Problema

L'imaging polarimetrico cattura lo stato di polarizzazione della luce, rivelando informazioni invisibili all'occhio umano ma cruciali per applicazioni come la diagnostica biomedica, la guida autonoma e il telerilevamento (es. geometria delle superfici, riflettanza, composizione dei materiali). Tuttavia, le fotocamere polarimetriche convenzionali sono spesso costose, ingombranti e complesse.

L'imaging "lensless" (senza lenti) offre un'alternativa compatta ed economica sostituendo le lenti con elementi ottici semplici (come diffusori o maschere codificate) e affidando la ricostruzione all'elaborazione computazionale. Nonostante ciò, i sistemi esistenti di imaging polarimetrico senza lenti soffrono di una qualità di ricostruzione limitata. Questo è dovuto alla natura fortemente compressa delle misurazioni (che codificano sia informazioni strutturali che di polarizzazione) e alla natura mal posta (ill-posed) del problema inverso, che rende difficile recuperare i dettagli ad alta frequenza e rende il sistema sensibile al rumore.

2. Metodologia

Gli autori propongono un sistema ibrido che combina un sensore polarimetrico RGB compatto con una fotocamera RGB convenzionale (con lenti) che funge da guida strutturale. Il processo di ricostruzione segue una pipeline a due stadi:

A. Setup Ottico

Il sistema utilizza un diffusore e una maschera di polarizzazione a strisce (orientata a 0°, 45°, 90°, 135°) posizionata direttamente sul sensore. Questo permette di catturare una misurazione spazialmente e polarimetricamente multiplexata in un singolo scatto. Una fotocamera RGB convenzionale registra la stessa scena per fornire informazioni geometriche e di bordo complementari.

B. Pipeline di Ricostruzione a Due Stadi

1. Fase 1: Inversione Basata sulla Fisica

   • Viene eseguita una ricostruzione iniziale grezza partendo dalle misurazioni lensless.
   • Si utilizza un algoritmo di ottimizzazione basato su modelli fisici, come FISTA (Fast Iterative Shrinkage-Thresholding Algorithm) o ADMM (Alternating Direction Method of Multipliers).
   • Viene applicata una regolarizzazione tramite Variazione Totale (TV) 3D per garantire la coerenza fisica, ottenendo una stima iniziale della mappa di intensità polarizzata. Tuttavia, questa fase perde i dettagli ad alta frequenza.

2. Fase 2: Affinamento Guidato da RGB (Deep Refinement)

   • La stima iniziale viene raffinata utilizzando una rete neurale basata su Transformer (adattata da SwinFuSR).
   • La rete è strutturata in due rami: uno per l'immagine polarizzata iniziale e uno per l'immagine RGB guida.
   • I rami vengono fusi tramite blocchi di Fusione Incrociata Guidata dall'Attenzione (ACF - Attention-guided Cross-domain Fusion), che alternano meccanismi di self-attention e cross-attention. Questo permette alla rete di trasferire le informazioni strutturali ad alta frequenza dalla fotocamera RGB all'immagine polarizzata, correggendo gli artefatti della ricostruzione fisica.
   • Viene utilizzata una connessione residua (skip connection) per mantenere la coerenza con il modello fisico di partenza.

C. Generazione dei Dati

Poiché non esistono dataset pubblici specifici per la ricostruzione lensless polarimetrica, gli autori hanno simulato le misurazioni lensless partendo da dataset esistenti (PIP, UPLight, ZJU-RGB-P) utilizzando il modello forward fisico del loro sistema.

3. Contributi Chiave

1. Primo Sistema Guidato: Introduzione del primo sistema di imaging polarimetrico senza lenti guidato da RGB, che integra la ricostruzione basata sulla fisica con un affinamento guidato dai dati.
2. Architettura Ibrida: Progettazione di una pipeline a due stadi che combina solver fisici (FISTA/ADMM) con una rete Transformer adattata per la fusione cross-modale, permettendo il recupero di dettagli fini e strutture complesse.
3. Prestazioni Superiori: Dimostrazione di miglioramenti consistenti rispetto alle baseline "solo lensless" (fisiche o puramente deep learning) in termini di PSNR, SSIM e LPIPS su diversi dataset.
4. Generalizzazione e Robustezza: Il metodo generalizza bene su dataset non visti e condizioni di illuminazione diverse, mantenendo prestazioni elevate anche su dati reali acquisiti con un prototipo fisico, senza necessità di fine-tuning aggiuntivo.

4. Risultati Sperimentali

• Dati Sintetici: Il metodo proposto supera significativamente le baseline (FISTA, ADMM, FISTA+Transformer senza RGB, FlatNet, PolarAnything). Ad esempio, sul dataset PIP, il metodo proposto raggiunge un PSNR di ~35.13 (configurazione scala di grigi a 3 angoli), contro i ~28.85 di FISTA+Transformer e i ~21.57 di FlatNet.
• Dati Reali: Sperimentato su un prototipo fisico, il sistema riesce a recuperare dettagli strutturali nitidi (es. stress interni in plastica, riflessi su metalli) che i metodi puramente fisici non riescono a ricostruire a causa del rumore e delle imperfezioni del modello ottico.
• Ablation Study:
  • La fusione tramite cross-attention è superiore alla semplice concatenazione dei canali.
  • Il metodo è robusto alla disallineamento tra le due fotocamere (grazie all'augmentation con traslazioni durante l'addestramento).
  • Il sistema mantiene alte prestazioni anche se la ricostruzione iniziale (FISTA) è meno convergente (meno iterazioni), dimostrando che la guida RGB compensa le carenze del modello fisico.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo verso l'adozione diffusa dell'imaging polarimetrico in scenari dove dimensioni, costi e complessità sono vincoli critici (es. microscopia compatta, endoscopia, droni).
Dimostrando che un sistema ibrido a basso costo (lensless + fotocamera RGB standard) può raggiungere una qualità di ricostruzione superiore a sistemi dedicati complessi, il paper apre la strada a nuove applicazioni pratiche. Inoltre, la metodologia modulare proposta può essere estesa ad altri sistemi di imaging computazionale, offrendo un framework robusto per risolvere problemi inversi complessi combinando conoscenza fisica e apprendimento profondo guidato.