ConvRML: High-Quality Lensless Imaging with Random Multi-Focal Lenslets

Sintesi Tecnica di ConvRML: Imaging Lensless di Alta Qualità con Lentelettes Multi-Focali Casuali

Problematica
L'imaging lensless basato su maschere offre una via per sistemi di ripresa compatti e a basso costo tramite l'uso di sottili maschere di fase. Tuttavia, questi sistemi soffrono storicamente di una scarsa qualità di ricostruzione a causa di problemi inversi mal posti, disallineamenti del modello e dei limiti della codifica compressiva. Un collo di bottiglia primario è il compromesso nel design dell'encoder ottico: gli encoder ad alto multiplexing (come i diffusori) forniscono la ridondanza necessaria per il compressed sensing ma riducono il contrasto della misura, specialmente in scene naturali dense. Al contrario, i design a basso multiplexing spesso mancano della precisione necessaria per una ricostruzione di alta qualità. Inoltre, lo sviluppo algoritmico è proceduto ampiamente in modo indipendente dal design ottico, con architetture di deep learning spesso valutate su dataset generati da encoder ad alto multiplexing, lasciando un vuoto nella comprensione di come accoppiare al meglio i moderni algoritmi con misurazioni ottiche migliorate e a basso multiplexing.

Metodologia
Gli autori presentano ConvRML, un sistema che integra progressi sia nell'hardware ottico che nella ricostruzione computazionale:

1. Encoder Ottico (RML): Il sistema utilizza una maschera di fase Random Multi-Focal Lenslet (RML). A differenza dei tradizionali diffusori o delle regolari matrici di microlenti, la RML consiste in lentelettes sovrapposte con diverse lunghezze focali posizionate in posizioni pseudo-casuali. Questo design minimizza le correlazioni tra le copie traslate della Funzione di Diffusione del Punto (PSF), riduce il multiplexing per preservare il contrasto della misura e mantiene un ampio campo visivo (FOV). La maschera è fabbricata utilizzando la litografia a due fotoni ad alta risoluzione, garantendo precisione e riproducibilità. La natura multi-focale delle lentelettes fornisce una profondità di campo estesa, riducendo la sensibilità al disallineamento assiale.
2. Architettura di Ricostruzione: Gli autori implementano un'architettura di deep learning basata su ConvNeXt. Questa rete neurale convoluzionale è stata scelta per la sua capacità di raggiungere ampi campi ricettivi effettivi attraverso strati cascati, consentendole di gestire le dipendenze a lungo raggio inerenti alle misurazioni multiplexed senza l'overhead computazionale o i vincoli architettonici specifici dei modelli basati sull'attenzione (es. Transformer).
3. Framework di Valutazione Standardizzato: Per isolare gli effetti dell'encoding ottico dalle prestazioni algoritmiche, gli autori hanno costruito un setup di imaging parallelo. Questo setup cattura simultaneamente scene utilizzando tre sistemi sotto identiche condizioni: l'imager lensless RML, un imager lensless con diffusore standard e un sistema con lente convenzionale (che funge da ground truth).
4. Contributo al Dataset: Gli autori hanno generato e reso open-source il Parallel Lensless Dataset (PLD), contenente 100.000 misurazioni per ciascun sistema (RML, diffusore, lente). Questo dataset è significativamente più grande dei precedenti benchmark open-source (es. i 25.000 di DiffuserCam o i 10.000 di PhlatCam) e supporta confronti controllati tra diversi encoder ottici.

Risultati Chiave

• Prestazioni Ottiche: L'analisi quantitativa tramite la Funzione di Trasferimento di Modulazione (MTF) e l'Informazione Mutua (MI) dimostra che la RML supera il diffusore. La RML preserva frequenze spaziali più elevate e mantiene significativamente più informazioni in presenza di rumore di lettura e bit di profondità del sensore limitati (es. quantizzazione a 4 bit). Mentre il segnale del diffusore spesso collassa in un singolo bin di quantizzazione sotto rumore, la RML mantiene caratteristiche distinguibili.
• Prestazioni di Ricostruzione:
  • Impatto Ottico: Accoppiata con la stessa architettura ConvNeXt, il sistema RML ottiene un miglioramento di 2,99 dB in PSNR e un incremento di 0,116 in SSIM rispetto al sistema con diffusore, confermando che misurazioni ottiche migliori si traducono direttamente in ricostruzioni di qualità superiore.
  • Impatto Architetturale: Sul benchmark ad alto multiplexing di DiffuserCam, ConvNeXt ha raggiunto 25,37 dB PSNR, superando le architetture allo stato dell'arte basate sull'attenzione (Lensless Imaging Transformer, Swin Transformer, Vision Transformer) e la baseline U-Net. Notevolmente, ConvNeX ha ottenuto questo risultato con una capacità di modello moderata (36M parametri), mentre modelli più grandi basati sull'attenzione (es. Swin Transformer con 59,4M di parametri) hanno ottenuto prestazioni inferiori.
  • Efficienza dei Dati: L'addestramento di ConvNeXt sul dataset RML ha mostrato guadagni di prestazione fino a 50.000 misurazioni, oltre le quali i rendimenti sono diminuiti. Ciò suggerisce che l'architettura è ben abbinata a questa dimensione di dataset, mentre i modelli più grandi basati sull'attenzione non hanno necessariamente beneficiato dell'aumento di capacità o di dati nello stesso modo.
• Generalizzazione: I modelli ConvNeXt addestrati si sono generalizzati con successo nella ricostruzione di oggetti reali fisici (materiali variabili come tessuto, metallo e plastica) posti davanti ai sistemi lensless, recuperando texture fini e bordi nitidi che il sistema a diffusore non riusciva a risolvere.

Significatività e Rivendicazioni
Il paper sostiene che il sistema ConvRML stabilisce un nuovo standard per l'imaging lensless compatto di alta qualità, dimostrando che una migliore qualità della misurazione accoppiata ad algoritmi potenti e appropriatamente abbinati produce la massima prestazione di ricostruzione.

I contributi chiave includono:

1. Hardware: Una maschera di fase RML fabbricata con precisione che offre un ridotto multiplexing e un miglior contrasto rispetto ai diffusori, prodotta con alta riproducibilità.
2. Software: Un'architettura di ricostruzione ConvNeXt che supera i modelli basati sull'attenzione, suggerendo che reti convoluzionali accuratamente progettate sono sufficienti per gestire le dipendenze a lungo raggio nell'imaging lensless senza la complessità dei Transformer.
3. Risorse: Il rilascio del Parallel Lensless Dataset (PLD), il più grande dataset sperimentale di imaging lensless open-source ad oggi disponibile, che facilita la valutazione standardizzata e lo sviluppo futuro di architetture di ricostruzione.

Gli autori concludono che il loro lavoro fornisce le risorse e le prove necessarie per sostenere lo sviluppo continuo di imager lensless compressivi di alta qualità, andando oltre i limiti dei precedenti sistemi ad alto multiplexing e bassa precisione.