Scalable dataset acquisition for data-driven lensless imaging

Sintesi Tecnica: Acquisizione di Dataset Scalabili per l'Imaging Senza Lente Basato su Dati

Definizione del Problema
Il progresso dell'imaging senza lenti, in particolare attraverso algoritmi di ricostruzione basati sul machine learning e la progettazione di sistemi end-to-end, è attualmente ostacolato dalla scarsità di dataset sperimentali su larga scala e di alta qualità. Sebbene esistano dati simulati, essi non riescono a catturare le non-idealità dei sistemi di imaging del mondo reale. I dataset sperimentali esistenti presentano limitazioni significative: alcuni sono troppo piccoli (ad esempio, 10.000 immagini) per addestrare algoritmi allo stato dell'arte, altri non sono pubblicamente disponibili e quelli sufficientemente grandi (ad esempio, 25.000 immagini) spesso contengono dati derivanti da una singola configurazione ottica (maschera di fase singola). Inoltre, l'acquisizione di tali dati è complessa a causa della necessità di un allineamento e una calibrazione precisi, e della mancanza di pipeline flessibili e automatizzate in grado di catturare misurazioni da più sistemi in parallelo sotto identiche condizioni.

Metodologia
Gli autori propongono una pipeline di acquisizione dati riproducibile e open-source che comprende un sistema hardware modulare e un framework software sincronizzato.

• Configurazione Hardware: Il sistema utilizza un monitor portatile (INNOCN 13A1F) per visualizzare le immagini di ground truth dal dataset MIRFLICKR-25000. Queste immagini vengono catturate simultaneamente da due distinti sistemi di imaging senza lenti e da una telecamera di riferimento con lente.
  • Sistemi Senza Lente: Due diverse configurazioni sono testate affiancate: una DiffuserCam (utilizzando un diffusore Gaussiano, a 4,5 mm dal sensore) e un sistema RML (Random Multi-focal Lenslet, utilizzando una maschera di fase, a 18 mm dal sensore).
  • Ground Truth: Una telecamera con lente (Basler daA1920-160uc con una lente da 6 mm) cattura la scena non distorta. Per garantire percorsi ottici identici, la telecamera con lente è allineata tramite un beam splitter 50/50 con la DiffuserCam.
  • Ambiente: La configurazione è racchiusa da divisori neri opachi per controllare la luce parassita, e gli imaging sono montati su un telaio personalizzato stampato in 3D con una separazione di 135 mm.
• Framework Software: Una pipeline personalizzata basata su Python automatizza il processo.
  • Sincronizzazione: Il monitor visualizza le immagini sequenzialmente, attivando tutte le telecamere in modo sincrono con ritardi specifici (200 ms tra le telecamere, 500 ms tra le immagini) per garantire un'acquisizione continua.
  • Calibrazione: I livelli di esposizione sono calibrati euristicamente per prevenire la saturazione. La distorsione della lente nella telecamera ground truth viene corretta utilizzando griglie di calibrazione OpenCV.
  • Allineamento: Per ottenere la corrispondenza pixel-a-pixel, una omografia viene appresa utilizzando il pacchetto Kornia per allineare computazionalmente le immagini ricostruite senza lenti con il ground truth non distorto, correggendo per i piccoli spostamenti non regolabili tramite allineamento ottico.
  • Ricostruzione: Durante la calibrazione, le immagini vengono ricostruite utilizzando 200 iterazioni dell'algoritmo FISTA per visualizzare le prestazioni del sistema.

Contributi Chiave

1. Dataset Open-Access: Gli autori rilasciano un dataset di 25.000 immagini contenenti misurazioni accoppiate da due diversi sistemi di imaging senza lenti (DiffuserCam e RML) e le rispettive immagini di ground truth.
2. Pipeline Riproducibile: Il paper fornisce gli schemi hardware (inclusi i design dei supporti stampati in 3D) e il codice software open-source (disponibile tramite GitHub) per replicare la configurazione di acquisizione dati in parallelo.
3. Capacità di Acquisizione Parallela: Il sistema dimostra la capacità di catturare dati da più sistemi senza lenti sotto identiche condizioni di imaging simultaneamente, una capacità precedentemente assente nei dataset pubblici.

Risultati e Analisi del Sistema
Gli autori caratterizzano le prestazioni del sistema analizzando le Funzioni di Diffusione del Punto (PSF) sia della configurazione DiffuserCam che di quella RML.

• Risoluzione e SNR: L'analisi di autocorrelazione delle PSF catturate rivela che entrambi i sistemi in questa configurazione esibiscono lobi principali più stretti e lobi secondari inferiori rispetto a un precedente dataset DiffuserCam allo stato dell'arte (Monhakova et al.). Ciò indica una risoluzione e un rapporto segnale-rumore (SNR) superiori.
• Confronto tra Sistemi: La configurazione RML dimostra lobi secondari minimi rispetto alla DiffuserCam, suggerendo un miglioramento della qualità dell'immagine e del SNR per quella specifica maschera di fase.
• Qualità della Ricostruzione: Le ricostruzioni di esempio utilizzando FISTA confermano che il sistema cattura misurazioni di alta qualità, idonee per l'addestramento di algoritmi avanzati.

Significatività e Rivendicazioni
Il paper sostiene che questo lavoro affronta direttamente il collo di bottiglia dei dati nella ricerca sull'imaging senza lenti. Fornendo un dataset sperimentale su larga scala, multi-sistema e con ground truth accoppiato, gli autori consentono:

• L'addestramento di algoritmi di ricostruzione basati sui dati (ad esempio, modelli di deep learning come i transformer) che richiedono decine di migliaia di immagini.
• Confronti quantitativi equi tra diversi sistemi di imaging senza lenti e maschere di fase.
• Analisi dell'informazione teorica e ottimizzazioni della progettazione del sistema end-to-end che si basano su dati sperimentali del mondo reale piuttosto che su simulazioni.

Gli autori mantengono un ambito modesto, sottolineando che, sebbene la dimostrazione attuale utilizzi maschere di fase specifiche, la natura modulare dell'hardware consente future estensioni ad altre configurazioni, dataset 3D e acquisizione video. Il contributo primario è la facilitazione di ulteriori sviluppi guidati dai dati nel campo attraverso risorse sperimentali accessibili e di alta qualità.