Scalable dataset acquisition for data-driven lensless imaging

Technische Samenvatting: Schaalbare Datasets-acquisitie voor Data-gedreven Lensloze Beeldvorming

Probleemstelling
De vooruitgang van lensloze beeldvorming, met name door op machine learning gebaseerde reconstructie-algoritmen en end-to-end systeemontwerp, wordt momenteel belemmerd door een tekort aan grootschalige, hoogwaardige experimentele datasets. Hoewel gesimuleerde data bestaat, slaagt dit er niet in de imperfecties van real-world beeldvormingssystemen te vatten. Bestaande experimentele datasets kampen met significante beperkingen: sommige zijn te klein (bijv. 10.000 afbeeldingen) om state-of-the-art algoritmen te trainen, andere zijn niet publiekelijk beschikbaar, en de datasets die groot genoeg zijn (bijv. 25.000 afbeeldingen) bevatten vaak gegevens van slechts één optische configuratie (single phase mask). Bovendien is de acquisitie van dergelijke data uitdagend vanwege de noodzaak voor nauwkeurige uitlijning, kalibratie en het gebrek aan flexibele, geautomatiseerde pipelines die in staat zijn om metingen van meerdere systemen parallel onder identieke omstandigheden vast te leggen.

Methodologie
De auteurs stellen een reproduceerbare, open-source data-acquisitie pipeline voor, bestaande uit een modulaire hardware-opstelling en een gesynchroniseerd softwareframework.

• Hardware-opstelling: Het systeem maakt gebruik van een draagbaar monitor (INNOCN 13A1F) om grondwaarheid-afbeeldingen (ground truth) uit de MIRFLICKR-25000 dataset weer te geven. Deze afbeeldingen worden gelijktijdig vastgelegd door twee verschillende lensloze beeldvormingssystemen en een referentie lensed camera.
  • Lensloze Systemen: Twee verschillende configuraties worden zij aan zij getest: een DiffuserCam (gebruikmakend van een Gaussische diffuser, 4,5 mm van de sensor) en een Random Multi-focal Lenslet (RML) systeem (gebruikmakend van een fase masker, 18 mm van de sensor).
  • Grondwaarheid (Ground Truth): Een lensed camera (Basler daA1920-160uc met een 6 mm lens) legt de onvervormde scène vast. Om identieke optische paden te garanderen, is de lensed camera uitgelijnd via een 50/50 beamsplitter met de DiffuserCam.
  • Omgeving: De opstelling is afgeschermd met ondoorzichtige zwarte dividers om strooilicht te beheersen, en de imagers zijn gemonteerd op een op maat gemaakte 3D-geprinte frame met een scheiding van 135 mm.
• Softwareframework: Een aangepaste Python-gebaseerde pipeline automatiseert het proces.
  • Synchronisatie: De monitor toont afbeeldingen sequentieel, waarbij alle camera's synchroon worden getriggerd met specifieke vertragingen (200 ms tussen camera's, 500 ms tussen afbeeldingen) om continue acquisitie te waarborgen.
  • Kalibratie: Expositieniveaus worden heuristisch gekalibreerd om verzadiging te voorkomen. Lensvervorming in de ground truth camera wordt gecorrigeerd met behulp van OpenCV kalibratierasters.
  • Uitlijning: Om pixel-per-pixel correspondentie te bereiken, wordt een homografie geleerd met behulp van het Kornia-pakket om de gereconstrueerde lensloze afbeeldingen computationeel uit te lijnen met de onvervormde grondwaarheid, waarbij correcties worden toegepast voor minimale verschuivingen die niet via optische uitlijning aanpasbaar zijn.
  • Reconstructie: Tijdens de kalibratie worden afbeeldingen gereconstrueerd met behulp van 200 iteraties van het FISTA-algoritme om de prestaties van het systeem te visualiseren.

Belangrijkste Bijdragen

1. Open-Access Dataset: De auteurs brengen een dataset vrij van 25.000 afbeeldingen met gepaard aanwezende metingen van twee verschillende lensloze beeldvormingssystemen (DiffuserCam en RML) en hun bijbehorende grondwaarheid-afbeeldingen.
2. Reproduceerbare Pipeline: Het artikel levert de hardware-schema's (inclusief 3D-geprinte montagedesigns) en de open-source softwarecode (beschikbaar via GitHub) om de parallelle data-acquisitie opstelling te repliceren.
3. Parallelle Acquisitie Capaciteit: Het systeem demonstreert het vermogen om gegevens van meerdere lensloze systemen gelijktijdig vast te leggen onder identieke beeldvormingsomstandigheden, een capaciteit die eerder ontbrak in publieke datasets.

Resultaten en Systeemanalyse
De auteurs karakteriseren de prestaties van het systeem door de Point Spread Functions (PSFs) van zowel de DiffuserCam als de RML-configuraties te analyseren.

• Resolutie en SNR: Autocorrelatie-analyse van de vastgelegde PSFs laat zien dat beide systemen in deze opstelling een smallere hoofdlobben en lagere zijlobben vertonen vergeleken met een eerdere state-of-the-art DiffuserCam dataset (Monhakova et al.). Dit duidt op een superieure resolutie en signaal-ruisverhouding (SNR).
• Systeemvergelijking: De RML-configuratie vertoont minimale zijlobben vergeleken met de DiffuserCam, wat wijst op een verbeterde beeldkwaliteit en SNR voor dat specifieke fase masker.
• Reconstructiekwaliteit: Steekproefsgewijze reconstructies met FISTA bevestigen dat het systeem hoogwaardige metingen vastlegt die geschikt zijn voor het trainen van geavanceerde algoritmen.

Betekenis en Claims
Het artikel claimt dat dit werk direct de data-bottleneck in lensloze beeldvormingsonderzoek aanpakt. Door een grootschalige, multi-systeem, experimentele dataset met gepaard aanwezige grondwaarheid te bieden, stellen de auteurs de volgende zaken mogelijk:

• Het trainen van data-gedreven reconstructie-algoritmen (bijv. deep learning modellen zoals transformers) die tienduizenden afbeeldingen vereisen.
• Eerlijke, kwantitatieve vergelijkingen tussen verschillende lensloze beeldvormingssystemen en fase maskers.
• Informatietheoretische analyses en end-to-end systeemontwerp optimalisaties die vertrouwen op real-world experimentele data in plaats van simulaties.

De auteurs houden een bescheiden reikwijdte aan door te merken dat, hoewel de huidige demonstratie specifieke fase maskers gebruikt, de modulaire aard van de hardware toekomstige uitbreiding naar andere configuraties, 3D-datasets en video-acquisitie toestaat. De primaire bijdrage is het faciliteren van verdere data-gedreven ontwikkelingen in het veld door middel van toegankelijke, hoogwaardige experimentele bronnen.