ConvRML: High-Quality Lensless Imaging with Random Multi-Focal Lenslets

Technische Samenvatting van ConvRML: Hoogwaardige Lensloze Beeldvorming met Willekeurige Multi-focale Lenslets

Probleemstelling
Masker-gebaseerde lensloze beeldvorming biedt een pad naar compacte, goedkope en compressieve camera's door traditionele lenzen te vervangen door dunne fase-maskers. Echter, deze systemen lijden historisch gezien aan een slechte reconstructiekwaliteit vanwege slecht gestelde inverse problemen, modelmismatches en de beperkingen van compressieve codering. Een primaire flessenhals is de afweging in het ontwerp van de optische encoder: encoders met een hoge multiplexing (zoals diffusers) bieden de redundantie die nodig is voor compressieve detectie, maar verminderen de contrast van de metingen, met name in dichte natuurlijke scènes. Daarentegen missen ontwerpen met een lage multiplexing vaak de precisie die vereist is voor hoogwaardige reconstructie. Bovenergens is de algoritmische ontwikkeling grotendeels onafhankelijk van het optische ontwerp voortgegaan, waarbij deep learning-architecturen vaak zijn geëvalueerd op datasets gegenereerd door high-multiplexing encoders, wat een kloof heeft achtergelaten in het begrip van hoe men moderne algoritmen het beste kan combineren met verbeterde, laag-multiplexing optische metingen.

Methodologie
De auteurs presenteren ConvRML, een systeem dat vooruitgang integreert in zowel optische hardware als computationele reconstructie:

1. Optische Encoder (RML): Het systeem maakt gebruik van een Random Multi-Focal Lenslet (RML) fase-masker. In tegenstelling tot traditionele diffusers of regelmatige microlens-arrays, bestaat de RML uit overlappende lenslets met variërende brandpuntsafstanden die op pseudo-willekeurige posities zijn geplaatst. Dit ontwerp minimaliseert correlaties tussen verschoven kopieën van de Point Spread Function (PSF), vermindert de multiplexing om het contrast van de metingen te behouden, en handhaaft een breed gezichtsveld (FOV). Het masker is vervaardigd met behulp van hoogresolutie twee-foton lithografie, wat precisie en reproduceerbaarheid garandeert. De multi-focale aard van de lenslets zorgt voor een uitgebreide scherptediepte, wat de gevoeligheid voor axiale uitlijningsfouten vermindert.
2. Reconstructie Architectuur: De auteurs implementeren een ConvNeXt-gebaseerde deep learning architectuur. Deze convolutionele neurale netwerk is gekozen vanwege zijn vermogen om grote effectieve receptieve velden te bereiken door middel van gecascadeerde lagen, waardoor het in staat is om de langetermijn-afhankelijkheden die inherent zijn aan gemultiplexte metingen te verwerken zonder de computationele overhead of specifieke architecturale beperkingen van aandacht-gebaseerde modellen (bijv. Transformers).
3. Gestandaardiseerd Evaluatiekader: Om de effecten van optische codering te isoleren van algoritmische prestaties, hebben de auteurs een parallelle beeldvormingsopstelling geconstrueerd. Deze opstelling legt gelijktijdig scènes vast met drie systemen onder identieke omstandigheden: de RML lensloze beeldvormer, een standaard diffuser lensloze beeldvormer, en een conventioneel lenssysteem (dat dient als grondwaarheid/ground truth).
4. Dataset Bijdrage: De auteurs hebben de Parallel Lensless Dataset (PLD) gegenereerd en open-source beschikbaar gesteld, die 100.000 metingen bevat voor elk systeem (RML, diffuser en lens). Deze dataset is aanzienlijk groter dan eerdere open-source benchmarks (bijv. DiffuserCam met 25.000 of PhlatCam met 10.000) en ondersteunt gecontroleerde vergelijkingen tussen verschillende optische encoders.

Belangrijkste Resultaten

• Optische Prestaties: Kwantitatieve analyse met behulp van de Modulatieoverdrachtsfunctie (MTF) en Wederzijdse Informatie (MI) toont aan dat de RML de diffuser overtreft. De RML behoudt hogere ruimtelijke frequenties en handhaaft aanzienlijk meer informatie in de aanwezigheid van uitleesruis en beperkte sensor-bitdiepte (bijv. 4-bit kwantisatie). Terwijl het signaal van de diffuser vaak instort tot een enkele kwantisatiebak onder ruis, behoudt de RML onderscheidbare kenmerken.
• Reconstructie Prestaties:
  • Optische Impact: Wanneer gekoppeld aan dezelfde ConvNeXt architectuur, bereikt het RML-systeem een verbetering van 2,99 dB in PSNR en een toename van 0,116 in SSIM ten opzichte van het diffuser-systeem, wat bevestigt dat verbeterde optische metingen direct vertalen naar een reconstructie van hogere kwaliteit.
  • Architecturale Impact: Op de high-multiplexing DiffuserCam benchmark bereikte ConvNeX een 25,37 dB PSNR, waarmee het de state-of-the-art aandacht-gebaseerde architecturen (Lensless Imaging Transformer, Swin Transformer, Vision Transformer) en de U-Net baseline versloeg. Opvallend genoeg behaalde ConvNeX dit met een matige modelcapaciteit (36M parameters), terwijl grotere aandacht-gebaseerde modellen (bijv. Swin Transformer met 59,4M parameters) slechter presteerden.
  • Data-efficiëntie: Het trainen van ConvNeX op de RML-dataset toonde prestatiewinsten tot 50.000 metingen, waarna de rendementen afnamen. Dit suggereert dat de architectuur goed is afgestemd op deze datasetgrootte, terwijl grotere aandacht-gebaseerde modellen niet noodzakelijkerwijs profiteerden van een grotere capaciteit of meer data op dezelfde manier.
• Generalisatie: De getrainde ConvNeX-modellen slaagden er succesvol in te generaliseren naar de reconstructie van fysieke real-world objecten (variërende materialen zoals stof, metaal en plastic) geplaatst voor de lensloze systemen, waarbij fijne texturen en scherpe randen werden hersteld die het diffuser-systeem niet kon oplossen.

Betekenis en Claims
Het artikel beweert dat het ConvRML-systeem een nieuwe standaard vestigt voor hoogwaardige, compacte lensloze beeldvorming door aan te tonen dat verbeterde metingskwaliteit in combinatie met krachtige, passend afgestemde algoritmen maximale reconstructieprestaties oplevert.

Belangrijke bijdragen zijn:

1. Hardware: Een precisie-gefabriceerd RML-fase-masker dat een lagere multiplexing en verbeterd contrast biedt vergeleken met diffusers, vervaardigd met een hoge reproduceerbaarheid.
2. Software: Een ConvNeX reconstructie-architectuur die aandacht-gebaseerde modellen overtreft, wat suggereert dat zorgvuldig ontworpen convolutionele netwerken voldoende zijn voor het verwerken van langetermijn-afhankelijkheden in lensloze beeldvorming zonder de complexiteit van Transformers.
3. Resources: De release van de Parallel Lensless Dataset (PLD), de grootste open-source experimentele lensloze beeldvormingsdataset tot nu toe, die gestandaardiseerde evaluatie en verdere ontwikkeling van reconstructie-architecturen faciliteert.

De auteurs concluderen dat hun werk de nodige middelen en bewijzen biedt om de verdere ontwikkeling van hoogwaardige, compressieve lensloze camera's te ondersteunen, bewegend voorbij de beperkingen van eerdere high-multiplexing, laag-precisie systemen.