Broadband Wide Field of View Imaging with Computational Mirrors

1. Probleemstelling

Traditionele refractieve (op glas gebaseerde) optica staan voor een fundamentele bottleneck bij het beeldvormen over het VIS-SWIR-spectrum (Zichtbaar tot Kortgolf-Infrarood, 400–1700 nm). Vanwege het dispersieve karakter van glas focussen verschillende golflengten op verschillende dieptes (chromatische aberratie), wat complexe, zware en dure lenzen met meerdere elementen vereist om het brandvlak uit te lijnen. Zelfs met deze correcties zijn glasoptica vaak beperkt tot smalle spectrale banden.

Aan de andere kant zijn reflectieve optica (spiegels) inherent achromatisch, wat betekent dat ze alle golflengten op hetzelfde punt focussen. Dit maakt ze theoretisch ideaal voor breedbandbeeldvorming. Eenvoudige spiegelelementen (bijv. enkele holle spiegels) lijden echter aan ernstige geometrische aberraties buiten de as, met name Petzval-veldkromming. In deze systemen is het beeldvlak gebogen in plaats van plat; verschillende gebieden van het gezichtsveld (FoV) bereiken de focus op verschillende afstanden van de spiegel. Bijgevolg kan een platte sensor geen scherp, volledig scherp beeld vastleggen over het volledige kader tegelijkertijd, waardoor eenvoudige spiegels onpraktisch zijn voor middellange brandpuntsafstanden (50–100 mm) en toepassingen met een breed gezichtsveld.

2. Methodologie: Computational Mirrors

De auteurs stellen een raamwerk voor genaamd Computational Mirrors, dat hardware-gestuurde acquisitie van een brandpuntsstack combineert met een door de fysica geïnspireerde computatiele reconstructiepijplijn om de beperkingen van eenvoudige spiegels te overwinnen.

A. Hardware-opstelling

• Optica: Het systeem gebruikt een primaire holle spiegel (50 mm F/1 of 100 mm F/2) met een centrale opening en een secundaire vlakke vouwspiegel om het optische pad om te leiden. Dit ontwerp is lichtgewicht en compact in vergelijking met refractieve equivalenten.
• Sensor: Een Sony IMX990 VIS-SWIR-sensor capable van het waarnemen van 400–1700 nm.
• Acquisitie: In plaats van een enkele blootstelling, vangt het systeem een sparse focal stack (doorgaans 2–4 beelden) op. De sensor wordt langs de optische as bewogen met behulp van een gemotoriseerde translatiestage. Deze axiale sweep zorgt ervoor dat elk punt in het brede gezichtsveld wordt bemonsterd op of nabij zijn optimale brandvlak, waardoor het gebogen Petzval-oppervlak effectief wordt "gescand".

B. Algorithm: SeidelConv

De kerninnovatie is SeidelConv, een nieuw model voor de puntverspreidingsfunctie (PSF) dat is ontworpen om de ernstige, ruimtelijk variërende aberraties buiten de as (koma, astigmatisme) te corrigeren die inherent zijn aan spiegels met een grote opening.

• Door de fysica geïnspireerd model: Gebaseerd op de klassieke Seidel-aberratietheorie en Spatial Transformer Networks, modelleert SeidelConv de onscherpte niet als een statische kernel, maar als een mengsel van basiscomponenten.
• Mechanisme: Voor elk beeld in de brandpuntsstack doet het model het volgende:
  1. Verwarp het latente scherpe beeld met een kleine set affiene transformaties (ongeveer 20–30 termen) om geometrische vervormingen (rekken/rotatie) veroorzaakt door aberraties buiten de as te modelleren.
  2. Maakt onscherp de verwarpde beelden met behulp van geleerde kernels.
  3. Weegt en somt deze componenten per pixel.
• Kalibratie: De modelparameters (affiene matrices, kernels, gewichten) worden geleerd via een kalibratieprocedure gebaseerd op een monitor met een spaarzame set willekeurige stippen, waarbij het forward-model wordt geoptimaliseerd om overeen te komen met het fysieke systeem.
• Reconstructie: Het systeem lost een meerbeeldig inverse probleem op met behulp van een Plug-and-Play (PnP)-raamwerk met een diepe denoiser-prior (DPIR). Dit fuseert de sparse brandpuntsstack tot één enkel, hoogwaardig, volledig scherp beeld.

3. Belangrijkste Bijdragen

1. Acquisitie van een sparse focal stack: Het aantonen dat een minimale stack van 2–4 beelden voldoende is om een scherp, breed-FoV-beeld te herstellen, wat de acquisitietijd en data-overhead aanzienlijk verlaagt in vergelijking met eerdere methoden met dichte stacks (die 10–30 beelden vereisten).
2. SeidelConv PSF-model: Het introduceren van een leerbare, ruimtelijk variërende PSF die affiene vervorming incorporeert. Dit is cruciaal voor het modelleren van de extreme geometrische vervormingen van spiegeloptica buiten de as, en presteert beter dan standaard convolutie per patch of modellen met radiale symmetrie.
3. Achromatische breedbandbeeldvorming: Het bewijzen dat één enkele hardware-kalibratie (uitgevoerd in zichtbaar licht) kan worden toegepast over het gehele 400–1700 nm-spectrum zonder herberekening of herfocussing, een prestatie die onmogelijk is met refractieve optica vanwege chromatische dispersie.
4. Validatie van prototype: Het bouwen en testen van spiegelobjectieven van 50 mm F/1 en 100 mm F/2 van het eerste type, gekoppeld aan VIS-SWIR-sensoren.

4. Resultaten

• Beeldkwaliteit: Het systeem produceert scherpe, volledig scherpe beelden over de RGB-, NIR- en SWIR-banden. Kwantitatieve vergelijkingen tonen aan dat SeidelConv state-of-the-art PSF-modellen (zoals CoordGate, Patch-wise) overtreft met >2 dB in PSNR in gebieden buiten de as.
• Materiaalanalyse: Het systeem onthult materiaaleigenschappen die onzichtbaar zijn voor standaard sensoren:
  • Authenticatie van valuta: SWIR-beeldvorming onthult beveiligingskenmerken op bankbiljetten die onzichtbaar zijn in zichtbaar licht.
  • Vegetatie: NIR/SWIR onderscheidt echte en kunstmatige planten op basis van reflectie.
  • Occlusie: SWIR-beeldvorming dringt door dunne plastic occluders (zakken, flessen) die ondoorzichtig zijn in zichtbaar licht.
• Efficiëntie: Het op spiegels gebaseerde systeem is aanzienlijk lichter (60 g versus 400 g voor een vergelijkbare glaslens) en compacter.
• Schaalbaarheid: De aanpak werkt voor zowel 50 mm (macro/dichtbij) als 100 mm (lange afstand) brandpuntsafstanden.

5. Betekenis

Dit werk overbrugt de kloof tussen eenvoudige, goedkope reflectieve optica en geavanceerde computationele beeldvorming. Door de traditionele beperkingen van veldkromming en aberraties buiten de as te overwinnen, maken Computational Mirrors mogelijk:

• Ultra-breedbandbeeldvorming (400–1700 nm) met één enkel, lichtgewicht en kosteneffectief optisch systeem.
• Eliminatie van chromatische herfocussing, wat snelle, golflengte-onafhankelijke beeldvorming mogelijk maakt.
• Nieuwe toepassingen in hyperspectrale beeldvorming, materiaalklassificatie en remote sensing, waar traditionele glasoptica te zwaar, duur of spectraal beperkt zijn.

De auteurs geven de SeidelConv-code en een validatiedataset vrij om verder onderzoek te faciliteren in spiegelgebaseerde computationele beeldvorming.