Differentiable Microscopy Designs an All Optical Phase Retrieval Microscope

Dit paper introduceert differentieerbare microscopie ($\partial\mu$), een datagedreven, top-down ontwerpmethode die de creatie van geoptimaliseerde optische systemen voor faseherstel mogelijk maakt en experimenteel is gevalideerd.

De kern

Titel: De "Omgekeerde" Microscoop: Hoe AI een nieuwe manier van kijken ontwierp

Stel je voor dat je een microscoop hebt, maar in plaats van dat je er doorheen kijkt om een beeld te zien, moet je eerst een ingewikkeld wiskundig raadsel oplossen om te begrijpen wat je ziet. Dat is hoe veel moderne microscopen werken, vooral als je doorzichtige dingen wilt bekijken, zoals levende cellen. Deze cellen laten licht door, maar veranderen de "tijdsfase" van het licht (een beetje zoals een geluid dat vertraagt als het door een muur gaat). Onze camera's kunnen alleen de helderheid (intensiteit) van het licht zien, niet de tijdsfase.

Traditioneel moeten optici (licht-experts) jarenlang studeren en met de hand ontwerpen hoe ze lenzen en filters moeten plaatsen om die onzichtbare fase om te zetten in een zichtbaar beeld. Het is als proberen een auto te bouwen door alleen maar te raden welke bouten waar moeten komen.

De Oplossing: Differentieerbare Microscopie (∂µ)

De auteurs van dit papier hebben een slimme, nieuwe manier bedacht. Ze noemen het "Differentieerbare Microscopie". In plaats van van onderop te beginnen (lenzen zoeken en proberen), beginnen ze van bovenaf.

Hier is een simpele analogie:

1. De Oude Manier (Van onderop): Stel je voor dat je een chef-kok bent die een nieuwe taart moet bakken. Je begint met het zoeken naar de perfecte bloem, het perfecte eierdopje en het perfecte bakblikje. Je probeert duizenden combinaties tot je een taart hebt die smaakt zoals je wilt. Dit kost veel tijd en kennis.
2. De Nieuwe Manier (Van bovenaf met ∂µ): Stel je voor dat je een robot hebt die de taart moet bakken. Je vertelt de robot: "Ik wil een taart die eruitziet als een foto van een appel." De robot begint dan met een willekeurige, rommelige massa meel en eieren. Hij proeft de taart, ziet dat het niet op een appel lijkt, en past automatisch de receptuur aan. Hij doet dit duizenden keren per seconde. Uiteindelijk heeft hij een recept gevonden dat perfect werkt.

In dit papier hebben ze die "robot" gebruikt om een microscoop te ontwerpen die alleen met licht werkt. Geen computer nodig om het beeld achteraf te rekenen. De microscoop zelf doet het werk.

Hoe werkt het in de praktijk?

De wetenschappers hebben drie verschillende "robots" (ontwerpen) getest om te zien welke het beste werkt:

• De "Lerend Filter" (LFF): Dit is als een heel slim, leeg raam in de microscoop. Het licht gaat erdoorheen, en het raam leert precies welke kleuren en patronen het moet blokkeren of vertragen om het beeld te vormen. Het is compact en snel.
• De "Diffractieve Netwerk" (D2NN): Dit is als een stapel van heel dunne, transparante folies (minder dan 0,05 mm dik!). Elk laagje heeft duizenden kleine puntjes die het licht een beetje buigen. Het licht reist door deze stapel en vormt vanzelf het beeld. Het is als een 3D-puzzel die zichzelf oplost.
• De "Algemene Fase Contrast" (GPC): Dit is de oude, bekende manier die al decennia bestaat, maar dan geoptimaliseerd door de computer.

Wat hebben ze ontdekt?

Ze hebben getest met verschillende dingen: cijfers (MNIST), menselijke cellen (HeLa) en bacteriën.

• De nieuwe, door AI ontworpen microscopen (vooral de "Lerend Filter") waren vaak beter dan de oude, handmatig ontworpen methoden.
• Ze konden complexe patronen in cellen veel scherper en duidelijker maken.
• Het mooiste was: ze hebben één van deze ontwerpen echt gebouwd in een lab. Ze hebben een speciaal glas (een SLM) gebruikt dat fungeert als het "lerende filter". Toen ze er een cijfer doorheen projecteerden, kwam er aan de andere kant een perfect beeld van dat cijfer uit. Het werkte!

Waarom is dit belangrijk?

• Snelheid: Omdat de microscoop het beeld direct maakt met licht, hoef je geen dure computer te gebruiken om het later te rekenen. Dit betekent dat je heel snel kunt kijken, zelfs bij bewegende cellen.
• Compact: De nieuwe ontwerpen zijn heel klein en simpel. Je zou ze misschien zelfs in een draagbaar apparaat kunnen bouwen voor dokters in afgelegen gebieden.
• Creativiteit: De computer ontdekte regels en ontwerpen die een mens misschien nooit zelf had bedacht. Het is alsof de AI een nieuwe taal van licht heeft geleerd.

Samenvatting in één zin:
Deze wetenschappers hebben een manier bedacht om computers te laten "dromen" over de perfecte microscoop, en die droom vervolgens in het echt te bouwen, zodat we doorzichtige cellen direct en snel kunnen zien zonder ingewikkelde berekeningen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Differentiable Microscopy Designs an All Optical Phase Retrieval Microscope", vertaald en samengevat in het Nederlands.

Titel: Differentieerbare Microscopie Ontwerpt een Volledig Optische Faseherwinning Microscoop

Auteurs: Kithmini Herath et al.
Publicatie: (Voorgesteld in een tijdschrift, 2024)

---

1. Het Probleem

Het meten van de fase-informatie van een lichtveld is een fundamenteel probleem in de optica, met name voor het beeldvormen van dunne, transparante objecten zoals levende cellen (faseobjecten). Traditionele microscopen meten alleen intensiteit, niet fase.

• Huidige aanpak: Quantitative Phase Microscopy (QPM) maakt gebruik van interferometrie en vereist computergestuurde reconstructie van interferogrammen om de fase te extraheren. Dit is een "bottom-up" ontwerpproces dat veel domeinkennis en creatieve fuzzy-berekeningen vereist om de optica te initialiseren.
• Beperkingen: Bestaande methoden, zoals Zernikes fasecontrast of Generalized Phase Contrast (GPC), zijn handmatig ontworpen met wiskundige benaderingen (vaak beperkt tot kleine fasevariaties) en vereisen vaak nog steeds naslagverwerking.
• Doel: Een nieuwe, datagedreven "top-down" ontwerpaanpak ontwikkelen die de fysieke optica zelf optimaliseert om fase direct om te zetten in intensiteit, zonder computergestuurde reconstructie na de opname.

2. Methodologie: Differentieerbare Microscopie ($\partial\mu$)

De auteurs introduceren Differentieerbare Microscopie ($\partial\mu$), een raamwerk dat het ontwerp van optische systemen behandelt als een leerprobleem. In plaats van optica handmatig te assembleren, wordt het systeem gemodelleerd als een "black-box" die geoptimaliseerd wordt via backpropagation.

Kernconcepten:

• Top-down ontwerp: Het proces start met de gewenste input (lichtveld met fase-informatie) en output (intensiteitsbeeld dat de fase weergeeft). De fysieke architectuur wordt vervolgens geleerd om deze transformatie te realiseren.
• Fysieke beperkingen: Het model respecteert de wetten van optica (lineair, complex-waardig, verschuiving-invariant) maar laat de specifieke parameters (zoals filters) los om te leren.
• Verliesfunctie: De loss functie ($L$) meet de afstand tussen de output-intensiteit (geschaald) en de input-fase. De doelstelling is dat $|A_{out}|^2 \propto \phi_{in}$. Er wordt gebruik gemaakt van een Reverse Huber loss voor betere reconstructie.

Onderzochte Architecturen:
De auteurs testten drie verschillende top-down ontwerpen voor de taak van volledig optische faseherwinning:

1. Complex-valued Linear CNN (C-CNN): Een black-box model dat de fysieke beperkingen nabootst (lineair, complex gewichten, geen niet-lineaire activeringen). Dit dient als een "empirische bovengrens" voor wat er theoretisch haalbaar is.
2. Learnable Fourier Filter (LFF): Een fysiek realiseerbaar ontwerp gebaseerd op een 4-f systeem. Een leerbare filter in het Fourier-vlak (met 256x256 transmissiecoëfficiënten) moduleert het spectrum. Varianten omvatten filters met alleen fase ($\phi$-LFF) en radiaal symmetrische filters ($\phi$-LRF).
3. Diffractieve Diepe Neuronale Netwerken (D2NN): Een compacte, volledig optische architectuur bestaande uit meerdere diffractieve lagen (8 lagen, <50 $\mu$m dik) zonder inductieve bias. De netwerken leren de fysieke beperkingen puur uit de data.

Validatie:

• Numeriek: Training en evaluatie op meerdere datasets: MNIST (digitale cijfers), HeLa-cellen en bacteriën, met verschillende fasebereiken ($[0, \pi]$ en $[0, 2\pi]$).
• Experimenteel: Een proof-of-concept experiment met een Spatial Light Modulator (SLM) om een geleerde Fourier-filter (voor MNIST) fysiek te implementeren en de output-intensiteit te meten.

3. Belangrijkste Bijdragen

1. Introductie van $\partial\mu$: Een nieuw raamwerk voor het ontwerpen van microscopen van de grond af op basis van data, in plaats van handmatige fysieke specificaties.
2. Uitgebreide Vergelijking: Een eerlijke, numerieke vergelijking tussen drie top-down methoden (C-CNN, LFF, D2NN) en de traditionele bottom-up GPC-methode op dezelfde datasets.
3. Experimentele Validatie: De eerste experimentele demonstratie van een volledig optisch faseherwinningssysteem dat is ontworpen via differentieerbare microscopie, bewezen met een SLM-setup.
4. Inzicht in Ontwerp: De studie toont aan dat een enkele leerbare Fourier-filter (LFF) vaak beter presteert dan diepe D2NN's voor deze specifieke taak, omdat Fourier-operatoren het netwerk volledig verbinden, terwijl D2NN's gedeeltelijk verbonden zijn.

4. Resultaten

• Prestatie: De geleerde ontwerpen (vooral LFF en D2NN) overtroffen consistent de traditionele GPC-methode, vooral bij datasets met complexe structuren (HeLa) en grote fasevariaties ($[0, 2\pi]$).
  • De C-CNN bereikte de hoogste SSIM-waarden (bijv. 0.9982 voor MNIST $[0, \pi]$), wat aangeeft dat er een lineaire oplossing bestaat voor deze data.
  • De LFF (Learnable Fourier Filter) bood de beste balans tussen prestatie en aantal parameters.
  • De D2NN presteerde goed op eenvoudige datasets (MNIST, bacteriën) maar had moeite met de complexere HeLa-datasets, waarschijnlijk door convergentieproblemen.
• Vergelijking met GPC: De top-down ontwerpen waren superieur aan de analytisch ontworpen GPC, vooral omdat ze de data-distributie a priori konden benutten, terwijl GPC gebaseerd is op algemene wiskundige regels.
• Experimentele Bevestiging: Het experimentele setup met de SLM bevestigde dat de geleerde filters fysiek realiseerbaar zijn en de fase-informatie in intensiteit omzetten, hoewel er een "model mismatch" was door kwantisatie en discretisatie in de hardware.
• Robuustheid: De geleerde filters bleken robuust tegen fase-kwantisering (tot 4-bit) en kleine ruis in de gewichten, wat essentieel is voor fabricage.

5. Betekenis en Toekomstperspectief

• Versnelling van Ontwerp: $\partial\mu$ verandert het ontwerpproces van microscopen van een creatief, handmatig proces naar een geautomatiseerd, datagedreven proces.
• Compacte Systemen: De geleerde ontwerpen (zoals D2NN) zijn extreem compact (<50 $\mu$m dik) en vereisen geen computergestuurde reconstructie na de opname. Dit maakt ze ideaal voor point-of-care toepassingen, snelle high-throughput screening en toepassingen waar ruimte en energie beperkt zijn.
• Interdisciplinaire Impact: Dit werk opent de deur voor een nieuwe generatie wetenschappers die data-driven optimalisatie toepassen op complexe beeldvormingsproblemen, niet alleen voor microscopie, maar ook voor andere optische systemen (bijv. optische coherentie tomografie, nano-fabricatie).
• Ontdekking van Nieuwe Regels: Hoewel de auteurs niet claimen dat ze nieuwe wiskundige regels hebben ontdekt, suggereert het feit dat de geleerde filters lijken op GPC-filters dat $\partial\mu$ potentieel heeft om bestaande ontwerpen te "herontdekken" of zelfs nieuwe, niet-intuïtieve ontwerpregels te vinden die door mensen over het hoofd worden gezien.

Conclusie:
De paper demonstreert succesvol dat het mogelijk is om een volledig optisch microsysteem te ontwerpen dat fase direct omzet in zichtbare intensiteit, puur door middel van datagedreven optimalisatie binnen een differentieerbaar raamwerk. Dit biedt een krachtig alternatief voor traditionele, handmatig ontworpen systemen en computergestuurde reconstructie.