Point Spread Function Engineering Using Implicit Neural Representations
Dit artikel stelt een op neurale velden gebaseerde pupilontwerpmethode voor die PSF-engineering behandelt als een fase-reconstructieprobleem, wat de optimalisatie van flexibele, door de gebruiker gedefinieerde 3D PSF-distributies mogelijk maakt met een grotere robuustheid ten opzichte van initialisatie vergeleken met traditionele pixelgewijze benaderingen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van de hoogwaardige microscopie is helder zien slechts de helft van de strijd; begrijpen waar dingen zich bevinden in drie dimensies is de andere helft. Wanneer een microscoop naar een klein puntje licht kijkt, zorgen de wetten van de fysica ervoor dat dat puntje vervaagt tot een kleine, wazige schijf. Deze vervaging staat bekend als de point spread function (puntspreidingsfunctie). Decennialang hebben wetenschappers geprobeerd deze vervaging naar hun hand te zetten. Door speciale filters in het pad van het licht te plaatsen, kunnen ze deze schijf uitrekken tot een spiraal om diepte te volgen, deze afvlakken om alles tegelijkert af te stellen, of deze splitsen in meerdere stippen om verschillende lagen gelijktijdig te verlichten. Het ontwerpen van deze filters was echter traditioneel een rigide proces. Het vereiste dat experts kozen uit een beperkt menu van vooraf gemaakte wiskundige vormen, vergelijkbaar met het proberen te bouwen van een op maat gemaakt huis met behulp van slechts een paar standaard baksteenpatronen. Als de gewenste vorm niet paste bij de beschikbare patronen, faalde het ontwerp, of was het resultaat een rommelig, ruisig beeld dat moeilijk te interpreteren was.
Een team onderzoekers van Boston University en het Georgia Tech Research Institute heeft een nieuwe manier ontwikkeld om dit probleem op te lossen, een manier die het ontwerp van deze optische filters behandelt als een leeropdracht in plaats van een puzzel van vaste stukjes. In plaats van de filter te dwingen in een bestaande wiskundige categorie te passen, gebruikten ze een type kunstmatige intelligentie dat bekend staat als een neural field (neuraal veld). Dit systeem werkt als een continue, vloeiende kaart die op elk gewenst detailniveau kan worden getekend. De onderzoekers voerden dit systeem een beschrijving van het exacte 3D-lichtpatroon dat ze wilden creëren — of het nu een draaiende spiraal, een plat vlak van focus, of een verspreide verzameling gloeiende stippen was. De computer berekende vervolgens de exacte vorm van de filter die nodig is om een standaard lichtstraal in dat specifieke patroon te veranderen. Het resultaat is een flexibele methode die aangepaste optische filters kan genereren voor bijna elke beeldvormingsbehoefte, zonder dat daarvoor de diepe, gespecialiseerde kennis nodig is die voorheen vereist was om de juiste wiskundige bouwstenen te kiezen.
De kern van dit werk ligt in de manier waarop de onderzoekers de aanpak van het vinden van de juiste filtervorm benaderden. In het verleden probeerden wetenschappers dit op te lossen door de filter pixel voor pixel aan te passen, zoals het proberen te schilderen van een meesterwerk door de kleur van elk afzonderlijk vierkantje op een raster één voor één te veranderen. Deze aanpak liep vaak vast in lokale fouten, wat resulteerde in filters die grillig waren en vol met hoogfrequente ruis zaten, wat het uiteindelijke beeld zou verruïneren met korrelige artefacten. De nieuwe methode vermijdt dit door een neuraal netwerk te gebruiken om de filter te beschrijven als een gladde, continue functie. Dit betekent dat de computer een enkele, vloeiende regel leert voor de gehele filter, in plaats van een verzameling onverbonden stippen. Deze gladheid werkt als een natuurlijke barrière die voorkomt dat het ontwerp ruisachtig wordt en zorgt ervoor dat de resulterende filter fysiek realistisch en gemakkelijk te fabriceren is.
Om hun idee te testen, bouwden het team een tafeloptisch systeem uitgerust met een spatial light modulator (ruimtelijke lichtmodulator), een apparaat dat kan fungeren als een programmeerbare filter. Ze programmeerden het apparaat met de vormen die door hun neurale netwerk waren gegenereerd en lieten vervolgens licht erdoorheen schijnen om te zien wat er gebeurde. Ze creëerden succesvol verschillende complexe patronen, waaronder een enkelvoudige helix point spread function die 360 graden draait over een bereik van 80 micrometer, en een dubbele helix versie die 180 graden draait over 100 micrometer. Ze ontwierpen ook een patroon met een uitgebreide scherptediepte dat scherp blijft over een bereik van 400 micrometer. In alle gevallen kwamen de experimentele resultaten nauw overeen met de computersimulaties, wat bewees dat de gladde, continue ontwerpen die door het neurale netwerk waren geleerd, fysiek gerealiseerd konden worden en precies zo presteerden als voorspeld.
Een van de meest praktische voordelen van deze nieuwe methode is het vermogen om de helderheid van verschillende delen van het beeld onafhankelijk van elkaar te controleren. Bij beeldvorming in diep weefsel wordt licht vaak minder fel naarmate het verder reist door verstrooiing en absorptie. De onderzoekers toonden aan dat hun systeem de instructie kon krijgen om de brandpunten op grotere dieptes helderder te maken om dit verlies te compenseren. Door simpelweg de gewichten in de doelbeschrijving van de computer aan te passen, leerde het systeem een filter die meer energie naar de diepere lagen duwde, waardoor de intensiteit over het hele volume effectief werd genivelleerd. Dit soort fijne controle is moeilijk te bereiken met oudere methoden, die vaak moeite hebben met het balanceren van de energieverdeling over verschillende dieptes zonder fouten te introduceren.
De onderzoekers vergeleken hun neural field-aanpak ook met traditionele pixel-voor-pixel optimalisatietechnieken. De traditionele methoden vereisten veel meer pogingen om een oplossing te vinden en hadden vaak een specifieke beginwaarde nodig om überhaupt te werken. Zelfs wanneer ze slaagden, waren de resulterende filters vaak ruisachtig en minder nauwkeurig. De neural field-methode daarentegen convergeerde veel sneller naar een oplossing en had geen speciale beginwaarde nodig. De filters die het produceerde waren glad en vrij van de korrelige speckle-ruis die andere benaderingen teistert. Dit suggereert dat de methode niet alleen efficiënter is, maar ook robuuster, in staat om hoogwaardige oplossingen te vinden, zelfs wanneer het gewenste patroon complex of ongebruikelijk is.
Dit werk opent de deur naar een nieuw tijdperk van aangepaste microscopie waarbij de beperkingen van vooraf gedefinieerde vormen zijn opgeheven. Wetenschappers kunnen nu exact specificeren hoe ze willen dat licht zich in drie dimensies gedraagt, en het systeem zal de noodzakelijke optische filter genereren om dat te realiseren. De methode is algemeen genoeg om te worden toegepast op diverse taken, van het volgen van de beweging van enkelvoudige moleculen tot het tegelijkertijd verlichten van meerdere vlakken van een biologisch monster. Omdat het neurale netwerk een continue regel leert, kan de resulterende filter naar elke resolutie worden geschaald zonder kwaliteitsverlies, wat het aanpasbaar maakt aan verschillende microscopen en experimentele opstellingen. Het vermogen om deze filters automatisch en betrouwbaar te ontwerpen betekent dat onderzoekers zich meer kunnen concentreren op de biologische vragen die ze proberen te beantwoorden, in plaats op de wiskundige hindernissen bij het ontwerpen van de instrumenten om die te zien.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.