Spectral DiffuserScope: a compact snapshot hyperspectral microscope

Technische Samenvatting: Spectral DiffuserScope

Probleemstelling
Hyperspectrale fluorescentiemicroscopie is een krachtig instrument voor biologische en klinische toepassingen, wat taken mogelijk maakt zoals lineaire unmixing van talrijke fluoroforen voor dichte cellulaire labeling en de differentiatie van gemultiplexed bead-gebaseerde bioassays. Echter, conventionele hyperspectrale systemen vertrouwen doorgaans op scannen (ruimtelijk of spectraal) om een 3D-datacube te construeren, wat resulteert in omvangrijke opstellingen, lange acquisitietijden en beperkte throughput. Deze beperkingen hinderen high-content screening en de collectie van grootschalige datasets die vereist zijn voor moderne machine learning. Hoewel snapshot hyperspectrale imagers bestaan die de volledige datacube in één enkele belichting vastleggen, lijden veel traditionele benaderingen aan een beperkt aantal spectrale kanalen, een grote fysieke voetafdruk of onvoldoende ruimtelijke-spectrale resolutie.

Methodologie
De auteurs introduceren de Spectral DiffuserScope, een compacte, computationele snapshot hyperspectrale microscoop die aan standaard benchtop epifluorescentiemicroscopen kan worden bevestigd. Het systeem maakt gebruik van compressed sensing om een hoogdimensionale hyperspectrale datacube te reconstrueren uit één enkele 2D-sensormeting.

• Optische Architectuur: Het apparaat is een compact modulair onderdeel (ongeveer 15 cm × 6 cm × 6 cm) bestaande uit drie hoofdonderdelen geplaatst bij de outputpoort van de microscoop:
  1. Een relay lens die het Fourier-vlak (pupil) van het microscoopobjectief naar een toegankelijke locatie projecteert.
  2. Een op maat gemaakte diffuser gepositioneerd in het gereleerde Fourier-vlak. Deze diffuser vormt de Point Spread Function (PSF) van het systeem om scherpe, caustische kenmerken te creëren. Het verspreidt licht van elk ruimtelijk punt over meerdere spectrale filters, terwijl hoogfrequente ruimtelijke details behouden blijven.
  3. Een spectrale camera bestaande uit een monochrome CMOS-sensor met een aangepaste 64-kanaals spectrale filterarray (8×8 super-pixels, waarbij elke pixel 64 unieke Fabry–Perot-filters bevat) die direct op de sensor is aangebracht.
• Forward Model: Het systeem modelleert de meting als een lineaire combinatie van de hyperspectrale datacube van het monster, geconvolueerd met de PSF van de diffuser en elementgewijs vermenigvuldigd met de spectrale transmissiematrix. Het systeem is shift-invariant vanwege de plaatsing van de diffuser in het Fourier-vlak.
• Reconstructie Algoritme: Het inverse probleem wordt opgelost met behulp van een optimalisatiegestuurde aanpak die gebruikmaakt van verschillende priors:
  • Ruimtelijke Sparsity: Het benutten van de inherente sparsity van fluorescente scènes.
  • Piecewise Smoothness: Het bestraffen van hoogfrequente variaties in de ruimtelijke dimensies en het afdwingen van gladheid in spectrale profielen.
  • Low-Rank/One-Hot Decompositie: De datacube wordt gemodelleerd als een som van ruimtelijke gewichtskaarten en spectrale profielen. Een "soft" assignatie (softmax) wordt gebruikt om te bepalen welke spectrale component domineert per pixel, waarbij dit geleidelijk aanscherpt naar een "one-hot" selectie (uitgaande van één fluorofoor per pixel) naarmate de optimalisatie vordert.
  • Orthogonaliteit: Een loss-term dwingt orthogonaliteit af tussen de geleerde spectrale componenten om de praktijk van het selecteren van fluoroforen met minimale spectrale overlap na te bootsen.
    Het algoritme minimaliseert een loss-functie die data-getrouwheid, ruimtelijke/spectrale gladheid, sparsity en diversiteit balanceert, opgelost via gradiëntafdaling (Adam optimizer).

Belangrijkste Bijdragen

1. Compact Snapshot Ontwerp: Een modulair onderdeel dat snapshot hyperspectrale imaging op standaard microscopen mogelijk maakt zonder bewegende delen, wat de acquisitietijd aanzienlijk vermindert vergeleken met filterwiel- of scanningsystemen.
2. Verbeterde Resolutie via Diffuser: Door een op maat gemaakte diffuser in het Fourier-vlak te plaatsen, bereikt het systeem een 3× hogere ruimtelijke resolutie dan traditionele filter-array-gebaseerde snapshot systemen. De diffuser zorgt voor volledige spectrale sampling op elke ruimtelijke locatie zonder hoogfrequente ruimtelijke informatie op te offeren.
3. Open Source Release: De auteurs stellen de hardware bill of materials, assemblage-instructies en de reconstructiesoftware open source beschikbaar om adoptie te vergemakkelijken.
4. Prestatie Benchmarking: Het systeem is rigoureus getest tegen gesimuleerde alternatieve optische configuraties (directe imaging, hoge vergroting en onscherpe PSF) en experimentele ground truths.

Experimentele Resultaten
Het systeem werd gevalideerd door middel van simulaties en experimenten op diverse monsters:

• Fluorescente Beads: Het systeem loste 2,4 µm fluorescente beads succesvol op, wat een sub-super-pixel resolutie demonstreerde (experimenteel werden beads op 20 µm afstand gerealiseerd, oftewel 0,12 super-pixels).
• Dynamische Monsters: Een video van een uitdrogende waterdruppel met fluorescente beads werd vastgelegd, wat de capaciteit van het systeem demonstreerde om de beweging van deeltjes in realtime te volgen zonder bewegingsonscherpte.
• MRBLES Hydrogel Beads: Het systeem beeldde lanthanide-gedoteerde hydrogel beads die worden gebruikt in gemultiplexed bioassays. Het slaagde erin de onderscheidende spectrale codes (Europium, Dysprosium, Samarium) en hun ratio's te herstellen, die overeenkwamen met de ground truth spectra verkregen door een fluorometer.
• Biologische Cellen: Gefixeerde menselijke umbilicale veneuze endotheelcellen (HUVEC) gelabeld met CellTracker Green en Orange werden geïmageerd. Het systeem slaagde erin de overlappende emissiespectra accuraat te unmixen en de ruimtelijke patronen (inclusief een "CAL"-vorm gevormd via DNA-directed patterning) te reconstrueren.
• Resolutielimieten: De theoretische resolutie werd berekend op ~27–29 µm (0,17–0,18 super-pixels). De experimentele resolutie overtrof dit in ijle (sparse) scènes dankzij de sparsity priors, maar had moeite met dichte, narrowband scènes waar onvoldoende pixels geactiveerd waren.

Betekenis en Claims
Het artikel positioneert de Spectral DiffuserScope als een praktische, high-throughput oplossing voor hyperspectrale microscopie in biologische en klinische settings. De primaire betekenis ligt in de compactheid en de snapshot-capaciteit, wat de capture van dynamische monsters en grote datasets mogelijk maakt die voorheen onbereikbaar waren met scanningssystemen.

De auteurs erkennen bescheiden de beperkingen:

• Foton-efficiëntie: De snapshot-benadering legt elke golflengte op slechts een subset van de pixels vast, wat langere belichtingstijden vereist voor zwakke monsters vergeleken met sequentiële filterwiel-systemen.
• Signaalsterkte: Het gebruik van een kamer-temperatuur CMOS-sensor en het verwijderen van de cover glass vormen uitdagingen voor toepassingen met zeer lage lichtintensiteit.
• Scène Afhankelijkheid: De kwaliteit van de reconstructie is sterk afhankelijk van de sparsity van de scène en de spectrale bandbreedte; dichte, narrowband scènes zijn moeilijk te reconstrueren.
• Stray Light: Er werden artefacten waargenomen door strijklicht van oudere microscoopfilters en reflecties, wat wijst op een behoefte aan betere optische coatings en uitlijning in toekomstige iteraties.

Ondanks deze beperkingen claimen de auteurs dat het systeem een veelbelovende balans biedt tussen ruimtelijke-spectrale resolutie, gezichtsveld (field of view) en acquisitiesnelheid, waardoor het een bruikbaar instrument is voor toepassingen variërend van deeltjestracking tot gemultiplexed bioassays. Voor toekomstig werk wordt gesuggereerd om 3D-reconstructie-algoritmen, gezamenlijke optimalisatie van de diffuser en de filterarray, en het gebruik van gekoelde sCMOS-sensoren toe te voegen.