A Weakly Supervised Pre-processing Pipeline for Multi-Modal Image Pair Generation for Image Registration

Stel je voor dat je een enorme legpuzzel probeert op te lossen, maar de stukjes komen uit twee totaal verschillende dozen. De ene doos bevat een wazige, groothoekfoto van een straat in een stad, terwijl de andere doos een hyper-scherpe, microscopische close-up bevat van een enkele baksteen op diezelfde straat. Je weet dat ze bij elkaar horen, maar ze lijken totaal niet op elkaar. De ene is kleurrijk en wazig; de andere is zwart-wit met ongelooflijke details. Dit is de dagelijkse realiteit voor wetenschappers die kleine dingen bestuderen zoals cellen of materialen. Ze gebruiken twee krachtige instrumenten: lichtmicroscopen (LM), die fungeren als groothoekcamera's om het grote plaatje te zien en specifieke gloeiende moleculen te vinden, en elektronenmicroscopen (EM), die werken als super-gezoomde lenzen om de kleinste structuren te zien, tot op de grootte van een enkel atoom.

Het probleem is dat deze twee instrumenten verschillende talen spreken. Ze zien de wereld op verschillende schalen, met verschillende "pixelgroottes" (de minuscule puntjes waaruit de afbeelding bestaat), en ze kijken vaak naar iets andere gebieden. Om hun superkrachten te combineren — de moleculaire details van de lichtmicroscoop met de structurele helderheid van de elektronenmicroscoop — moeten wetenschappers de beelden "registreren". Dit betekent dat ze perfect uitgelijnd moeten worden, zodat het gloeiende molecuul in de wazige foto precies boven de overeenkomstige baksteen in de scherpe foto zit. Als de uitlijning zelfs maar een klein beetje afwijkt, is het gecombineerde beeld waardeloos. Het is alsof je een wereldkaart probeert over een kaart van je eigen buurt te leggen; tenzij je ze perfect krimpt of uitrekt om ze te laten matchen, zullen de straten niet op elkaar aansluiten.

De Digitale Matchmaker: Een Recept voor Perfect Uitgelijnde Microscoopfoto's

In dit onderzoek hebben onderzoekers van het Max Planck Instituut voor Polymeeronderzoek een slim, semi-geautomatiseerd recept ontwikkeld om deze mismatched beelden met elkaar te laten matchen. Beschouw deze nieuwe methode als een "digitale matchmaker" die twee zeer verschillende foto's voorbereidt, zodat ze elkaars hand kunnen vasthouden en perfect in pas kunnen lopen.

De belangrijkste uitdaging die zij aanpakten, is dat de twee microscopen het niet eens zijn over hoe groot een "stap" is. De ene microscoop zegt misschien dat een stap 100 nanometer breed is, terwijl de andere zegt dat het 12 nanometer is. Als je de beelden zomaar op elkaar plakt, zullen de details niet overeenkomen. De auteurs creëerden een workflow die werkt als een combinatie van een vertaler en een kleermaker.

Stap 1: De Menselijke Aanraking (Het "Zwak Supervised" Deel)
Het proces begint met een beetje menselijke hulp, wat de reden is dat ze het "weakly supervised" noemen. Stel je voor dat je een grote, wazige foto van een park hebt (de lichtmicroscoopafbeelding) en een kleine, super-scherpe foto van een specifie een specifiek bankje in dat park (de elektronenmicroscoopafbeelding). Voordat de computer zijn magie kan bedrijven, moet een mens een gemeenschappelijk herkenningspunt in beide foto's aanwijzen — zoals een specifieke boom of een rots. Door de afstand tussen deze herkenningspunten in beide foto's te meten, kan de computer een "Pixel Size Ratio" (PSR) berekenen. Dit is alsocht het uitrekenen dat één stap in de wazige foto precies gelijk is aan 6,5 stappen in de scherpe foto. Het artikel merkt op dat computers momenteel niet slim genoeg zijn om deze berekening zelfstandig te doen voor deze specifieke soorten afbeeldingen, dus een mens moet deze ratio eerst instellen.

Stap 2: De Krimpstraal (Binning)
Zodra de ratio bekend is, krimpt de computer de kleine, scherpe elektronenmicroscoopafbeelding. Het is alsof je een foto met een hoge resolutie neemt en deze herschaalt om in een kleiner kader te passen. De onderzoekers ontdekten dat het verkleinen van de afbeelding met een specifieke factor (zoals 1/8e van de oorspronkelijke grootte) cruciaal is. Als ze de afbeelding te veel of te weinig verkleinen, raakt de computer in de war en kan hij de match niet vinden. Het is als het proberen te passen van een vierkante pen in een rond gat; de grootte moet precies goed zijn.

Stap 3: Het "Zoek het Gezicht" Spel (Template Matching)
Nu komt het leuke gedeelte. De computer neemt de gekrompen, scherpe afbeelding (de "template") en gaat op jacht binnen de grote, wazige foto (de "bron"). Hiervoor gebruikt het een techniek genaamd "genormaliseerde correlatie". Stel je voor dat je op zoek bent naar een specifiek gezicht in een drukke, wazige menigte. In plaats van simpelweg te gokken, laat de computer het "gezicht" over elke mogelijke plek in de menigte glijden en controleert hoe goed de kenmerken overeenkomen. De onderzoekers ontdekten dat een specifieke wiskundige truc (het negeren van de algemene helderheidsverschillen) hier het beste werkt. Hierdoor kan de computer de exacte plek in de grote foto vinden waar de kleine foto thuishoort, zelfs als de belichting totaal anders is of als er vreemde rimpelingen in het monster zichtbaar zijn die alleen in de ene foto voorkomen.

Stap 4: De Perfecte Knip en Plak
Zodra de computer de match heeft gevonden, knipt hij dat exacte vierkant uit de grote, wazige foto. Vervolgens rekt hij dat uitgeknipte stuk uit tot het exact dezelfde formaat heeft als de oorspronkelijke scherpe foto. Het resultaat? Een perfect paar afbeeldingen. Ze tonen nu exact hetzelfde gebied, hebben hetzelfde aantal pixels en dezelfde "stapgrootte".

Waarom dit ertoe doet
De onderzoekers testten dit op echte monsters, waaronder cellen en dunne plakjes materiaal. Ze lieten zien dat de methode zelfs werkte wanneer de afbeeldingen vreemde artefacten hadden — zoals heldere plekken veroorzaakt door gerimpelde monsters die alleen in de ene foto verschenen. De computer was robuust genoeg om de ruis te negeren en de echte match te vinden.

Zodod de beelden aan elkaar gekoppeld zijn, zijn ze klaar voor de laatste stap: een machine learning-programma dat ze perfect uitlijnt. De auteurs ontdekten dat als de initiële koppeling niet nauwkeurig genoeg is (met minder dan 1% fout), de machine learning-software moeite heeft. Maar met hun nieuwe pre-processing pipeline zijn de beelden zo goed voorbereid dat de uiteindelijke uitlijning in minder dan een minuut gebeurt op een standaard desktopcomputer.

De Kernboodschap
Dit artikel beweert niet dat het het probleem van beeldregistratie volledig op zichzelf heeft opgelost. In plaats daarvan biedt het een essentiële, snelle en betrouwbare "pre-processing" stap. Het overbrugt de kloof tussen twee verschillende werelden van microscopie, waardoor wordt gegarandeerd dat wetenschappers, wanneer ze hun gegevens combineren, naar dezelfde realiteit kijken. Het verandert een rommelige, verwarrende taak in een gestroomlijnd proces, wat de weg vrijmaakt voor snellere, nauwkeurigere ontdekkingen in de biologie en materiaalkunde. De auteurs suggereren dat hoewel de eerste stap (het vinden van de ratio) nog steeds een mens vereist, deze pipeline een enorme stap is richting volledig geautomatiseerde, hoogwaardige analyse van de microscopische wereld.