For foundation-model registration in correlative microscopy, cross-modal appearance matters more than field of view

Stel je voor dat je een detective bent die een misdaad probeert op te lossen, maar je hebt twee heel verschillende soorten aanwijzingen. De ene aanwijzing is een foto met een hoge resolutie van een enkele vingerafdruk, genomen met een microscoop, en de andere is een wazige, groothoekfoto van de hele plaats delict, genomen vanuit een drone. Jouw taak is om uit te vogelen waar die vingerafdruk precies op de foto van de plaats delict zit. Dit is de dagelijkse uitdaging van correlatieve microscopie, een vakgebied waar wetenschappers afbeeldingen van verschillende soorten microscopen (zoals elektronenmicroscopen en optische lichtmicroscopen) combineren om de microscopische structuren van materialen te begrijpen. Het probleem is dat deze afbeeldingen vaak totaal niet op elkaar lijken—de ene toont misschien kristalvormen, terwijl de andere oppervlaktestructuur laat zien—en ze hebben vaak ook zeer verschillende zoomniveaus. De ene afbeelding toont misschien een heel zandkorreltje, terwijl de andere slechts een enkel atoom laat zien.

Lange tijd hebben wetenschappers geprobeerd om "foundation models" te gebruiken, wat superintelligente AI-programma's zijn die getraind zijn op miljoenen alledaagse foto's, om dit puzzelstukje op te lossen. De hoop was dat deze AI's als een universele vertaler zouden kunnen fungeren, die de vreemde, microscopische afbeeldingen direct met elkaar kunnen matchen. Maar er was een grote vraag: komt het hoofdzakelijke falen van deze AI's doordat de afbeeldingen anders zijn ingezoomd (schaal) of omdat de afbeeldingen er zo compleet verschillend uitzien dat de AI in de war raakt (verschijning)? Dit paper zet uit om het antwoord te vinden, door te testen of een slimme "zoomlens"-truc het probleem kan oplossen of dat de AI simpelweg moet leren hoe deze materialen er echt uitzien.

De Grote Microscoop-mismatch

De onderzoekers begonnen met een enorme dataset genaamd AmalgaMatch, die 187 paren van deze lastige microscopische afbeeldingen bevat. Ze wilden zien of ze een "piramide"-strategie konden gebruiken om het zoomprobleem op te lossen. Stel je voor dat je een specifiek huis op een kaart van een heel land probeert te vinden. Een naïeve aanpak zou zijn om de kaart van het land in duizenden kleine tegels te snijden, het huis in elke enkele tegel te zoeken, en vervolgens te proberen al die bevindingen aan elkaar te plakken. De onderzoekers probeerden dit met hun AI, maar het was een ramp.

Waarom? Omdat deze specifieke AI-modellen "overijverig" zijn. In tegen tegenstelling tot een mens die misschien zegt: "Ik weet het niet, deze tegel lijkt totaal niet op het doelwit," geeft de AI nooit op. De AI wijst vol vertrouwen een match aan in elke enkele tegel, zelfs in de tegels die volkomen fout zijn. Wanneer de onderzoekers probeerden al deze zelfverzekerde maar foutieve gokken samen te voegen, werd de AI volledig overspoeld door ruis. Het resultaat? De fout sprong van een beheersbare 76 pixels naar een chaotische 1.794 pixels. De "naïeve piramide" hielp niet alleen niet; het maakte het systeem actief kapot.

Een Slimmere, Geverifieerde Aanpak

Niet ontmoedigd, ontwierpen de onderzoekers de strategie opnieuw. In plaats van blindelings alles aan elkaar te plakken, bouwden ze een "geverifieerde coarse-to-fine" wrapper. Denk hierbij aan een detective die eerst probeert het huis van een afstand te spotten. Als dat niet werkt, zoomt hij pas in op een paar veelbelovende buurten om dichterbij te kijken. Cruciaal is dat ze een "leugendetector"-stap toevoegden: als de ingezoomde gok er niet aanzienlijk beter uitziet dan de oorspronkelijke gok, gooien ze deze weg.

Deze slimme aanpak hielp wel, maar slechts een beetje. Het verbeterde het succespercentage van 10% naar 12%. Hoewel dit statistisch significant was, was het niet de wondermiddel waar ze op hoopten. De extreme gevallen—waarbij de afbeeldingen met grootheden in zoomverschil verschilden—faalden nog steeds volledig. De "leugendetector" was goed genoeg om kleine fouten te herstellen, maar kon de fundamentele verwarring niet oplossen wanneer de afbeeldingen er te verschillend uitzagen.

De Echte Boosdoener: Het Gaat Om het Uiterlijk, Niet de Zoom

De grootste verrassing kwam toen de onderzoekers de "hersenen" (de backbone) van de AI vervingen. Ze vervingen het standaardmodel door een model dat specifelijk was getraind op cross-modale afbeeldingen (afbeeldingen die verschillend van elkaar zijn). Deze verandering alleen al zorgde voor de grootste verbetering, waarbij de succespercentages aanzienlijk stegen voor afbeeldingen die al enigszinnig vergelijkbaar waren.

Dit leidde tot een belangrijke realisatie: het probleem is niet de zoom, maar het uiterlijk. Om dit te bewijzen, creëerden de onderzoekers een "FOV-ladder". Ze namen afbeeldingen die al makkelijk te matchen waren en knipten deze kunstmatig kleiner om het gezichtsveld (field of view) steeds kleiner te maken, terwijl het "uiterlijk" exact hetzelfde bleef. Toen ze dit deden, werkte de "piramide"-wrapper prachtig en verdrievoudigde het succespercentage wanneer het zoomverschil geïsoleerd was.

Dit bewees dat de wrapper-mechanisme werkt voor schaal. Echter, op de echte dataset faalde de wrapper omdat de moeilijkste afbeeldingen niet alleen verder uitgezoomd waren; het waren ook de afbeeldingen die er het meest verschillend uitzagen. De echte werelddata was een mix van beide problemen, en het "uiterlijk"-probleem was het probleem dat niet opgelost kon worden met een zoom-truc.

De Kosten van het Leren

Ten slotte probeerde het team de AI direct te onderwijzen met behulp van materiaalkundige afbeeldingen (een proces dat fine-tuning wordt genoemd). Dit werkte wonderbaarlijk goed voor de specifieke soorten afbeeldingen die het tijdens de training zag, waardoor de fouten met ongeveer 5 keer werden verminderd. Het kwam echter met een addertje onder het gras: de AI begon te "vergeten" hoe het om moest gaan met de soorten afbeeldingen die het niet zag tijdens de training.

Ze probeerden een techniek genaamd L2-SP (een "gewicht-anker") om dit vergeten te voorkomen, in de hoop dat het als een vangnet zou dienen. In een enkele testronde leek het perfect te werken. Maar toen ze de experimenten acht keer uitvoerden met verschillende willekeurige seeds (om er zeker van te zijn), hielp het vangnet helemaal niet. De AI vergat nog steeds de ongetrainde afbeeldingen. Dit suggereert dat het probleem niet alleen gaat over hoe de AI leert, maar over de enorme breedte aan data die het moet zien. Als de AI tijdens de training niet een specifieke combinatie van microscooptypen heeft gezien, heeft het er moeite mee om ze te verwerken, ongeacht hoe slim de wiskunde ook is.

De Kern van het Verhaal

Het paper concludeert dat voor deze foundation models verschijning belangrijker is dan het gezichtsveld. Je kunt een mismatch die wordt veroorzaakt door het feit dat afbeeldingen er totaal anders uitzien, niet oplossen door alleen de zoom of de wiskunde aan te passen. De meest effectieve weg vooruit is om een AI te kiezen die al getraind is op cross-modale data en deze, indien mogelijk, te finetunen op een grote verscheidenheid aan materiaaltypen om vergeten te voorkomen. De "zoom-truc" is nuttig, maar alleen als de afbeeldingen de AI al enigszins bekend voorkomen. Als dat niet het geval is, kan geen enkele slimme schaling de dag redden.