XRF-to-Optical Field-of-View Localization with Vision Language Models

Wetenschappers moeten vaak op twee verschillende manieren naar hetzelfde minuscule stukje weefsel kijken om te begrijpen wat er binnenin gebeurt. De ene manier maakt gebruik van een standaard lichtmicroscoop om de vorm van cellen en weefsels te zien, vergelijkbaar met het bekijken van een kaart van een stad om te zien waar de parken en gebouwen zijn. Een andere manier gebruikt een krachtige röntgentechniek om specifieke chemische elementen, zoals fosfor, te detecteren, wat werkt als een spotlight die de exacte locatie van die elementen binnen het weefsel accentueert. Om de gegevens te kunnen interpreteren, moeten onderzoekers in staat zijn om deze twee afbeeldingen perfect uit te lijnen, waarbij de chemische kaart wordt afgestemd op de vormkaart. Dit proces wordt lokalisatie genoemd. Het is essentieel voor het bestuderen van hoe sporenelementen door neuronen bewegen of hoe nanodeeltjes zich binnen cellen gedragen. Het is echter verrassend moeilijk om dit te matchen, omdat de twee afbeeldingen er vaak totaal niet hetzelfde uitzien. De chemische kaart kan slechts een klein, vaag stipje laten zien, terwijl de lichtafbeelding een complex landschap van cellen toont. Bovs kan de chemische kaart afkomstig zijn van een weefselflank die direct naast de lichtafbeelding ligt, wat betekent dat de structuren niet perfect op één lijn liggen, en de chemische kaart beslaat vaak slechts een fractie van het totale gebied dat in de lichtafbeelding wordt getoond.

Onderzoekers bij Argonne National Laboratory en Northwestern University hebben onlangs dit probleem aangepakt door een nieuwe aanpak te testen die gebruikmaakt van kunstmatige intelligentie om de overeenkomstige plek te vinden zonder dat hiervoor specifieke instructies nodig zijn. Ze werkten met twee soorten weefselmonsters. Het eerste type was eenvoudig: de chemische kaart en de lichtafbeelding kwamen van exact hetzelfde weefselflank, dus de vormen kwamen goed overeen. Het tweede type was veel moeilijker: de afbeeldingen kwamen van twee verschillende, aangrenzende weefselflanken. In dit moeilijke geval waren de vormen iets anders en besloeg de chemische kaart een zeer klein gebied, soms minder dan één procent van de totale afbeelding. Het team testte of moderne vision-language modellen — kunstmatige intelligentiesystemen die zowel afbeeldingen als geschreven instructies kunnen begrijpen — de chemische kaart op de lichtafbeelding konden lokaliseren door er simpelweg om te vragen. Ze ontdekten dat het simpelweg vragen aan de AI om de locatie aan te wijzen niet betrouwbaar genoeg was op zichzelf. De AI kon een gok doen, maar maakte vaak fouten, vooral wanneer de weefselflanken verschillend waren of het doelwit minuscuul was.

Om dit op te lossen, ontwikkelden de onderzoekers een tweestaps-workflow. Eerst lieten ze de kunstmatige intelligentie verschillende verschillende gokken doen over waar de chemische kaart zich zou kunnen bevinden. In plaats van slechts één gok te vertrouwen, behandelden ze deze gokken als een lijst met kandidaten. Vervolgens gebruikten ze een standaard computerprogramma om elke kandidaat te controleren tegen de werkelijke chemische gegevens om te zien welke de beste match was. Deze methode van het voorstellen van vele opties en vervolgens het verifiëren ervan werkte veel beter dan het alleen vertrouwen op de AI. Op de moeilijke monsters van aangrenzend weefsel, waar traditionele methoden volledig faalden, vond deze nieuwe workflow in veel gevallen de juiste locatie. De onderzoekers testten ook andere geavanceerde AI-tools die niet voor deze specifieke taak waren ontworpen, maar ontdekten dat geen van deze tools het probleem zelfstandig kon oplossen zonder dit tweestaps-proces.

De studie toonde aan dat hoewel deze krachtige AI-modellen niet perfect zijn in het nauwkeurig aanwijzen van locaties op zichzelf, ze uitstekend zijn in het genereren van een shortlist van mogelijkheden. Wanneer ze worden gecombineerd met een eenvoudige controle die de visuele patronen van de twee afbeeldingen vergelijkt, wordt het systeem een betrouwbaar hulpmiddel voor wetenschappers. Dit is bijzonder belangrijk voor de moeilijke gevallen waarbij de weefselflanken niet perfect overeenkomen, een situatie waarin oudere methoden meestal opgeven. De onderzoekers hebben aangetoond dat door de AI de mogelijkheden te laten suggereren en vervolgens de computer de beste te laten verifiëren, zij nuttige resultaten konden terugwinnen, zelfs wanneer de afbeeldingen er zeer verschillend uitzagen. Deze aanpak vereist niet dat de AI voor elk experiment op nieuwe gegevens wordt getraind, wat het een flexibel hulpmiddel maakt voor wetenschappers die verschillende soorten microscopische afbeeldingen snel en accuraat met elkaar willen verbinden. Het werk bevestigt dat voor de meest uitdagende wetenschappelijke beeldvormingstaken de beste strategie vaak is om de AI te laten brainstormen en vervolgens de data de uiteindelijke beslissing te laten nemen.