XRF-to-Optical Field-of-View Localization with Vision Language Models

Wissenschaftler müssen oft dasselbe winzige Stück Gewebe auf zwei verschiedene Arten betrachten, um zu verstehen, was im Inneren geschieht. Die eine Methode nutzt ein Standard-Lichtmikroskop, um die Form von Zellen und Geweben zu sehen, ganz ähnlich wie man eine Karte einer Stadt betrachtet, um zu sehen, wo sich Parks und Gebäude befinden. Eine andere Methode nutzt eine leistungsstarke Röntgentechnik, um spezifische chemische Elemente, wie zum Beispiel Phosphor, nachzuweisen, was wie ein Scheinwerfer wirkt, der den exakten Ort dieser Elemente innerhalb des Gewebes hervorhebt. Um die Daten interpretieren zu können, müssen Forscher in der Lage sein, diese beiden Bilder perfekt aufeinander abzustimmen, indem sie die chemische Karte mit der Formkarte zur Deckung bringen. Dieser Prozess wird Lokalisierung genannt. Er ist entscheidend für die Untersuchung, wie Spurenelemente durch Neuronen wandern oder wie Nanopartikel innerhalb von Zellen reagieren. Das Durchführen dieser Abstimmung ist jedoch überraschend schwierig, da die beiden Bilder oft nicht einander ähneln. Die chemische Karte zeigt vielleicht nur einen winzigen, schwachen Punkt, während das Lichtbild eine komplexe Landschaft aus Zellen darstellt. Zudem kann die chemische Karte von einem Gewebeschnitt stammen, der direkt neben dem Lichtbild liegt, was bedeutet, dass die Strukturen nicht perfekt übereinstimmen, und die chemische Karte deckt oft nur einen Bruchteil der gesamten Fläche des Lichtbildes ab.

Forscher am Argonne National Laboratory und der Northwestern University haben dieses Problem kürzlich angegangen, indem sie einen neuen Ansatz testeten, der künstliche Intelligenz nutzt, um den passenden Ort zu finden, ohne dafür spezifisch trainiert werden zu müssen. Sie arbeiteten mit zwei Arten von Gewebeproben. Der erste Typ war unkompliziert: Die chemische Karte und das Lichtbild stammten vom exakt gleichen Gewebeschnitt, sodass die Formen gut übereinstimmten. Der zweite Typ war viel schwieriger: Die Bilder stammten von zwei verschiedenen, benachbarten Gewebeschnitten. In diesem schwierigen Fall waren die Formen leicht unterschiedlich, und die chemische Karte deckte ein sehr kleines Gebiet ab, manchmal weniger als ein Prozent des Gesamtbildes. Das Team testete, ob moderne Vision-Language-Modelle – KI-Systeme, die sowohl Bilder als auch schriftliche Anweisungen verstehen können – die chemische Karte auf dem Lichtbild lokalisieren können, indem man sie einfach darum bittet. Sie fanden heraus, dass es allein nicht zuverlässig genug war, die KI lediglich anzuweisen, den Ort zu benennen. Die KI konnte zwar raten, machte aber oft Fehler, insbesondere wenn die Gewebeschnitte unterschiedlich waren oder das Zielobjekt winzig war.

Um dies zu lösen, entwickelten die Forscher einen zweistufigen Arbeitsablauf. Zuer voran ließen sie die künstliche Intelligenz mehrere verschiedene Vermutungen darüber anstellen, wo sich die chemische Karte befinden könnte. Anstatt sich auf nur eine einzige Vermutung zu verlassen, behandelten sie diese Vermutungen als eine Liste von Kandidaten. Danach verwendeten sie ein Standard-Computerprogramm, um jeden Kandidaten mit den tatsächlichen chemischen Daten abzugleichen, um zu sehen, welcher die beste Übereinstimmung bietet. Diese Methode, viele Optionen vorzuschlagen und sie dann zu verifizieren, funktionierte viel besser, als sich allein auf die KI zu verlassen. Bei den schwierigen Proben mit benachbartem Gewebe, bei denen traditionelle Methoden völlig versagten, fand dieser neue Arbeitsablauf in vielen Fällen den korrekten Ort. Die Forscher testeten auch andere fortschrittliche KI-Werkzeuge, die nicht speziell für diese Aufgabe entwickelt wurden, stellten jedoch fest, dass keines von ihnen das Problem ohne diesen zweistufigen Prozess lösen konnte.

Die Studie zeigte, dass diese leistungsstarken KI-Modelle zwar nicht perfekt darin sind, exakte Orte von sich aus punktgenau zu bestimmen, aber hervorragend darin sind, eine Kurzliste von Möglichkeiten zu generieren. Wenn man sie mit einer einfachen Überprüfung kombiniert, die die visuellen Muster der beiden Bilder vergleicht, wird das System zu einem zuverlässigen Werkzeug für Wissenschaftler. Dies ist besonders wichtig für die schwierigen Fälle, in denen die Gewebeschnitte nicht perfekt übereinstimmen – eine Situation, in der ältere Methoden meist aufgeben. Die Forscher demonstrierten, dass sie durch die Nutzung der KI zur Vorschlagserstellung und die anschließende Verifizierung durch den Computer die besten Ergebnisse gewinnen konnten, selbst wenn die Bilder sehr unterschiedlich aussahen. Dieser Ansatz erfordert nicht das Training der KI mit neuen Daten für jedes Experiment, was ihn zu einem flexiblen Werkzeug für Wissenschaftler macht, die verschiedene Arten mikroskopischer Bilder schnell und präzise miteinander verbinden müssen. Die Arbeit bestätigt, dass für die anspruchsvollsten Aufgaben der wissenschaftlichen Bildgebung die beste Strategie oft darin besteht, die KI erst einmal „brainstormen“ zu lassen und dann die Daten die endgültige Entscheidung treffen zu lassen.