For foundation-model registration in correlative microscopy, cross-modal appearance matters more than field of view

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Verbrechen aufzuklären, aber Sie haben zwei sehr unterschiedliche Arten von Hinweisen. Ein Hinweis ist ein hochauflösendes Foto eines einzelnen Fingerabdrucks, das mit einem Mikroskop aufgenommen wurde, und der andere ist ein unscharfes Weitwinkelfoto der gesamten Tatortaufnahme, das von einer Drohne aus aufgenommen wurde. Ihre Aufgabe ist es, genau herauszufinden, wo dieser Fingerabdruck auf dem Tatortfoto liegt. Dies ist die tägliche Herausforderung der korrelativen Mikroskopie, einem Bereich der Wissenschaft, in dem Forscher Bilder aus verschiedenen Arten von Mikroskopen (wie Elektronenmikroskopen und optischen Lichtmikroskopen) kombinieren, um die winzigen Strukturen von Materialien zu verstehen. Das Problem ist, dass diese Bilder oft völlig verschieden aussehen – das eine zeigt vielleicht Kristallformen, während das andere Oberflächenstrukturen zeigt – und sie oft sehr unterschiedliche Zoomstufen haben. Ein Bild zeigt vielleicht ein ganzes Sandkorn, während das andere nur ein einzelnes Atom zeigt.

Lange Zeit haben Wissenschaftler versucht, „Foundation Models“ einzusetzen, das sind super-intelligente KI-Programme, die auf Millionen von Alltagsfotos trainiert wurden, um dieses Rätsel zu lösen. Die Hoffnung war, dass diese KIs als universeller Übersetzer fungieren könnten, um die seltsamen mikroskopischen Bilder sofort miteinander abzugleichen. Aber es gab eine große Frage: Liegt der Hauptgrund dafür, dass diese KIs scheitern, daran, dass die Bilder unterschiedlich weit hinein- oder herausgezoomt sind (ein Skalierungsproblem), oder liegt es daran, dass die Bilder so vollkommen unterschiedlich aussehen, dass die KI verwirrt wird (ein Aussehensproblem)? Dieses Paper geht dieser Frage nach, indem es testet, ob ein cleverer „Zoom-Objektiv“-Trick das Problem lösen kann oder ob die KI einfach lernen muss, wie diese Materialien tatsächlich aussehen.

Das große Mikroskop-Mismatch

Die Forscher begannen mit einem massiven Datensatz namens AmalgaMatch, der 187 Paare dieser schwierigen Mikroskopbilder enthält. Sie wollten sehen, ob sie eine „Pyramiden“-Strategie nutzen konnten, um das Zoom-Problem zu beheben. Stellen Sie sich vor, Sie versuchen, ein bestimmtes Haus auf einer Landkarte eines ganzen Landes zu finden. Ein naiver Ansatz wäre es, die Landkarte des Landes in Tausende kleiner Kacheln zu zerschneiden, das Haus in jeder einzelnen Kachel zu suchen und dann zu versuchen, all diese Funde zusammenzukleben. Die Forscher versuchten dies mit ihrer KI, aber es war eine Katastrophe.

Warum? Weil diese spezifischen KI-Modelle „übermotiviert“ sind. Im Gegensatz zu einem Menschen, der sagen könnte: „Ich weiß es nicht, diese Kachel sieht überhaupt nicht wie das Zielobjekt aus“, gibt die KI niemals auf. Sie zeigt selbstbewusst in jeder einzelnen Kachel auf eine Übereinstimmung, selbst in den, die völlig falsch sind. Als die Forscher versuchten, all diese selbstbewussten, aber falschen Vermutungen zusammenzufügen, wurde die KI komplett im Rauschen ertränkt. Das Ergebnis? Der Fehler sprang von moderaten 76 Pixeln auf chaotische 1.794 Pixel. Die „naive Pyramide“ half nicht nur nicht, sie machte das System sogar aktiv kaputt.

Ein smarterer, verifizierter Ansatz

Unbeirrt von diesem Misserfolg entwarf das Team die Strategie neu. Anstatt blind alles zusammenzukleben, bauten sie einen „verifizierten Coarse-to-Fine“-Wrapper (von grob zu fein). Denken Sie an einen Detektiv, der zuerst versucht, das Haus aus der Ferne zu erspähen. Wenn das nicht funktioniert, zoomt er erst dann in einige vielversprechende Viertel hinein, um genauer hinzusehen. Entscheidend ist, dass sie einen „Lügendetektor“-Schritt hinzufügten: Wenn die herangezoomte Vermutung nicht signifikant besser aussieht als die ursprüngliche Vermutung, werfen sie diese weg.

Dieser intelligentere Ansatz half zwar ein wenig, aber nur ein bisschen. Er verbesserte die Erfolgsquote von 10 % auf 12 %. Obwohl dies statistisch signifikant war, war es nicht der Zauberstab, auf den sie gehofft hatten. Die extremen Fälle – in denen die Bilder um Größenordnungen unterschiedlich gezoomt waren – scheiterten weiterhin komplett. Der „Lügendetektor“ war gut genug, um kleine Fehler zu korrigieren, aber er konnte die grundるende Verwirrung nicht beheben, wenn die Bilder zu unterschiedlich aussahen.

Der wahre Übeltäter: Es geht um das Aussehen, nicht um den Zoom

Die größte Überraschung kam, als die Forscher das „Gehirn“ (die Backbone) der KI austauschten. Sie ersetzten das Standardmodell durch eines, das speziell auf cross-modale Bilder (Bilder, die sich voneinander unterscheiden) trainiert worden war. Diese Änderung allein bewirkte die größte Verbesserung und steigerte die Erfolgsraten signifikant für Bilder, die bereits etwas ähnlich waren.

Dies führte zu der wichtigen Erkenntnis: Das Problem ist nicht der Zoom, sondern das Aussehen. Um dies zu beweisen, erstellten die Forscher eine „FOV-Leiter“ (Sichtfeld-Leiter). Sie nahmen Bilder, die bereits leicht abzugleichen waren, und schnitten sie künstlich so zu, dass das Sichtfeld immer kleiner wurde, während das „Aussehen“ exakt gleich blieb. Als sie dies taten, funktionierte der „Pyramiden“-Wrapper wunderbar und verdreifachte die Erfolgsquote, wenn die Lücke im Zoom isoliert betrachtet wurde.

Dies bewies, dass der Wrapper-Mechanismus für die Skalierung funktioniert. Auf dem realen Datensatz jedoch versagte der Wrapper, weil die schwierigsten Bilder nicht nur weiter herausgezoomt waren, sondern auch diejenigen waren, die am unterschiedlichsten aussahen. Die realen Daten waren eine Mischung aus beiden Problemen, und das „Aussehen“-Problem war dasjenige, das nicht durch einen Zoom-Trick gelöst werden konnte.

Die Kosten des Lernens

Schließlich versuchte das Team, die KI direkt mit materialwissenschaftlichen Bildern zu lehren (ein Prozess namens Fine-Tuning). Dies bewirkte Wunder für die spezifischen Arten von Bildern, die sie während des Trainings sah, und reduzierte die Fehler um etwa das Fünffache. Es kam jedoch ein Haken dabei: Die KI begann, die Fähigkeit zu „vergessen“, mit den Arten von Bildern umzugehen, die sie nicht während des Trainings gesehen hatte.

Sie probierten eine Technik namens L2-SP (ein „Gewichtsanker“) aus, um dieses Vergessen zu verhindern, in der Hoffnung, dass sie wie ein Sicherheitsnetz wirken würde. In einem einzelnen Testlauf schien es perfekt zu funktionieren. Doch als sie das Experiment acht Mal mit verschiedenen Zufallswerten (um sicherzugehen) durchführten, half das Sicherheitsnetz tatsächlich nicht. Die KI vergaß immer noch die ungetrainierten Bilder. Dies deutet darauf hin, dass das Problem nicht nur darin liegt, wie die KI lernt, sondern in der schieren Breite der Daten, die sie sehen muss. Wenn die KI während des Trainings nicht eine spezifische Kombination von Mikroskoptypen gesehen hat, hat sie Schwierigkeiten, diese zu handhaben, egal wie clever die Mathematik dahinter ist.

Das Fazit

Das Paper kommt zu dem Schluss, dass für diese Foundation-Modelle das Aussehen wichtiger ist als das Sichtfeld. Man kann ein Mismatch, das dadurch entsteht, dass die Bilder völlig unterschiedlich aussehen, nicht allein durch das Ändern des Zooms oder der Mathematik beheben. Der effektivste Weg nach vorn besteht darin, eine KI zu wählen, die bereits auf cross-modalen Daten trainiert wurde, und sie – falls möglich – auf eine große Vielfalt an Materialtypen feinabzustimmen, um das Vergessen zu verhindern. Der „Zoom-Trick“ ist nützlich, aber nur, wenn die Bilder der KI bereits einigermaßen vertraut vorkommen. Wenn nicht, kann kein noch so cleveres Scaling der Welt helfen.