VINTER: a generative vision-language model for annotating and interrogating spatial tissues

Gewebe sind nicht bloß flache Karten aus Zellen; sie sind komplexe, dreidimensionale Nachbarschaften, in denen die Identität einer einzelnen Zelle stark davon abhängt, wer neben ihr wohnt. Im menschlichen Körper wird die Funktion einer Zelle oft durch ihre unmittelbare Umgebung bestimmt, ganz ähnlich wie die Rolle einer Person in einer Gemeinschaft sich danach verändert, mit welchen Menschen sie täglich interagiert. Jahrzehntelang haben Wissenschaftler darum gerungen, diese Nachbarschaften auf eine einheitliche Weise zu lesen. Sie konnten das Gewebe unter einem Mikroskop betrachten, um dessen Form und Struktur zu sehen, oder sie konnten die chemischen Signale innerhalb der Zellen messen, um deren Aktivität zu verstehen, aber beides gleichzeitig zu tun, war schwierig. Traditionelle Methoden erzwingen oft eine Entscheidung: Entweder beschreiben sie das Gewebe durch sein visuelles Erscheinungsbild oder durch seine molekulare Signatur, wobei sie selten zulassen, dass beide miteinander in Echtzeit kommunizieren. Diese Trennung hinterlässt eine Lücke im Verständnis darüber, wie das physische Layout eines Tumors oder eines Organs das Verhalten der darin befindlichen Zellen beeinflusst.

Ein neuer Ansatz namens VINTER zielt darauf ab, diese Lücke zu schließen, indem er das Gewebe als eine einzige, lesbare Geschichte behandelt. Die Forscher entwickelten ein Computermodell, das in der Lage ist, ein Bild einer Gewebeprobe zu betrachten, die Liste der aktiven Gene an einem spezifischen Ort zu lesen und gleichzeitig die Genaktivität der sechs umliegenden Stellen zu berücksichtigen. Anstatt den Computer zu zwingen, sich zwischen dem Bild und den Genen zu entscheiden, liest das Modell alle drei Quellen – die visuelle Struktur, die lokalen Gene und den Kontext der Nachbarschaft – als eine kontinuierliche Sequenz von Informationen. Dies ermöglicht es dem System, eine Entscheidung darüber zu treffen, welche Art von Gewebe es betrachtet, während es gleichzeitig ein Protokoll darüber führt, welche Teile der Beweisführung genau zu dieser Schlussfolgerung geführt haben. Da die genetische Information als eine Liste von Namen und nicht als abstrakte Zahlen präsentiert wird, können die Forscher die Eingabe editieren, indem sie spezifische Gene entfernen oder neu anordnen, um zu sehen, wie sich die Entscheidung des Modells dadurch verändert. Dies verwandelt den Prozess der Gewebeidentifizierung von einer statischen Kennzeichnung in eine interaktive Befragung, bei der Wissenschaftler „Was-wäre-wenn“-Fragen über die Zusammensetzung des Gewebes stellen können.

Das Team testete dieses System bei einer Vielzahl biologischer Herausforderungen, beginnend mit dem menschlichen Gehirn. Sie ließen das Modell die verschiedenen Schichten des zerebralen Kortex identifizieren – eine Aufgabe, bei der es bestehende Methoden, die sich nur auf Gen- oder Bilddaten verlassen, übertraf. Das Modell erreichte eine hohe Genauigkeit und identifizierte die kortikalen Schichten in der überwiegenden Mehrheit der Fälle korrekt.ت Noch wichtiger war, dass das System die bemerkenswerte Fähigkeit demonstrierte, sein Wissen auf neue Situationen zu übertragen, ohne neu trainiert werden zu müssen. Als die Forscher ein auf Brustkrebsdaten trainiertes Modell auf eine völlig andere Gruppe von Patientinnen mit triple-negativem Brustkrebs anwandten, identifizierte es erfolgreich Gewebetypen, die es zuvor noch nie gesehen hatte. Dies deutet darauf sich, dass das Modell eine fundamentale Sprache der Gewebeorganisation gelernt hat, die über verschiedene Krankheiten und Patienten hinweg gilt, anstatt nur spezifische Beispiele auswendig zu lernen.

Eine der eindrucksvollsten Entdeckungen gelang bei der Untersuchung tertiärer lymphoider Strukturen, bei denen es sich um kleine, organisierte Cluster von Immunzellen handelt, die in Tumoren entstehen und die Art und Weise beeinflussen können, wie der Körper gegen Krebs kämpft. Die Forscher nutzten die Fähigkeit des Modells, Eingaben zu editieren, um herauszufinden, welche Signale diese Strukturen an ihre Umgebung senden. Sie fanden heraus, dass das Urteil des Modells darüber, ob eine Struktur „reif“ oder „unreif“ sei, von zwei gegensätzlichen Programmen der Genaktivität in der Nachbarschaft abhing. Ein Programm, das von follikulären B-Zellen getrieben wurde, ließ die Struktur reifer erscheinen, während ein anderes, das von Plasmazellen (die Antikörper produzieren) getrieben wurde, sie weniger reif erscheinen ließ. Durch die Kartierung dieser Signale zurück auf das Gewebe entdeckten sie ein verborgenes räumliches Muster: Die reiferen, organisierenden Signale waren im Zentrum der Struktur konzentriert, während die antikörperproduzierenden Signale an den äußersten Rändern gedrängt wurden. Dies enthüllte, dass die „Reife“ dieser Immun-Hubs kein einzelner Zustand ist, sondern ein dynamisches Gleichgewicht zwischen einem Kern und einer Peripherie – eine Nuance, die Standardmethoden übersehen hätten.

Die Leistungsfähigkeit dieses Ansatzes erstreckte sich auch auf das Finden verborgener Details in triple-negativem Brustkrebs, einer Krankheit, die für ihre Komplexität bekannt ist. In vielen Fällen klassifizieren Pathologen einen Gewebebereich als „Stroma“ oder Bindegewebe, eine breite Kategorie, die signifikante Unterschiede verbergen kann. Das Modell jedoch betrachtete die Wahrscheinlichkeit jedes möglichen Gewebetyps für jeden Punkt und fand, dass innerhalb dieser breit klassifizierten Stromareigene Zonen der Immunaktivität existierten. Einige Bereiche waren reich an Immunzellen und zeigten Anzeichen einer aktiven, entzündlichen Reaktion, während andere ruhig und still waren. Diese Fähigkeit, die „heißen“ und „kalten“ Zonen innerhalb eines einzigen Labels zu sehen, half den Forschern, eine spezifische Art von Immunumgebung zu identifizieren, die dafür bekannt ist, gut auf bestimmte Krebstherapien anzusprechen. Darüber hinaus konnten sie durch die Betrachtung der Sekundärwahrscheinlichkeiten des Modells Stellen markieren, die als gutartig klassifiziert wurden, aber tatsächlich verborgene Krebszellen enthielten. Bei der Überprüfung dieser markierten Stellen konnten sie fast die Hälfte des Krebses, der durch den standardmäßigen Single-Label-Ansatz übersehen worden war, zurückgewinnen, insbesondere bei den aggressivsten Subtypen der Krankheit.

Schließlich zeigten die Forscher, dass diese Methode über verschiedene Beobachtungsskalen hinweg funktioniert, von großen Gewebeproben bis hin zu einzelnen Zellen. Sie wandten dasselbe Modell auf hochauflösende Daten aus kolorektalem Karzinom an, wobei es erfolgreich Immunstrukturen identifizierte und zwischen verschiedenen Arten von Immunzellen unterschied, ohne zusätzliches Training zu benötigen. Das Modell identifizierte korrekt, dass bestimmte Immunzellen, insbesondere solche, die eine spezifische Art von Antikörper produzieren, sich an den Rändern dieser Strukturen ansammelten, während andere im Zentrum blieben. Diese Konsistenz über verschiedene Technologien und Auflösungen hinweg legt nahe, dass das Modell ein robustes Verständnis davon erfasst hat, wie Gewebe organisiert ist. Indem es die räumliche Annotation in eine abfragbare Lesart von Gewebe verwandelt, bietet VINTER einen neuen Weg, die Nachbarschaften des Körpers zu erforschen, der es Wissenschaftlern ermöglicht, Fragen über die Beweise hinter jeder biologischen Entscheidung zu stellen und die verborgenen Muster zu erkennen, die Gesundheit und Krankheit definieren.