🧬 biology

HEIST: A Graph Foundation Model for Spatial Transcriptomics and Proteomics Data

Dieses Paper stellt HEIST vor, ein hierarchisches Graph-Transformer-Foundation-Modell, das auf 22,3 Millionen räumlich aufgelösten Zellen vortrainiert wurde und den räumlichen Kontext mit intra-zellulären Gen- und Proteinnetzwerken integriert, um eine State-of-the-Art-Leistung bei der Zellannotation, der Gen-Imputation und der Vorhersage klinischer Ergebnisse zu erzielen, während es gleichzeitig auf ungesehene Datentypen wie räumliche Proteomik generalisiert.

Ursprüngliche Autoren: Hiren Madhu, João Felipe Rocha, Tinglin Huang, Siddharth Viswanath, Smita Krishnaswamy, Rex Ying

Veröffentlicht 2026-06-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hiren Madhu, João Felipe Rocha, Tinglin Huang, Siddharth Viswanath, Smita Krishnaswamy, Rex Ying

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine geschäftige, überfüllte Stadt zu verstehen. Sie haben zwei Arten von Daten über diese Stadt:

Die Personenliste: Eine riesige Tabelle, die Ihnen verrät, was jede einzelne Person gerade denkt und tut (ihre „Genexpression“).
Die Karte: Ein GPS, das genau anzeigt, wo jeder Mensch steht und wer neben ihm steht (seine „räumliche Lage“).

Lange Zeit mussten Wissenschaftler sich entscheiden, ob sie entweder die Personenliste oder die Karte betrachten. Wenn sie die Liste betrachteten, verpassten sie den Kontext der Nachbarschaft. Wenn sie die Karte betrachteten, fehlten ihnen die inneren Gedanken der einzelnen Individuen. Zudem behandelten die meisten Computermodelle das „Vokabular“ jeder Person als feststehend, was bedeutete, dass sie keine neue Stadt verstehen konnten, wenn diese andere Wörter (Gene oder Proteine) verwendete als die, mit denen sie trainiert wurden.

Hier kommt HEIST ins Spiel.

HEIST ist ein neues „Foundation Model“ (ein superintelligentes KI-Basismodell), das darauf ausgelegt ist, sowohl die inneren Gedanken von Zellen als auch ihren Nachbarschaftskontext gleichzeitig zu verstehen. So funktioniert es, unter Verwendung einfacher Analogien:

1. Die zweistöckige Stadtkarte (Hierarchische Graphen)

Die meisten Modelle betrachten eine Stadt nur auf eine Weise. HEIST betrachtet sie wie eine Matroschka-Puppe oder ein zweistöckiges Gebäude:

Das Obergeschoss (Die Nachbarschaft): Dies ist eine Karte des gesamten Gewebes. Es verbindet Zellen basierend darauf, wer neben wem steht. Es weiß, dass eine Zelle in einer „Tumor-Nachbarschaft“ anders ist als eine in einer „gesunden Nachbarschaft“.
Das Untergeschoss (Das interne Büro): In jeder einzelnen Zelle baut HEIST ein Mini-Netzwerk dieser Zelle aus Genen auf. Es listet die Gene nicht nur auf; es verbindet sie basierend darauf, wer mit wem kommuniziert (Koexpression).

Der Zaubertrick: HEIST betrachtet nicht nur das Obergeschoss oder das Untergeschoss. Es lässt beide miteinander kommunizieren.

Wenn eine Zelle in einer lauten, überfüllten Nachbarschaft steht (einer spezifischen Gewebeumgebung), aktualisiert HEIST die internen „Gedanken“ dieser Zelle, um den Stress widerzuspiegeln.
Umgekehrt, wenn die Gene innerhalb einer Zelle eine bestimmte Botschaft schreien, nutzt HEIST dies, um zu aktualisieren, wie es den Platz der Zelle in der Nachbarschaft sieht.

2. Kein festes Wörterbuch (Generalisierung)

Stellen Sie sich vor, Sie hätten einen Übersetzer trainiert, der Englisch spricht, aber dann überreichen Sie ihm ein Buch, das auf Französisch geschrieben ist. Ein Standardmodell würde abstürzen, weil es nur das „englische Vokabular“ kennt.

HEIST ist anders. Anstatt eine feste Liste von Wörtern (Genen) auswendig zu lernen, lernt es, wie Wörter miteinander in Beziehung stehen.

Wenn es ein neues Protein sieht, das es noch nie zuvor gesehen hat (wie in Proteomik-Daten), gerät es nicht in Panik. Es schaut sich an, wie dieses neue Protein mit seinen Nachbarn „spricht“, und leitet dessen Bedeutung aus diesen Beziehungen ab.
Dies ermöglicht es HEIST, von der Untersuchung von RNA (Transkriptomik) zum Studium von Proteinen (Proteomik) zu springen, ohne von Grund auf neu trainiert werden zu müssen. Es ist wie ein Polyglott, der eine neue Sprache lernen kann, indem er einfach die Grammatik und die Satzstruktur versteht, selbst wenn er die Wörter noch nie gehört hat.

3. Wie es gelernt hat (Das Training)

HEIST wurde auf einem massiven „Stadt“-Datensatz trainiert, der 22,3 Millionen Zellen aus 15 verschiedenen Organen und 124 verschiedenen Geweben umfasst.

Das Spiel des Lehrers: Um zu lernen, spielte die KI zwei Spiele:
1. Das „Finde den Unterschied“-Spiel (Kontrastives Lernen): Ihr wurden zwei Zellen gezeigt und die Frage gestellt: „Sind diese Nachbarn ähnlich oder unterschiedlich?“ Sie lernte, ähnliche Zellen zusammenzugruppieren und unterschiedliche voneinander zu trennen.
2. Das „Lückentext“-Spiel (Maskiertes Autoencoding): Der KI wurde eine Zelle gezeigt, bei der einige ihrer Gene oder Standortdaten verborgen (maskiert) waren. Sie musste die fehlenden Teile basierend auf dem, was sie über die Nachbarn der Zelle und das interne Gen-Netwerk wusste, erraten.

4. Was HEIST kann (Die Ergebnisse)

Das Paper behauptet, dass HEIST in vier spezifischen Bereichen eine „Superkraft“ für die Biologie ist:

Finden verborgener Cluster: Es kann winzige, verborgene Untergruppen von Zellen finden, die andere Modelle übersehen. Beispielsweise kann es einen spezifischen Typ von Immunzelle aufspüren, die nur in einer sehr spezifischen „Mikroumgebung“ innerhalb eines Tumors existiert, während andere Modelle sie lediglich als „generische Immunzellen“ behandelt hätten.
Vorhersage von Gesundheitsergebnissen: Es kann eine Gewebeprobe analysieren und vorhersagen, ob ein Krebspatient auf eine Immuntherapie anspricht oder ob eine Plazenta gesund ist, wobei es oft die besten anderen Modelle übertrifft.
Lücken füllen: Wenn eine Genmessung fehlt oder verrauscht ist (ein häufiges Problem in Laboren), kann HEIST genau erraten, was dort stehen sollte.
Geschwindigkeit: Es ist unglaublich schnell – 8-mal schneller als einige Konkurrenten und 4-mal schneller als andere –, weil es eine intelligente, spärliche (sparse) Methode verwendet, um die Daten zu betrachten, anstatt zu versuchen, jede einzelne Zelle mit jeder anderen zu verbinden.

Zusammenfassung

Betrachten Sie HEIST als den ultimativen biologischen Detektiv. Er liest nicht nur die Ausweise der Zellen (Gene); er betrachtet den Tatort (die Gewebekarte), versteht die Beziehungen zwischen den Verdächtigen (Gen-Netzwerke) und nutzt diesen Kontext, um Geheimnisse zu lösen, die andere Detektive (Modelle) zu blind dafür waren, sie zu sehen. Es ist das erste Modell, das erfolgreich das „Wer“ (Gene), das „Wo“ (Raum) und das „Wie sie kommunizieren“ (Netzwerke) in ein einziges, anpassbares System vereint hat.

Technisches Resümee: HEIST – Ein Graph-Foundation-Modell für räumliche Transkriptomik und Proteomik

Problemstellung

Die Einzelzell-Transkriptomik und -Proteomik haben tiefe Einblicke in die zelluläre Heterogenität ermöglicht, doch die traditionelle Einzelzell-RNA-Sequenzierung (scRNA-seq) lässt den räumlichen Kontext vermissen, der notwendig ist, um die Gewebestruktur, Interaktionen in der Mikroumgebung und die Frage, wie die Gen-Koexpression das Verhalten auf Gewebenebene beeinflusst, zu verstehen. Während räumliche Transkriptomik und Proteomik dies adressieren, indem sie die physischen Standorte bewahren, stehen bestehende Computermodelle vor signifikanten Einschränkungen:

Ignorieren von räumlicher oder molekularer Komplexität: Viele Modelle ignorieren entweder räumliche Informationen oder versäumen es, die komplexen genetischen und proteomischen Programme innerhalb von Zellen zu modellieren, was die Inferenz darüber verhindert, wie die interne Regulation auf Signale der Mikroumgebung reagiert.
Feste Vokabulare: Die meisten Foundation-Modelle nutzen feste Gen-Vokabulare, was ihre Generalisierbarkeit auf Datensätze einschränkt, die Gene oder Proteine enthalten, die während des Pretrainings nicht präsent waren.
Mangel an hierarchischer Modellierung: Bestehende Ansätze behandeln Zellen und Gene oft als flache Strukturen oder voll vernetzte Graphen und versäumen es, den induktiven Bias von spärlichen, biologisch plausiblen Koexpressionsnetzwerken in Interaktion mit räumlichen Nachbarschaften zu erfassen.

Methodik: HEIST-Architektur

Die Autoren schlagen HEIST (Hierarchical EmbeddIngs for Spatial Transcriptomics) vor, ein hierarchisches Graph-Transformer-Foundation-Modell, das darauf ausgelegt ist, die räumliche Nähe und interne Gen-Koexpressionsnetzwerke gemeinsam zu modellieren.

1. Hierarchische Graph-Konstruktion

HEIST modelliert Gewebe als einen hierarchischen Zwei-Ebenen-Graphen:

Obere Ebene (Räumlicher Graph): Ein Zell-Zell-Graph ( $G_c$ ), der durch die Berechnung von Voronoi-Polygonen aus Zellkoordinaten konstruiert wird, wobei Zellen in benachbarten Polygonen verbunden werden, um die räumliche Nähe und die Gewebearchitektur zu erfassen.
Untere Ebene (Gen-Koexpressionsnetzwerke): Jede Zelle wird durch ein untergeordnetes Gen-Koexpressionsnetzwerk ( $G^k_g$ ) repräsentiert. Diese Netzwerke werden pro Zelltyp konstruiert, indem paarweise gegenseitige Information zwischen den durch MAGIC gedichteten Genen berechnet wird und Paare oberhalb eines datengesteuerten, adaptiven Schwellenwerts $\tau$ verbunden werden.

2. Modellarchitektur

HEIST verwendet einen Hierarchical Graph Transformer, der zwei Arten von Message Passing ausführt:

Intra-Level Message Passing: Innerhalb jeder Schicht aktualisiert das Modell die Zell-Embeddings mittels eines CellGraphTransformer (der langreichweitige räumliche Interaktionen erfasst) und die Gen-Embeddings mittels eines GeneGraphTransformer (der feingliedrige Koexpressionsmuster erfasst).
Cross-Level Message Passing: Ein neuartiger gerichteter Attention-Mechanismus integriert die beiden Modalitäten.
- Gen-zu-Zelle: Zell-Embeddings werden durch gepoolte Zusammenfassungen ihrer konstituierenden Gene verfeinert, wodurch sichergestellt wird, dass transkriptionelle Zustände die räumliche Identität prägen.
- Zelle-zu-Gen: Gen-Embeddings werden bas auf dem räumlichen Kontext ihrer Elternzelle aktualisiert. Dies ermöglicht es, dass dasselbe Gen je nach zellulärem Kontext unterschiedlich kodiert wird, was es dem Modell ermöglicht, auf ungesehene Gene oder proteomische Merkmale ohne Retraining zu generalisieren.

3. Pre-training-Ziele

HEIST wird auf 22,3 Millionen Zellen aus 124 Geweben aus 15 Organen unter Verwendung einer Kombination aus selbstüberwachten Zielen vortrainiert:

Kontrastives Lernen: Richtet ähnliche Zellen und Gene aus (z. B. benachbarte Zellen desselben Typs, koexpressierte Gene), während unähnliche Paare voneinander wegdrängt. Es beinhaltet eine Cross-Level-kontrastive Ausrichtung, um Konsistenz zwischen Gen- und Zellrepräsentationen zu gewährleisten.
Masked Autoencoding (MAE): Das Modell rekonstruiert maskierte Genexpressionswerte und räumliche Koordinaten, was es dazu zwingt, fehlende Daten zu inferieren und robuste Repräsentationen von Gensignalen und räumlichen Hinweisen zu erlernen.
Orthogonalitäts-Regularisierung: Fördert, dass Embedding-Dimensionen entkorreliert sind, was diverse und nicht-redundante Repräsentationen begünstigt.

Wichtigste Beiträge

Erstes hierarchisches Foundation-Modell für räumliche Omics: HEIST ist das erste Modell, das Koexpressionsnetzwerke explizit neben räumlichen Graphen in einem einheitlichen hierarchischen Rahmen integriert, wodurch lokale Genprogramme die Gewebeorganisation auf hoher Ebene beeinflussen können und umgekehrt.
Kontextsensitive, dynamische Gen-Embeddings: Im Gegensatz zu Modellen, die auf festen Vokabularen basieren, berechnet HEIST Gen-Embeddings dynamisch aus Koexpressionsnetzwerken und dem zellulären Kontext. Dies ermöglicht die Generalisierung auf neuartige Datentypen, einschließlich räumlicher Proteomik, ohne ein Retraining durchzuführen.
Recheneffizienz: Durch die Nutzung von Sparse-Modellierung und das Vermeiden von Full Self-Attention über alle Gene hinweg erreicht HEIST signifikante Geschwindigkeitsvorteile, die als 8× schneller als SCGPT-SPATIAL und 48× schneller als SCFOUNDATION bei der Extraktion von Embeddings berichtet werden.
Biologischer induktiver Bias: Die Architektur erfasst feingliedrige Gen-Koexpression innerhalb von Zellen sowie langreichweitige zelluläre Interaktionen durch Cross-Level Message Passing und produziert so biologisch kontextualisierte Embeddings.

Experimentelle Ergebnisse

HEIST wurde auf vier Downstream-Aufgaben über mehrere Technologien (MERFISH, Xenium, CODEX, MIBI) und Organe hinweg evaluiert:

Zell-Clustering: HEIST übertraf die Baselines (STAGATE, GraphST, CellPLM, scGPT-spatial) in den NMI-Scores (Normalized Mutual Information). Entscheidend war, dass es erfolgreich räumlich informierte Subpopulationen identifizierte, die von vorherigen Modellen kollabiert wurden, wodurch die mikroumweltgetriebene Heterogenität (z. B. distinkte L4-IT-Neuron-Subcluster) aufgedeckt wurde.
Zelltyp-Annotation: Erzielte State-of-the-Art F1-Scores in vier von fünf Datensätzen, mit erheblichen Verbesserungen (z. B. +48,5 % bei UPMC Neck-Daten) im Vergleich zu den Baselines.
Klinische Outcome-Vorhersage: HEIST erreichte den höchsten AUC-ROC in sechs von sieben Szenarien, einschließlich der Vorhersage von Immuntherapie-Ansprechen, Remission und Plazenta-Bedingungen. Bemerkenswert ist, dass es proteomik-spezifische Baselines um bis zu 44,3 % übertraf, indem es alle verfügbaren Marker ohne Retraining nutzte.
Gen-Imputation: Nach dem Fine-Tuning übertraf HEIST alle Baselines (einschließlich MAGIC und feinabgestimmter Foundation-Modelle) in der Pearson-Korrelation für die Gen-Imputation auf Plazenta- und Haut-Datensätzen.
Ligand-Rezeptor-Vorhersage: HEIST erreichte eine AUC-ROC von 0,995 bei der Vorhersage von Ligand-Rezeptor-Interaktionen und übertraf damit andere Foundation-Modelle signifikant, was darauf hindeutet, dass seine Embeddings die räumlichen Signaturen der Zellkommunikation effektiv erfassen.

Bedeutung und Ansprüche

Das Paper behauptet, dass HEIST einen bedeutenden Fortschritt in der Modellierung räumlicher Omics darstellt, indem es räumliche und molekulare Hierarchien vereinigt. Seine primäre Bedeutung liegt in der Fähigkeit:

Neuartige Biologie zu entdecken: Durch das Erfassen mikroumwelt-spezifischer Subpopulationen, die von früheren Modellen übersehen wurden, bietet HEIST tiefere Einblicke in die Gewebestruktur und Krankheitsverläufe (z. B. die Progression der Braak-Stadien bei Alzheimer).
Cross-Modal Transfer zu ermöglichen: Der dynamische Embedding-Mechanismus erlaubt es HEIST, auf Proteomik-Daten und Datensätze mit unterschiedlichen Gensätzen zu generalisieren, was eine wesentliche Einschränkung aktueller Fixed-Vocabulary Foundation-Modelle adressiert.
Eine skalierbare Basis zu bieten: Mit State-of-the-Art-Leistung und hoher Recheneffizienz bietet HEIST eine praktische, universell einsetzbare Grundlage für vielfältige klinische und biologische Downstream-Aufgaben, von der Zellannotation bis zur Vorhersage therapeutischer Antworten.

Die Autoren kommen zu dem Schluss, dass die Modellierung sowohl molekularer (Koexpression) als auch räumlicher Informationen essenziell für die Entwicklung transferierbarer Modelle für räumliche Omics ist – eine Lücke, die HEIST zu füllen vorgibt.