💻 computer science

ImmuVis: Hyperconvolutional Foundation Model for Imaging Mass Cytometry

ImmuVis ist ein hyperkonvolutionales Fundamentmodell, das auf dem massiven IMC17M-Datensatz trainiert wurde und die variablen Marker-Sets in der Imaging-Mass-Zytometrie durch den Einsatz von marker-adaptiven Kernen adressiert, um eine effiziente, nachtrainierungsfreie Analyse mit kalibrierter Unsicherheit über beliebige Marker-Teilmengen hinweg zu ermöglichen.

Ursprüngliche Autoren: Dawid Uchal, Marcin MoĊejko, Krzysztof Gogolewski, Piotr Kupidura, Szymon Łukasik, Jakub Giezgała, Tomasz Nocoń, Kacper Pietrzyk, Robert Pieniuta, Mateusz Sulimowicz, Michal Orzyłowski, Tomasz Siłkows

Veröffentlicht 2026-05-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Dawid Uchal, Marcin MoĊejko, Krzysztof Gogolewski, Piotr Kupidura, Szymon Łukasik, Jakub Giezgała, Tomasz Nocoń, Kacper Pietrzyk, Robert Pieniuta, Mateusz Sulimowicz, Michal Orzyłowski, Tomasz Siłkowski, Karol Zagródka, Eike Staub, Ewa Szczurek

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Meisterkoch, der versucht, komplexe, mehrschichtige Gerichte (Gewebe) basierend auf einer Liste von Zutaten (biologischen Markern), die Sie zur Verfügung haben, nachzukochen.

In der Welt der Imaging Mass Cytometry (IMC) machen Wissenschaftler Bilder von Gewebeproben, um zu sehen, welche Proteine vorhanden sind. Betrachten Sie jedes Protein als eine spezifische Zutat. Das Problem ist, dass kein zwei Köche (Forschungsstudien) exakt dasselbe Rezept verwenden. Eine Studie könnte 20 Zutaten haben, eine andere 40, und sie überschneiden sich selten perfekt.

Das Problem: Die Falle des „festen Menüs"

Frühere KI-Modelle zur Analyse dieser Bilder waren wie Köche, die nur kochen konnten, wenn man ihnen ein festes Menü gab. Wenn Sie ihnen ein Rezept mit Zutaten gaben, die sie noch nie gesehen hatten, oder wenn eine Zutat fehlte, die sie erwarteten, würden sie abstürzen oder sich weigern, zu kochen. Sie konnten sich nicht anpassen.

Darüber hinaus, wenn diese Köche versuchten, eine fehlende Zutat zu erraten (ein Prozess, der als „virtuelle Färbung" bezeichnet wird), gaben sie Ihnen nur eine einzige Vermutung. Wenn die Vermutung falsch war, sagten sie es nicht. Sie taten so, als wären sie zu 100 % sicher, selbst wenn die Beweislage schwach war.

Die Lösung: ImmuVis (Der „anpassungsfähige Sous-Chef")

Die Autoren dieses Papers stellen ImmuVis vor, eine neue Familie von KI-Modellen, die als ultimativer, anpassungsfähiger Sous-Chef konzipiert ist. So funktioniert es, unter Verwendung einfacher Analogien:

1. Der magische Werkzeuggürtel (Hyperconvolutionen)

Anstatt einen festen Satz von Werkzeugen für bestimmte Zutaten zu haben, verfügt ImmuVis über einen magischen Werkzeuggürtel.

Wie es funktioniert: Wenn Sie dem Modell einen bestimmten Satz von Zutaten (Markern) geben, „druckt" es sofort die perfekten Werkzeuge (Faltungs-Kerne), die benötigt werden, um nur diese Zutaten zu verarbeiten, per 3D-Druck.
Der Vorteil: Es spielt keine Rolle, ob Sie ihm 5 oder 30 Zutaten geben oder ob sie völlig anders sind als das, was es zuvor gelernt hat. Es baut die richtigen Werkzeuge im laufenden Betrieb. Es kann jede Kombination von Markern bewältigen, ohne neu trainiert werden zu müssen oder seine Architektur ändern zu müssen.

2. Der universelle Übersetzer (Pan-Marker latenter Raum)

Sobald das Modell seine benutzerdefinierten Werkzeuge hat, übersetzt es alle verschiedenen Zutaten in eine universelle Sprache (einen gemeinsamen latenten Raum).

Die Analogie: Stellen Sie sich vor, Sie übersetzen ein Gespräch zwischen Menschen, die 20 verschiedene Dialekte sprechen, in eine einzige, gemeinsame Sprache. Sobald alles in dieser gemeinsamen Sprache ist, kann das Modell die Beziehungen zwischen den Zutaten verstehen, unabhängig davon, welche spezifischen Zutaten im ursprünglichen Bild vorhanden waren.

3. Die „ehrliche" Vorhersage (Unsicherheit)

Wenn ImmuVis versucht, eine fehlende Zutat vorherzusagen (virtuelle Färbung), gibt es Ihnen nicht nur eine Zahl. Es gibt Ihnen einen Vertrauenswert.

Die Analogie: Wenn das Modell eine fehlende Gewürz basierend auf schwachen Beweisen errät, sagt es: „Ich denke, es ist Paprika, aber ich bin mir nicht sehr sicher." Wenn die Beweislage stark ist, sagt es: „Es ist definitiv Paprika."
Warum es wichtig ist: Dies verhindert, dass das Modell selbstbewusst biologische Fakten erfindet, wenn die Daten unklar sind. Es markiert die „riskanten" Vorhersagen, damit Wissenschaftler wissen, wo sie vorsichtig sein müssen.

4. Geschwindigkeit und Effizienz

Frühere Modelle waren wie schwere, langsame LKWs, die versuchten, alle möglichen Zutaten auf einmal zu transportieren. ImmuVis ist wie ein leichter, wendiger Sportwagen.

Es verarbeitet Bilder viel schneller und verbraucht deutlich weniger Rechenleistung (Energie) als seine Konkurrenten, was es für groß angelegte Studien mit Tausenden von Bildern praktikabel macht.

Der Trainingsort: IMC17M

Um dieses Modell zu unterrichten, erstellten die Autoren die größte „Kochschule", die je für diese Aufgabe zusammengestellt wurde, namens IMC17M.

Sie enthält über 17 Millionen Bildausschnitte aus 28 verschiedenen Studien (Kohorten).
Sie deckt 265 verschiedene Marker (Zutaten) ab.
Durch das Training auf diesem massiven, vielfältigen Datensatz lernte das Modell, Muster über verschiedene „Rezepte" und Gewebetypen hinweg zu erkennen, was es ermöglicht, auch bei neuen, unbekannten Kombinationen von Markern gut zu funktionieren.

Die Ergebnisse

Bei Tests erwies sich ImmuVis als:

Genauer: Es rekonstruierte fehlende Marker besser als frühere State-of-the-Art-Modelle.
Ehrlicher: Seine Vertrauenswerte stimmten perfekt mit der Richtigkeit oder Falschheit seiner Vermutungen überein.
Schneller: Es lief deutlich schneller und kostengünstiger als die schweren, auf Transformer basierenden Modelle, gegen die es antrat.
Vielseitig: Es funktionierte gut bei der Identifizierung von Zelltypen und der Vorhersage klinischer Ergebnisse, was beweist, dass seine „universelle Sprache" des Gewebes für viele verschiedene Aufgaben nützlich ist.

Kurz gesagt ist ImmuVis ein flexibles, schnelles und ehrliches KI-Framework, das Wissenschaftlern endlich erlaubt, komplexe Gewebebilder unabhängig davon zu analysieren, welche spezifischen Marker gemessen wurden, und das Problem der „inkompatiblen Rezepte" in der biologischen Bildgebung löst.

Technische Zusammenfassung: ImmuVis

Problemstellung
Die Imaging Mass Cytometry (IMC) ermöglicht eine hochdurchsatzfähige, subzelluläre räumliche Profilierung von Geweben durch die Messung von mit Metallen markierten Antikörpern. Eine grundlegende Herausforderung bei der Modellierung von IMC-Daten ist jedoch das Fehlen eines festen Kanalraums. Im Gegensatz zu natürlichen Bildern mit einem statischen RGB-Kanalsatz variieren IMC-Panels zwischen Studien erheblich aufgrund physikalischer Kanalinterferenzen und kohortenspezifischer experimenteller Designs. Diese Heterogenität verletzt die Kernannahme herkömmlicher Vision-Backbones, die eine feste Eingabedimension erfordern. Bestehende Ansätze, wie U-Nets, sind auf feste Marker-Panels beschränkt, während neuere Transformer-basierte Modelle (z. B. VirTues, EVA) versuchen, variable Eingaben zu handhaben, indem sie markerspezifische räumliche Token mit Identitätskodierungen konkatenieren. Diese tokenbasierten Methoden ignorieren oft entscheidende lokale Marker-Abhängigkeiten und verursachen hohe Rechenkosten, wenn die Anzahl der Marker und die räumlichen Auflösungen steigen. Darüber hinaus ist das virtuelle Färben (Vorhersage nicht gemessener Marker) ein schlecht gestelltes Problem, wenn die Evidenz schwach ist; aktuelle Modelle verfügen oft nicht über kalibrierte Unsicherheitsschätzungen, was es schwierig macht, biologisch plausible Rekonstruktionen von fehlerhaften Vorhersagen zu unterscheiden.

Methodik
Die Autoren stellen ImmuVis vor, eine Familie von Foundation-Modellen, die darauf ausgelegt ist, das Lernen mit variablen Eingaben, die Recheneffizienz und die Quantifizierung von Unsicherheit zu vereinen. Die Kerninnovation ist eine markeradaptive Hyperkonvolution-Architektur.

Hyperkonvolutionale Architektur:
- Markeragnostische Kodierung: Eingabemarkerkanäle werden zunächst unabhängig voneinander von einem gemeinsamen konvolutionalen Stamm ( $Enc_{ma}$ ) verarbeitet, um lokale räumliche Muster zu erfassen.
- Bedingte Hyperkonvolution: Anstelle fester Gewichte verwendet das Modell ein Hypernetzwerk, das konvolutionale Kerne generiert, die auf gelernten Marker-Embeddings basieren. Für einen Eingabesatz von Markern $I_e$ wird ein Hyperkern $H^e_{I_e}$ durch Konkatenation gelernter Kernel-Generatoren $\phi_e(i)$ für jeden Marker $i \in I_e$ konstruiert. Dies ermöglicht es dem Modell, seine Merkmalsextraktionsoperatoren dynamisch an die spezifische Teilmenge der beobachteten Marker anzupassen, ohne architektonische Änderungen vorzunehmen.
- Pan-Marker-Backbone: Der Output der Hyperkonvolution ist eine vereinheitlichte, festgroßige Embedding-Darstellung, die von herkömmlichen Computer-Vision-Backbones (z. B. ConvNeXt v2, Swin Transformer, ViT) verarbeitet werden kann.
- Symmetrischer Decoder: Der Decoder spiegelt den Encoder wider und verwendet eine markerbedingte Hyperkonvolution, um die latente Darstellung auf spezifische Zielmarker abzubilden, wobei sowohl der mittlere Expressionswert als auch die Log-Varianz (Unsicherheit) vorhergesagt werden.
Trainingsstrategie:
- Datensatz: Die Modelle werden auf IMC17M vortrainiert, dem bisher größten IMC-Datensatz, der 24.405 Bilder, 265 Marker und über 17 Millionen Patches über 28 Kohorten umfasst.
- Zielsetzung: Die Modelle werden mittels einer maskierten-Kanal-Rekonstruktions-Aufgabe mit einem Gaußschen heteroskedastischen Regressions-Verlust trainiert. Dieses Zielmodellisiert die Zielpixel als unabhängige Gauß-Verteilungen, wodurch das Netzwerk sowohl den Mittelwert ( $\mu$ ) als auch die Varianz ( $\sigma^2$ ) vorhersagen kann. Die Varianzvorhersage liefert eine kalibrierte Unsicherheitsschätzung, die mit dem Rekonstruktionsfehler korreliert.
- Vorverarbeitung: Die Autoren verwenden eine spezifische Vorverarbeitungspipeline, die eine arcsinh-Transformation (zur Handhabung der Ionenanzahldynamik), eine Butterworth-Tiefpassfilterung (zur Reduzierung von IMC-spezifischem Rauschen) und eine Min-99-Perzentil-Skalierung umfasst.

Hauptbeiträge

Hyperkonvolutionales Design: Eine neuartige Architektur, die konvolutionale Kerne aus gelernten Marker-Embeddings generiert und es einem einzelnen Modell ermöglicht, beliebige Marker-Teilmengen ohne Nachtraining oder architektonische Modifikation zu verarbeiten.
Effiziente Foundation-Model-Familie: Implementierung von drei Varianten (ImmuVisConv, ImmuVisSwin, ImmuVisViT), die etablierte Backbones nutzen. Diese Modelle erreichen State-of-the-Art-Leistung bei deutlich niedrigeren Rechenkosten im Vergleich zu token-konkatenationsbasierten Transformer-Alternativen.
Unsicherheitsbewusstes Lernen: Integration eines heteroskedastischen Likelihood-Ziels, das pixelweise Unsicherheitsschätzungen erzeugt und die Zuverlässigkeitsprobleme adressiert, die beim virtuellen Färben für seltene Phänotypen oder atypische Muster inhärent sind.
Großskaliges Vortraining: Die Kuratierung und Nutzung von IMC17M, die das Erlernen robuster, übertragbarer Repräsentationen über diverse Histologien und Marker-Panels hinweg ermöglicht.

Ergebnisse

Virtuelles Färben: Die ImmuVis-Varianten übertreffen State-of-the-Art-Baselines (VirTues, EVA) bei Aufgaben des virtuellen Färbens. Insbesondere ImmuVisSwin und ImmuVisConv erzielten den niedrigsten mittleren quadratischen Fehler (MSE) und die höchste Pearson-Korrelation und zeigten eine überlegene Erhaltung der räumlichen Struktur im Vergleich zu tokenbasierten Methoden.
Unsicherheitskalibrierung: Der heteroskedastische Kopf erzeugt Unsicherheitsschätzungen, die stark mit dem Rekonstruktionsfehler korrelieren (Pearson-Korrelation > 0,92). Die Modelle liefern aussagekräftige per-Pixel-Vertrauenssignale, wobei ImmuVisSwin den niedrigsten Area Under Sparsification Error (AUSE) erreicht.
Repräsentationslernen: Bei nachgelagerten Aufgaben erzielten ImmuVis-Embeddings State-of-the-Art-Leistung bei der Zelltypisierung (ImmuVisConv erreichte ein Macro-F1 von 0,709) und der klinischen Vorhersage (ImmuVisSwin erreichte ein Macro-F1 von 0,641) und übertrafen dabei Varianten von VirTues und EVA.
Recheneffizienz: ImmuVis-Modelle arbeiten mit deutlich niedrigeren Rechenkosten. ImmuVisConv benötigt pro Vorwärtsdurchlauf etwa 89,9 GFLOPs, was eine Größenordnung niedriger ist als bei VirTues (1049,3 GFLOPs) und fast 40-mal niedriger als bei EVA (3590 GFLOPs). Die Inferenzzeiten sind entsprechend schneller (z. B. 13,4 ms vs. 28,5 ms für VirTues).

Bedeutung
Die Arbeit positioniert ImmuVis als einen praktischen Rahmen für die IMC-Modellierung in der realen Welt, der die kritischen Einschränkungen der Panel-Heterogenität und der Recheneffizienz adressiert. Indem ImmuVis es einem einzigen Foundation-Modell ermöglicht, auf beliebigen Marker-Teilmengen ohne Nachtraining zu operieren, erleichtert es die großskalige räumliche Gewebeprofilierung und das retrospektive Upgrading alter Kohorten. Die Integration kalibrierter Unsicherheit bietet einen Zuverlässigkeits-bewussten Ansatz für das virtuelle Färben, der für klinische Anwendungen entscheidend ist, bei denen falsch-positive oder Vorhersagen mit geringer Konfidenz gekennzeichnet werden müssen. Die Autoren schlagen vor, dass diese Kanaladaptivität auf Operatorebene eine allgemeine Rezeptur für den Aufbau von Foundation-Modellen in der Multiplex-Bildgebung und darüber hinaus darstellt, die Flexibilität, Effizienz und Zuverlässigkeit innerhalb einer einzigen Architektur kombiniert.