🤖 machine learning

Evidential Fusion Network for Multimodal Survival Prediction under Missing Modalities

Das Paper schlägt das Evidential Missing Modality Survival Fusion (EMMS)-Modell vor, welches die Dempster-Shafer-Theorie und Gaußsche Zufalls-Fuzzy-Zahlen nutzt, um unter Bedingungen fehlender Daten durch die Behandlung abwesender Modalitäten als vakuumsartige Evidenz ohne die Notwendigkeit generativer Imputation eine erstklassige, kalibrierte multimodale Überlebensprognose zu erreichen.

Ursprüngliche Autoren: Yucheng Xing, Hailan Mo, Zi Wang, Ling Huang, Mengling Feng

Veröffentlicht 2026-06-23

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yucheng Xing, Hailan Mo, Zi Wang, Ling Huang, Mengling Feng

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Arzt, der versuchen muss, vorherzusagen, wie lange ein Patient mit einer bestimmten Art von Krebs leben könnte. Um die beste Schätzung abzugeben, benötigen Sie normalerweise zwei Arten von Informationen:

Das „Bild“ (Pathologie): Ein mikroskopisches Foto des Tumorgewebes.
Der „Code“ (Genomik): Eine Liste der Genaktivität des Patienten.

In einer idealen Welt hätten Sie beides. Aber in der realen Welt gehen Dinge schief. Manchmal ist die Gewebeprobe aufgebraucht, bevor man das Bild machen kann, oder der Gentest ist zu teuer und wird übersprungen. Dies hinterlässt Ihnen nur die halbe Geschichte.

Die meisten aktuellen Computermodelle versuchen, die fehlende Hälfte zu erraten. Sie sagen: „Oh, Sie haben kein Bild? Kein Problem, ich stelle mir einfach vor, wie das Bild basierend auf den Genen wahrscheinlich aussieht.“ Das Problem dabei ist, dass dies so ist, als würde ein Koch den Geschmack einer fehlenden Zutat erraten. Manchmal liegt die Vermutung richtig, aber oft „halluziniert“ der Computer Details (erfindet sie dazu), die gar nicht existieren, was zu gefährlichen Fehlern bei medizinischen Entscheidungen mit hohem Einsatz führen kann.

Andere Modelle ignorieren das fehlende Stück einfach und versuchen, mit dem auszukommen, was sie haben, aber sie agieren so, als wären sie genauso sicher wie mit dem vollständigen Bild. Das ist gefährlich, weil sie nicht zugeben: „Hey, mir fehlt ein riesiger Teil des Puzzles, also sollte ich mir dieser Sache nicht so sicher sein.“

Die Lösung: Die „ehrliche“ KI (EMMS)

Die Autoren dieser Arbeit schlagen ein neues System namens EMMS (Evidential Missing Modality Survival Fusion) vor. Anstatt die fehlenden Daten zu erraten oder so zu tun, als wäre alles in Ordnung, nutzt EMMS einen cleveren mathematischen Trick, der auf der Dempster–Shafer-Theorie basiert (denken Sie an ein „Konfidenz-Buchhaltungssystem“).

So funktioniert es, unter Verwendung einfacher Analogien:

1. Die Strategie der „leeren Box“

Wenn ein Teil der Daten fehlt (z. B. kein Gentest), versucht EMMS nicht, die Box mit einem gefälschten Gegenstand zu füllen. Stattdessen stellt es eine leere Box mit der Aufschrift „Ich weiß nichts darüber“ hinein.

Der alte Weg: Versuchen, die Box mit einer Vermutung zu füllen (riskant).
Der EMMS-Weg: Die Box leer lassen, aber deutlich kennzeichnen. Diese leere Box wird als „vakuumartige Evidenz“ (vacuous evidence) bezeichnet. Sie sagt dem System: „Dieser Input liefert null Information, also lass ihn die anderen guten Informationen nicht durcheinanderbringen.“

2. Das „Teammeeting“ (Fusion)

Stellen Sie sich vor, das Pathologie-Team und das Genomik-Team treffen sich, um über die Prognose eines Patienten zu entscheiden.

Wenn beide Teams anwesend sind, kombinieren sie ihre Notizen, um eine starke, fundierte Entscheidung zu treffen.
Wenn das Genomik-Team abwesend ist, gibt das Pathologie-Team dennoch seinen Bericht ab.
Entscheidend ist: Weil das Genomik-Team fehlt, kommt die endgültige Entscheidung mit einem deutlichen Warnhinweis: „Diese Vorhersage basiert auf nur der halben Datenlage, daher sind wir weniger sicher.“

Das System berechnet einen „Konfidenzwert“. Wenn Daten fehlen, sinkt der Wert ganz natürlich. Es erzwingt keine hohe Konfidenz, wenn es nicht über die Fakten verfügt.

3. Zwei Arten von „Unsicherheit“

Die Arbeit erklärt, dass das System zwei Arten von Zweifel verfolgt:

Aleatorische Unsicherheit (Rauschen): Die natürliche Zufälligkeit in den Daten (z. B. „Selbst mit perfekten Daten ist die Biologie chaotisch“).
Epistemische Unsicherheit (Unwissenheit): Der Zweifel, der durch fehlende Informationen verursacht wird (z. B. „Ich kenne die Antwort nicht, weil mir der Gentest fehlt“).
EMMS ist besonders, weil es unterscheiden kann zwischen „Die Daten sind verrauscht“ und „Ich habe die Daten nicht“.

Was haben sie herausgefunden?

Die Forscher haben dieses System an vier verschiedenen Arten von Krebsdaten getestet (Brust, Magen, Niere und Lunge). Sie simulierten Situationen, in denen bis zu 60 % der Daten fehlten.

Bessere Genauigkeit: Selbst als Daten fehlten, lieferte EMMS bessere Vorhersagen als andere Methoden, die versuchten, die fehlenden Teile zu rekonstruieren oder das Problem einfach ignorierten.
Ehrliche Konfidenz: Wenn das System unsicher war (weil Daten fehlten), gab es dies zu. Andere Systeme verhielten sich weiterhin so, als seien sie sicher, selbst wenn sie falsch lagen.
Keine Zusatzkosten: Im Gegensatz zu anderen Methoden, die versuchen, fehlende Daten zu „rekonstruieren“ (was viel Rechenleistung erfordert), ist EMMS schnell. Es muss keine zusätzliche Arbeit leisten, um die Lücken zu füllen; es geht einfach damit um, die Lücken elegant zu handhaben.

Das Faz

Technisches Resümee: Evidential Fusion Network für die multimodale Überlebensprognose unter fehlenden Modalitäten

Problemstellung

Eine genaue Überlebensprognose ist entscheidend für die Präzisionsonkologie, doch der Einsatz multimodaler Modelle in klinischen Realweltszenarien wird häufig durch fehlende Modalitäten behindert. In der Praxis sind vollständige morpho-molekulare Profile (die Ganzgewebebilder und transkriptomische Daten kombinieren) oft nicht verfügbar, was auf Gewebeerschöpfung, Sequenzierungskosten oder heterogene Infrastrukturen zurückzuführen ist.

Bestehende Ansätze stehen vor zwei primären Einschränkungen:

Imputationsbasierte Methoden (z. B. SMIL, M3Care) rekonstruieren fehlende Daten mittels generativer Modellierung. Obwohl sie im Durchschnitt effektiv sind, bergen sie das Risiko, nicht existierende biologische Signale zu „halluzinieren“, und verursachen hohe Rechenkosten, was für klinische Entscheidungen mit hohem Einsatz problematisch ist.
Imputationsfreie Methoden (z. B. EmbraceNet) aggregieren lediglich die verfügbaren Embeddings, behandeln das Fehlen von Modalitäten jedoch oft bloß als Maskierungs- oder Dropout-Problem. Sie versäumen es, die epistemische Unsicherheit (den Mangel an Wissen) explizit zu quantifizieren, die durch abwesende Modalitäten induziert wird, was oft zu dekalibrierten Konfidenzniveaus führt, die deren Unwissenheit nicht widerspiegeln.

Darüber hinaus haben aktuelle Modelle Schwierigkeiten, zwischen aleatorischer Unsicherheit (intrinsischem Datenrauschen) und epistemischer Unsicherheit (Unsicherheit aufgrund fehlender Informationen) zu unterscheiden, und liefern oft nur eine „beste Schätzung“, ohne die Zuverlässigkeit zu signalisieren.

Methodik

Die Autoren schlagen das Evidential Missing Modality Survival Fusion (EMMS) Modell vor, ein Framework, das darauf ausgelegt ist, unvollständige multimodale Beobachtungen ohne Datenrekonstruktion zu handhaben. Die Kernkomponenten sind:

1. Theoretische Grundlage: Dempster–Shafer-Theorie und GRFNs

EMMS basiert auf der Dempster–Shafer-Evidenztheorie. Anstatt eine einzelne Überlebenszeit vorherzusagen, wird die Vorhersage jeder Modalität als Überlebensevidenz dargestellt, die durch Gaussian Random Fuzzy Numbers (GRFNs) parametrisiert ist.

Eine GRFN, bezeichnet als $\tilde{Y} \sim \tilde{N}(\mu, \sigma^2, h)$ $\tilde{Y} \sim \tilde{N} (μ, σ^{2}, h)$ , modelliert die Verteilung der Überlebenszeit, wobei:
- $\mu$ : Lokalisierungsparameter (der plausibelste Schätzwert der Ereigniszeit).
- $\sigma^2$ : Aleatorische Unsicherheit (Datenvariabilität).
- $h$ : Epistemische Stärke (Inverswert der epistemischen Unsicherheit/Ignoranz).
Vakuume Evidenz (Vacuous Evidence): Entscheidend ist, dass das Modell bei einer fehlenden Modalität deren epistemische Stärke auf $h=0$ setzt. Dies führt dazu, dass die GRFN zu „vakuumer Evidenz“ degeneriert, was vollständige Ignoranz repräsentiert. Diese Formulierung vermeidet die Approximation fehlender Inputs; stattdin kodiert sie deren Abwesenheit explizit als Null-Beitrag zur Evidenz.

2. Unimodale Zweige

Das Modell verarbeitet zwei Modalitäten unabhängig voneinander vor der Fusion:

Pathologie-Zweig: Ganzgewebebilder (WSIs) werden in Patches zerlegt, über einen vortrainierten Patch-Encoder kodiert und mittels eines TITAN-Slide-Encoders zu einer Slide-Level-Repräsentation aggregiert. Dieses Merkmal wird über eine prototypbasierte evidente Formulierung mittels Radialer Basisfunktionskerne auf die Überlebensevidenz abgebildet.
Genomik-Zweig: Transkriptomische Profile werden durch ein ähnliches Framework verarbeitet, um Überlebensevidenz zu generieren, die als GRFN modelliert ist.

3. Evidente Fusion

Das Modell fusioniert die Evidenz der verfügbaren Modalitäten unter Verwendung der Dempster-Kombinationsregel.

Handhabung von Fehlstellen: Ein binärer Verfügbarkeitsindikator ( $r \in \{0, 1\}$ ) bestimmt, ob eine Modalität vorhanden ist. Wenn $r=0$ , trägt die Modalität vakuume Evidenz ( $h=0$ ) bei.
Gewichtete Aggregation: Die fusionierten GRFN-Parameter ( $\mu_f, \sigma^2_f, h_f$ ) werden über eine geschlossene, evidenzgewichtete Aggregation berechnet. Modalitäten mit höherer epistemischer Stärke tragen stärker zur endgültigen Vorhersage bei.
Graceful Degradation (Anmutiger Abbau): Wenn eine Modalität fehlt, reduziert sich die Fusion natürlich auf die verfügbare Modalität, ohne dass eine Interferenz stattfindet. Die gesamte epistemische Stärke ( $h_f$ ) akkumuliert additiv und dient als interpretierbare Metrik der Gesamtkonfidenz. Eine Reduktion von $h_f$ spiegelt explizit die durch fehlende Daten induzierte Unsicherheit wider.

4. Verlustfunktion (Loss Function)

Das Trainingsziel kombelt:

Überlebensverlust ( $L_{surv}$ ): Eine generalisierte negative Log-Likelihood für GRFNs, die sowohl unzensierte als auch rechtszensierte Stichproben unter Verwendung von Glaubwürdigkeits- (Belief) und Plausibilitätsgrenzen überwacht.
Alignment-Verlust ( $L_{align}$ ): Ein symmetrischer Kullback–Leibler (KL)-Divergenzterm, der nur angewendet wird, wenn beide Modalitäten vorhanden sind, und als leichtgewichtiges cross-modales Konsistenzregularisierungselement fungiert.

Wichtigste Beiträge

Vakuume Evidenz-Formulierung: Das Paper führt eine Methode ein, fehlende Modalitäten innerhalb eines GRFN-Frameworks als vakuume Evidenz ( $h=0$ ) zu behandeln. Dies verhindert, dass das Modell Daten halluziniert oder durch fehlende Inputs kontaminiert wird, während die epistemische Unsicherheit der Vorhersage natürlich erhöht wird.
Unsicherheitsquantifizierung: EMMS unterscheidet explizit zwischen aleatorischer und epistemischer Unsicherheit. Die gesamte evidente Stärke dient als eingebautes, interpretierbares Maß für die Konfidenz der Vorhersage unter unvollständigen Beobachtungen.
Recheneffizienz: Im Gegensatz zu imputationsbasierten Methoden benötigt EMMS keine generative Phase oder Latent-Space-Retrieval für fehlende Daten, wodurch kein zusätzlicher Rechenaufwand gegenüber imputationsfreien Baselines entsteht.
Closed-Form Fusion: Die Nutzung der Dempster–Shafer-Theorie ermöglicht eine prinzipielle, Closed-Form-Aggregation multimodaler Evidenz, wodurch sichergestellt wird, dass fehlende Inputs keinen Einfluss auf die verfügbaren Daten ausüben.

Experimentelle Ergebnisse

Die Autoren evaluierten EMMS an vier Krebskohorten aus dem The Cancer Genome Atlas (TCGA): BRCA, LUAD, STAD und KIRC.

Leistung bei vollständigen Daten: Im 0%-Missing-Modality-Szenario erreichte EMMS eine State-of-the-Art (SOTA)-Leistung in Bezug auf den Concordance Index (C-index) und den Integrated Brier Score (IBS) in den meisten Datensätzen und übertraf damit Baselines wie DisPro, MUSE und Flex-MoE.
Robustheit unter fehlenden Daten: Bei einer Rate von 60 % fehlender Modalitäten übertraf EMMS konsistent alle Baselines über alle Datensätze und Evaluierungsszenarien hinweg (Pathologie-only, Genomik-only und vollständige Modalität). Es zeigte eine überlegene Robustheit in Situationen, in denen andere Modelle einen signifikanten Leistungsabfall zeigten.
Kalibrierung: Kalibrierungsplots zeigten, dass EMMS-Vorhersagen im Vergleich zu den Baselines näher an der idealen Diagonalen lagen und eine geringere mittlere absolute Abweichung (MAD) aufwiesen. Dies deutet darauf hin, dass das Modell zuverlässigere Konfidenzschätzungen liefert.
Effizienz: Vergleiche der Trainingszeit zeigten, dass EMMS in der Geschwindigkeit vergleichbar mit der imputationsfreien Baseline MUSE ist und signifikant schneller als die imputationsbasierte Methode DisPro arbeitet.

Bedeutung und Ansprüche

Das Paper behauptet, dass EMMS eine skalierbare, recheneffektive und theoretisch fundierte Lösung für die personalisierte Medizin in realistischen klinischen Settings bietet, in denen die Vollständigkeit der Daten nicht garantiert werden kann.

Durch die Nutzung der Dempster–Shafer-Theorie schließt das Modell die Lücke zwischen Vorhersageleistung und Unsicherheitsbewusstsein. Es ermöglicht klinischen Entscheidungsunterstützungssystemen, ihr „eigenes Unwissen zu signalisieren“, wenn Daten fehlen, und so zwischen Rauschen und mangelndem Wissen zu unterscheiden. Die Autoren betonen, dass dieser Ansatz eine SOTA-Diskriminierung und -Kalibrierung erreicht, ohne die Risiken der Datenhalluzination oder die rechnerische Last der generativen Imputation, was es zu einem lebensfähigen Kandidaten für den Einsatz in heterogenen klinischen Umgebungen macht.