🤖 machine learning

LongMoE: Longitudinal Multimodal Learning via Trajectory-Aware Mixture-of-Experts

LongMoE ist ein vereinheitlichtes Framework, das die dualen Herausforderungen der Modalitätsfehlmenge und der longitudinalen Dynamik im klinischen Lernen adressiert, indem es kontextsensitive Imputation, frequenzdomänenbasierte temporale Tokenisierung und trajektorienbewusstes Sparse-Mixture-of-Experts-Routing integriert, um eine robuste patientenspezifische Modellierung über irreguläre, unvollständige multimodale Visitensequenzen hinweg zu ermöglichen.

Ursprüngliche Autoren: Maxx Richard Rahman, Prakhar Kumar, Wolfgang Maass

Veröffentlicht 2026-06-10

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Maxx Richard Rahman, Prakhar Kumar, Wolfgang Maass

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „fehlenden Puzzleteile“ und das „bewegte Bild“

Stellen Sie sich einen Arzt vor, der versucht, die Diagnose Alzheimer bei einem Patienten zu stellen. Er hat ein riesiges Puzzle zu lösen, aber die Teile kommen aus verschiedenen Boxen:

Box 1: Gehirnscans (MRT).
Box 2: Bluttests und Liquorproben (Spinalflüssigkeit).
Box 3: Genetische Daten.
Box 4: Kognitive Testergebnisse (wie Gedächtnisspiele).

Herausforderung 1: Die fehlenden Teile (Modality Missingness)
In der realen Welt bringen Patienten nicht immer alle Boxen zu jedem Termin mit. Manchmal haben sie nur den Bluttest; manchmal nur den Gehirnscan. Ältere Computermodelle sind wie starre Köche: Wenn man ihnen nicht alle Zutaten gibt, weigern sie sich zu kochen oder raten einfach wild herum. Sie behandeln jeden Besuch als ein völlig neues, isoliertes Ereignis und ignorieren dabei die Tatsache, dass der Patient bereits letzten Monat da war.

Herausforderung 2: Das bewegte Bild (Longitudinal Dynamics)
Alzheimer ist kein Schnappschuss; es ist ein Film. Ein Gehirnscan, der einen „mittelgroßen“ Hippocampus (einen Teil des Gehirns, der für das Gedächtnis zuständig ist) zeigt, bedeutet etwas völlig anderes, wenn das Gehirn des Patienten im letzten Jahr rapide geschrumpft ist, im Vergleich dazu, wenn es über ein Jahrzehnt hinweg stabil geblieben ist. Ältere Modelle betrachten oft nur den aktuellen Frame des Films, vergessen aber die Handlung der vorangegangenen Szenen.

Die Lösung: LONGMOE (Das intelligente, adaptive Team)

Die Autoren schlagen LONGMOE vor, ein neues KI-System, das darauf ausgelegt ist, sowohl mit fehlenden Teilen als auch mit dem bewegten Bild gleichzeitig umzugehen. Betrachten Sie es nicht als einen einzelnen Roboter-Arzt, sondern als ein spezialisiertes medizinisches Team, das zusammenarbeitet.

So funktionieren die vier Hauptteile ihres Systems:

1. Die „Kontextbewusste Imputation“ (Der intelligente Füller)

Wenn ein Patient ohne einen bestimmten Test erscheint (z. B. kein MRT), lässt das System diese Lücke nicht einfach leer oder rät wahllos.

Die Analogie: Stellen Sie sich vor, Sie lesen ein Buch und einige Seiten fehlen. Wenn die Geschichte gerade beschrieben hat, dass eine Figur einen Raum betritt, können Sie vernünftigerweise davon ausgehen, dass sie im nächsten Absatz immer noch im Raum ist.
Wie es funktioniert: Wenn der Patient letzten Monat ein MRT hatte, „trägt das System den letzten bekannten Wert nach vorne“ als vorüberständlichen Platzhalter. Wenn es der allererste Besuch ist und keine Daten existieren, nutzt das System die anderen verfügbaren Tests (wie die Blutwerte), um eine fundierte Vermutung darüber anzustellen, wie das fehlende MRT aussehen könnte. Es füllt die Lücke mithilfe von Kontext, nicht durch eine bloße Leerstelle.

2. Die „Attention-basierte Tokenisierung“ (Die Zeitstempel-Uhr)

Das System muss verstehen, wann Dinge passiert sind, nicht nur, was passiert ist. Die Besuche finden nicht in gleichmäßigen Abständen statt; manche Patienten kommen alle 6 Monate, andere alle 2 Jahre.

Die Analogie: Denken Sie an ein Lied. Wenn Sie nur die Noten hören, kennen Sie die Melodie. Aber wenn Sie das Tempo (die Geschwindigkeit) nicht kennen, klingt das Lied falsch. LONGMOE fügt den Daten eine „Tempo“-Ebene hinzu. Es verwendet einen speziellen mathematischen Code (wie ein einziges Zeigerwerk einer Uhr), der der KI genau sagt, wie viel Zeit zwischen den Besuchen vergangen ist. Dies ermöglicht es der KI zu erkennen, ob sich eine Krankheit langsam verändert (ein langsamer Walzer) oder schnell (ein schnelles Schlagzeugsolo).

3. Der „Trajektorien-bewusste Encoder“ (Der Geschichtenerzähler)

Dies ist das Gehirn des Betriebs. Er nimmt alle Besuche (vergangene und aktuelle) und webt sie zu einer einzigen Geschichte zusammen.

Die Analogie: Anstatt sich nur ein einzelnes Foto eines Läufers anzusehen, betrachtet dieses Modul das gesamte Rennvideo. Es versteht, dass ein Läufer, der langsamer wird, in einem anderen Zustand ist als ein Läufer, der gerade erst gestartet ist, selbst wenn sie sich im Moment exakt an dersichter Stelle auf der Laufbahn befinden. Es kombelt die Historie des Patienten, um den aktuellen Zustand zu verstehen.

4. Die „Sparse Mixture-of-Experts“ (Das spezialisierte Team)

Dies ist der einzigartigste Teil. Anstatt einer einzigen riesigen KI, die versuchen muss, in allem gut zu sein, besitzt LONGMOE einen Router und ein Team von Experten.

Der Router: Dies ist der „Verkehrskontrolleur“. Wenn ein Patient kommt, prüft der Router seine spezifische Situation: „Oh, dieser Patient hat Genetik und Blutwerte, aber keinen Gehirnscan. Und er befindet sich in einem frühen Stadium des Rückgangs.“
Die Experten: Der Router ruft dann die spezifischen Spezialisten herbei, die für diese Aufgabe benötigt werden.
- Er könnte Experte A aktivieren (der sehr gut im Bereich Genetik ist).
- Er könnte Experte B aktivieren (der sehr gut darin ist, langsamen Verfall zu verfolgen).
- Er ignoriert Experte C (der nur weiß, wie man Gehirnscans liest, die wir hier gerade nicht haben).
Der Vorteil: Dies macht das System effizient und hochpräzise. Es verschwendet keine Energie an Experten, die nicht benötigt werden, und stellt sicher, dass der richtige Spezialist die spezifische Mischung der verfügbaren Daten des Patienten analysiert.

Was haben sie herausgefunden? (Die Ergebnisse)

Die Forscher testeten dieses System an drei massiven medizinischen Datensätzen (ADNI, OASIS-3 und MIMIC-IV).

Der „Fehlende-Teile-Test“: Als sie Daten entfernten (um Patienten zu simulieren, die nicht alle Tests erhielten), versagten ältere Modelle oder schnitten schlecht ab. LONGMOE blieb stark. Es war wie ein Koch, der immer noch eine köstliche Mahlzeit zubereiten kann, selbst wenn die Vorratskammer halb leer ist, weil er weiß, wie er Zutaten basierend auf der Geschichte des Rezepts ersetzen kann.
Der „Vollständige-Daten-Test“: Selbst wenn alle Daten verfügbar waren, schnitt LONGMOE genauso gut oder sogar besser ab als die besten bestehenden Modelle.
Der „Geschichten-Test“: Das System bewies, dass das Wissen um die Historie des Patienten (die Trajektorie) entscheidend war. Als sie den „Geschichtenerzähler“-Teil der KI entfernten, sank die Leistung signifikant, was beweist, dass das Betrachten der Vergangenheit genauso wichtig ist wie das Betrachten der Gegenwart.

Zusammenfassung

LONGMOE ist eine neue Art und Weise, wie Computer aus Patientendaten lernen können, die unordentlich, unvollständig und über einen langen Zeitraum verteilt sind. Es agiert wie ein intelligentes medizinisches Team, das:

Fehlende Informationen mithilfe dessen ergänzt, was es aus der Vergangenheit weiß.
Das Timing und die Geschwindigkeit der Krankheit versteht.
Dynamisch den richtigen Spezialisten auswählt, um die spezifische Mischung der für diesen Patienten verfügbaren Daten zu analysieren.

Das Ergebnis ist ein System, das für reale klinische Umgebungen, in denen perfekte Daten selten und Patientengeschichten komplex sind, viel robuster und zuverlässiger ist.

Technisches Resümee: LONGMOE

Problemstellung

Das multimodale klinische Lernen steht vor zwei grundlegenden, sich überschneidenden Herausforderungen, die bestehende Methoden nicht gemeinsam adressieren können:

Modalitäts-Fehlstellen (Modality Missingness): In realen klinischen Kohorten sind oft beliebige Teilmengen von Modalitäten (z. B. Bildgebung, Text, genetische Daten) zu einem bestimmten Patientenbesuch nicht verfügbar, was auf heterogene Erfassungsprotokolle und Ressourcenbeschränkungen zurückzuführen ist.
Longitudinale Dynamik: Die diagnostische Bedeutung einer Beobachtung ist untrennbar mit der sich entwickelnden Krankheitsentwicklung eines Patienten verbunden. Der Wert eines Biomarkers hängt von seiner Position entlang der individuellen Verlaufsbahn ab und nicht von seinem absoluten Wert in einem einzelnen statischen Schnappschuss.

Bestehende Ansätze behandeln diese Herausforderungen isoliert. Frameworks für fehlende Modalitäten (z. B. Flex-MoE, FuseMoE) behandeln jeden Besuch typischerweise als unabhängigen statischen Schnappschuss und vernachlässigen dabei den zeitlichen Kontext. Umgekehrt gehen longitudinale Modelle (z. B. GRU-basierte Ansätze) oft von einer vollständigen Verfügbarkeit aller Modalitäten bei jedem Besuch aus und zeigen unter systematischer Fehlstellen-Problematik eine geminderte Leistungsfähigkeit. Kein existierendes Modell bewältigt effektiv die kombinierte Herausforderung aus unregelmäßigen Besuchsintervallen, beliebigen Modalitätskombinationen und Populationsheterogenität.

Methodik: LONGMOE-Architektur

Die Autoren schlagen LONGMOE (Longitudinal Mixture-of-Experts) vor, ein vereinheitlichtes Framework, das darauf ausgelegt ist, Modalitäts-Fehlstellen und longitudinale Dynamik gemeinsam zu adressieren. Die Architektur verarbeitet die longitudinale Besuchsequenz eines Patienten durch vier aufeinanderfolgende Module:

1. Modalitätsspezifische Embeddings

Jede Modalität $m_l$ wird durch einen dedizierten Encoder $\phi_l$ verarbeitet, der auf ihre strukturellen Eigenschaften zugeschnitten ist:

MRT: Ein 3D-konvolutionaler Encoder gefolgt von einer MLP-Projektion.
Klinische Scores, Biomarker und Genetik: Modalitätsspezifische MLPs.
Temporäres Embedding: Zeitstempel der Besuche werden als gelernte Embeddings kodiert, die sowohl die absolute Zeit als auch die Intervalle zwischen den Besuchen erfassen.
Nicht beobachtete Modalitäten werden initial als Nullvektoren gesetzt.

2. Imputation und Tokenisierung der Modalitäten

Dieses Modul behandelt fehlende Daten und erstellt ein vereinheitlichtes Besuchstoken:

Kontextsensitive Imputation:
- Carry-Forward: Wenn eine Modalität in einem vorherigen Besuch beobachtet wurde, wird das jüngste Embedding repliziert (motiviert durch die starke kurzfristige Autokorrelation von Biomarkern).
- Kontextuelle Imputation: Falls keine vorherige Beobachtung existiert, generiert ein gelernte Netzwerk basierend auf den verfügbaren Modalitäten des aktuellen Besuchs ein Embedding, wobei Zero-Masking verwendet wird, um eine Kontamination durch fehlende Signale zu verhindern.
Attentional Tokenization:
- Modalitätsfusion: Multi-Head Self-Attention wird über die imputierten Modalitäts-Embeddings angewendet, um Inter-Modalitäts-Abhängigkeiten zu erlernen.
- Viscode-Kodierung: Eine kontinuierliche, mehrfrequente sinusförmige Positionskodierung bildet die Zeitstempel der Besuche auf einen festdimensionalen Vektor ab. Diese Kodierung ist beweisbar injektiv für nicht gleichmäßig beprobte Sequenzen und erfasst sowohl langsame longitudinale Trends als auch schnelle Änderungsraten, ohne eine gleichmäßige Besuchsabfolge vorauszusetzen.
- Fusion: Das Modalitäts-Embedding und die Viscode-Kodierung werden mittels Element-wise Addition fusioniert, um das Besuchstoken $z_t$ zu erzeugen.

3. Trajektorienbewusste longitudinale Modellierung

Ein Stapel von Transformer-Encoder-Blöcken verarbeitet die Sequenz der Besuchstokens $\{z_t\}$ .

Causal Masking: Eine kausale Attention-Mask stellt sicher, dass die Repräsentation zum Zeitpunkt des Besuchs $t$ nur von der Historie $\{v_1, \dots, v_t\}$ abhängt, wodurch der Zugriff auf zukünftige Informationen verhindert wird.
Ausgabe: Dies erzeugt ein kontextualisiertes Embedding $h_t$ , das die vollständige Krankheitsverlaufstrajektorie des Patienten integriert und als reichhaltiger Input für das Routing-Modul dient.

4. Kontextsensitive Sparse MoE-Routing

Die finale Schicht verwendet eine Sparse Mixture-of-Experts (SMoE) Architektur, um die patientenspezifische Heterogenität und die Modalitätsmuster zu handhaben:

Experten-Architektur: Die Schicht enthält $K=8$ $K = 8$ Experten, die unterteilt sind in:
- Individuelle Experten: Spezialisierte Sub-Netzwerke für distinkte Patienten-Subpopulationen.
- Gemeinsame Experten (Shared Experts): Für alle Inputs zugänglich, um populationsweite gemeinsame Muster zu erfassen und eine Über-Spezialisierung zu verhindern.
Routing: Ein Router-Netzwerk bildet das Trajektorien-Embedding $h_t$ auf einen Score-Vektor ab. Hard Top-1 Routing wählt den am relevantesten passenden Experten (zusätzlich zu den immer aktivierten Shared Experts) aus.
Aggregation: Die finalen Vorhersagen werden über eine attentive Aggregation der Experten-Outputs über alle Besuche hinweg erzielt, gewichtet durch die Konfidenz des Routers.
Regularisierung: Ein Load-Balancing-Loss verhindert den Kollaps des Routers und stellt eine gleichmäßige Auslastung der Experten sicher.

Zentrale Beiträge

Vereinheitlichtes Framework: LONGMOE ist das erste Modell, das Modalitäts-Fehlstellen und longitudinale zeitliche Dynamiken im multimodalen klinischen Lernen gemeinsam adressiert.
Neuartige architektonische Komponenten:
- Ein kontextsensitives Imputationsmodul, das sowohl historische Daten als auch den aktuellen Kontext nutzt.
- Ein Attentional-Tokenization-Modul, das Cross-Modal Attention mit einer beweisbar injektiven, mehrfrequenten temporalen Kodierung für irreguläre Sequenzen kombiniert.
- Ein trajektorienbewusster Encoder, der die Krankheitsprogression modelliert.
- Eine kontextkonditionierte SMoE-Routing-Schicht, die den Experten dynamisch basierend auf der beobachteten Modalitätskombination und der Patiententrajektorie auswählt.
Robustheit: Das Framework zeigt Robustheit gegenüber fehlenden oder schwachen simultanen Modalitäten und bleibt in Settings mit vollen Modalitäten wettbewerbsfähig.

Experimentelle Ergebnisse

Die Autoren evaluierten LONGMOE auf drei Datensätzen: ADNI (Alzheimer's Disease Neuroimaging Initiative), OASIS-3 und MIMIC-IV.

Leistung: LONGMOE erreichte die beste AUC-ROC über alle Modalitätskombinationen hinweg auf ADNI und MIMIC-IV. Auf OASIS-3 führte es in vier von sieben Kombinationen, insbesondere in Settings, die durch Bildgebung und Genetik dominiert wurden, in denen andere Baselines versagten.
Robustheit gegenüber fehlenden Modalitäten:
- Auf ADNI behielt LONGMOE eine hohe Leistung (AUC $\approx$ 0,94–0,97) bei, selbst wenn nur eine einzige Modalität vorhanden war, während Baselines wie TF auf Zufallsniveau (0,50) abfielen und andere signifikant degradierten.
- Der trajektorienbewusste Encoder konnte den fehlenden simultanen Modalitätsinformationen durch den longitudinalen Kontext effektiv ersetzen, was zu nahezu flachen Degradationskurven führte, wenn Modalitäten entfernt wurden.
Ablationsstudien: Das Entfernen des Longitudinal Encoders (LE) oder der Viscode-Kodierung (VE) führte zu den größten Leistungseinbußen, was deren kritische Rolle bestätigt. Auch die Shared Experts und die Load-Balancing-Mechanismen erwiesen sich als essenziell, insbesondere in Settings mit schwerwiegenden Fehlstellen oder kleineren Kohorten.
Komplexität: LONGMOE weist im Vergleich zu statischen Baselines (z. B. 4,4 Mio. Parameter gegenüber 183K für Flex-MoE) höhere Parameterzahlen und eine höhere Latenz beim Forward-Pass auf, bedingt durch den trajektorienbewussten Transformer. Die Autoren merken jedoch an, dass dies für die Offline-Batch-Inferenz praktikabel ist, die Anwendung am Krankenbett in Echtzeit jedoch ausschließt.

Bedeutung und Ansprüche

Das Paper behauptet, dass LONGMOE ein starkes Fundament für longitudinal-bewusstes multimodales klinisches Lernen schafft. Seine primäre Bedeutung liegt in der Überbrückung der Lücke zwischen der Handhabung fehlender Daten und der Modellierung der Krankheitsprogression. Indem das Modell die Historie des Patienten als kontinuierliche, irreguläre Trajektorie und nicht als Serie unabhängiger Schnappschüsse betrachtet, kann es diskriminative Signale extrahieren, selbst wenn aktuelle Besuche kritische Modalitäten vermissen lassen.

Die Autoren stellen explizit fest, dass während das Modell hocheffektiv für die Offline-Batch-Inferenz und die Handhabung komplexer, unvollständiger klinischer Datensätze ist, die erhöhten Rechenkosten des trajektorienbewussten Encoders die Anwendbarkeit für die Echtzeit-Unterstütung am Krankenbett einschränken. Zudem kann das Modell keinen longitudinalen Kontext für Erstkontakt-Patienten ohne vorherige Besuchshistorie nutzen, da der Encoder mindestens eine vergangene Beobachtung benötigt, um aussagekräftige Embeddings zu generieren.