🤖 machine learning

LongMoE: Longitudinal Multimodal Learning via Trajectory-Aware Mixture-of-Experts

LongMoE is een verenigd framework dat de dubbele uitdagingen van modaliteit-ontbreken en longitudinale dynamiek in klinisch leren aanpakt door contextbewuste imputatie, frequentiedomein-temporele tokenisatie en trajectbewuste Sparse Mixture-of-Experts-routing te integreren om robuuste patiëntspecifieke modellering mogelijk te maken over onregelmatige, incomplete multimodale bezoeksequenties.

Oorspronkelijke auteurs: Maxx Richard Rahman, Prakhar Kumar, Wolfgang Maass

Gepubliceerd 2026-06-10

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Maxx Richard Rahman, Prakhar Kumar, Wolfgang Maass

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Ontbrekende Puzzelstukjes" en de "Bewegende Beelden"

Stel je een arts voor die probeert de diagnose te stellen bij een patiënt met de ziekte van Alzheimer. Ze hebben een enorme puzzel om op te lossen, maar de stukjes komen uit verschillende dozen:

Doos 1: Hersenscans (MRI).
Doos 2: Bloedtesten en ruggenvochtmonsters.
Doos 3: Genetische gegevens.
Doos 4: Cognitieve testscores (zoals geheugenspelletjes).

Uitdaging 1: De Ontbrekende Stukjes (Modality Missingness)
In de echte wereld brengen patiënten niet altijd elke doos mee naar elke afspraak. Soms hebben ze alleen de bloedtest; soms alleen de hersenscan. Oudere computermodellen zijn als rigide koks: als je ze niet alle ingrediënten geeft, weigeren ze te koken of gokken ze maar wat. Ze behandelen elk bezoek als een totaal nieuw, geïsoleerd evenement, waarbij ze negeren dat de patiënt vorige maand nog is geweest.

Uitdaging 2: De Bewegende Beelden (Longitudinal Dynamics)
Alzheimer is geen snapshot; het is een film. Een hersenscan die een "middelgrote" hippocampus laat zien (het deel van de hersenen dat verantwoordelijk is voor het geheugen), betekent iets heel anders als de hersenen van de patiënt het afgelopen jaar snel zijn gekrompen versus wanneer ze gedurende een decennium stabiel zijn gebleven. Oudere modellen kijken vaak naar het huidige frame van de film, maar vergeten het plot van de vorige scènes.

De Oplossing: LONGMOE (Het Slimme, Adaptieve Team)

De auteurs stellen LONGMOE voor, een nieuw AI-systeem dat ontworpen is om zowel de ontbrekende stukjes als de bewegende beelden tegelijkertijd aan te kunnen. Zie dit niet als één enkele robotarts, maar als een gespecialiseerd medisch team dat samenwerkt.

Hieronder volgt hoe de vier hoofdonderdelen van hun systeem werken:

1. De "Context-Aware Imputation" (De Slimme Invuller)

Wanneer een patiënt zonder een specifieke test arriveert (bijv. geen MRI), laat het systeem niet gewoon een lege ruimte open of gokt het niet willekeurig.

De Analogie: Stel je voor dat je een boek leest en er ontbreken een paar pagina's. Als het verhaal net een personage beschreef dat een kamer binnenliep, kun je redelijkerwijs aannemen dat die persoon in de volgende paragraaf nog steeds in die kamer is.
Hoe het werkt: Als de patiënt vorige maand een MRI had, "draagt het systeem de laatste bekende waarde voort" als een tijdelijke placeholder. Als het de allereerste afspraak is en er geen gegevens bestaan, kijkt het systeem naar de andere beschikbare tests (zoals bloedwerk) om een weloverwogen schatting te maken van hoe de ontbrekende MRI er mogelijk uit zou zien. Het vult de leemte op basis van context, niet alleen met een leegte.

2. De "Attentional Tokenization" (De Tijdstempel-Klok)

Het systeem moet begrijpen wanneer dingen gebeurden, niet alleen wat er gebeurde. Bezoeken zijn niet gelijkmatig verdeeld; sommige patiënten komen elke 6 maanden, anderen elke 2 jaar.

De Analogie: Denk aan een liedje. Als je alleen de noten hoort, ken je de melodie. Maar als je het tempo (de snelheid) niet weet, klinkt het liedje fout. LONGMOE voegt een "tempo"-laag toe aan de gegevens. Het gebruikt een speciale wiskundige code (als een unieke wijzer van een klok) die de AI precies vertelt hoeveel tijd er tussen de bezoeken zat, waardoor het kan detecteren of een ziekte langzaam verandert (een trage wals) of snel (een snelle drumsolo).

3. De "Trajectory-Aware Encoder" (De Verhalenverteller)

Dit is het brein van de operatie. Het neemt alle bezoeken (verleden en heden) en weeft deze tot één enkel verhaal.

De Analogie: In plaats van naar een enkele foto van een hardloper te kijken, kijkt deze module naar de volledige racevideo. Het begrijpt dat een hardloper die langzamer wordt, in een andere staat verkeert dan een hardloper die net is begonnen, zelfs als ze op dit exacte moment op hetzelfde punt op de baan zijn. Het combineert de geschiedenis van de patiënt om de huidige staat te begrijpen.

4. De "Sparse Mixture-of-Experts" (Het Gespecialiseerde Team)

Dit is het meest unieke deel. In plaats van één gigantische AI die in alles goed moet zijn, heeft LONGMOE een Router en een team van Experts.

De Router: Dit is de "verkeersregelaar". Wanneer een patiënt arriveert, kijkt de Router naar hun specifieke situatie: "O, deze patiënt heeft genetica en bloedwerk, maar geen hersenscan. En ze bevinden zich in de vroege stadia van achteruitgang."
De Experts: De Router roept vervolgens de specifieke specialisten op die nodig zijn voor deze taak.
- Het kan Expert A activeren (die erg goed is in genetica).
- Het kan Expert B activeren (die erg goed is in het volgen van een langzame achteruitgang).
- Het negeert Expert C (die alleen weet hoe hij hersenscans moet lezen, wat we nu niet hebben).
Het Voordeel: Dit maakt het systeem efficiënt en zeer nauwkeurig. Het verspilt geen energie aan experts die niet nodig zijn, en het zorgt ervoor dat de juiste specialist de specifieke mix van gegevens behandelt die de patiënt heeft.

Wat Hebben Ze Gevonden? (De Resultaten)

De onderzoekers hebben dit systeem getest op drie enorme, real-world medische datasets (ADNI, OASIS-3 en MIMIC-IV).

De "Ontbrekende Stukjes" Test: Wanneer zij gegevens verwijderden (om patiënten te simuleren die niet alle tests ondergingen), presteerden oudere modellen slecht of stortten ze in. LONGMOE bleef sterk. Het was als een chef die nog steeds een heerlijke maaltijd kan maken, zelfs als de voorraadkast halfleeg is, omdat hij weet hoe hij ingrediënten kan vervangen op basis van de geschiedenis van het recept.
De "Volledige Gegevens" Test: Zelfs toen alle gegevens beschikbaar waren, presteerde LONGMOE even goed als of beter dan de beste bestaande modellen.
De "Verhaal" Test: Het systeem bewees dat het kennen van de geschiedenis van de patiënt (de trajectorie) cruciaal was. Wanneer ze het "verhalenvertellende" deel van de AI verwijderden, daalde de prestatie aanzienlijk, wat bewees dat het kijken naar het verleden net zo belangrijk is als het kijken naar het heden.

Samenvatting

LONGMOE is een nieuwe manier voor computers om te leren van patiëntgegevens die rommelig, incompleet en verspreid over de tijd zijn. Het fungeert als een slim medisch team dat:

Ontbrekende informatie invult met wat het weet uit het verleden.
De timing en de snelheid van de ziekte begrijpt.
Dynamisch de juiste specialist kiest om de specifieke mix van beschikbare gegevens voor die patiënt te analyseren.

Het resultaat is een systeem dat veel robuuster en betrouwbaarder is voor real-world klinische settings, waar perfecte gegevens zeldzaam zijn en de geschiedenis van een patiënt complex is.

Technische Samenvatting: LONGMOE

Probleemstelling

Multimodale klinische leerprocessen worden geconfronteerd met twee fundamentele, elkaar kruisende uitdagingen die bestaande methoden niet gezamenlijk aanpakken:

Modale Ontbrekenheid (Modality Missingness): In real-world klinische cohorten zijn willekeurige subsets van modaliteiten (bijv. beeldvorming, tekst, genetische data) vaak niet beschikbaar tijdens een specifiek patiëntbezoek vanwege heterogene acquisitieprotocollen en beperkte middelen.
Longitudinale Dynamiek: De diagnostische significantie van een observatie is onscheidbaar van het evoluerende ziekteverloop van de patiënt. De waarde van een biomarker hangt af van de positie langs het individuele traject van achteruitgang, in plaats van de absolute waarde op een enkel statisch moment.

Bestaande benaderingen behandelen deze uitdagingen geïsoleerd. Frameworks voor ontbrekende modaliteiten (bijv. Flex-MoE, FuseMoE) behandelen elk bezoek doorgaans als een onafhankelijke statische snapshot, waardoor de temporele context verloren gaat. Omgekeerd gaan longitudinale modellen (bijv. GRU-gebaseerde benaderingen) vaak uit van volledige beschikbaarheid van modaliteiten bij elk bezoek en presteren zij slecht onder systematische ontbrekenheid. Geen enkel bestaand model handelt effectief het gezamenlijke probleem van onregelmatige bezoekintervallen, willekeurige combinaties van modaliteiten en populatieheterogeniteit aan.

Methodologie: LONGMOE Architectuur

De auteurs stellen LONGMOE (Longitudinal Mixture-of-Experts) voor, een verenigd framework dat is ontworpen om zowel modale ontbrekenheid als longitudinale dynamiek gezamenlijk aan te pakken. De architectuur verwerkt het longitudinale bezoeksequentie van een patiënt via vier opeenvolgende modules:

1. Modale-specifieke Embeddings

Elke modaliteit $m_l$ wordt verwerkt door een specifieke encoder $\phi_l$ die is afgestemd op de structurele eigenschappen:

MRI: Een 3D convolutionele encoder gevolgd door een MLP-projectie.
Klinische scores, biomarkers en genetica: Modaliteit-specifieke MLPs.
Temporele Embedding: Bezoek-timestamps worden gecodeerd als geleerde embeddings die absolute tijd en intervallen tussen bezoeken vastleggen.
Niet-geobserveerde modaliteiten worden aanvankelijk ingesteld op nul-vectoren.

2. Modale Imputatie en Tokenisatie

Deze module handelt ontbrekende data af en creëert een verenigde bezoek-token:

Context-bewuste Imputatie:
- Carry-Forward: Als een modaliteit in een vorig bezoek is waargenomen, wordt de meest recente embedding gerepliceerd (gemotiveerd door sterke korte-termijn autocorrelatie van biomarkers).
- Contextuele Imputatie: Als er geen eerdere observatie bestaat, genereert een geleerd netwerk een embedding gebaseerd op de beschikbare modaliteiten van het huidige bezoek, waarbij zero-masking wordt gebruikt om contaminatie door ontbrekende signalen te voorkomen.
Attentionele Tokenisatie:
- Modale Fusie: Multi-head self-attention wordt toegepast op de geïmputeerde modaliteits-embeddings om onderlinge afhankelijkheden tussen modaliteiten te leren.
- Viscode Encoding: Een continue-tijd multi-frequentie sinusoïdale positionele codering brengt bezoek-timestamps in kaart naar een vast-dimensionale vector. Deze codering is bewijsbaar injectief voor niet-uniform gesamplede sequenties, waardoor zowel langzame longitudinale trends als snelle veranderingssnelheden worden vastgelegd zonder uit te gaan van uniforme bezoekintervallen.
- Fusie: De modaliteits-embedding en de viscode-encoding worden gefuseerd via elementgewijze optelling om de bezoek-token $z_t$ te produceren.

3. Traject-bewuste Longitudinale Modellering

Een stapel Transformer encoder-blokken verwerkt de sequentie van bezoek-tokens $\{z_t\}$ .

Causale Maskering: Een causale attention-mask zorgt ervoor dat de representatie bij bezoek $t$ alleen afhankelijk is van de historie $\{v_1, \dots, v_t\}$ , wat lekkage van toekomstige informatie voorkomt.
Output: Dit produceert een gecontextualiseerde embedding $h_t$ die het volledige ziekteprogressie-traject van de patiënt integreert, wat dient als een rijke input voor de routing-module.

4. Context-bewuste Sparse MoE Routing

De laatste laag maakt gebruik van een Sparse Mixture-of-Experts (SMoE) architectuur om patiënt-specifieke heterogeniteit en modale patronen te behandelen:

Expert Architectuur: De laag bevat $K=8$ $K = 8$ experts verdeeld in:
- Individuele Experts: Gespecialiseerde sub-netwerken voor onderscheidende patiënt-subpopulaties.
- Gedeelde Experts: Toegankelijk voor alle inputs om populatiebrede gemeenschappelijke patronen te vangen en over-specialisatie te voorkomen.
Routing: Een router-netwerk brengt de traject-embedding $h_t$ in kaart naar een score-vector. Hard top-1 routing selecteert de meest relevante expert (plus de altijd geactiveerde gedeelde experts).
Aggregatie: Finale voorspellingen worden verkregen via attentionele aggregatie van expert-outputs over alle bezoeken, gewogen door de betrouwbaarheid van de router.
Regularisatie: Een load-balancing loss voorkomt router-instorting (collapse), wat zorgt voor een uniforme benutting van de experts.

Belangrijkste Bijdragen

Verenigd Framework: LONGMOE is het eerste model dat modale ontbrekenheid en longitudinale temporele dynamiek gezamenlijk aanpakt in multimodale klinische leerprocessen.
Nieuwe Architecturale Componenten:
- Een context-bewuste imputatie module die zowel historische data als de huidige context benut.
- Een attentionele tokenisatie module die cross-modale attention combineert met een bewijsbaar injectieve, multi-frequentie temporele codering voor onregelmatige sequenties.
- Een traject-bewuste encoder die ziekteprogressie modelleert.
- Een context-geconditioneerde SMoE routinglaag die dynamisch experts selecteert op basis van de geobserveerde modale combinatie en het patiënttraject.
Robuustheid: Het framework vertoont robuustheid onder ontbrekende of zwakke gelijktijdige modaliteiten en blijft competitief in situaties met volledige modaliteit.

Experimentele Resultaten

De auteurs evalueerden LONGMOE op drie datasets: ADNI (Alzheimer's Disease Neuroimaging Initiative), OASIS-3, en MIMIC-IV.

Prestaties: LONGMOE behaalde de beste AUC-ROC over alle modale combinaties op ADNI en MIMIC-IV. Op OASIS-3 leidde het in vier van de zeven combinaties, met name in settings waar beeldvorming en genetica dominant waren, waar andere baselines instortten.
Robuustheid bij ontbrekende modaliteiten:
- Op ADNI behield LONGMOE een hoge prestatie (AUC $\approx$ 0.94–0.97), zelfs wanneer slechts één modaliteit aanwezig was, terwijl baselines zoals TF instortten naar een kansniveau (0.50) en anderen significant verslechterden.
- De traject-bewuste encoder verving effectief ontbrekende gelijktijdige modale informatie met longitudinale context, wat resulteerde in bijna vlakke degradatiecurves naarmate modaliteiten werden verwijderd.
Ablatie-studies: Het verwijderen van de Longitudinale Encoder (LE) of de Viscode Encoding (VE) resulteerde in de grootste prestatiedalingen, wat hun cruciale rol bevestigt. De Gedeelde Experts en de Load Balancing mechanismen bleken ook essentieel, vooral in settings met ernstige ontbrekenheid of kleinere cohorten.
Complexiteit: LONGMOE heeft hogere parameteraantallen en een hogere forward-pass latentie vergeleken met statische baselines (bijv. 4.4M parameters versus 183K voor Flex-MoE) vanwege de traject-bewuste Transformer. De auteurs merken echter op dat dit praktisch is voor offline batch-inferentie, hoewel het real-time gebruik aan het bed bemoeilijkt.

Betekenis en Claims

Het artikel claimt dat LONGMOE een sterke basis legt voor longitudinaal-bewust multimodale klinisch leren. De primaire betekenis ligt in het overbruggen van de kloof tussen het afhandelen van ontbrekende data en het modelleren van ziekteprogressie. Door het traject van de patiënt te behandelen als een continue, onregelmatige curve in plaats van een reeks onafhankelijke snapshots, kan het model onderscheidende signalen extraheren, zelfs wanneer huidige bezoeken kritieke modaliteiten missen.

De auteurs stellen expliciet dat hoewel het model zeer effectief is voor offline batch-inferentie en het afhandelen van complexe, incomplete klinische dossiers, de verhoogde computationele kosten van de traject-bewuste encoder de toepasbaarheid voor real-time ondersteuning aan het bed beperken. Daarnaast kan het model geen longitudinale context benutten voor patiënten bij hun eerste contact zonder eerdere bezoekgeschiedenis, aangezien de encoder ten minste één eerdere observatie vereist om betekenisvolle embeddings te generen.