Massively Multimodal Foundation Models: A Framework for Capturing Interactions with Specialized Mixture-of-Experts

Dit paper introduceert een nieuw raamwerk voor massaal multimodale foundation modellen dat de Mixture-of-Experts-architectuur verbetert door de routering te sturen op basis van expliciet gemodelleerde tijdsafhankelijke interacties tussen verschillende sensoren, wat leidt tot betere prestaties en interpreteerbare resultaten in domeinen zoals gezondheidszorg en affectieve computing.

De kern

🌟 De Grote Uitdaging: Een Orkest van 100 Instrumenten

Stel je voor dat je een orkest hebt, maar in plaats van 20 muzikanten, heb je er 100. Sommigen spelen de viool, anderen de trompet, weer anderen zingen, en sommigen slaan op een drum die je niet eens kunt zien.

In de echte wereld (zoals in een ziekenhuis of bij het sporten) gebeurt dit constant. Een patiënt heeft een hartslagmeter, een bloeddrukmeter, een ECG, bloedtesten, en artsennotities. Een sporter heeft sensoren op zijn pols, borst, enkels en hartslag. Elk van deze bronnen is een modale (een "wijze" van meten).

Het probleem? Deze instrumenten spelen niet tegelijkertijd op hetzelfde ritme.

• Soms reageert je hartslag pas 2 minuten later op een stressvolle situatie.
• Soms geven de bloeddruk en de hartslag exact hetzelfde signaal (redundantie).
• Soms is het alleen als je de hartslag en de ademhaling samen bekijkt dat je ziet dat er iets mis is (synergie).

Bestaande computersystemen (AI-modellen) zijn vaak slecht in het horen van deze tijdsverschillen. Ze kijken alleen naar wat er nu gebeurt, en missen zo de belangrijke verbanden die later ontstaan.

🚀 De Oplossing: MERGE (De Slimme Dirigent)

De auteurs van dit paper hebben een nieuw systeem bedacht dat MERGE heet. Het is een soort "Super-Directeur" voor een enorm orkest van data.

Het geheim van MERGE zit in twee dingen:

1. Het begrijpen van de tijd: Het kijkt niet alleen naar nu, maar vraagt zich af: "Wat gebeurde er 5 minuten geleden, en hoe beïnvloedt dat wat er nu gebeurt?"
2. De Slimme Verdeling (MoE): In plaats van dat één grote computer alles probeert te doen, werkt MERGE met een team van specialisten (experts).

Hoe werkt de "Slimme Verdeling"?

Stel je een groot kantoor voor met veel verschillende afdelingen (experts).

• Expert A is goed in het analyseren van herhalingen. Als twee sensoren precies hetzelfde zeggen (redundantie), stuurt MERGE die data naar Expert A.
• Expert B is een unieke denker. Als een sensor iets zegt dat niemand anders zegt, gaat die naar Expert B.
• Expert C is een samenwerker. Als twee sensoren samen iets nieuws onthullen dat ze apart niet konden (synergie), gaan ze samen naar Expert C.

De oude manier: De computer gooide de data willekeurig naar een expert, gebaseerd op hoe "op elkaar lijkend" de data was op dat ene moment.
De MERGE-methode: De computer kijkt eerst naar de geschiedenis. "Ah, deze hartslag en deze bloeddruk hebben een vertraging van 10 minuten tussen hen in. Ze werken samen! Laten we ze naar de samenwerkings-expert sturen."

🔍 De Drie Krachten: R, U en S

Om te weten welke expert nodig is, meet MERGE drie soorten interacties tussen de sensoren:

1. R (Redundantie - Herhaling):
   • Vergelijking: Twee mensen die hetzelfde verhaal vertellen.
   • Actie: MERGE stuurt ze naar dezelfde expert om tijd te besparen.
2. U (Uniekheid - Uniek):
   • Vergelijking: Iemand die een geheim deelt dat niemand anders kent.
   • Actie: MERGE stuurt dit naar een specialist die goed is in het vinden van unieke patronen.
3. S (Synergie - Samenwerking):
   • Vergelijking: Twee mensen die samen een raadsel oplossen dat ze apart niet konden oplossen.
   • Actie: MERGE stuurt ze naar een "samenwerkings-expert" die specifiek is getraind om deze complexe samenwerking te begrijpen.

🏥 Waarom is dit belangrijk? (Voorbeelden uit de echte wereld)

De auteurs hebben dit getest in drie gebieden:

• Zorg (Ziekenhuis):
  • Situatie: Een patiënt krijgt medicatie. De bloeddruk daalt niet direct, maar pas uren later.
  • MERGE: Ziet deze vertraging en koppelt de medicatie aan de latere bloeddrukdaling. Hierdoor kan de AI eerder waarschuwen voor gevaarlijke situaties (zoals sepsis) dan oude systemen.
• Sport (Activiteit):
  • Situatie: Iemand loopt. De beweging van de arm en de romp zijn sterk gekoppeld.
  • MERGE: Ziet dat deze bewegingen "redundant" zijn (ze zeggen hetzelfde) en behandelt ze efficiënt.
• Emoties (Stress):
  • Situatie: Iemand wordt nerveus. Het hartslagverandering duurt even voordat de huidtemperatuur verandert.
  • MERGE: Vangt deze vertraging op en herkent de stress sneller en nauwkeuriger.

🏆 Het Resultaat

In tests deed MERGE het beter dan alle andere systemen.

• Het was sneller in het maken van juiste voorspellingen.
• Het was uitlegbaar: Omdat we weten waarom de computer bepaalde data naar een bepaalde expert stuurde (bijv. "omdat er een vertraging was"), kunnen artsen en wetenschappers het vertrouwen.

🎯 Conclusie in één zin

MERGE is als een super-slimme dirigent die niet alleen luistert naar wat het orkest nu speelt, maar ook weet hoe de muziek van gisteren en over een minuut samenhangt, zodat hij precies weet welk muzikant (expert) op welk moment het beste kan spelen. Hierdoor wordt de muziek (de diagnose of voorspelling) veel mooier en nauwkeuriger.

Technische samenvatting

1. Het Probleem

Moderne toepassingen, zoals gezondheidszorg (vitaliteitssensoren, ECG, labresultaten, medische notities), dragen steeds vaker massaal multimodale data voort. Dit betekent dat er tientallen tot honderden heterogene invoerstromen zijn, elk met eigen meetmodellen, bemonsteringsfrequenties en ruis.

De uitdaging ligt in het modelleren van complexe, tijdsvariërende interacties tussen deze modaliteiten. Bestaande Mixture-of-Experts (MoE) modellen zijn goed in het schalen naar veel modaliteiten, maar hun routeringsmechanismen zijn vaak gebaseerd op statische gelijkenis tussen tokens en experts. Ze negeren echter de rijke temporele afhankelijkheden:

• Vertragingen: Een gebeurtenis in de ene sensor (bijv. een medicijn toedienen) heeft pas na een bepaalde tijd een meetbaar effect in een andere sensor (bijv. verandering in bloeddruk).
• Suboptimale specialisatie: Omdat deze vertragingen en dynamische interacties (redundantie, uniciteit, synergie) niet worden meegenomen, leren experts geen specifieke vaardigheden voor het verwerken van deze interacties, wat leidt tot lagere nauwkeurigheid.

2. Methodologie: MERGE Framework

De auteurs stellen MERGE (Massively-multimodal Expert Routing for Generalized Exchange) voor. Dit is een raamwerk dat expliciet temporele multimodale interacties kwantificeert en deze gebruikt om de routering in een MoE-architectuur te sturen.

A. Kwantificering van Temporele Interacties (RUS)

Het kernidee is het gebruik van Directed Information om de klassieke Partial Information Decomposition (PID) uit te breiden naar tijdsreeksen. De interacties worden opgesplitst in drie componenten voor verschillende tijdsvertragingen ($\tau$):

1. Redundantie (R): Deel van de informatie die door meerdere modaliteiten wordt gedeeld (overlappende signalen).
2. Uniciteit (U): Deel van de informatie dat uniek is voor een specifieke modaliteit.
3. Synergie (S): Nieuwe informatie die alleen ontstaat wanneer modaliteiten samen worden geanalyseerd.

Om dit efficiënt te berekenen voor hoge dimensies en meerdere tijdsvertragingen, gebruiken ze een Multi-scale BATCH-estimator. Dit is een neural network-gebaseerde benadering die de verdelingen schat en de Sinkhorn-Knopp-algoritme gebruikt om de optimale gezamenlijke verdeling te vinden die de randvoorwaarden respecteert, zonder de rekenkosten van een stap-voor-stap benadering.

B. RUS-bewuste Routering (RUS-Aware Router)

De router in het MoE-netwerk is niet langer alleen gebaseerd op token-embeddings, maar integreert de berekende temporele RUS-waarden:

• Routeringsstrategie:
  • Hoge Redundantie: Tokens van de betrokken modaliteiten worden naar dezelfde expert gestuurd (Early Fusion).
  • Hoge Uniciteit: Tokens worden naar verschillende experts gestuurd om unieke kenmerken te behouden (Late Fusion).
  • Hoge Synergie: Tokens worden naar gespecialiseerde Synergie-experts gestuurd die kruismodale interacties expliciet modelleren (vaak met Cross-Attention).
• Architectuur: De router gebruikt een GRU-module om de temporele dynamiek van uniciteit te vangen en een Attention-mechanisme om de context van redundantie en synergie te wegen. De uiteindelijke routeringsbeslissing is een combinatie van token-features en RUS-context.

C. Trainingsdoel en Auxiliary Loss

Om te garanderen dat de router zich aan de RUS-principes houdt, wordt een hulpverlies (auxiliary loss) toegevoegd aan de hoofdtaken:

• Redundantie-verlies: Minimaliseert de Jensen-Shannon-divergentie tussen de routeringsverdelingen van modaliteiten met hoge redundantie (moet naar dezelfde expert).
• Uniciteits-verlies: Maximaliseert de divergentie voor modaliteiten met hoge uniciteit (moet naar verschillende experts).
• Synergie-verlies: Moedigt routering naar synergie-experts aan wanneer de synergie hoog is.

3. Belangrijkste Bijdragen

1. Conceptueel Nieuw: De eerste toepassing van temporele Partial Information Decomposition (RUS) om MoE-routering te sturen, in plaats van alleen statische gelijkenis.
2. Efficiënte Schaalbaarheid: Ontwikkeling van een Multi-scale BATCH-estimator die temporele RUS-waarden efficiënt kan berekenen voor hoge-dimensionale data en meerdere tijdsvertragingen tegelijk.
3. Interpreteerbaarheid: Het routeringspatroon is nu direct afleidbaar uit de onderliggende informatie-theoretische relaties (R, U, S), wat "black-box" beslissingen transparanter maakt.
4. Framework MERGE: Een compleet framework dat de berekening van interacties en het trainen van het MoE-model koppelt, maar deze decoupeert zodat de RUS-schattingen task-agnostisch blijven.

4. Resultaten

Het model werd getest op diverse benchmarks in gezondheidszorg, activiteitsherkenning en affectieve computatie:

• Datasets: MIMIC-IV (ICU-patiënten), PAMAP2 (fysieke activiteit), WESAD (stress/affect), Opportunity (dagelijkse activiteiten), en CMU-MOSI (sentiment).
• Prestatie: MERGE behaalde state-of-the-art resultaten op bijna alle metrieken (Accuracy, F1-score, AUROC) en overtrof bestaande modellen zoals Transformers, mTAND, MulT, MISTS, FuseMoE en I2MoE.
  • Voorbeeld: Op MIMIC-IV (ICU mortaliteit) verbeterde MERGE de AUROC met significante marges ten opzichte van de beste concurrenten.
• Kwalitatieve inzichten: De temporele RUS-waarden leverden biologisch/medisch zinvolle inzichten op. Bijvoorbeeld:
  • Een sterke synergie tussen insuline en furosemide direct na toediening, gevolgd door een toename in uniciteit van insuline na verloop van tijd.
  • Redundantie tussen borst- en handbewegingen tijdens lopen, wat consistent blijft over de tijd.
• Ablatie-studies:
  • Het verwijderen van enige van de drie hulpverliezen (R, U, of S) leidde tot prestatieverlies, wat aantoont dat alle interactietypes essentieel zijn.
  • De multi-scale BATCH-estimator bleek $\tau$-maal sneller dan stap-voor-stap berekening zonder significante nauwkeurigheidsverlies.

5. Betekenis en Toekomstperspectief

Dit paper is significant omdat het een brug slaat tussen informatietheorie en diepe leerarchitecturen voor massaal multimodale data.

• Interpretatie: Het biedt een manier om te begrijpen waarom een model bepaalde beslissingen neemt op basis van de onderliggende data-interacties, wat cruciaal is voor domeinen zoals de gezondheidszorg.
• Schalbaarheid: Het bewijst dat MoE-architecturen effectief kunnen worden geschaald naar honderden modaliteiten door slimme, interactie-gestuurde routering in plaats van brute kracht.
• Toekomst: De auteurs suggereren dat dit principe van temporele interactie-gestuurde routering kan worden toegepast op Large Language Models (LLM-MoE) en Vision-Language Models (VLM), waarbij het helpt bij het selecteren van de juiste experts voor complexe, tijd-afhankelijke taken.

Kortom, MERGE transformeert MoE van een statisch schaalingsmechanisme naar een proactief, contextbewust systeem dat de dynamische aard van real-world multimodale data begrijpt en benut.