Technische Samenvatting: Mind-Omni

1. Probleemstelling

Het huidige onderzoek op het gebied van Brain-Computer Interfaces (BCI's) en neurale modellering wordt gedomineerd door een paradigma van gespecialiseerde, enkel-taak modellen. Bestaande benaderingen richten zich doorgaans op geïsoleerde doelen, zoals beeldreconstructie (decodering) of stimulusvoorspelling (codering), waarbij vaak wordt vertrouwd op "expertmodellen" die zijn geoptimaliseerd voor één enkele richting. Deze specialisatie beperkt de veelzijdigheid van modellen, negeert de potentiële synergetische relaties tussen verschillende neurale taken en faalt in het bieden van een verenigd computationeel raamwerk voor het begrijpen van de intrinsieke mechanismen die visie, taal en neurale signalen besturen.

Bovendien staat het construeren van een verenigd model voor drie aanzienlijke uitdagingen:

1. Inputheterogeniteit: Inter-subject anatomische variabiliteit verhindert de directe integratie van hersensignalen, en bestaande uitlijningsmethoden schalen vaak slecht of offeren informatie-trouw op.
2. Modaal Dispariteit: Er bestaat een aanhoudende semantische kloof tussen continue hersensignalen (bijv. fMRI) en discrete visuele/tekstuele tokens, waardoor directe cross-modale fusie inefficiënt is.
3. Taakinterdependentie: De relaties tussen verschillende coderings- en decoderingstaken zijn slecht begrepen. Hoewel gespecialiseerde modellen taakonafhankelijkheid veronderstellen, wordt gehypothetiseerd dat gedeelde neurale representaties positieve transfer mogelijk kunnen maken, maar dit vereist een verenigde architectuur om dit te testen.

2. Methodologie: Mind-Omni

Om deze uitdagingen aan te pakken, stellen de auteurs Mind-Omni voor, het eerste veelzijdige raamwerk dat zeven verschillende coderings- en decoderingstaken (betreffende hersen-, beeld- en tekstmodaliteiten) verenigt via een discrete diffusieparadigma. Het raamwerk bestaat uit twee hoofdcomponenten:

A. Gestandaardiseerde Neurale Representatie

Om inter-subject variabiliteit het hoofd te bieden, registreert het raamwerk alle functionele data naar de MNI152-standaardruimte. Dit vestigt een consistente structuur-ruimte dimensionaliteit over proefpersonen heen, biedt een schaalbare basis en vermindert de noodzaak van proefpersoonspecifieke modules.

B. Brain Tokenizer

Een nieuwe Brain Tokenizer transformeert heterogene, continue fMRI-signalen naar gestandaardiseerde, discrete tokens die zijn uitgelijnd met beeld- en tekstrepresentaties. Deze tokenizer maakt gebruik van een VQ-VAE-achtige backbone, verrijkt met drie specifieke uitlijningsstrategieën om de modale kloof te overbruggen:

• Grofkorrelige Uitlijning: Gebruikt een tri-modale contrastieve loss (InfoNCE) en feature-distillatie om globale fMRI-features uit te lijnen met CLIP-beeld- en tekstfeatures in een gedeelde semantische ruimte.
• Fijnkorrelige Uitlijning: Gebruikt een cross-attention decoder om gemaskeerde teksttokens te voorspellen op basis van fMRI-tokenreeksen, geoptimaliseerd voor token-niveau semantische consistentie.
• Perceptuele Uitlijning: Zorgt ervoor dat het gereconstrueerde fMRI-signaal semantisch betekenisvol is door te handhaven dat features die uit de reconstructie worden voorspeld, overeenkomen met de ground-truth CLIP-features van de stimulus.

C. Verenigd Discreet Diffusie Raamwerk

In plaats van afzonderlijke taakspecifieke modules samen te stellen, maakt Mind-Omni gebruik van discrete diffusiemodellering (geïnitieerd vanuit de Muddit-architectuur) om een enkel generatief proces te creëren.

• Architectuur: Het model breidt de bi-modale Muddit-backbone uit tot een tri-modale structuur (Beeld, Tekst, Hersen) door specifieke input/output-lagen en symmetrische Q, K, V projectielagen voor de hersen-branch toe te voegen.
• Trainingsdoel: Elke taak wordt gepresenteerd als een conditioneel gemaskeerd token-voorspellingsprobleem. Tijdens het trainen worden doelmodaliteiten gecorrumpeerd door tokens te vervangen door een [MASK]-token volgens een tijdsafhankelijke cosinus-schedule. Het model leert deze gemaskeerde tokens te herstellen op basis van schone conditionerende tokens.
• Taakvereniging: Door strategisch de sets van conditionerende modaliteiten ($C$) en doelmodaliteiten ($T$) te definiëren, verenigt de enkele doelfunctie zeven taken:
  1. $I \to B$ (Beeld naar Hersen)
  2. $T \to B$ (Tekst naar Hersen)
  3. $I\&T \to B$ (Gecombineerd Beeld-Tekst naar Hersen)
  4. $B \to I$ (Hersen naar Beeld)
  5. $B \to T$ (Hersen naar Tekst)
  6. $B \to I\&T$ (Gecombineerd Hersen naar Beeld-Tekst)
  7. Brain Question Answering (BQA): Een nieuwe instructie-tuning taak waarbij het model antwoorden genereert op basis van hersensignalen en vragen.

D. Data Curation

De auteurs hebben een gespecialiseerd Brain Question Answering (BQA) instructie-tuning dataset samengesteld. Door gebruik te maken van Qwen2-VL (7B) en LLaVA-Instruct-150K, synthetiseerden ze diverse trainingsstalen, waaronder gedetailleerde beschrijvingen, beknopte samenvattingen en redenerende V&A-paren om geavanceerde redeneercapaciteiten te ontsluiten.

3. Belangrijkste Bijdragen

1. Paradigmaverschuiving: Mind-Omni is het eerste raamwerk dat zeven verschillende neurale coderings- en decoderingstaken over hersen, beeld en tekst verenigt binnen één enkele discrete diffusie-architectuur, en zo voorbijgaat aan het dominante paradigma van gespecialiseerde modellen.
2. Nieuwe Cross-Modale Fusie: De introductie van de Brain Tokenizer overbrugt de kloof tussen neurale signalen en visueel-tekstuele data, waardoor directe interacties op token-niveau mogelijk worden in een gedeelde semantische ruimte.
3. Gedemonstreerde Multi-Taak Synergie: Het werk levert empirisch bewijs voor synergetische effecten in gezamenlijke neurale modellering, en toont aan dat verenigde training prestaties kan opleveren die concurrerend zijn met, en soms superieur aan, grotere gespecialiseerde modellen.

4. Experimentele Resultaten

Het model is getraind op fMRI-data van 8 proefpersonen (Natural Scenes Dataset) en geëvalueerd op proefpersonen 1, 2, 5 en 7.

• Holistische Prestaties: Mind-Omni vestigt een nieuwe state-of-the-art (SOTA) onder verenigde raamwerken. Hoewel het op specifieke laag-niveau metrieken zoals $B \to I$ reconstructie mogelijk iets achterblijft bij gespecialiseerde enkel-taak modellen (bijv. MindEye2), behoudt het concurrerende prestaties over het volledige spectrum van zeven taken, een vermogen dat geen enkel ander verenigd model bezit.
• Neurale Decodering:
  • Visuele Reconstructie: Het model behaalt concurrerende prestaties in zowel laag-niveau (pixelcorrelatie, SSIM) als hoog-niveau (AlexNet, CLIP) metrieken.
  • Taaldecodering: Op gedetailleerde beschrijvings- en redeneertaken demonstreert Mind-Omni dominante SOTA-prestaties vergeleken met gespecialiseerde modellen zoals UMBRAE en OneLLM. Opmerkelijk is dat Mind-Omni dit bereikt zonder te vertrouwen op externe, bevroren LLM's (in tegenstelling tot UMBRAE en OneLLM die Vicuna-13B of LLaMA2 gebruiken), wat wijst op een dieper begrip geworteld in hersensignalen.
• Neurale Codering: Het model presteert beter dan multi-task baselines (BraVL, MoPoE) over alle metrieken (PCC, MSE, RSA) in zowel voxel- als semantische ruimten.
• Synergetische Effecten:
  • Inter-modale Complementariteit: Gecombineerde codering ($I\&T \to B$) presteert consequent beter dan enkel-modaliteit codering, en vangt de natuurlijke integratie van visuele en semantische informatie door het brein.
  • Inter-taak Synergie: Gecombineerde decodering ($B \to I\&T$) verbetert zowel beeld- als bijschriftoutput in vergelijking met enkel-taak decodering, waarbij bijschriften worden verrijkt met visuele details en artefacten worden onderdrukt.
• Computationeel Testbed: Het raamwerk slaagt erin bekende categorie-selectieve hersengebieden te repliceren (bijv. EBA voor lichamen, FFA voor gezichten, PPA voor plaatsen) en onderzoekt nieuwe concept-selectieve gebieden, wat de bruikbaarheid voor neuro-wetenschappelijke exploratie valideert.

5. Betekenis en Claims

De auteurs claimen dat Mind-Omni een krachtig nieuw paradigma voor neurale modellering biedt. Door aan te tonen dat een verenigde, multi-taak aanpak prestaties kan bereiken die vergelijkbaar zijn met of beter zijn dan gespecialiseerde modellen, valideert het werk de effectiviteit van multi-taak synergie in neurale decodering.

Het artikel positioneert Mind-Omni niet alleen als een prestatie-benchmark, maar als een computationeel testbed voor het onthullen van intrinsieke relaties tussen visie, taal en neurale signalen. Het effent de weg voor foundation modellen van neurale activiteit, en suggereert dat een enkele architectuur de complexe, gedistribueerde aard van hersencognitie effectief kan modelleren. De auteurs benadrukken dat hun aanpak de verstorende biases van autoregressieve modellen (die sequentiële afhankelijkheden opleggen) vermijdt door gebruik te maken van de permutatie-invariante aard van discrete diffusie, waardoor een onbevooroordeeld onderzoek naar cross-taak synergieën mogelijk wordt.

De code is publiek beschikbaar, en de auteurs zijn van plan verwerkte fMRI-data en instructie-tuning datasets vrij te geven om verder onderzoek te faciliteren.