Neuro-Symbolic Decoding of Neural Activity

Dit paper introduceert NEURONA, een neuro-symbolisch raamwerk dat structurele priors integreert om de nauwkeurigheid en generalisatie van fMRI-decodering van visuele concepten aanzienlijk te verbeteren.

De kern

Titel: NEURONA: De "Vertaler" die Je Brein Leest alsof het een Zin is

Stel je voor dat je brein een enorme, complexe bibliotheek is. Wanneer je naar een foto kijkt van een man die een honkbalknuppel vasthoudt, worden er in die bibliotheek duizenden lampjes tegelijk aangezet. Tot nu toe konden wetenschappers alleen maar zeggen: "Ah, er brandt veel licht in de bibliotheek, dus iemand kijkt naar iets." Maar ze konden niet precies zeggen wat er gebeurde: wie deed wat, en met welk object?

Dit nieuwe onderzoek, genaamd NEURONA, introduceert een slimme manier om die lampjes niet alleen te zien, maar ze ook te vertalen in een duidelijke zin. Het is alsof we een vertaler hebben gevonden die niet alleen woorden kent, maar ook de grammatica van je gedachten begrijpt.

Hier is hoe het werkt, uitgelegd met een paar creatieve vergelijkingen:

1. Het Probleem: De "Alles-in-één" Foto

Vroeger probeerden computers om je breinactiviteit te lezen alsof het één grote, wazige foto was. Ze zagen de "man" en de "knuppel", maar ze hadden moeite om te begrijpen dat de man de knuppel vasthoudt.

• De analogie: Het is alsof je een foto van een drukke markt ziet en probeert te raden wie met wie praat, alleen door naar de totale hoeveelheid geluid te luisteren zonder te weten wie waar staat. Je hoort dat er gepraat wordt, maar je begrijpt niet wie met wie.

2. De Oplossing: NEURONA als een Legpuzzel

NEURONA (een acroniem voor een neuro-symbolisch raamwerk) doet iets anders. Het behandelt je gedachten niet als één grote brij, maar als een legpuzzel of een zinnetje dat uit losse onderdelen bestaat.

Het maakt gebruik van twee krachten:

• De Symbolische Deel (De Grammatica): Dit is de "regels" van de taal. Het weet dat een zin vaak bestaat uit een onderwerp (de man), een werkwoord (vasthouden) en een lijdend voorwerp (de knuppel).
• De Neuronale Deel (De Lampjes): Dit is het echte brein. Het kijkt naar welke delen van je brein oplichten.

Hoe het werkt in de praktijk:
Stel je voor dat je brein een orkest is.

• Een oude methode luisterde naar het hele orkest en probeerde te raden welk liedje er gespeeld werd.
• NEURONA luistert naar de individuele instrumenten. Het weet: "Oké, de viool (een deel van je brein) speelt het 'man'-thema, en de trompet (een ander deel) speelt het 'knuppel'-thema."
• Dan kijkt NEURONA naar de grammatica: "Als de viool en de trompet samen spelen, en er is een 'vasthouden'-ritme, dan betekent dit: 'De man houdt de knuppel vast'."

3. De Grote Doorbraak: Het Gebruik van "Structuur"

Het slimme aan NEURONA is dat het niet alleen kijkt naar losse stukjes, maar naar hoe die stukjes met elkaar verbonden zijn.

• Vergelijking: Stel je voor dat je probeert te raden wat iemand aan het koken is.
  • Een simpele methode zegt: "Ik ruik tomaten en ik ruik basilicum, dus het is pasta."
  • NEURONA zegt: "Ik zie dat de tomaten (onderwerp) en de basilicum (voorwerp) samen in de pan (werkwoord) zitten. En omdat de kok (jij) ze samen roert, weten we zeker dat het een saus is, niet alleen losse ingrediënten."

Dit helpt het model om vragen te beantwoorden die het nog nooit eerder heeft gezien. Als het ooit heeft geleerd dat "een vrouw een boek leest", kan het nu begrijpen dat "een man een fiets rijdt", omdat het de structuur van de zin begrijpt, niet alleen de woorden.

4. Wat hebben ze ontdekt?

De onderzoekers hebben getoond dat NEURONA veel beter is dan eerdere methoden, vooral bij het beantwoorden van specifieke vragen over wat er gebeurt in een beeld.

• Het kan zelfs vragen beantwoorden over nieuwe combinaties (bijvoorbeeld: "Zit de vrouw op de bank?" als ze dat nooit eerder heeft gezien, maar wel "Zit de man op de stoel?").
• Het heeft ontdekt dat bepaalde delen van je brein niet alleen werken voor "objecten" (zoals een bal), maar dat ze samenwerken met andere delen om de actie (het gooien) te begrijpen. Het is alsof de "bal-deel" van je brein een handje helpt van de "gooi-deel" om de betekenis te vormen.

Waarom is dit belangrijk?

Vroeger was het lezen van je brein als het raden van een raadsel met te weinig hints. Met NEURONA hebben we nu een vertaalboek dat de "taal van het denken" (de structuur van je gedachten) kan koppelen aan de "elektriciteit van je brein".

Dit betekent dat we in de toekomst misschien beter kunnen begrijpen hoe mensen complexe ideeën vormen, of zelfs hoe we beter kunnen communiceren met mensen die niet kunnen spreken. Het is een enorme stap van "we zien dat je denkt" naar "we begrijpen precies waar je aan denkt".

Kortom: NEURONA is de sleutel die de deur opent naar het begrijpen van de complexe, grammaticale structuur van onze gedachten, door te kijken naar hoe de lampjes in ons hoofd samen dansen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Neuro-Symbolic Decoding of Neural Activity" (NEURONA), gepresenteerd als conferentiepaper bij ICLR 2026, in het Nederlands.

Probleemstelling

Traditionele methoden voor het decoderen van functionele MRI (fMRI) data focussen vaak op twee uitersten:

1. Isolatie van concepten: Het decoderen van afzonderlijke objecten of woorden (bijv. "een bal").
2. Holistische reconstructie: Het genereren van pixel-gebaseerde afbeeldingen of video's uit hersenactiviteit.

Een centrale vraag blijft echter onbeantwoord: hoe kunnen we hoog-niveau relationele betekenis decoderen? Menselijke cognitie werkt vaak via gestructureerde representaties (de "Taal van het Denken" hypothese), waarbij concepten systematisch worden samengesteld via relaties (bijv. "een persoon houdt een honkbalknuppel"). Bestaande lineaire modellen kunnen deze interacties niet vangen, en grote end-to-end neurale decoders (vaak gebaseerd op taalsmodellen) coderen stimuli holistisch zonder expliciete modellering van modulaire concepten en hun onderlinge relaties. Dit leidt tot een onnauwkeurige uitlijning tussen neurale activiteit en complexe semantische queries.

Methodologie: NEURONA

De auteurs introduceren NEURONA (NEURO-symbolic framework for decoding in Neural Activity), een neuro-symbolisch raamwerk dat de compositiekracht van symbolische systemen combineert met de expressiviteit van neurale netwerken voor fMRI-decodering.

Kerncomponenten:

1. Symbolische Query Parsing: Elke vraag over een visuele stimulus (bijv. "Houdt de persoon een honkbalknuppel?") wordt omgezet in een symbolische expressie (bijv. exists(holding(person, baseball_bat))).
2. Neurale Entiteiten (Candidate Parcels): In plaats van vooraf gedefinieerde objecten (zoals in beeldverwerking), infereert NEURONA neurale entiteiten uit gefragmenteerde fMRI-signalen. De hersenen worden opgedeeld in functionele netwerken (parcellaties) zoals Yeo-17 of Schaefer-100. Deze netwerken vormen de kandidaat-entiteiten waarop concepten kunnen worden "geground" (gebaseerd).
3. Concept Grounding Modules:
   • Unaire concepten (onderwerpen/objekten zoals "persoon", "honkbalknuppel") worden gemodelleerd door lineaire projecties die scores toekennen aan individuele hersennetwerken.
   • Relationele concepten (predicaten zoals "houden") worden gemodelleerd over paren van netwerken.
4. Differentieerbare Executor: Een differentieerbare uitvoeringsmodule combineert de scores van de conceptmodules volgens de structuur van de symbolische expressie.
5. Structuur-geleide Grounding (Het Innovatieve Aspect):
   • Het model test hypothesen over hoe predicaten moeten worden gekoppeld aan hun argumenten (onderwerp en object).
   • In plaats van predicaten onafhankelijk te behandelen, worden de grounding-scores van een predicat (bijv. "houden") geconditioneerd op de grounding-scores van het onderwerp ("persoon") en het object ("honkbalknuppel").
   • Dit creëert een mechanisme waarbij de betekenis van een relatie wordt afgeleid uit de interactie tussen de specifieke hersengebieden die betrokken zijn bij de deelnemers van die relatie.

Datasets:
De auteurs hebben twee nieuwe datasets ontwikkeld door bestaande fMRI-data te koppelen aan gestructureerde vragen:

• BOLD5000-QA: Gebaseerd op statische afbeeldingen (natuurlijke scènes).
• CNeuroMod-QA: Gebaseerd op volledige video's (uit de serie Friends), wat dynamische, tijdsafhankelijke semantiek introduceert.

Belangrijkste Bijdragen

1. Nieuwe Datasets: Introductie van BOLD5000-QA en CNeuroMod-QA, die fMRI-antwoorden koppelen aan compositional queries (vragen over relaties tussen objecten) in plaats van alleen labels.
2. Neuro-symbolisch Framework: Het voorstellen van NEURONA, dat symbolische redenering en compositie integreert met fMRI-grounding, waardoor het mogelijk wordt om complexe relationele structuren te decoderen zonder directe supervisie op tussenstappen.
3. Validatie van Structurele Priors: Het aantonen dat het expliciet modelleren van predicate-argument afhankelijkheden (de relatie tussen wie wat doet) cruciaal is voor nauwkeurige en generaliseerbare decodering.

Resultaten

De prestaties van NEURONA werden geëvalueerd op zowel BOLD5000-QA als CNeuroMod-QA en vergeleken met state-of-the-art baselines (zoals UMBRAE, SDRecon, BrainCap en lineaire modellen).

• Aanmerkelijke Prestatieverbetering: NEURONA overtreft alle bestaande methoden aanzienlijk. Op BOLD5000-QA bereikte het een algehele nauwkeurigheid van 70,41% tegenover ~47% voor de beste baseline (een relatieve verbetering van 47%).
• Generalisatie naar Ongeziene Queries: Het meest opvallende resultaat is de superioriteit bij het generaliseren naar composities die niet in de trainingsdata voorkwamen (bijv. een relatie die wel bekend is, maar met een nieuw onderwerp-objekt paar). Bestaande methoden zakken vaak weg tot bij benadering willekeurige niveaus, terwijl NEURONA robuust blijft (~68% op BOLD5000).
• Ablatie Studies:
  • Multi-region vs. Single-region: Het toestaan van concepten om zich te gronden op meerdere gebieden helpt, maar alleen als er structuur is.
  • Geleide Grounding: Het conditioneren van predicaten op hun argumenten (Hypothese H5: "Full argument-guided") leverde de grootste winst op. Dit bevestigt dat relationele betekenis beter wordt voorspeld door de interactie tussen de gebieden van de argumenten, dan door het isoleren van een enkel gebied.
• Consistentie: Het model toont een hoge consistentie in welke hersengebieden worden gekozen voor specifieke concepten, wat aantoont dat de geleerde groundings reproduceerbaar zijn en niet willekeurig.

Significantie en Conclusie

De studie toont aan dat het integreren van compositionaliteit en structurele priors (zoals predicate-argument relaties) in neurale decodering een krachtige inductieve bias is.

• Cognitieve Implicatie: De resultaten ondersteunen het idee dat de hersenen kennis organiseren in gestructureerde, samengestelde vormen, en dat het expliciet modelleren van deze structuur essentieel is voor het begrijpen van neurale activiteit.
• Technische Impact: NEURONA biedt een nieuwe richting voor fMRI-decodering die verder gaat dan pixel-reconstructie. Het stelt onderzoekers in staat om te vragen naar de betekenis en relaties in de hersenen, met een nauwkeurigheid die end-to-end deep learning modellen niet kan bereiken.
• Toekomstperspectief: Hoewel het model momenteel werkt op geparcelliseerde data (functionele netwerken), suggereert de robuustheid over verschillende atlas-schalen dat het een veelbelovende basis is voor toekomstige werk op voxel-niveau en voor het bestuderen van hogere cognitieve functies.

Kortom, NEURONA bewijst dat neuro-symbolische benaderingen niet alleen theoretisch interessant zijn, maar ook praktisch superieure resultaten opleveren voor het decoderen van complexe, relationele semantiek uit menselijke hersenactiviteit.