Technische Samenvatting: PRISM – Door het Brein Kijken via Gestructureerde Tekst

Probleemstelling

Het reconstrueren van visuele prikkels uit functionele magnetische resonantiebeeldvorming (fMRI)-signalen is een centrale uitdaging in de neurowetenschappen en het machine learning. Huidige benaderingen omvatten doorgaans twee fasen: het afbeelden van fMRI-signalen in een latente ruimte en vervolgens het gebruik van een vooraf getraind generatief model (vaak een diffusiemodel) om afbeeldingen te reconstrueren. Er blijven echter twee kritieke beperkingen bestaan:

1. Misalignering van de Latente Ruimte: Vorig werk gaat grotendeels ervan uit dat de latente ruimte moet overeenkomen met de modaliteit van de prikkel (d.w.z. het gebruik van visiegebaseerde representaties). Het blijft onduidelijk of visiegebaseerde ruimtes optimaal zijn of dat andere ruimtes, zoals tekst, beter kunnen aansluiten bij neurale activiteit.
2. Compositional Mismatch: Bestaande methoden vertrouwen vaak op geünificeerde verborgen representaties die objecten vermengen met hun attributen. Dit leidt tot fouten in "attribuutbinding" (bijvoorbeeld het genereren van een "grijze tijger" in plaats van een "grijze kat") en faalt in het vastleggen van de objectgerichte, compositieel aard van de menselijke visuele verwerking.

Methodologie: PRISM

De auteurs stellen PRISM (Projects fMRI sIgnals into a Structured text space as an interMediate representation) voor, een raamwerk dat deze beperkingen aanpakt via drie kerncomponenten:

1. Tekst als de Optimale Latente Ruimte

De auteurs onderzoeken eerst de alignering tussen fMRI-signalen en verschillende representatieruimtes: de tekstruimte van taalmodellen (LM), de gezamenlijke ruimte van visie-taalmodellen (VLM) en de uitsluitend visuele ruimte.

• Vinding: Met behulp van Centered Kernel Alignment (CKA), Canonical Correlation Analysis (CCA) en Generalization Gap-metrics toont de studie aan dat fMRI-signalen nauwer aansluiten bij de tekstruimte van taalmodellen dan bij visiegebaseerde of gezamenlijke tekst-afbeeldingsruimtes.
• Implicatie: Dit motiveert het gebruik van pure tekstembeddings als de intermediaire latente ruimte voor reconstructie, wat de aanname uitdaagt dat visiegebaseerde representaties essentieel zijn.

2. Module voor Attribuut/Relatie-Zoeken

Om de compositieel aard van visuele prikkels aan te pakken, maakt PRISM geen gebruik van generieke afbeeldingstexten. In plaats daarvan hanteert het een module om automatisch de specifieke attributen en relaties te ontdekken die het beste aansluiten bij neurale activiteit.

• Proces: De module vormt de selectie van trefwoorden als een prompt-optimalisatieprobleem. Het maakt gebruik van een $\epsilon$-greedy zoekstrategie met een Large Language Model (LLM) om iteratief kandidaat-trefwoorden te genereren en te evalueren (bijvoorbeeld "Ruimtelijke Indeling", "Relatieve Positie").
• Doel: De zoektocht maximaliseert de gelijkenis tussen afbeeldingen die zijn gegenereerd uit VLM-beschrijvingen (met behulp van het kandidaat-trefwoord) en de ground truth-afbeeldingen, onderworpen aan een beperking dat de CKA-gelijkenis tussen de fMRI-data en de resulterende tekstembeddings een drempelwaarde overschrijdt.
• Resultaat: De zoektocht convergeert naar ruimtelijk georiënteerde trefwoorden (bijvoorbeeld "Ruimtelijke Indeling"), die vervolgens worden gebruikt om gestructureerde, objectgerichte beschrijvingen te genereren voor training.

3. Objectgerichte Diffusie en Encoder-training

Het raamwerk bestaat uit een encoder en een gespecialiseerd generatief proces:

• Encoder-training: Een encoder beeldt fMRI-signalen af in de LM-tekstruimte. Het maakt gebruik van Multi-Layer Perceptrons (MLP's) om onafhankelijk features voor elk object te coderen, die vervolgens worden samengevoegd en doorgegeven aan een fijngefineerd taalmodel (T5) om gestructureerde beschrijvingen te voorspellen.
• Objectgerichte Generatie: Tijdens inferentie sturen de voorspelde gestructureerde beschrijvingen een vooraf getraind diffusiemodel. In tegenstelling tot standaard tekst-naar-afbeelding-generatie, past PRISM het diffusieproces aan om afbeeldingen te genereren door individuele objecten te componeren.
  • De beschrijving van elk object wordt ingebed in een conditioneringsmatrix.
  • Het model genereert latente representaties voor elk object onafhankelijk.
  • Deze representaties worden ruimtelijk herschaald en samengevoegd op basis van voorspelde locaties.
  • Een gewogen som mengt de object-latents met een globale context-latent om naadloze grenzen te waarborgen.

Belangrijkste Bijdragen

1. Nieuwe Empirische Vindingen: Het artikel is het eerste dat aantoont dat nauwkeurige visuele reconstructie kan worden bereikt zonder op afbeeldingen gebaseerde latente representaties, en laat zien dat de LM-tekstruimte een superieure alignering met fMRI-signalen biedt in vergelijking met visie- of VLM-ruimtes.
2. Gestructureerde Representatie: De auteurs tonen aan dat het aanpassen van zowel de tekstruimte als het generatieve model om de compositieel en relationele aard van visuele prikkels (objecten, attributen, relaties) vast te leggen, de reconstructiekwaliteit aanzienlijk verbetert.
3. PRISM-raamwerk: Een nieuwe architectuur die een module voor attribuut/relatie-zoeken voor automatische prompt-optimalisatie integreert en een objectgerichte diffusiemodule om attribuutbinding-fouten te mitigeren.

Experimentele Resultaten

Het raamwerk werd geëvalueerd op drie real-world fMRI-datasets: NSD, BOLD5000 en GOD.

• Prestatie: PRISM presteert beter dan state-of-the-art baselines (waaronder MindEye2, MindBridge en Takagi & Nishimoto) over alle metrics (PixCorr, SSIM, LPIPS, CLIP en Inception V3).
• Kernmetric: De methode bereikt tot een 6% reductie in perceptueel verlies (LPIPS) in vergelijking met bestaande methoden, wat wijst op een hogere perceptuele gelijkenis met de originele afbeeldingen.
• Semantische Consistentie: In een Vraag-Antwoord (QA) taak met gereconstrueerde afbeeldingen behaalde PRISM 60,54% nauwkeurigheid, wat significant beter is dan andere methoden, wat bevestigt dat de reconstructies semantisch betekenisvol zijn.
• Ablatiestudies: Het verwijderen van de objectgerichte diffusiemodule of de attribuut/relatie-zoekmodule leidde consequent tot een verslechtering van de prestaties, wat de noodzaak van beide componenten valideert.

Betekenis en Claims

Het artikel claimt dat de primaire betekenis ligt in het herdefiniëren van de intermediaire representatie voor breindecodering. Door vast te stellen dat tekstruimte meer in overeenstemming is met het brein dan visieruimte en door expliciet de compositieel structuur van visuele perceptie te modelleren, overbrugt PRISM de kloof tussen neurale activiteit en afbeeldingsgeneratie effectiever dan eerdere holistische benaderingen. De resultaten benadrukken dat gestructureerde tekst dient als een krachtige brug, waardoor generatieve modellen visuele prikkels kunnen reconstrueren met hogere fideliteit en minder semantische fouten.

De auteurs merken op dat hoewel de gevonden optimale trefwoorden (bijvoorbeeld "Ruimtelijke Indeling") overeenkomen met neurowetenschappelijke bevindingen met betrekking tot ruimtelijke geheugenregio's (zoals het Presubiculum), verdere validatie door de neurowetenschappelijke gemeenschap vereist is. Het werk wordt gepresenteerd als een stap naar een beter begrip van menselijke visuele representatie en het verbeteren van brein-computerinterfaces.