Technische Samenvatting: Dual-Stream EEG-decodering voor 3D Visuele Perceptie

Probleemstelling

Huidige neurale netwerken voor visuele perceptie, met name Convolutionele Neurale Netwerken (CNN's), hebben moeite met 3D ruimtelijke en geometrische begripsvorming. Hoewel ze overeenkomen met het biologische ventrale visuele pad ("wat"-systeem) voor objectherkenning, vertonen ze een bias naar textuur boven vorm en slagen ze er niet in om representatieve consistentie te behouden tussen verschillende gezichtspunten. Deze beperking strekt zich uit tot hersendecodering: bestaande modellen hebben vaak moeite met het differentiëren van gezichtspunten binnen objectklassen en het extraheren van oriëntatiekenmerken uit EEG-signalen. Bovendien behandelen standaard hersendecoderingsbenaderingen 3D-perceptie doorgaans als een enkelvoudig padprobleem, waarbij ze er niet in slagen de afzonderlijke maar interagerende geometrische structuren van de biologische ventrale ("wat") en dorsale ("waar/hoe") paden te benutten.

Methodologie

De auteurs stellen een bio-geïnspireerde dual-stream decoderingsarchitectuur voor die de biologische visie nabootst door aparte modules te implementeren voor objectidentiteit en ruimtelijke oriëntatie. De methodologie is gestructureerd rond drie complementaire taken:

1. Experimenteel Ontwerp en Dataset

• Deelnemers: 11 proefpersonen bekeken 78 verschillende 3D-objecten (over zes semantische categorieën) in een immersieve VR-omgeving (Meta Quest 2) om gebruik te maken van binoculaire dispariteit.
• Stimuli: Objecten ondergingen een continue 360°-rotatie over 8 seconden ($d\theta/dt = \pi/4$ rad/s).
• Gegevensverzameling: Neurale activiteit werd opgenomen via een 64-kanaals ANT Neuro EEG-systeem (512 Hz). Elke proefpersoon voltooide 468 trials (78 objecten $\times$ 6 herhalingen).

2. Modelarchitecturen

De studie benchmarkte drie architecturen (EEGNet, EEGConformer, CTNet) en ontwikkelde een specifieke dual-stream pipeline:

• Ventraal Pad (Objectidentiteit): Een classificatietaak met behulp van EEGNet om een van de zes semantische categorieën te voorspellen. Het best presterende model (EEGNet voor Subject 5) behaalde een nauwkeurigheid van tot 68%.
• Dorsaal Pad (Ruimtelijke Oriëntatie): Een circulaire regressietaken aangepast van EEGNet. In plaats van een standaard classificatiekop, geeft het een 2D-eenheidsvector $[\sin(\theta), \cos(\theta)]$ uit om periodieke randvoorwaarden op natuurlijke wijze af te handelen. De verliesfunctie berekent de gekwadrateerde koordlengte tussen de voorspelde en de doelvector.
• 3D-Reconstructie Pipeline: De auteurs ontwikkelden een EEG-geconditioneerd multiview diffusiemodel gebaseerd op MVDream.
  • Conditionering: Een bevroren EEGNet object-classifier genereert een 512-dimensionale embedding (geprojecteerd naar 1024 dimensies) die dient als de "objectidentiteit"-token.
  • Hoekinjectie: Een aparte hoekencoder voorspelt rotatiehoeken, die worden geïnjecteerd via een hoekbewuste timestep-embedding.
  • Generatie: Een diffusie U-Net gebruikt cross-attention waarbij multi-view latente variabelen fungeren als queries en de geprojecteerde EEG-embeddings fungeren als keys/values. Het model wordt gefinetuned met Low-Rank Adaptation (LoRA).

3. Interpreteerbaarheidsanalyse

Om de functionele specialisatie van de paden te onderzoeken, pasten de auteurs Gradient-weighted Class Activation Mapping (Grad-CAM) toe op de convolutionele lagen. Ze definieerden drie anatomisch gemotiveerde kanaalsubsets:

• Ventraal: Temporale en occipitale kanalen (T7, T8, O1, O2, etc.).
• Dorsaal: Pariëtale en centrale kanalen (Pz, Cz, P1, P2, etc.).
• Motorisch/Premotorisch: Centrale en frontale motorische regio's (C3, C4, FC3, FC4, etc.).

Belangrijkste Resultaten

Classificatie- en Regressieprestaties

• Objectclassificatie: EEGNet behaalde de hoogste gemiddelde nauwkeurigheid over de proefpersonen, waarbij Subject 5 een nauwkeurigheid van 68% bereikte (significant boven het niveau van 16,7% bij toeval).
• Hoekregressie: Alle modellen vertoonden robuuste prestaties met een Mean Absolute Error (MAE) van 10–11° met behulp van 1-seconde tijdsvensters.
• 3D-Reconstructie: Het EEG-geconditioneerde multiview diffusiemodel behaalde een SSIM van 0,856 ± 0,038 en een LPIPS van 0,275 ± 0,061 op de gehouden testset, wat wijst op goede generalisatie en geometrische coherentie over verschillende gezichtspunten.

Bevindingen van Interpreteerbaarheid

In tegenstelling tot de hypothese van een statische "alleen-ventrale" dominantie voor objectdecodering, onthield de Grad-CAM-analyse:

• Dynamische Integratie: Succesvolle decodering berust op een tijdsopgeloste integratie over ventrale, dorsale en motorische kanalen, in plaats van een statische binaire uitlezing.
• Motorische Betrokkenheid: Objectdecoders vertoonden significante motorische kanaalactivatie, en hoekdecoders profiteerden van een vroege motorische bias.
• Temporele Structuur: De dissociatie tussen object- en hoekmodellen suggereert een gedeeltelijke ontkoppeling van invariante en equivariante componenten. Objectdecoders werden gestraft voor het overmatig wegen van ventrale kanalen in een vroeg stadium en dorsale kanalen in een laat stadium, wat suggereert dat een robuuste 3D-representatie voortkomt uit een gebalanceerde, temporeel gestructureerde integratie over alle drie de subspaces.

Betekenis en Claims

Het artikel claimt drie primaire bijdragen aan de velden van neurale decodering en bio-geïnspireerde 3D-visie:

1. Nieuwe Architectuur: Het presenteert de eerste dual-stream architectuur voor 3D hersendecodering die expliciet onderscheid maakt tussen het gezichtspunt-tolerante objectherkenning ("wat") en het gezichtspunt-afhankelijke ruimtelijke transformatie ("waar/hoe"), en bereikt robuuste prestaties in zowel classificatie als hoekregressie.
2. Neurofysiologisch Inzicht: Het biedt interpreteerbaar bewijs dat 3D-perceptie in EEG-signalen een dynamische interactie omvat tussen dorsale, ventrale en motorische paden. De bevindingen dagen het concept van statische ventrale dominantie uit en suggereren dat geometrische representatie in de hersenen (en de decodering ervan) rust op een temporeel gestructureerde integratie over deze systemen.
3. Haalbaarheid van Neural-to-3D Generatie: Het werk vestigt de haalbaarheid van het genereren van 3D-objecten rechtstreeks vanuit niet-invasieve EEG-signalen met behulp van multiview diffusiemodellen die geconditioneerd zijn op neurale activiteit, waarbij zowel de semantische identiteit als de geometrische consistentie over verschillende gezichtspunten behouden blijft.

De auteurs concluderen dat hoewel hun aanpak succesvol 3D-vormperceptie decodeert, verder onderzoek vereist is om de voordelen van biologische versus puur geometrische inductieve biases te kwantificeren door hun resultaten te vergelijken met steerable CNN's en equivariante architecturen.