Learning Robust and Task-Invariant Functional Representation from fMRI through Siamese Self-Supervised Learning

Technische Samenvatting: Het Leren van Robuuste en Taak-Invariante Functionele Representaties uit fMRI via Siamese Zelftoezichtend Leren

Probleemstelling

Functionele magnetische resonantiebeeldvorming (fMRI) is een cruciaal hulpmiddel voor het onderzoeken van hersenfunctie, maar de toepassing ervan in machine learning wordt belemmerd door hoge kosten voor dataverwerving, kleine steekproefgroottes en de inherente ruis van psychiatrische beoordelingsschalen. Deze factoren, gecombineerd met de hoge dimensionaliteit van fMRI-gegevens, creëren een aanzienlijk risico op model-overfitting in settings voor toezichtend leren. Bovendien vertrouwen bestaande toezichtende kaders vaak op binaire classificatielabels die diverse ziektesubtypen samenvoegen, waardoor betekenisvolle verschillen worden verduisterd en de interpretabiliteit wordt verminderd. Hoewel grootschalige fundamentele modellen een mogelijke oplossing bieden, zijn hun rekenvereisten voor vooropleiding en fijnafstemming vaak onbetaalbaar. Daarnaast is het definiëren van generaliseerbare "negatieve" voorbeelden voor contrastief leren in fMRI uitdagend, omdat het behandelen van verschillende proefpersonen als negatieven gedeelde functionele patronen kan weggooien, terwijl het gebruik van taaklabels om negatieven te construeren kenmerken kan verstrengelen met specifieke taakruimten, wat de generalisatie over taken beperkt.

Methodologie: BrainSimSiam

De auteurs introduceren BrainSimSiam, een lichtgewicht, data-efficiënt zelftoezichtend representatieleringskader dat is ontworpen om robuuste en taak-invariante functionele representaties te leren uit taakgebaseerde fMRI. Het kader maakt gebruik van een Siamese architectuur met een stop-gradient-mechanisme, waardoor de noodzaak van paren met negatieve voorbeelden wordt geëlimineerd.

Belangrijkste Architecturale Componenten:

1. Dual-View Input: Het model verwerkt twee complementaire weergaven van de fMRI-gegevens voor elke instantie:
   • Functionele Hersengrafiekweergave: De fMRI-reeks wordt geparcelleerd in Gebieden van Interesse (ROIs) met behulp van standaardatlassen (Shen voor HCP, Desikan–Killiany voor Biopoint). Nodale kenmerken worden afgeleid van Pearson-correlatiematrices, terwijl randen de sterkste partiële correlatiecoëfficiënten vertegenwoordigen.
   • Ruimtelijke Activeringsbeeldweergave: Een 3D-middelpuntsactiveringskaart wordt gegenereerd door voxel-voor-voxel tijdsmiddeling van de fMRI-tijdreeks, waarbij de absolute signaalintensiteit wordt behouden.
2. Encoder Architectuur: De encoder bestaat uit twee parallelle takken:
   • Een GAT-tak die Graph Attention Network (GAT)-lagen gebruikt met globale gemiddelde en maximale pooling.
   • Een CNN-tak die 3D-convolutielagen gebruikt.
   • Outputs van beide takken worden samengevoegd en via een projectie-MLP geleid om de uiteindelijke embedding te produceren.
3. Augmentatie en Maskering:
   • ROI-gealigneerde Grafiek-Beeldmaskering: Een nieuwe operator die voxel-voor-voxel in het 3D-beeld die corresponderen met verwijderde knopen in de grafiek, gezamenlijk verbergt. Dit zorgt voor consistente verstoring in beide weergaven.
   • Taak-Invariantie Verlies: Om representaties te leren die over taken generaliseren, introduceert het kader een verliesterm die het model aanmoedigt spontane, taak-invariante functionele patronen te behouden. Dit wordt bereikt door een scan van dezelfde proefpersoon onder een andere taak te bemonsteren en het cosine-afstandsverlies tussen de originele weergave en deze cross-taak weergave te minimaliseren.
4. Trainingsdoel: Het model minimaliseert een symmetrisch cosine-afstandsverlies tussen de outputs van de encoder en een predictor-kop, waarbij een stop-gradient-operatie op één tak wordt gebruikt om modelinstorting te voorkomen zonder negatieve voorbeelden.

Belangrijkste Bijdragen

1. Ontwikkeling van het Kader: De auteurs hebben BrainSimSiam ontwikkeld, een zelftoezichtend kader voor taakgebaseerde fMRI dat op meerdere datasets zowel toezichtende als bestaande zelftoezichtende baselines overtreft.
2. Gefuseerde Multimodale Weergave: Het werk verenigt voxel-voor-voxel fMRI en grafiekgebaseerde functionele weergaven via een gezamenlijk ROI-maskeringsschema. Dit mechanisme ondersteunt potentiële multimodale fusie door grafiekgestructureerde netwerken uit te lijnen met geregistreerde structurele (T1-gewogen) of diffusie-MRI.
3. Taak-Invariant Leren: Door contrasten over diverse taakstimuli als natuurlijke augmentaties te benutten, leert het kader geactiveerde responsen te ontwarren van spontane hersendynamiek, wat resulteert in taak-invariante representaties.

Experimentele Resultaten

Het kader werd geëvalueerd op twee datasets: het Human Connectome Project (HCP) (1.005 proefpersonen, 7 taakparadigma's) en de Biopoint-dataset (75 ASD-proefpersonen, 43 gezonde controles).

• Prestaties: BrainSimSiam presteerde consequent beter dan toezichtende baselines (GCN, GAT, GraphSAGE met CNN) en zelftoezichtende baselines (CGL, CGL-CNN) voor zowel classificatie (biologische sekse, ASD) als regressie (cognitieve scores, leeftijd) taken.
  • Op de HCP-dataset bereikte het end-to-end fijnafgestemde BrainSimSiam-model 91,9% nauwkeurigheid en 0,980 AUC voor classificatie van biologische sekse, concurrerend met grotere fundamentele modellen zoals NeuroSTORM, maar met aanzienlijk minder parameters (52 miljoen).
  • Op de kleinere Biopoint-dataset werden de voordelen van zelftoezicht versterkt. Opmerkelijk was dat MLP-probing (het bevriezen van de vooraf getrainde encoder) end-to-end fijnafstemming overtrof, wat aangeeft dat de geleerde representaties robuust zijn en overfitting in datalimiet-scenario's mitigeren.
• Ablatiestudies: Het verwijderen van de projectie-MLP, de taak-invariantieverlies of zowel de GNN- als CNN-tak degradeerde de prestaties aanzienlijk, wat de noodzaak bevestigt van niet-lineaire integratie van grafiek- en beeldkenmerken en de waarde van taak-invariante beperkingen.
• Kwalitatieve Analyse: Zero-shot correlatieanalyse toonde aan dat kenmerken uit de geleerde embeddings hogere correlaties vertoonden met biologische en gedragsfenotypen (bijvoorbeeld leeftijd, sekse, cognitieve scores) dan traditionele functionele connectiviteit (FC) metrieken.
• Interpreteerbaarheid: Met behulp van GNNExplainer toonden de auteurs aan dat, terwijl vooropleiding leert van gedistribueerde gehele-hersensignalen, downstream taakspecifieke belangrijkheidskaarten lokaal worden in opvallende regio's (bijvoorbeeld rechter thalamus voor sekseclassificatie, superior frontale gyrus voor ASD), in overeenstemming met eerdere neurowetenschappelijke literatuur.

Betekenis en Claims

Het artikel beweert dat dataset-specifiek zelftoezichtend vooropleiden robuuste, generaliseerbare representaties voor fMRI oplevert, waardoor nauwkeurige voorspelling van heterogene fenotypen mogelijk is, zelfs met beperkte data. In tegenstelling tot grootschalige fundamentele modellen die enorme rekenresources en harmonisatie over diverse publieke datasets vereisen, toont BrainSimSiam aan dat een lichtgewicht, data-efficiënte aanpak de prestaties van grootschalige modellen kan benaderen en tegelijkertijd puur toezichtende baselines overtreft. De auteurs benadrukken dat hun methode effectief de uitdagingen van labelruis, kleine steekproefgroottes en de behoefte aan taak-invariante kenmerken in neurobeeldvorming aanpakt, en een praktische weg biedt voor datalimiet-toepassingen.