Exploring sex-related Biases in Deep Learning Models for Motor Imagery Brain-Computer Interfaces

Hoewel diepe leermodellen voor motorische imaginatie-BCI's aanvankelijk schijnbare prestatieverschillen tussen geslachten vertonen, blijkt uit deze studie dat deze verschillen voornamelijk worden veroorzaakt door de inherentere discriminatiekracht van de EEG-signalen en niet door de modellen zelf, die juist de prestaties van alle gebruikers, inclusief die met minder duidelijke patronen, verbeteren.

De kern

🧠 De Brein-Computer: Een Rechtvaardige Coach?

Stel je voor dat je een brein-computer interface (BCI) hebt. Dit is een soort magische hoed die je opzet en die denkt: "Ik wil mijn arm bewegen" en zet die gedachte om in een commando voor een robotarm of een computerscherm. Dit heet Motor Imagery (het voorstellen van beweging).

Om dit te laten werken, gebruiken wetenschappers Deep Learning (DL). Denk aan Deep Learning als een super-slimme, digitale coach die duizenden uren kijkt naar hersengolven om te leren wat "links" en wat "rechts" betekent.

Maar hier zit de twist: Is deze digitale coach eerlijk?

Soms zijn slimme computersystemen vooroordelig. Ze kunnen bijvoorbeeld beter presteren voor mannen dan voor vrouwen, of voor jongeren dan voor ouderen. De auteurs van dit onderzoek wilden weten: Maakt deze AI-systeem het verschil tussen mannen en vrouwen groter, of is het verschil er al voordat de AI erbij komt?

🔍 Het Experiment: Twee Datasets als Spiegels

De onderzoekers keken naar twee grote verzamelingen data (datasets) van mensen die hun hersenen gebruikten om links en rechts te "denken". Ze hadden een speciale methode om de data te verdelen, zodat elke keer evenveel mannen als vrouwen in de leerfase zaten. Het was alsof ze een eerlijke wedstrijd organiseerden waarbij de coach (de AI) precies evenveel tijd kreeg om te leren van zowel mannen als vrouwen.

Ze vergeleken hun slimme AI-coach (EEGNet) met een oudere, traditionele methode (CSP+LDA).

🚨 De Verrassende Bevinding: Het is niet de Coach, maar de Speler

In het begin leek het alsof de AI-coach vrouwen veel beter hielp dan mannen. De cijfers voor vrouwen waren hoger. Je zou kunnen denken: "Oh nee, de AI is vooroordeels en houdt niet van mannen!"

Maar toen de onderzoekers dieper graafden, ontdekten ze iets heel belangrijks. Ze keken niet alleen naar de uitslag, maar ook naar hoe goed de hersensignalen van de speler zelf al waren.

De Analogie van de Muzikant:
Stel je voor dat je een zanger hebt (de speler) en een geluidstechnicus (de AI).

• De ene zanger heeft een prachtig, helder stemgeluid (sterke hersensignalen).
• De andere zanger heeft een wat schorre stem of zingt in een lawaaiige kamer (zwakke hersensignalen).

De onderzoekers ontdekten dat de groep vrouwen in deze datasets per toeval meer mensen had met een "heldere stem". De groep mannen had meer mensen met een "schorre stem".

De AI-coach (Deep Learning) was eigenlijk een wonder-coach. Hij kon zelfs de mensen met de "schorre stem" (moeilijke hersensignalen) veel beter helpen dan de oude methode. Maar omdat de groep mannen in dit specifieke experiment gemiddeld meer moeite had met het produceren van duidelijke signalen, leek het alsof de AI het minder goed deed voor mannen.

Het echte probleem was niet dat de AI vooroordeels was, maar dat de "signalen" van sommige mensen gewoon lastiger te lezen waren.

⚖️ Wat betekent dit voor de toekomst?

1. De AI is niet de boosdoener: De slimme computer maakt het verschil tussen mannen en vrouwen niet groter. Sterker nog, hij helpt juist de mensen die moeite hebben (vaak degenen met minder duidelijke signalen) om toch goed te presteren.
2. Het is de "speler" die telt: Als iemand zijn of haar hersenen goed kan reguleren (een duidelijke "gedachte" kan sturen), doet het er minder toe of je man of vrouw bent. De kwaliteit van het signaal is belangrijker dan het geslacht.
3. Voorzichtigheid is geboden: Als je alleen naar de eindcijfers kijkt, kun je denken: "De AI is racistisch of seksistisch!" Maar als je kijkt naar de onderliggende data, zie je dat het vaak gaat om de vaardigheid van de gebruiker.

💡 De Gouden Les

Dit onderzoek is als een detectiveverhaal in de wereld van kunstmatige intelligentie. Het leert ons dat we niet snel moeten concluderen dat een computer "onrechtvaardig" is alleen omdat de cijfers verschillen.

We moeten kijken naar de oorzaak.

• Is het de computer die discrimineert?
• Of zijn er gewoon meer mensen in de ene groep die het lastig vinden om hun hersenen te controleren?

Conclusie voor de gewone mens:
Deep Learning is een krachtig hulpmiddel voor hersenrevalidatie (bijvoorbeeld na een beroerte). Het is eerlijk, zolang we maar goed kijken naar de data. De technologie helpt juist de mensen die het hardst nodig hebben. Maar we moeten wel blijven opletten dat we niet de verkeerde conclusies trekken door alleen naar de oppervlakte te kijken.

Kortom: De coach is eerlijk, maar sommige spelers hebben net iets meer oefening nodig om hun "stem" te laten horen.

Technische samenvatting

Probleemstelling

Motor Imagery (MI) Brain-Computer Interfaces (BCI's) zijn veelbelovend voor neurorevalidatie, waarbij diep leren (Deep Learning - DL) modellen steeds vaker worden ingezet om mentale bewegingsbeelden te decoderen. Een kritieke zorg binnen het veld van algoritmische eerlijkheid is dat DL-modellen gevoelig zijn voor vooroordelen (biases) die leiden tot ongelijke prestaties tussen subpopulaties, gedefinieerd door beschermde attributen zoals biologisch geslacht.

Hoewel er eerder studies zijn die aantonen dat geslachtsinformatie uit EEG-signalen (rusttoestand) kan worden gedecodeerd, is het onduidelijk of DL-modellen voor MI-BCI-taken deze bias introduceren of versterken. Er bestaat een risico dat modellen onterecht correlaties vinden tussen geslacht en signaalkwaliteit, wat kan leiden tot systematische discriminatie, vooral in medische toepassingen zoals revalidatie na een beroerte. De kernvraag is: Introduceren of versterken DL-modellen voor MI-BCI prestatieverschillen tussen mannen en vrouwen, of zijn deze verschillen inherent aan de data?

Methodologie

De auteurs hebben een grondige analyse uitgevoerd met de volgende methodologische aanpak:

• Datasets: Twee openbare MI-BCI datasets werden gebruikt (Lee 2019 en Cho 2017), beide bevattende EEG-data van linkshandige versus rechtshandige bewegingsimagery. De datasets omvatten respectievelijk 54 en 52 proefpersonen met gedetailleerde metadata (geslacht, leeftijd).
• Preprocessing: De EEG-data werd gestandaardiseerd met een band-pass filter (0.5-40 Hz), een notch-filter (50 Hz), herreferencing naar Fz, en downsampling naar 128 Hz. Alleen kanalen C3, C4 en Cz werden gebruikt, met een venster van 0.5 tot 2.5 seconden na de cue.
• Modellen:
  • Deep Learning: Het EEGNet-architectuur werd als referentie gebruikt. De resultaten werden gevalideerd op meerdere andere DL-architecturen (Deep4Net, ShallowFBCSPNet, HybridNet, etc.).
  • Traditioneel ML: Een CSP+LDA (Common Spatial Patterns + Linear Discriminant Analysis) pipeline diende als baseline voor vergelijking.
• Validatie en Balancering: Er werd een Leave-One-Subject-Out (LOSO) evaluatieschema toegepast. Cruciaal was dat voor elke trainingsset de data per geslacht werd gebalanceerd (gelijk aantal mannen en vrouwen) om te voorkomen dat prestatieverschillen puur door data-ongelijkheid werden veroorzaakt.
• Statistische Analyse:
  • Om de bijdrage van de gebruiker versus het model te scheiden, werd een nieuwe metriek ontwikkeld: Class Distinctiveness. Dit meet de Riemann-afstand tussen de covariantiematrices van linkse en rechtse bewegingsimagery in de ruwe EEG-data, onafhankelijk van het model.
  • Lineaire gemengde modellen (Mixed-effects models) werden gebruikt om de invloed van geslacht, leeftijd en class distinctiveness op de prestaties te analyseren, rekening houdend met de niet-onafhankelijkheid van de data door de LOSO-aanpak.
  • Partiële correlaties werden berekend om de relatie tussen prestaties en signaalkwaliteit te isoleren van het effect van geslacht.

Belangrijkste Resultaten

1. Algemene Prestatieverbetering door DL: DL-modellen (zoals EEGNet) presteerden significant beter dan CSP+LDA, zowel globaal als binnen geslachtsgroepen.
2. Schijnbare Bias: Er was een consistente trend waarbij vrouwelijke proefpersonen hogere nauwkeurigheid behaalden dan mannelijke proefpersonen (verschillen van 5-7% bij DL, versus 1-4% bij CSP+LDA). Echter, deze verschillen waren statistisch niet significant wanneer gecontroleerd werd voor andere factoren.
3. Oorzaak van Verschillen: De analyse toonde aan dat de prestatieverschillen voornamelijk werden gedreven door de class distinctiveness (de intrinsieke onderscheidbaarheid van de EEG-patronen van de gebruiker), en niet door het geslacht zelf.
   • Vrouwen in deze specifieke datasets hadden gemiddeld hogere class distinctiveness-waarden, wat leidde tot betere prestaties.
   • Wanneer men de invloed van geslacht isoleerde (via partiële correlatie en gemengde modellen), bleek geslacht geen significante voorspeller voor de prestaties van DL-modellen.
4. Rol van het Model: DL-modellen bleken juist nuttig voor gebruikers met minder onderscheidbare EEG-patronen (vaak mannen in deze datasets). Waar CSP+LDA faalde bij deze groep, bood DL een aanzienlijke prestatieverbetering.
5. Aanwezigheid van Geslachtsinformatie: In tegenstelling tot eerdere studies met rusttoestand-data, kon het DL-model geslacht niet effectief classificeren op basis van de MI-taak-data (prestatie nabij kansniveau). Dit suggereert dat de actieve cognitieve MI-taak geslachtsgebonden neurale kenmerken maskeert die in passieve taken wel zichtbaar zijn.

Bijdragen

• Ontmaskering van Schijnbare Bias: Het artikel demonstreert dat een naïeve analyse van prestaties per geslacht kan leiden tot de verkeerde conclusie dat een model biased is. De auteurs tonen aan dat de waargenomen verschillen vaak het gevolg zijn van spurious correlaties tussen geslacht en de kwaliteit van de gegenereerde EEG-signalen (class distinctiveness).
• Nieuwe Metriek: Introductie van "Class Distinctiveness" als een model-onafhankelijke maatstaf om de moeilijkheidsgraad van de classificatietask per gebruiker te kwantificeren.
• Methodologische Rigor: Toepassing van gemengde modellen en partiële correlaties om de complexiteit van LOSO-validatie en verwarrende variabelen (confounders) in BCI-onderzoek aan te pakken.
• Validatie op Meerdere Architecturen: De bevindingen zijn niet beperkt tot EEGNet, maar gelden voor een breed scala aan DL-architecturen.

Betekenis en Conclusie

De studie concludeert dat DL-modellen voor MI-BCI op zichzelf geen geslachtsbias introduceren, mits de trainingsdata gebalanceerd is. De waargenomen prestatieverschillen tussen mannen en vrouwen zijn voornamelijk een reflectie van de intrinsieke variabiliteit in de motorimagery-vaardigheden van de gebruikers, waarbij vrouwen in deze specifieke datasets gemiddeld sterkere signalen produceerden.

De implicaties zijn tweeledig:

1. Voor de Gemeenschap: Het is cruciaal om voorbij te gaan aan standaard prestatie-metrics en stratificatie. Diepgaande analyses van modelgedrag en de onderliggende data-eigenschappen zijn noodzakelijk om eerlijke BCI-systemen te garanderen.
2. Voor Toepassingen: DL-methoden zijn bijzonder waardevol voor gebruikers met minder onderscheidbare signalen (vaak de ondervertegenwoordigde groep in termen van prestatie), waardoor ze de toegankelijkheid van BCI-technologie voor diverse populaties kunnen vergroten in plaats van deze te beperken.

De auteurs pleiten voor het verzamelen van diverse datasets met uitgebreide metadata (socio-economische status, etniciteit, etc.) en het ontwikkelen van experimentele procedures die rekening houden met complexe interacties om toekomstige bias volledig te kunnen detecteren en mitigeren.