An adversarial approach to guide the selection of preprocessing pipelines for ERP studies

Deze studie presenteert een objectieve, op simulaties gebaseerde methode om preprocessiepiplines voor EEG-ERP-onderzoek te evalueren en te selecteren, zodat ruis effectief wordt verwijderd zonder neurale signalen te vervormen en de reproduceerbaarheid van de resultaten wordt gewaarborgd.

De kern

Stel je voor dat je een heel oude, ruisende radio hebt. Je wilt een prachtig symfonieorkest horen (dat is je hersensignaal), maar er zit veel ruis op: krakende statische geluiden, zingen van buren, en het geluid van je eigen hartslag (dat is de ruis of artefacten).

Om het orkest te horen, moet je de radio "schoonmaken". Maar hier is het probleem: er zijn duizenden manieren om een radio schoon te maken. Sommige mensen gebruiken een zachte doek, anderen een schroevendraaier, en weer anderen gooien de radio in de wasmachine. De vraag is: welke methode is de beste?

Meestal kiezen onderzoekers willekeurig een methode, gebaseerd op wat ze hebben geleerd of wat hun vriend doet. Het probleem is dat je niet weet of die methode het orkest niet ook een beetje beschadigt terwijl je de ruis weghaalt. Misschien haal je de ruis weg, maar verdwijnt ook de vioolpartij?

Dit artikel van Daniele Scanzi en zijn team uit Auckland (Nieuw-Zeeland) introduceert een slimme, nieuwe manier om deze "schoonmaak-methoden" te testen. Ze noemen het een adversariële aanpak (een soort eerlijke wedstrijd).

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het geheimzinnige "Test-Orkest" (De Ground Truth)

Stel je voor dat je een radio wilt testen, maar je hebt geen echte opname van een orkest. Wat doe je dan? Je maakt een perfecte, nep-opname van een orkest (een "chirp"-signaal, een geluid dat van laag naar hoog loopt).

De onderzoekers nemen deze perfecte nep-opname en spuiten deze onzichtbaar in een echte, ruisende radio-opname van een persoon die een taak uitvoert.

• Het geheim: De onderzoekers weten precies hoe het nep-geluid eruit moet zien.
• De test: Ze laten verschillende "schoonmaak-machines" (de pre-processing pipelines) over de radio gaan.
• De vraag: Na het schoonmaken, klinkt het resultaat nog steeds als het originele nep-geluid? Of is het geluid vervormd?

2. De Wedstrijd tussen de Schoonmaak-Machines

Ze hebben zes verschillende bekende methoden (zoals EEGLAB, Makoto, Prep) tegen elkaar laten strijden. Ze vergelijken ze niet op "wie klinkt het mooist", maar op een heel slimme manier:

• Ze kijken niet naar één resultaat, maar doen de test 100.000 keer met willekeurige stukjes van de opname.
• Ze berekenen: "Hoe vaak was Machine A beter dan Machine B?"
• Het resultaat is geen "Ja/Nee", maar een kans: "Machine A heeft 70% kans om de ruis beter te verwijderen dan Machine B, zonder het orkest te beschadigen."

3. De Verassende Ontdekking: Het hangt af van hoeveel je luistert

De grootste ontdekking in dit artikel is dat er geen enkele "beste" machine is voor alle situaties. Het hangt af van hoeveel "luistertijd" (aantal proeven/trials) je hebt:

• Scenario A: Je hebt heel weinig tijd (weinig proeven).
  Stel je hebt maar 10 seconden opname. Dan moet je de ruis agressief weghalen, anders hoor je niets. De methode Makoto is hier de winnaar. Hij is als een strenge chef-kok die alle groenten weggooit die niet 100% perfect zijn. Hij maakt het geluid heel schoon, maar hij kan ook een beetje van het orkest weggooien. Omdat je maar weinig hebt, is het beter om alles schoon te hebben, zelfs als er iets mist.

• Scenario B: Je hebt veel tijd (veel proeven).
  Stel je hebt 200 seconden opname. Dan hoef je niet zo agressief te zijn! Je kunt de ruis gewoon "weglaten" door alles bij elkaar op te tellen (gemiddeld nemen). De ruis verdwijnt vanzelf als je genoeg hebt. Hier zijn methoden als Henare of EEGLAB beter. Ze zijn als een rustige tuinman die alleen de grote onkruiden verwijdert en de rest laat staan. Omdat je zoveel hebt, wordt het gemiddelde toch schoon, en je hebt het orkest niet beschadigd door te agressief te snoeien.

Waarom is dit belangrijk?

Vroeger deden onderzoekers vaak een "gok" met hun schoonmaak-methode. Soms haalden ze per ongeluk een belangrijk hersensignaal weg, of ze lieten te veel ruis achter.

Met deze nieuwe methode kunnen onderzoekers nu hun eigen situatie testen:

1. Ze nemen een klein stukje van hun eigen data (een pilot-data).
2. Ze spuiten hun "nep-orskest" erin.
3. Ze testen welke machine het beste werkt voor hun specifieke situatie (bijv. "Ik heb maar 50 proeven, welke methode kies ik?").

Conclusie

Dit artikel zegt eigenlijk: "Stop met blindelings de methode van iemand anders over te nemen."

Het is alsof je een auto koopt. Als je in de stad rijdt, wil je een kleine, wendbare auto. Als je over de snelweg rijdt, wil je een comfortabele, snelle auto. Er is geen "beste auto" voor iedereen.

De onderzoekers geven wetenschappers nu een testbaan waar ze zelf kunnen uitvinden welke "auto" (schoonmaak-methode) het beste past bij hun "reis" (hun onderzoek). Het maakt wetenschappelijk onderzoek eerlijker, reproduceerbaarder en zorgt ervoor dat we de echte signalen van de hersens beter kunnen horen.

Technische samenvatting

Probleemstelling

Elektro-encefalografie (EEG)-data zijn inherent vervuild door niet-neuronale ruis, zoals oogbewegingen, spieractiviteit, hartslag en elektrische interferentie. Hoewel preprocessing essentieel is om deze artefacten te verwijderen, is de optimale methode onduidelijk vanwege het enorme aantal beschikbare technieken, hun combinatorische gebruik in pipelines en de aanpasbare parameters.

• Huidige situatie: Onderzoekers hanteren vaak ad-hoc strategieën gebaseerd op expertise of datasetkenmerken, zonder solide onderbouwing.
• Gevolg: Deze variatie beïnvloedt downstream-resultaten, wat kan leiden tot inconsistenties tussen studies en het risico op "questionable analytical practices" (zoals p-hacking door het kiezen van een pipeline die significante resultaten oplevert).
• Bestaande methoden: Evaluaties gebruiken vaak gesimuleerde ruis (risico op circulariteit als de simulatie lijkt op de filtermethode) of echte data zonder "ground truth" (het is onbekend welke preprocessing de ware neuronale activiteit het beste behoudt).

Methodologie

De auteurs introduceren een adversariaal framework om preprocessing-pipelines objectief te vergelijken zonder de eigenlijke experimentele resultaten te beïnvloeden. De kern van de methode is het injecteren van een bekende "ground truth" signaal in echte EEG-data.

1. Generatie van Ground Truth:

• Een forward model (gebaseerd op het ICBM152 anatomische template) wordt gebruikt om een bronsignaal te projecteren naar sensorruimte (elektroden).
• Het bronsignaal is een lineaire sinusoidale "chirp" (frequentie 2-30 Hz over 1 seconde), gekozen omdat het een breed spectrum van ERP-dynamiek dekt.
• Dit signaal wordt "geinjecteerd" in een bestaande, ruwe EEG-opname (van een Simon-taak) op willekeurige tijdstippen die niet correleren met de taak, waardoor 300 trials met een bekend signaal ontstaan.

2. Pipeline Selectie:
Zes bestaande, publiek beschikbare pipelines (geïmplementeerd in EEGLAB) werden getest:

• EEGLAB (automatisch)
• Delorme_2023
• Makoto
• Prep
• Henare_2018
• Henare_2018_Once (variant zonder ICA op een 1Hz-gefilterde kopie)

3. Adversariale Analyse:
In plaats van een absolute "beste" pipeline te kiezen, wordt de prestatie van twee pipelines ($P_A$ en $P_B$) vergeleken via een permutatie-benadering:

• Stappen:
  1. Selecteer trials die door alle pipelines behouden zijn.
  2. Verwijder de baseline; houd alleen het geïnjecteerde signaal over.
  3. Bereken gemiddelde golven (grand averages) voor een willekeurige steekproef van $N$ trials.
  4. Bereken de Root Mean Squared Error (RMSE) tussen het gemiddelde en de ground truth.
  5. Herhaal dit $I$ keer (100.000 iteraties) met verschillende steekproeven.
• Resultaatmetriek: De kans ($P$) dat $P_A$ een lagere of gelijke RMSE heeft dan $P_B$. Dit levert een waarschijnlijkheidsmatrix op.

4. Studie 2 (Validatie):
Om te voorkomen dat pipelines het ground truth-signaal per ongeluk als ruis verwijderen tijdens de ICA-stap (Independent Component Analysis), werd Studie 2 uitgevoerd:

• Een nieuwe ground truth werd gegenereerd op basis van een bestaand IC dat met hoge waarschijnlijkheid als "hersensignaal" werd gelabeld.
• Een correctiestap werd toegevoegd: IC's die sterk correleerden met de ground truth werden geforceerd behouden, ongeacht de standaard filters van de pipeline.

Belangrijkste Resultaten

De resultaten tonen aan dat er geen universeel "beste" pipeline bestaat; de prestatie hangt sterk af van het aantal trials dat wordt gemiddeld.

• Invloed van het aantal trials:
  • Kleine aantallen trials (≤ 25): De Makoto-pipeline presteerde het beste (laagste RMSE). Deze pipeline is agressief in het verwijderen van data (veel IC's en kanalen), wat voordelig is bij weinig data omdat ruis hierdoor direct wordt gereduceerd.
  • Grote aantallen trials (≥ 100): Pipelines zoals Henare_2018, EEGLAB en Prep presteerden beter. Bij veel trials kan ruis effectief worden gemiddeld weg; agressieve filtering (zoals bij Makoto) verwijdert hierbij ook nuttig signaal, wat de RMSE verhoogt.
• Prestatie van specifieke pipelines:
  • Makoto: Toonde een duidelijke afname in prestatie naarmate het aantal trials toenam.
  • Delorme_2023 en Makoto: Hadden in Studie 1 een lage waarschijnlijkheid om de beste te zijn, maar in Studie 2 (na correctie voor ICA-removal) bleek Delorme_2023 beter te presteren dan Makoto, hoewel beide nog steeds achterbleven bij de Henare-pipelines bij hoge trial-aantallen.
  • Prep: Presteerde verrassend goed, zelfs zonder ICA, vooral bij hoge trial-aantallen.
• Tijd en Resources: De rekentijd varieerde sterk (van ~300s voor Henare tot >5000s voor Prep in Studie 1). Het aantal verwijderde kanalen en IC's varieerde eveneens aanzienlijk.

Bijdragen en Innovatie

1. Objectieve Evaluatie zonder Bias: De methode maakt het mogelijk pipelines te testen op de eigen dataset zonder de eigenlijke experimentele resultaten te "kijken" (blind voor het echte effect), wat p-hacking voorkomt.
2. Adversariale Probabilistische Benadering: In plaats van een binair oordeel ("Pipeline X is beter"), biedt het een waarschijnlijkheidsverdeling die de onzekerheid en contextafhankelijkheid van de keuze benadrukt.
3. Flexibiliteit: Onderzoekers kunnen elke gewenste pipeline of parametercombinatie testen en de resultaten interpreteren binnen hun specifieke context (bijv. aantal beschikbare trials, type ruis).
4. Open Science: De code voor het injecteren van signalen en de analyse-scripts zijn openbaar beschikbaar (OSF en GitHub).

Betekenis en Conclusie

De studie onderstreept dat er geen "one-size-fits-all" oplossing is voor EEG-preprocessing. De keuze van een pipeline moet worden gebaseerd op de specifieke kenmerken van de dataset (zoals het aantal trials) en de analyse-doelen (single-trial vs. gemiddelde ERP).

• Voor single-trial analyses of datasets met weinig trials kan een agressieve pipeline (zoals Makoto) nuttig zijn.
• Voor standaard ERP-studies met veel trials (bijv. >100 per conditie) zijn minder agressieve pipelines (zoals Henare_2018 of Prep) vaak superieur omdat ze het signaal minder vervormen terwijl de ruis toch door averaging wordt geëlimineerd.

De auteurs pleiten ervoor dat onderzoekers hun eigen preprocessing-strategie valideren met dit framework voordat ze hun hoofdanalyse uitvoeren, om de reproduceerbaarheid en interpretatie van EEG-studies te verbeteren.