Test-retest reliability of resting-state fMRI functional connectivity: impact of scan length and number of participants

Dit onderzoek toont aan dat bij rust-gerelateerde fMRI-studies de scanlengte een sterkere invloed heeft op de test-hertest-reliabiliteit dan het aantal deelnemers, waarbij multivariate connectoommetrieken met ongeveer 14 minuten scannen en 20 deelnemers voldoende betrouwbaar zijn, terwijl ruimtelijke netwerkmaten juist profiteren van grotere steekproeven.

De kern

Hoe goed is je hersenkaart? Een zoektocht naar de perfecte scan

Stel je voor dat je een kaart wilt maken van de wegen in een enorme stad (je brein). Je wilt weten welke wegen (verbindingen) vaak worden gebruikt en welke niet. Maar er is een probleem: als je de stad op dinsdag in kaart brengt en op woensdag opnieuw, lijken de kaarten soms heel verschillend. Is dat omdat de stad veranderd is, of omdat je met een slechte camera hebt gefotografeerd?

In de wereld van hersenonderzoek noemen we dit test-hertest betrouwbaarheid. Kunnen we erop vertrouwen dat wat we vandaag zien, morgen nog steeds geldt?

De auteurs van dit artikel (Beatriz Vale en haar team) wilden twee vragen beantwoorden:

1. Hoe lang moet je scannen? (Moet je 5 minuten of 15 minuten in de MRI-machine liggen?)
2. Hoeveel mensen moeten er meedoen? (Is een groepje van 10 mensen genoeg, of heb je 100 nodig?)

Ze keken naar twee verschillende manieren om de hersenkaart te maken:

• De "Lijn-voor-Lijn" methode: Je kijkt naar elke individuele weg apart.
• De "Geheel" methode: Je kijkt naar het totale patroon van de hele stad.

Hier is wat ze ontdekten, vertaald naar alledaagse taal:

---

1. De "Lijn-voor-Lijn" methode is lastig (Edge-level)

Stel je voor dat je probeert te zeggen: "De weg van het postkantoor naar de bakkerij is vandaag druk." Als je dat één keer meet, kan het toeval zijn dat er net een vrachtwagen voorbij kwam.

• Het probleem: Als je naar één enkele verbinding in het brein kijkt, is de meting vaak onstabiel. Het is alsof je probeert de gemiddelde snelheid van een auto te meten door slechts één seconde te kijken.
• De oplossing: Je moet langere tijd scannen. Net zoals je meer vertrouwen hebt in een gemiddelde snelheid als je 10 minuten kijkt in plaats van 10 seconden.
• Het resultaat: Om betrouwbare resultaten te krijgen voor deze individuele wegen, moet je ongeveer 11 tot 14 minuten scannen. Korter dan dat is als een willekeurige flits; langer dan dat geeft niet veel meer extra zekerheid.

2. De "Geheel" methode werkt beter (Connectome)

Nu kijken we niet naar één weg, maar naar het gehele verkeerspatroon van de stad. "Is het verkeer in de binnenstad vandaag anders dan gisteren?"

• Het voordeel: Zelfs als één weg een beetje onzeker is, is het totale patroon vaak heel stabiel. Het is alsof je niet kijkt naar één auto, maar naar de stroom van honderden auto's.
• Het resultaat: Deze methode is veel betrouwbaarder. Met ongeveer 11 minuten scannen heb je al een heel goed beeld. Je hebt zelfs niet heel veel mensen nodig om dit patroon te zien; een groepje van 20 mensen is vaak al voldoende om een betrouwbaar gemiddelde te krijgen.

3. De "Wolk" methode (RSN's)

Soms kijken onderzoekers niet naar wegen, maar naar wolkvormige patronen in de stad (bijvoorbeeld: "Waar zitten de mensen die aan het nadenken zijn?"). Dit noemen ze Resting State Networks.

• Het verschil: Om deze grote, diffuse patronen goed te kunnen tekenen, heb je meer mensen nodig.
• Het resultaat: Voor deze methode werkt een scan van 11-14 minuten ook prima, maar je hebt een grotere groep mensen (ongeveer 50) nodig om het patroon scherp te krijgen. Met te weinig mensen is het beeld wazig, alsof je probeert een groot schilderij te reconstrueren met slechts een paar stukjes puzzel.

---

De belangrijkste lessen (De "Take-home" boodschappen)

Stel je voor dat je een foto wilt maken van een dansend koppel.

• Scanlengte is koning: Of je nu een foto maakt van één danser of van het hele dansvloer, je hebt tijd nodig. Als je te kort scannen (bijvoorbeeld 3 minuten), is de foto wazig en onbetrouwbaar. De "sweet spot" zit rond de 11 tot 14 minuten. Langer scannen helpt soms nog een beetje, maar de mensen worden dan moe en gaan wiegen, wat de foto weer verpest.
• Hoeveel mensen?
  • Wil je het totale danspatroon zien? Dan is een groep van 20 mensen vaak genoeg.
  • Wil je de specifieke bewegingen van individuele mensen analyseren of grote wolkpatronen tekenen? Dan heb je 50 of meer mensen nodig om zeker te zijn dat je niet per ongeluk alleen naar een groepje enthousiaste dansers kijkt.
• De "Start" is niet altijd goed: De onderzoekers ontdekten iets interessants. Als je alleen het begin van de scan gebruikt (truncatie), is de kwaliteit soms slechter dan als je een willekeurig stukje uit het midden van de scan pakt.
  • Vergelijking: Misschien zijn mensen in de eerste minuten van de scan nog aan het wennen aan de machine of aan het nadenken over hun dag. Als je dat begin weggooit en een rustig stukje uit het midden pakt, krijg je een eerlijker beeld van hun "rustige" hersenen.

Conclusie voor de toekomst

Als je een wetenschappelijk onderzoek wilt doen met hersenscans:

1. Laat de mensen ongeveer 11 tot 14 minuten in de machine liggen.
2. Als je kijkt naar het totale patroon, is een groep van 20 mensen vaak al genoeg.
3. Als je kijkt naar grote netwerken of specifieke groepen, probeer dan 50 mensen te vinden.

Het gaat om de balans: je wilt de beste foto maken, maar je wilt de mensen ook niet te lang in de kou laten staan of te veel geld uitgeven. Dit artikel geeft je de perfecte recept voor die balans.

Technische samenvatting

Probleemstelling

De test-hertest betrouwbaarheid (reliabiliteit) van rusttoestand functionele MRI (rs-fMRI) metingen is een kritieke maar vaak onzekere factor in neuroimaging-studies. Hoewel langere scans en grotere steekproeven vaak worden aanbevolen om de betrouwbaarheid te verbeteren, zijn deze oplossingen in de praktijk vaak onuitvoerbaar, vooral bij klinische populaties. Er bestaat een gebrek aan duidelijke richtlijnen over de optimale balans tussen scanlengte en het aantal deelnemers om betrouwbare schattingen te verkrijgen voor verschillende soorten functionele connectiviteitsmetrieken. Bestaande literatuur toont vaak tegenstrijdige aanbevelingen, variërend van 5 minuten tot meer dan 90 minuten scanlengte, afhankelijk van de gebruikte analysemethode.

Methodologie

De auteurs voerden een systematische analyse uit met data van de Human Connectome Project (HCP), bestaande uit 100 gezonde, niet-verwante proefpersonen. Elke deelnemer onderging twee rs-fMRI-sessies op verschillende dagen, elk bestaande uit twee runs (links-rechts en rechts-links).

Experimenteel Ontwerp:
De studie varieerde systematisch twee parameters:

1. Scanlengte: Getest op 300 (3,6 min), 600 (7,2 min), 900 (10,8 min) en 1200 (14,4 min) volumes.
   • Drie strategieën voor tijdsverlaging werden toegepast: truncatie (begin van de scan), segmentatie (willekeurig continu segment) en scrubbing (willekeurig verwijderen van tijdstippen).
2. Aantal deelnemers: Willekeurige steekproeven van 10, 20, 50 en 100 deelnemers (100 iteraties per combinatie).

Analysebenaderingen:
De betrouwbaarheid werd geëvalueerd voor twee hoofdcategorieën van metrieken:

1. Node-based connectoom-metrieken:
   • Edge-level: Intraclass correlatiecoëfficiënt (ICC) voor individuele connecties.
   • Connectoom-niveau: ICC voor het hele connectoom, functionele connectiviteitsvingerafdrukken (fingerprinting: differential identifiability en success rate), en discriminabiliteit.
   • Gebruikte parcellatie: Schaefer-atlas (400 regio's, corresponderend met 7 intrinsieke netwerken).
2. Voxel-based Rusttoestand Netwerken (RSN):
   • Gebruik van Independent Component Analysis (ICA) met 50 componenten.
   • Betrouwbaarheid gemeten via de Dice-coëfficiënt voor ruimtelijke overeenkomst tussen ICA-kaarten en canonieke netwerken (Yeo et al.) en tussen sessies (test-hertest).
   • Analyse op zowel groepsniveau als subject-specifiek niveau (via dual regression).

Preprocessing:
De analyse gebruikte een "Full Pipeline" (inclusief bewegingsregressie, WM/CSF regressie) en werd vergeleken met een "Minimal Pipeline". Statistische analyse gebeurde via lineaire modellen in R.

Belangrijkste Resultaten

1. Invloed van Scanlengte:

• Connectoom-metrieken: Langere scans verbeterden consistent de betrouwbaarheid.
  • Edge-level ICC: Bereikte slechts "redelijke" betrouwbaarheid (ICC > 0,4) na ~10,8 minuten voor de meeste netwerken, maar bleef onder de "goede" drempel (ICC ≥ 0,6).
  • Multivariate metrieken (Vingerafdrukken/Discriminabiliteit): Toonden veel hogere betrouwbaarheid. De fingerprinting success rate stabiliseerde na 10,8 minuten (>97%), terwijl andere metrieken zoals discriminabiliteit en connectoom-ICC hun hoogste waarden bereikten bij de volledige scan van 14,4 minuten.
• RSN (ICA):
  • Groepsniveau: Scanlengte had weinig effect; al 3,6 minuten was voldoende voor stabiele groepskaarten.
  • Subject-niveau: Betrouwbaarheid verbeterde significant met langere scans, waarbij 14,4 minuten de beste resultaten gaf.

2. Invloed van Aantal Deelnemers:

• Connectoom-metrieken: Het aantal deelnemers had een beperkt effect op de gemiddelde betrouwbaarheid. Een cohort van slechts 20 deelnemers was voldoende om stabiele schattingen te krijgen voor edge-level ICC. Voor multivariate metrieken (vingerafdrukken) waren zelfs 10 deelnemers statistisch vergelijkbaar met 100, hoewel de variantie (standaardafwijking) bij kleinere steekproeven hoger was.
• RSN (ICA): In tegenstelling tot connectoom-metrieken, profiteerde ICA-analyse significant van grotere steekproeven. Voor de meest robuuste ruimtelijke betrouwbaarheid was een cohort van ongeveer 50 deelnemers nodig.

3. Temporal Downsampling Strategie:

• Willekeurige segmentextractie (segment) leverde over het algemeen de hoogste betrouwbaarheid op, gevolgd door scrubbing en ten slotte truncatie. Dit suggereert dat continue data-segmenten de temporale dynamiek beter behouden dan alleen het begin van de scan.

4. Within- vs. Between-Session:

• Edge-level ICC was significant hoger binnen dezelfde sessie dan tussen sessies.
• Discriminabiliteit was daarentegen hoger tussen sessies.
• Voor de meeste multivariate metrieken waren de verschillen tussen binnen- en tussen-sessie minimaal bij gelijke scanlengte en steekproefgrootte.

Belangrijkste Bijdragen

1. Systematische Vergelijking: De studie biedt een van de meest uitgebreide vergelijkingen tot nu toe van verschillende betrouwbaarheidsmetrieken (univariate vs. multivariate) onder variabele scanlengtes en steekproefgroottes.
2. Praktische Richtlijnen: Het stelt specifieke, data-gedreven aanbevelingen op voor het ontwerpen van rs-fMRI studies:
   • Voor connectoom-analyses: Een scanlengte van 11-14 minuten en een cohort van ~20 deelnemers zijn voldoende voor betrouwbare resultaten.
   • Voor ICA-based RSN-analyses: Een scanlengte van 11-14 minuten is ideaal, maar een groter cohort van ~50 deelnemers is noodzakelijk voor optimale ruimtelijke stabiliteit.
3. Multivariate Superioriteit: Bevestigt dat multivariate benaderingen (vingerafdrukken, discriminabiliteit) aanzienlijk betrouwbaarder zijn dan univariate edge-level metingen, zelfs bij kortere scans.

Betekenis en Conclusie

De studie benadrukt dat er geen "one-size-fits-all" oplossing is voor rs-fMRI protocollen. De keuze voor scanlengte en steekproefgrootte moet worden afgestemd op het specifieke analyse-doel:

• Als het doel is om individuele connectiviteitspatronen te onderscheiden (bijv. voor vingerafdrukken), is een langere scan cruciaal, maar is een grote steekproef minder kritiek.
• Als het doel is om robuuste netwerkschatten te maken via ICA, is een grotere steekproef essentieel.

De auteurs concluderen dat een scanlengte van 11-14 minuten een praktische balans biedt tussen datakwaliteit en haalbaarheid (moeilijkheidsgraad voor proefpersonen), en dat onderzoekers hun protocol moeten kiezen op basis van de specifieke metriek die ze willen gebruiken. De bevindingen zijn echter beperkt tot gezonde jonge volwassenen en kunnen niet direct worden gegeneraliseerd naar klinische populaties zonder verdere validatie.