Clinical profile impacts the replicability of multivariate brain-behaviour associations

Uit onderzoek met de UK Biobank blijkt dat hoewel duizenden proefpersonen vaak nodig zijn voor reproduceerbare multivariate hersen-gedragassociaties, geselecteerde subgroepen met specifieke klinische profielen, zoals personen met een geschiedenis van psychoactief middelengebruik, al met ongeveer 500 personen tot betrouwbare resultaten kunnen leiden.

De kern

De Grote Brein-Enquête: Waarom een gerichte groep soms beter werkt dan een enorme menigte

Stel je voor dat je een gigantische puzzel probeert op te lossen. De stukjes zijn hersenfoto's (zoals een soort "Google Maps" van je witte stof) en de andere kant van de puzzel is hoe slim of snel iemand is bij bepaalde taken. De vraag is: hoeveel mensen moeten we onderzoeken om te zien of er echt een patroon zit in hoe onze hersenen werken en hoe we denken?

Vroeger dachten wetenschappers: "We hebben duizenden, misschien wel tienduizenden mensen nodig om een betrouwbaar antwoord te krijgen." Maar in dit nieuwe onderzoek kijken de auteurs (Michelle Wang en haar team) of dat misschien niet altijd waar is. Ze gebruiken een enorme database van het UK Biobank, met data van meer dan 40.000 mensen, als hun "speelgrond".

Hier is wat ze hebben ontdekt, vertaald naar alledaagse taal:

1. De "Te Kleine Groep" Valstrik

Stel je voor dat je probeert een geluid te horen in een drukke stad. Als je maar één of twee mensen vraagt wat ze horen, is het waarschijnlijk een willekeurige ruis. Je hebt een bepaalde hoeveelheid mensen nodig om het echte geluid te onderscheiden van de achtergrondruis.

De onderzoekers ontdekten dat je minimaal ongeveer 500 mensen nodig hebt om een betrouwbaar patroon te vinden tussen hersenen en gedrag. Als je met minder dan dat werkt (bijvoorbeeld 50 of 100), is het alsof je probeert een foto te maken met een slechte camera: je ziet misschien iets, maar het is wazig en niet echt waar. De resultaten veranderen elke keer als je een nieuwe groep mensen neemt.

2. De "Gerichte Groep" Superkracht

Maar hier wordt het interessant! De onderzoekers keken niet alleen naar een willekeurige groep, maar splitsten de mensen op in specifieke groepen:

• Gezonde mensen: Geen speciale medische geschiedenis.
• Mensen met hoge bloeddruk.
• Mensen met een geschiedenis van psychoactieve stofgebruik (zoals alcohol, drugs, etc.).

Ze ontdekten iets verrassends: De groep met een geschiedenis van stofgebruik had een heel sterk patroon, zelfs met veel minder mensen!

De Analogie:
Stel je voor dat je zoekt naar de beste tennisser.

• Als je kijkt naar iedereen op een groot plein (de gezonde groep), moet je duizenden mensen laten spelen om de echte talenten te vinden. Het is een grote, rommelige menigte.
• Maar als je kijkt naar een club van professionele spelers (de groep met stofgebruik, waar de hersenen en gedrag door de stofgebruik een duidelijker, sterker effect hebben), dan zie je het verschil tussen een goede en een slechte speler al na een paar rondes. De "signalen" zijn hier sterker, dus je hebt minder mensen nodig om het te zien.

In dit onderzoek bleek dat de groep met een geschiedenis van stofgebruik al met ongeveer 500 mensen een heel duidelijk patroon liet zien, terwijl de gezonde groep er meer dan 1000 nodig had om hetzelfde sterke patroon te vinden.

3. Het "Overfitting" Probleem (De Leugen van de Trainset)

De onderzoekers keken ook naar hoe ze de data analyseerden. Soms gebruiken wetenschappers een trucje waarbij ze de data tweemaal gebruiken: één keer om het patroon te leren en één keer om te testen.

• Zonder deze trucje (zonder "cross-validation") denken computers vaak dat ze iets hebben gevonden, terwijl het eigenlijk alleen maar een leugen is die ze zelf hebben bedacht (overfitting). Het is alsof een student de antwoorden van een proefwerk leert en denkt dat hij slim is, maar faalt op een nieuw examen.
• Met de juiste trucjes (cross-validation) zag men dat bij kleine groepen de resultaten vaak "opgeblazen" waren. Pas bij de juiste grootte (rond de 500) werd het eerlijk en betrouwbaar.

Wat betekent dit voor de toekomst?

De boodschap van dit papier is hoopvol voor kleinere studies:

• Je hoeft niet altijd tienduizenden mensen te hebben. Als je een specifieke groep kiest (bijvoorbeeld mensen met een bepaalde ziekte of levensstijl), kun je met een "moderate" groep van ongeveer 500 mensen al heel waardevolle en betrouwbare ontdekkingen doen.
• Kwaliteit en focus zijn belangrijker dan alleen kwantiteit. Het is beter om een groep te kiezen waar het effect sterk is, dan om willekeurig duizenden mensen te verzamelen.

Kortom:
Om de mysterieuze link tussen je hersenstructuur en je gedrag te ontrafelen, hoef je niet per se een heel land te bevragen. Als je slim kiest wie je vraagt (een gerichte groep), kun je met een veel kleinere, maar wel zeer specifieke groep, al het echte verhaal horen. Het is als het vinden van een naald in een hooiberg: je hebt minder hooi nodig als je weet dat de naald in een specifieke hoek ligt.

Technische samenvatting

Probleemstelling

Traditioneel neuroimaging-onderzoek leunt vaak op kleine datasets (de mediaanste steekproefgrootte voor fMRI-studies in 2023 is naar schatting rond de 30), wat leidt tot een replicatiecrisis. Veel studies hebben onvoldoende statistische power om generaliseerbare conclusies te trekken. Recent werk (o.a. Marek et al., 2022) suggereerde dat duizenden proefpersonen nodig zijn om betrouwbare multivariate hersen-gedragsassociaties te vinden met methoden zoals Canonische Correlatieanalyse (CCA).

Er bestaat echter een debat over of kleinere steekproeven voldoende kunnen zijn als men zich richt op specifieke subpopulaties (bijv. klinische groepen) waar grotere effectgroottes worden verwacht. Tot nu toe is dit echter onvoldoende getest. Deze studie onderzoekt hoe steekproefgrootte en de samenstelling van de cohorten (gezond vs. klinisch) de reproduceerbaarheid van CCA-resultaten beïnvloeden.

Methodologie

De auteurs gebruikten data van de UK Biobank (N = 40.514 deelnemers) en pasten Canonische Correlatieanalyse (CCA) toe om de relatie tussen hersenstructuren en cognitieve prestaties te modelleren.

• Data:
  • Hersendata: Diffusie-gewogen MRI (dMRI) afgeleide fenotypes (IDPs), waaronder Fractional Anisotropy (FA), Mean Diffusivity (MD), en NODDI-maatstappen (ICVF, ISOVF, OD) over 27 witte stofbanen (totaal 162 variabelen).
  • Gedragsdata: Scores van 9 cognitieve tests (bijv. redeneren, werkgeheugen, reactietijd), resulterend in 43 gedragsvariabelen.
  • Confounders: Demografische en fysiologische variabelen (geslacht, bloeddruk, etc.) werden uit de data geregresseerd. Leeftijd werd niet als confounder behandeld omdat deze eerder als effectmodifier fungeert.
• Cohortindeling: Er werden vier cohorten gedefinieerd op basis van klinische profielen:
  1. Volledig: Alle deelnemers.
  2. Gezond: Deelnemers zonder diagnosecodes.
  3. Psychoactief: Deelnemers met een voorgeschiedenis van psychoactieve stofgebruik (alcohol, opioïden, etc.).
  4. Hypertensie: Deelnemers met essentiële hypertensie.
• Experimenteel Ontwerp:
  • Voor elk cohort werden subsamples gegenereerd van 50 tot de helft van de totale cohortgrootte (logaritmisch gespatieerd, tot 30 steekproefgroottes).
  • Train/Test-splitsing: Voor elke steekproefgrootte werd een trainingsset gebruikt om het model te fiten en een aparte, onafhankelijke testset (50% van het totale cohort) om de generaliseerbaarheid te testen.
  • Modelvarianten: Er werden twee CCA-modellen vergeleken:
    1. Zonder cross-validatie (standaard CCA op de volledige trainingsset).
    2. Met cross-validatie sampling (een ensemble-model van 100 CCA-instanties via herhaalde 5-voudige cross-validatie).
  • Validatie: De reproduceerbaarheid werd gemeten aan de hand van de correlatie tussen trainings- en testsets ($r_{test}$) en de stabiliteit van de variabele ladingen (loadings) in vergelijking met null-modellen (geshuffelde data).

Belangrijkste Resultaten

1. Steekproefgrootte en Reproduceerbaarheid:

   • Voor alle cohorten was een steekproefgrootte van ongeveer 500 personen nodig om reproduceerbare canonische correlaties en stabiele variabele ladingen te verkrijgen.
   • Bij steekproefgroottes onder de 200-300 waren de resultaten niet significant verschillend van nul en waren de ladingen instabiel.
   • Dit suggereert dat "moderate" steekproeven (honderden, niet duizenden) voldoende kunnen zijn voor betrouwbare resultaten, mits de juiste methodologie wordt toegepast.

2. Invloed van Klinisch Profiel (Cohort Samenstelling):

   • Het Psychoactieve cohort (personen met een geschiedenis van psychoactief gebruik) toonde consistent hogere correlaties dan de andere cohorten bij dezelfde steekproefgrootte.
   • Om een testcorrelatie van 0,24 te bereiken, had het Psychoactieve cohort slechts 487 personen nodig, terwijl het Gezonde cohort 1116 personen nodig had (meer dan het dubbele).
   • Dit ondersteunt de hypothese dat het richten op specifieke klinische subpopulaties met grotere verwachte effectgroottes de benodigde steekproefgrootte verkleint.

3. Stabiliteit van Variabele Ladingen:

   • De rangschikking van de belangrijkste variabelen (welke hersen- en gedragsfactoren het sterkst bijdragen) bleef stabiel vanaf een steekproefgrootte van ongeveer 500.
   • Zelfs bij lagere correlaties bleef de onderliggende structuur van de associaties consistent detecteerbaar bij deze steekproefgroottes.

4. Effect van Cross-Validatie:

   • Cross-validatie sampling verminderde de "effect size inflation" (overfitting) aanzienlijk, maar alleen bij zeer kleine steekproefgroottes (onder de 100).
   • Bij grotere steekproeven (boven de 1000) was het verschil tussen modellen met en zonder cross-validatie verwaarloosbaar; beide benaderden een inflatie van nul.

Bijdragen en Significantie

• Nuancering van de "Duizenden" Regel: De studie weerlegt het idee dat altijd duizenden proefpersonen nodig zijn voor multivariate hersen-gedragsstudies. Het toont aan dat steekproeven van enkele honderden voldoende kunnen zijn voor reproduceerbare resultaten, vooral bij gebruik van cross-validatie en bij het analyseren van specifieke cohorten.
• Strategische Cohortselectie: Een belangrijke bevinding is dat de samenstelling van het cohort cruciaal is. Het selecteren van klinisch gedefinieerde groepen (zoals personen met een voorgeschiedenis van psychoactief gebruik) kan de statistische power drastisch verhogen, waardoor kleinere studies haalbaar worden zonder in te boeten aan reproduceerbaarheid.
• Methodologische Inzicht: De studie bevestigt dat CCA-modellen op kleine steekproeven (<100) leiden tot ernstige overfitting en onbetrouwbare interpretaties. Het gebruik van cross-validatie is essentieel voor het beoordelen van de prestaties op kleine datasets, maar vervangt niet de noodzaak van voldoende steekproefgrootte voor stabiele ladingen.
• Implicaties voor Toekomstig Onderzoek: De bevindingen bieden een richtlijn voor onderzoekers bij het plannen van experimenten: in plaats van altijd te streven naar enorme datasets, kan het gericht selecteren van homogene klinische subgroepen een efficiëntere route zijn om betekenisvolle hersen-gedragsassociaties te ontdekken.

Kortom, de studie concludeert dat betrouwbare en betekenisvolle CCA-modellen grote datasets vereisen, maar dat de schaal van "groot" eerder in de orde van honderden dan duizenden ligt, mits er gebruik wordt gemaakt van doelgerichte cohorten en correcte validatiemethoden.