The IQ-Motion Confound in Multi-Site Autism fMRI May Be Inflated by Site-Correlated Measurement Uncertainty

Deze studie toont aan dat de gebruikelijke OLS-methode de relatie tussen IQ en hoofd-beweging in multi-site autisme-fMRI-studies aanzienlijk overschat door meetonzekerheid te negeren, en pleit voor het gebruik van Probability Cloud Regression om deze vertekening te corrigeren.

De kern

Het Grote Misverstand: Waarom we de "slimme" hersenscans misschien verkeerd interpreteren

Stel je voor dat je een groot onderzoek doet naar de hersenen van mensen met autisme. Je wilt weten of er een verband is tussen hoe slim iemand is (hun IQ) en hoe stil ze kunnen zitten in een MRI-scan. Als iemand veel beweegt, wordt de scan wazig, net als een foto die je maakt terwijl je trilt.

Vroeger dachten wetenschappers: "Oké, als iemand een hoog IQ heeft, zit hij of zij rustiger. Laten we die beweging er gewoon uitrekenen met een simpele formule."

Maar Kareem Soliman, de onderzoeker van dit paper, zegt: "Wacht even. Die simpele formule is misschien wel 4,67 keer te streng!"

Hier is hoe dat werkt, uitgelegd met een paar simpele voorbeelden.

---

1. Het Probleem: De "Slechte Camera"-Valstrik

Stel je voor dat je een wedstrijd organiseert om te zien wie het beste kan tekenen. Je hebt 19 verschillende juryleden (deze zijn de verschillende ziekenhuizen of "sites" in het onderzoek).

• Jury A heeft een superduurzame, perfecte camera. Ze zien elk detail.
• Jury B heeft een oude, trillende camera. Hun foto's zijn wazig en onzeker.

Nu kijken we naar de deelnemers.

• De deelnemers bij Jury B (de trillende camera) lijken plotseling heel erg te trillen. Maar dat is misschien niet omdat ze zelf trillen, maar omdat hun camera slecht is.
• De deelnemers bij Jury A (de goede camera) lijken heel stil, omdat hun camera dat goed vastlegt.

De fout die iedereen maakte:
De oude formule (die ze "OLS" noemen) keek naar alle juryleden samen en zei: "Oh, de mensen bij de trillende camera bewegen veel meer! En die mensen hebben ook een lager IQ. Dus: Hoe lager het IQ, hoe meer beweging."

Maar Soliman zegt: "Nee, nee, nee. Die 'beweging' bij de trillende camera is grotendeels nep. Het is ruis van de camera zelf, niet van de persoon."

2. De Oplossing: De "Wolk van Onzekerheid"

Soliman gebruikt een nieuwe methode die hij "Probability Cloud Regression" noemt. Dat klinkt ingewikkeld, maar het is eigenlijk heel logisch.

Stel je voor dat elke deelnemer niet als een puntje op een grafiek staat, maar als een wolkje.

• Bij een deelnemer met een goede scan is het wolkje heel klein en strak. We weten precies waar ze zitten.
• Bij een deelnemer met een slechte scan is het wolkje groot en wazig. We weten niet precies waar ze zitten, alleen dat ze ergens in dat grote gebied zijn.

De oude formule (OLS) keek alleen naar het midden van die wolkjes en negeerde de grootte ervan. De nieuwe methode (PCR) kijkt naar de grootte van het wolkje.

Het resultaat:
Toen Soliman rekening hield met die "wazige camera's" (de meetfouten), bleek het verband tussen IQ en beweging 4,67 keer kleiner te zijn dan men dacht.

• Oude gedachte: "IQ en beweging hangen sterk samen."
• Nieuwe gedachte: "Ze hangen nauwelijks samen. De schijnbare sterkte was een illusie veroorzaakt door de slechte camera's."

3. Waarom is dit belangrijk? (De "Te Harde" Schoonmaak)

Dit is het belangrijkste deel voor de toekomst van autisme-onderzoek.

Wetenschappers gebruiken die oude, sterke formule om hersenscans te "schoonmaken". Ze denken: "Omdat IQ en beweging zo sterk samenhangen, moeten we heel veel beweging uit de data halen om eerlijke resultaten te krijgen."

Maar als het verband in werkelijkheid 4,67 keer zwakker is, dan zijn ze te agressief bezig.

• Ze gooien misschien waardevolle hersenactiviteit weg die ze dachten dat "beweging" was.
• Het is alsof je een kamer schoonmaakt, maar omdat je denkt dat er 100 vliegen zijn, veeg je per ongeluk ook de hele muur en het plafond weg. Je hebt de kamer schoon, maar je hebt ook je interieur vernield.

4. De "Reis" Test

Soliman deed nog een test. Hij probeerde een voorspelling te maken die voor alle 19 ziekenhuizen werkte.

• Resultaat: Het werkte nergens. De formule die hij op de ene groep had getraind, werkte niet op de andere groepen.
• Betekenis: De "samenhang" die ze zagen, was eigenlijk een mix van de specifieke eigenschappen van elk ziekenhuis (de kwaliteit van hun apparatuur), en geen echt biologisch verband tussen IQ en beweging.

Samenvatting in één zin

Deze studie laat zien dat wetenschappers waarschijnlijk te veel hebben geloofd in een verband tussen IQ en hoofdbeweging, omdat ze niet goed rekening hielden met de onnauwkeurigheid van de verschillende MRI-apparaten; door dit te corrigeren, blijkt dat verband veel zwakker te zijn dan gedacht, wat betekent dat toekomstige hersenonderzoeken minder agressief hoeven te zijn bij het "schoonmaken" van hun data.

De les: Als je data verzamelt van verschillende plekken met verschillende apparatuur, moet je heel voorzichtig zijn met simpele formules. Soms is het "geluid" van de apparatuur luider dan het "signaal" van de mens.

Technische samenvatting

Probleemstelling

Meerdere sites omvattende neuroimaging-studies (zoals het ABIDE-consortium) gebruiken routinematig lineaire regressie (Ordinary Least Squares, OLS) om de verstorende relatie tussen Full-Scale IQ (FIQ) en hoofd-beweging (head motion) te controleren. De standaardaanname is dat OLS een onbevooroordeelde schatting geeft van de sterkte van deze verwarring.

Het artikel identificeert een fundamenteel probleem in deze aanpak:

1. Meetfouten in variabelen (Errors-in-Variables): Zowel de voorspeller (IQ) als de uitkomst (beweging/Framewise Displacement, FD) bevatten meetfouten. OLS veronderstelt dat voorspellers foutloos zijn.
2. Site-gecorreleerde onzekerheid: In multi-site studies varieert de meetnauwkeurigheid per site. Sites met meer ruis (hoge variatie in FD) vertonen vaak ook steilere schijnbare hellingen in de IQ-bewegingsrelatie.
3. Omgekeerde attenuatie: Klassieke EIV-theorie voorspelt dat meetfouten de helling naar nul toe laten afvlakken (attenuatie). Echter, wanneer de meetnauwkeurigheid en de schijnbare effectgrootte positief correleren over subgroepen (sites), kan de gepoolde OLS-schatting juist overdreven worden (inflatie) in plaats van afgevlakt. Dit leidt tot een overschatting van de IQ-motion verwarring.

Methodologie

De auteur analyseerde het ABIDE-I fenotypische dataset ($n = 935$ proefpersonen over 19 internationale sites).

• Variabelen:
  • $X$: Volledige IQ (gemeten met Wechsler-schalen).
  • $Y$: Gemiddelde Framewise Displacement (FD) in mm.
• Meetfoutmodel:
  • IQ-fout ($\sigma_x$): Afgeleid uit test-hertest betrouwbaarheidscoëfficiënten van de Wechsler-tests (WISC-IV/WAIS-IV), variërend van 3,0 tot 4,0 IQ-punten afhankelijk van de leeftijd.
  • FD-fout ($\sigma_y$): Omdat er geen herhaalde metingen per proefpersoon zijn, wordt een proxy gebruikt: de binnen-site standaardafwijking van de gemiddelde FD per site.
• Statistische Benadering:
  • In plaats van OLS wordt Probability Cloud Regression (PCR) gebruikt. Dit is een Expectation-Maximization (EM) gebaseerde EIV-schatter.
  • PCR behandelt elke observatie als een 2D Gaussische "wolk" met specifieke onzekerheid per observatie, in plaats van een enkel punt.
  • Validatie: Leave-Site-Out (LOSO) cross-validatie wordt gebruikt om te testen of een gepoolde predictor overdraagbaar is tussen sites, in plaats van standaard k-fold cross-validatie (die site-informatie kan lekken).
  • Gevoeligheidsanalyse: Een $8 \times 8$ grid van 64 configuraties om de robuustheid te testen bij variaties in de ruisparameters.

Belangrijkste Resultaten

1. Grootschalige Overschatting door OLS:

   • De OLS-schatting van de IQ-motion helling is $-0,00125$ mm per IQ-punt.
   • De PCR (EIV-correctie) schatting is $-0,00027$ mm per IQ-punt.
   • Conclusie: OLS overschat de sterkte van de verwarring met een factor van 4,67. De OLS-helling is bijna vijf keer zo groot als de gecorrigeerde schatting.

2. Heterogeniteit binnen Sites:

   • Sites met lage beweging (hoge meetnauwkeurigheid) tonen bijna geen relatie tussen IQ en beweging (helling $\approx 0$).
   • Sites met hoge beweging (lage nauwkeurigheid) tonen zeer steile schijnbare hellingen.
   • De gepoolde OLS-lijn wordt gedomineerd door de ruisrijke, hoge-beweging sites, waardoor de totale associatie kunstmatig wordt opgeblazen.

3. Slecht Transport over Sites (LOSO):

   • Bij Leave-Site-Out cross-validatie levert een enkele gepoolde predictor voor ruwe FD een negatieve $R^2$ op voor alle 19 sites (overall $R^2 = -0,074$).
   • Dit betekent dat een model getraind op 18 sites niet werkt op de 19e site zodra site-specifieke informatie wordt verwijderd. De positieve $R^2$ die men vaak ziet bij standaard validatie is een artefact van het lekken van site-informatie.

4. Robuustheid:

   • De richting van het resultaat (negatieve helling, overschatting door OLS) blijft consistent over alle 64 configuraties in de gevoeligheidsanalyse, zelfs bij grote variaties in de aannames over ruis.

Bijdragen en Significance

• Methodologische Correctie: Het artikel toont aan dat standaard OLS-regressie voor confound-estimatie in multi-site studies systematisch misleidend kan zijn wanneer meetfouten site-gecorreleerd zijn. Het introduceert Probability Cloud Regression als een haalbaar alternatief voor neuroimaging.
• Implicaties voor Motion-Correctie: Als downstream analyses (zoals functional connectivity studies) hun correctie voor beweging baseren op de OLS-schatting, worden ze mogelijk te agressief. Ze verwijderen meer neurale variatie dan noodzakelijk, wat ware effecten kan "wegwassen".
• Analytische Variabiliteit: Het identificeert een nieuwe bron van irreproduceerbaarheid: niet alleen de keuze van de onderzoeker (zoals in het Botvinik-Nezer rapport), maar de inherente bias in het gebruikte regressiemodel zelf, zelfs bij identieke pipelines.
• Complementariteit met Harmonisatie: De methode is complementair aan bestaande harmonisatietechnieken zoals ComBat. ComBat corrigeert site-effecten in de uitkomsten, maar corrigeert niet de bias in de regressiemodel-schatting zelf die voortkomt uit meetfouten in de voorspellers.

Beperkingen en Toekomst

De auteur erkent dat de gebruikte $\sigma_y$ een proxy is (gebaseerd op site-variabiliteit) en geen directe meting van per-proefpersoon meetfout. De volgende stap is het toepassen van deze methode op de ruwe bewegingsbestanden om per-proefpersoon variabiliteit direct te modelleren, en het toepassen op andere datasets (ABIDE-II, UK Biobank) om de generaliseerbaarheid te testen.

Conclusie: De studie waarschuwt dat "hulpregressies" voor confound-correctie dezelfde strenge scrutinie op meetfouten en site-heterogeniteit moeten ondergaan als de primaire analyses, aangezien de huidige standaardpraktijk (OLS) de IQ-motion verwarring in ABIDE-I mogelijk met een factor 4,7 heeft overschat.