MAP-DyS: An Interactive Framework for Mapping Analytic Decision Pathways in Subtyping Research

Dit artikel introduceert MAP-DyS, een open-source interactieve Shiny-app die is ontworpen om transparantie en reproduceerbaarheid in subtyperingsonderzoek te vergroten door de diverse methodologische besluitvormingspaden in studies naar ontwikkelingsdyslexie te visualiseren en te vergelijken, met een raamwerk dat aanpasbaar is aan andere psychologische en gedragswetenschappelijke domeinen.

De kern

Stel je voor dat je een enorme, rommelige stapel puzzelstukjes probeert te sorteren in aparte dozen. Sommige mensen zeggen: "Doe alle blauwe stukjes in Doos A en de rode in Doos B." Anderen zeggen: "Nee, doe de glanzende stukjes in Doos A en de matte in Doos B." Een derde groep zegt: "Laten we gewoon de grote stukjes in Doos A gooien en de kleine in Doos B."

Als je naar de uiteindelijke dozen kijkt, zien ze er totaal anders uit, zelfs al begonnen iedereen met dezelfde stapel puzzelstukjes. Dit is precies het probleem waar onderzoekers mee te maken hebben bij het bestuderen van dyslexie (een leerprobleem met lezen). Ze proberen mensen met leesmoeilijkheden in verschillende "subtypen" (zoals "fonologische dyslexie" of "oppervlakkige dyslexie") te sorteren om ze beter te begrijpen. Maar omdat elk onderzoeksteam een andere set regels gebruikt om de stukjes te sorteren, eindigen ze met verschillende dozen, waardoor het moeilijk wordt om hun werk met elkaar te vergelijken.

Dit artikel introduceert een nieuw hulpmiddel genaamd MAP-DyS om deze verwarring op te lossen. Hier is een eenvoudige uitleg van wat ze deden en wat ze vonden:

1. Het Probleem: De "Recepten"-chaos

Stel je elke studie over dyslexiesubtypen voor als een kok die probeert een cake te bakken.

• De Ingrediënten: Sommige koks gebruiken bloem en suiker; anderen gebruiken amandelmeel en honing.
• De Oven: Sommigen bakken op 175°C; anderen op 200°C.
• De Timer: Sommigen controleren de cake na 20 minuten; anderen na 45 minuten.

Omdat iedereen een ander "recept" gebruikt (verschillende theorieën, verschillende tests en verschillende wiskunde), eindigen ze met zeer verschillende cakes. In de wereld van dyslexieonderzoek betekent dit dat één studie kan zeggen dat er twee soorten dyslexie zijn, terwijl een andere zegt dat er vier zijn. Het artikel betoogt dat we moeten stoppen met alleen naar de uiteindelijke cake te kijken en moeten beginnen met het bekijken van de recepten om te begrijpen waarom ze zo verschillend zijn.

2. De Oplossing: De "Receptenkaart" (MAP-DyS)

De auteurs bouwden een interactieve website (een Shiny-app) genaamd MAP-DyS. Je kunt dit zien als een gigantisch, interactief receptenboek of een vluchtsimulator voor onderzoek.

• Hoe het werkt: In plaats van slechts één studie te lezen, kun je je eigen "filters" invoeren. Je kunt de app bijvoorbeeld vragen: "Toon me alleen de studies die de 'Dual-Route'-theorie gebruikten en kinderen in het Engels testten."
• De Visualisaties: De app tekent kleurrijke kaarten en grafieken. Het laat je precies zien welke "ingrediënten" (theorieën, tests, wiskundige methoden) in 63 verschillende studies werden gebruikt en hoe die keuzes leidden tot verschillende resultaten.
• Het Doel: Het vertelt je niet welk recept "goed" is. In plaats daarvan maakt het de verschillen transparant. Het stelt onderzoekers in staat om te zien: "Oh, die studie vond drie subtypen omdat ze een specifieke wiskundige truc gebruikten, niet omdat de mensen die ze bestudeerden eigenlijk verschillend waren."

3. Wat Ze Vonden in het "Receptenboek"

Door deze 63 studies in kaart te brengen (voornamelijk van 2014 tot 2023), ontdekten de auteurs enkele verrassende dingen over hoe het veld opereert:

• De "Geheime Saus" Ontbreekt: Ongeveer 76% van de studies gaf niet eens aan welke software of computerprogramma ze gebruikten om de wiskunde te doen. Het is alsof een kok zegt: "Ik heb deze cake gebakken," maar weigert je te vertellen of ze een oven, een magnetron of een vuur gebruikten. Dit maakt het voor anderen zeer moeilijk om het recept na te maken.
• Geen Standaardrecept: Er is geen enkele "officiële" manier om dit te doen. Sommige studies gebruiken strenge regels (zoals "als je score onder X ligt, ben je Type A"), terwijl anderen complexe computeralgoritmen gebruiken om patronen te vinden.
• Kleine Steekproeven: De meeste studies gebruikten zeer kleine groepen mensen (vaak minder dan 100). Het is alsof je probeert de smaak van een hele oceaan te raden door een enkele lepel te proeven. Dit beperkt hoe betrouwbaar de "subtypen" kunnen zijn.
• Gebrek aan Dubbelcontrole: Meer dan de helft van de studies controleerde niet of hun resultaten stabiel waren. Ze probeerden niet te zien of hetzelfde "recept" zou werken als ze een iets andere groep mensen hadden gebruikt.
• De "Dozen" zijn Eenvoudig: Ondanks de complexe wiskunde, vonden de meeste studies uiteindelijk slechts 2 tot 4 subtypen. Dit suggereert dat de manier waarop onderzoekers hun "sorteervolgorde" opzetten, het aantal dozen dat ze vinden, beperkt, in plaats van dat de mensen zelf natuurlijk in slechts een paar groepen vallen.

4. Waarom Dit Belangrijk Is

Het artikel betoogt dat we niet moeten blijven discussiëren over welke "doos" de juiste is. In plaats daarvan moeten we begrijpen dat de doos wordt gecreëerd door de regels waarmee we sorteren.

Door MAP-DyS te gebruiken, kunnen onderzoekers:

• Precies zien hoe hun keuzes (zoals welke test ze gebruiken) het resultaat veranderen.
• Stoppen met "subtypen" te behandelen als vaste, onveranderlijke feiten en ze beginnen te zien als het resultaat van specifieke beslissingen.
• Betere studies ontwerpen die transparanter en makkelijker te herhalen zijn.

Samenvatting

Het artikel is een oproep om te stoppen met gokken en te beginnen met in kaart brengen. Het zegt: "We proberen al jaren mensen met leesmoeilijkheden te sorteren, maar we hebben verschillende sorteermachines gebruikt. Laten we een hulpmiddel bouwen (MAP-DyS) dat ons precies laat zien hoe elke machine werkt, zodat we eindelijk kunnen begrijpen waarom we verschillende resultaten krijgen en hoe we ons onderzoek voor iedereen duidelijker kunnen maken."

Het hulpmiddel is momenteel gericht op dyslexie, maar de auteurs zeggen dat hetzelfde idee van de "sorteermachine" kan worden gebruikt voor elk vakgebied waar onderzoekers proberen mensen in subtypen te groeperen, zoals autisme of ADHD.

Technische samenvatting

Technische Samenvatting: MAP-DyS – Een Interactief Kader voor het In kaart brengen van Analytische Beslissingspaden in Subtypiseringsonderzoek

Probleemstelling

Subtypiseringsbenaderingen worden veelvuldig toegepast in psychologisch en cognitief onderzoek om individuen in subgroepen te classificeren op basis van gedeelde gedrags- of cognitieve kenmerken, met name om heterogeniteit in ontwikkelingsstoornissen zoals ontwikkelingsdyslexie aan te pakken. Deze analyses omvatten echter een complexe meerfasige pijplijn met talrijke methodologische beslissingen, waaronder de selectie van theoretische modellen, strategieën voor datavoorverwerking, prestatie-indicatoren en statistische technieken.

Het kernprobleem dat is geïdentificeerd, is dat variabiliteit in deze analytische beslissingen leidt tot inconsistente identificatie van subgroepen en vergelijkingen tussen studies bemoeilijkt. Hoewel het vakgebied "onderzoekersvrijheid" erkent, wordt de specifieke beslissingsruimte in subtypiseringsonderzoek zelden systematisch gedefinieerd of in kaart gebracht. Zonder een systematische kaart van deze beslissingen is het moeilijk om geïnformeerde multiversum-analyses te ontwerpen, variabiliteit tussen studies te interpreteren, of te bepalen of subtypiseringsresultaten robuust zijn of slechts artefacten van specifieke analytische keuzes.

Methodologie

Corpusconstructie en Systematische Review

Om deze kloof te dichten, voerden de auteurs een systematische literatuursearch uit volgens PRISMA-richtlijnen (zonder voorafgaande registratie) in vier databases: Embase (inclusief MEDLINE/PubMed), APA PsycInfo, ERIC en OSF Preprints.

• Zoekstrategie: De zoekstring combineerde termen voor dyslexie/leesproblemen met termen voor subtypisering/subgroepering.
• Eindigheidscriteria: Studies werden opgenomen als ze originele empirische resultaten rapporteerden die cognitieve/gedragsprofielen of subtypen van lezers met leesproblemen identificeerden. Studies werden uitgesloten als ze uitsluitend leunden op neurale maten (bijv. fMRI) of genetische gegevens zonder gedragsmaten, of als ze geen individuen met ontwikkelingsdyslexie omvatten.
• Screening: Twee beoordelaars screenden titels en abstracts. De interbeoordelaarsbetrouwbaarheid (Cohen's $\kappa$) werd berekend op een willekeurige subset van 20%. De initiële $\kappa$ was 0,592; discrepanties werden opgelost via bespreking, en de hoofdbeoordelaar herbeoordeelde de volledige lijst om de dataset te finaliseren.
• Eindcorpus: De resulterende dataset omvat 63 studies (van 52 items) gepubliceerd tussen 2014 en 2023.

Coderingskader

De auteurs extraheren 168 variabelen die zijn ingedeeld in vijf domeinen:

1. Publicatie-informatie: (bijv. beschikbaarheid van code/data).
2. Karakteristieken van de Steekproef: (bijv. steekproefgrootte, taal, comorbiditeit).
3. Maten: (bijv. constructen, testnamen, variabeletypes, prestatie-indicatoren).
4. Methoden: (bijv. software, theoretische modellen, statistische modellen, afkapwaarden, datastandaardisatie, behandeling van uitbijters/ontbrekende data).
5. Resultaten: (bijv. subtypenamen, prevalentie, validatiestatus, robuustheid).

Het MAP-DyS Kader

De auteurs ontwikkelden MAP-DyS ("Mapping Dyslexia Subtypes"), een open-source, interactieve Shiny-toepassing die is ontworpen om deze beslissingspaden te visualiseren. Het kader werkt op het niveau van gepubliceerde artikelen en behandelt de dataset als een "multiversum" van analytische keuzes.

De toepassing bestaat uit drie hoofdcomponenten:

1. Verkenning van de Dataset: Hiermee kunnen gebruikers de dataset filteren op variabelecategorieën (publicatie, steekproef, maten, methoden, resultaten) en aangepaste tabellen genereren ("Maak uw tabel").
2. Multiversum van Beslissingsstappen:
   • Beschrijvende Data: Univariate (frequentieverdelingen) en bivariate (kruistabellen) visualisaties van studiekarakteristieken.
   • Subsetting van het Multiversum: Gebruikers kunnen studies filteren op basis van specifieke combinaties van analytische beslissingen (bijv. specifiek theoretisch model + statistische methode).
   • Beslissingskaart van Individueel Artikel: Visualiseert de analytische pijplijn van een geselecteerd paper, met nadruk op overlappende beslissingen met andere studies in de database.
3. Verkenner van Subtypiseringsresultaten:
   • Theoretisch Model en Subtypen: Een heat-map die theoretische kaders koppelt aan geïdentificeerde subtypen.
   • Taal en Subtypen: Een heat-map die de talen van deelnemers koppelt aan geïdentificeerde subtypen.

Belangrijkste Resultaten en Demonstraties

Met behulp van het MAP-DyS-kader toonden de auteurs aanzienlijke variabiliteit aan in de literatuur over dyslexiesubtypisering:

• Metadata en Kenmerken van de Steekproef:

  • Steekproefgroottes zijn overwegend klein (de meeste studies $n < 100$), wat mogelijk de stabiliteit van complexe oplossingen beperkt.
  • De literatuur is sterk gekanteld naar westerse contexten (Engels en Frans), met beperkte vertegenwoordiging van andere talen (bijv. Chinees, Arabisch, Koreaans).
  • De leeftijden van deelnemers clusteren rond vroege adolescentie (11–15 jaar), met minder studies die vroege kinderjaren of volwassenheid bestrijken.

• Variabiliteit in Analytische Beslissingen:

  • Theoretische Kaders: Het Dubbel-Route-model/Dubbel-Deficit-hypothese was het meest voorkomend, maar ongeveer 20% van de studies gaf geen theoretisch model op. Het Eenvoudige Lezen-Model was de tweede meest geciteerde.
  • Selectie van Constructen: Er is geen consensus over de operationalisering van constructen; labels voor vergelijkbare constructen (bijv. "woordidentificatie" versus "woordherkenning") variëren, en de samenstelling van testbatterijen verschilt sterk.
  • Statistische Benaderingen: Classificatie op basis van gemiddelde-standaardafwijking (met gebruik van klinische afkapwaarden) was de meest voorkomende methode (~46%). Datagedreven methoden (bijv. clusteranalyse, Latente Profielanalyse) werden minder frequent en inconsistent gebruikt.
  • Validatie: Meer dan de helft van de studies rapporteerde geen enkele formele validatie van hun subtypen.
  • Transparantie: Ongeveer 76% van de studies rapporteerde niet de specifieke gebruikte software of versie. Onder diegenen die dat wel deden, domineerde SPSS; open-source omgevingen (R/Python) werden zelden gerapporteerd.

• Subtypiseringsuitkomsten:

  • De meeste studies identificeerden tussen de twee en vier subtypen.
  • Hoewel sommige profielen (bijv. fonologische en oppervlakkige dyslexie) consistent leken over talen heen, kwamen ook taalspecifieke profielen naar voren (bijv. werkgeheugen-subtypen in het Frans, RAN/morfologische tekorten in het Chinees). De auteurs merken echter op dat deze verschillen analytische keuzes kunnen weerspiegelen in plaats van puur linguïstische cognitieve profielen.

Betekenis en Aanspraken

Het artikel beweert dat MAP-DyS de focus van subtypiseringsonderzoek verschuift van "het identificeren van subtypen" naar "het begrijpen van hoe subtypen worden geconstrueerd".

• Transparantie en Reproduceerbaarheid: Door analytische variabiliteit transparant en navigeerbaar te maken, ondersteunt de tool onderzoekers bij het kritisch evalueren van bestaande praktijken en het ontwerpen van meer reproduceerbare studies. Het benadrukt het gebrek aan standaardisatie in de rapportage van software en validatieprocedures.
• Multiversum-perspectief: Het kader biedt een fundament voor multiversum-bewust onderzoek, waardoor onderzoekers alternatieve analytische paden kunnen identificeren en kunnen beoordelen hoe vaak deze in de literatuur voorkomen.
• Generaliseerbaarheid: Hoewel het is gedemonstreerd op dyslexie, stellen de auteurs dat het kader aanpasbaar is voor andere gebieden van psychologisch en gedragswetenschappelijk onderzoek dat subtypisering of classificatiebenaderingen hanteert (bijv. autisme, ADHD).
• Praktisch Nut: De tool is bedoeld om evidence-informed reflectie te ondersteunen voor clinici en onderwijskundigen met betrekking tot diagnostische en interventiepraktijken, hoewel het expliciet geen diagnostisch hulpmiddel is.

De auteurs concluderen dat subtypiseringsuitkomsten afhankelijk zijn van een reeks analytische beslissingen. Door deze beslissingspaden te visualiseren, stelt MAP-DyS een voorzichtiger interpretatie van heterogene bevindingen mogelijk en ondersteunt het inspanningen om de replikeerbaarheid en generaliseerbaarheid van onderzoek in de gedragswetenschappen te verbeteren.