MAP-DyS: An Interactive Framework for Mapping Analytic Decision Pathways in Subtyping Research

Cet article présente MAP-DyS, une application interactive Shiny open source conçue pour renforcer la transparence et la reproductibilité dans la recherche sur les sous-types en visualisant et en comparant les diverses voies de décision méthodologique rencontrées dans les études sur la dyslexie développementale, avec un cadre adaptable à d'autres domaines de la psychologie et du comportement.

L'essentiel

Imaginez que vous essayez de trier un immense et désordonné tas de pièces de puzzle dans des boîtes distinctes. Certains disent : « Mettez toutes les pièces bleues dans la boîte A et les rouges dans la boîte B. » D'autres disent : « Non, mettez les pièces brillantes dans la boîte A et les mates dans la boîte B. » Un troisième groupe dit : « Mettons simplement les grosses pièces dans la boîte A et les petites dans la boîte B. »

Si vous regardez les boîtes finales, elles seront complètement différentes, même si tout le monde a commencé avec le même tas de pièces de puzzle. C'est exactement le problème auquel sont confrontés les chercheurs étudiant la dyslexie (une difficulté d'apprentissage liée à la lecture). Ils tentent de classer les personnes ayant des difficultés de lecture en différents « sous-types » (comme la « dyslexie phonologique » ou la « dyslexie de surface ») pour mieux les comprendre. Mais comme chaque équipe de recherche utilise un ensemble différent de règles pour trier les pièces, elles aboutissent à des boîtes différentes, ce qui rend difficile la comparaison de leurs travaux.

Ce papier présente un nouvel outil appelé MAP-DyS pour aider à résoudre cette confusion. Voici un résumé simple de ce qu'ils ont fait et de ce qu'ils ont découvert :

1. Le problème : le chaos de la « recette »

Imaginez chaque étude sur les sous-types de dyslexie comme un chef essayant de faire un gâteau.

• Les ingrédients : Certains chefs utilisent de la farine et du sucre ; d'autres utilisent de la poudre d'amande et du miel.
• Le four : Certains cuisent à 350 °F ; d'autres à 400 °F.
• Le minuteur : Certains vérifient le gâteau après 20 minutes ; d'autres après 45.

Comme tout le monde utilise une « recette » différente (différentes théories, différents tests et différentes mathématiques), ils aboutissent à des gâteaux très différents. Dans le monde de la recherche sur la dyslexie, cela signifie qu'une étude peut affirmer qu'il existe deux types de dyslexie, tandis qu'une autre en affirme quatre. L'article soutient que nous devons cesser de regarder uniquement le gâteau final et commencer à examiner les recettes pour comprendre pourquoi elles sont si différentes.

2. La solution : la « carte des recettes » (MAP-DyS)

Les auteurs ont créé un site web interactif (une application Shiny) appelé MAP-DyS. Vous pouvez imaginer cela comme un immense livre de recettes interactif ou un simulateur de vol pour la recherche.

• Fonctionnement : Au lieu de simplement lire une étude, vous pouvez insérer vos propres « filtres ». Par exemple, vous pourriez demander à l'application : « Montrez-moi uniquement les études qui ont utilisé la théorie de la « double voie » et testé des enfants en anglais. »
• Les visuels : L'application dessine des cartes et des graphiques colorés. Elle vous montre exactement quels « ingrédients » (théories, tests, méthodes mathématiques) ont été utilisés dans 63 études différentes et comment ces choix ont conduit à des résultats différents.
• L'objectif : Il ne vous dit pas quelle recette est « juste ». Au contraire, il rend les différences transparentes. Il permet aux chercheurs de voir : « Oh, cette étude a trouvé trois sous-types parce qu'ils ont utilisé une astuce mathématique spécifique, et non parce que les personnes qu'ils ont étudiées étaient réellement différentes. »

3. Ce qu'ils ont trouvé dans le « livre de recettes »

En cartographiant ces 63 études (principalement de 2014 à 2023), les auteurs ont découvert des choses surprenantes sur le fonctionnement du domaine :

• La « sauce secrète » manque : Environ 76 % des études ne mentionnent même pas quel logiciel ou programme informatique ils ont utilisé pour faire les calculs. C'est comme si un chef disait : « J'ai fait cuire ce gâteau », mais refusait de vous dire s'il a utilisé un four, un micro-ondes ou un feu. Cela rend très difficile pour les autres de copier la recette.
• Pas de recette standard : Il n'existe pas de méthode « officielle » unique pour faire cela. Certaines études utilisent des règles strictes (comme « si votre score est inférieur à X, vous êtes de type A »), tandis que d'autres utilisent des algorithmes informatiques complexes pour trouver des motifs.
• Échantillons réduits : La plupart des études ont utilisé de très petits groupes de personnes (souvent moins de 100). C'est comme essayer de deviner la saveur d'un océan entier en goûtant une seule cuillère. Cela limite la fiabilité des « sous-types ».
• Manque de vérification croisée : Plus de la moitié des études n'ont pas vérifié si leurs résultats étaient stables. Elles n'ont pas essayé de voir si la même « recette » fonctionnerait si elles utilisaient un groupe de personnes légèrement différent.
• Les « boîtes » sont simples : Malgré les mathématiques complexes, la plupart des études ont fini par trouver seulement 2 à 4 sous-types. Cela suggère que la façon dont les chercheurs ont établi leurs « règles de tri » pourrait limiter le nombre de boîtes qu'ils trouvent, plutôt que les personnes elles-mêmes tombant naturellement dans quelques groupes.

4. Pourquoi cela compte

L'article soutient que nous ne devrions pas simplement débattre de quelle « boîte » est la bonne. Au contraire, nous devons comprendre que la boîte est créée par les règles que nous choisissons pour trier.

En utilisant MAP-DyS, les chercheurs peuvent :

• Voir exactement comment leurs choix (comme quel test utiliser) modifient le résultat.
• Cesser de traiter les « sous-types » comme des faits fixes et immuables et commencer à les voir comme le résultat de décisions spécifiques.
• Concevoir de meilleures études qui sont plus transparentes et plus faciles à reproduire.

En résumé

L'article est un appel à cesser de deviner et à commencer à cartographier. Il dit : « Nous essayons de classer les personnes ayant des difficultés de lecture depuis des années, mais nous avons utilisé des machines de tri différentes. Construisons un outil (MAP-DyS) qui nous montre exactement comment chaque machine fonctionne, afin que nous puissions enfin comprendre pourquoi nous obtenons des résultats différents et comment rendre notre recherche plus claire pour tout le monde. »

L'outil est actuellement centré sur la dyslexie, mais les auteurs disent que la même idée de « machine de tri » pourrait être utilisée dans n'importe quel domaine où les chercheurs tentent de regrouper des personnes en sous-types, comme l'autisme ou le TDAH.

Résumé technique

Résumé technique : MAP-DyS – Un cadre interactif pour cartographier les voies de décision analytique dans la recherche sur le sous-typage

Énoncé du problème

Les approches de sous-typage sont largement utilisées en recherche psychologique et cognitive pour classer les individus en sous-groupes basés sur des caractéristiques comportementales ou cognitives partagées, particulièrement pour traiter l'hétérogénéité des conditions du développement comme la dyslexie développementale. Cependant, ces analyses impliquent un pipeline multistade complexe comprenant de nombreuses décisions méthodologiques, notamment la sélection de modèles théoriques, de stratégies de prétraitement des données, d'indices de performance et de techniques statistiques.

Le problème central identifié est que la variabilité de ces décisions analytiques conduit à une identification incohérente des sous-groupes et complique les comparaisons inter-études. Bien que le domaine reconnaisse les « degrés de liberté du chercheur », l'espace décisionnel spécifique de la recherche sur le sous-typage est rarement défini ou cartographié de manière systématique. Sans une carte systématique de ces décisions, il est difficile de concevoir des analyses multiverses éclairées, d'interpréter la variabilité entre les études, ou de déterminer si les résultats du sous-typage sont robustes ou simplement des artefacts de choix analytiques spécifiques.

Méthodologie

Construction du corpus et revue systématique

Pour combler cette lacune, les auteurs ont mené une recherche systématique de la littérature suivant les directives PRISMA (sans pré-enregistrement) dans quatre bases de données : Embase (incluant MEDLINE/PubMed), APA PsycInfo, ERIC et OSF Preprints.

• Stratégie de recherche : La chaîne de recherche a combiné des termes relatifs à la dyslexie/difficultés de lecture avec des termes relatifs au sous-typage/sous-groupage.
• Critères d'éligibilité : Les études ont été incluses si elles rapportaient des résultats empiriques originaux identifiant des profils cognitifs/comportementaux ou des sous-types de lecteurs ayant des difficultés de lecture. Les études ont été exclues si elles reposaient uniquement sur des mesures neurales (par exemple, IRMf) ou des données génétiques sans mesures comportementales, ou si elles n'incluaient pas d'individus atteints de dyslexie développementale.
• Sélection : Deux évaluateurs ont examiné les titres et les résumés. La fiabilité inter-évaluateurs (κ de Cohen) a été calculée sur un sous-ensemble aléatoire de 20 %. Le κ initial était de 0,592 ; les divergences ont été résolues par discussion, et l'évaluateur principal a réexaminé la liste complète pour finaliser l'ensemble de données.
• Corpus final : L'ensemble de données résultant comprend 63 études (issues de 52 articles) publiées entre 2014 et 2023.

Cadre de codage

Les auteurs ont extrait 168 variables classées en cinq domaines :

1. Informations de publication : (par exemple, disponibilité du code/des données).
2. Caractéristiques de l'échantillon : (par exemple, taille de l'échantillon, langue, comorbidité).
3. Mesures : (par exemple, construits, noms des tests, types de variables, indicateurs de performance).
4. Méthodes : (par exemple, logiciels, modèles théoriques, modèles statistiques, valeurs de seuil, standardisation des données, traitement des valeurs aberrantes/données manquantes).
5. Résultats : (par exemple, noms des sous-types, prévalence, statut de validation, robustesse).

Le cadre MAP-DyS

Les auteurs ont développé MAP-DyS (« Mapping Dyslexia Subtypes »), une application Shiny interactive et open source conçue pour visualiser ces voies de décision. Le cadre opère au niveau des articles publiés, traitant l'ensemble de données comme un « multivers » de choix analytiques.

L'application se compose de trois composants principaux :

1. Exploration de l'ensemble de données : Permet aux utilisateurs de filtrer l'ensemble de données par catégories de variables (publication, échantillon, mesures, méthodes, résultats) et de générer des tableaux personnalisés (« Créer votre tableau »).
2. Multivers des étapes décisionnelles :
   • Données descriptives : Visualisations univariées (distributions de fréquence) et bivariées (tableaux croisés) des caractéristiques des études.
   • Sous-ensemble du multivers : Les utilisateurs peuvent filtrer les études en fonction de combinaisons spécifiques de décisions analytiques (par exemple, modèle théorique spécifique + méthode statistique).
   • Carte décisionnelle d'un article individuel : Visualise le pipeline analytique d'un article sélectionné, mettant en évidence les décisions chevauchantes avec d'autres études dans la base de données.
3. Explorateur des résultats de sous-typage :
   • Modèle théorique et sous-types : Une carte thermique reliant les cadres théoriques aux sous-types identifiés.
   • Langue et sous-types : Une carte thermique reliant les langues des participants aux sous-types identifiés.

Résultats clés et démonstrations

En utilisant le cadre MAP-DyS, les auteurs ont démontré une variabilité significative dans la littérature sur le sous-typage de la dyslexie :

• Métadonnées et caractéristiques de l'échantillon :

  • Les tailles d'échantillon sont principalement petites (la plupart des études $n < 100$), limitant potentiellement la stabilité des solutions complexes.
  • La littérature est fortement biaisée vers les contextes occidentaux (anglais et français), avec une représentation limitée d'autres langues (par exemple, chinois, arabe, coréen).
  • Les âges des participants se concentrent autour de l'adolescence précoce (11–15 ans), avec moins d'études couvrant la petite enfance ou l'âge adulte.

• Variabilité des décisions analytiques :

  • Cadres théoriques : Le modèle à double voie/l'hypothèse du double déficit était le plus courant, mais environ 20 % des études ne spécifiaient pas de modèle théorique. La vision simple de la lecture était la deuxième plus citée.
  • Sélection des construits : Il n'y a pas de consensus sur l'opérationnalisation des construits ; les étiquettes pour des construits similaires (par exemple, « identification de mots » vs « reconnaissance de mots ») varient, et la composition des batteries de tests diffère considérablement.
  • Approches statistiques : La classification par moyenne-écart-type (utilisant des seuils cliniques) était la méthode la plus répandue (~46 %). Les méthodes pilotées par les données (par exemple, analyse en clusters, analyse de profils latents) étaient utilisées moins fréquemment et de manière incohérente.
  • Validation : Plus de la moitié des études n'ont rapporté aucune validation formelle de leurs sous-types.
  • Transparence : Environ 76 % des études n'ont pas rapporté le logiciel spécifique ou la version utilisée. Parmi celles qui l'ont fait, SPSS dominait ; les environnements open source (R/Python) étaient rarement rapportés.

• Résultats du sous-typage :

  • La plupart des études ont identifié entre deux et quatre sous-types.
  • Bien que certains profils (par exemple, dyslexie phonologique et de surface) semblent cohérents à travers les langues, des profils spécifiques à la langue sont également apparus (par exemple, sous-types de mémoire de travail en français, déficits RAN/morphologiques en chinois). Cependant, les auteurs notent que ces différences peuvent refléter des choix analytiques plutôt que des profils cognitifs purement linguistiques.

Importance et revendications

L'article revendique que MAP-DyS déplace le focus de la recherche sur le sous-typage de « l'identification des sous-types » vers « la compréhension de la manière dont les sous-types sont construits ».

• Transparence et reproductibilité : En rendant la variabilité analytique transparente et navigable, l'outil soutient les chercheurs dans l'évaluation critique des pratiques existantes et la conception d'études plus reproductibles. Il met en évidence le manque de normalisation dans le rapport des logiciels et des procédures de validation.
• Perspective multivers : Le cadre fournit une base pour une recherche consciente du multivers, permettant aux chercheurs d'identifier des voies analytiques alternatives et d'évaluer leur fréquence dans la littérature.
• Généralisabilité : Bien que démontré sur la dyslexie, les auteurs déclarent que le cadre est adaptable à d'autres domaines de la recherche psychologique et comportementale employant des approches de sous-typage ou de classification (par exemple, autisme, TDAH).
• Utilité pratique : L'outil est destiné à soutenir une réflexion fondée sur des preuves pour les cliniciens et les éducateurs concernant les pratiques de diagnostic et d'intervention, bien qu'il soit explicitement non un outil de diagnostic.

Les auteurs concluent que les résultats du sous-typage sont contingents à une série de décisions analytiques. En visualisant ces voies de décision, MAP-DyS permet une interprétation plus prudente des résultats hétérogènes et soutient les efforts visant à améliorer la réplicabilité et la généralisabilité de la recherche en sciences comportementales.