Bridging SCED and Group Designs: Demonstrating the Ratio-Metric BC-IRR Effect Size in a Meta-Analysis

Dans le monde de l'éducation et de la thérapie, les chercheurs sont confrontés à un casse-tête persistant : comment mesurer si une nouvelle méthode aide réellement une personne à apprendre ou à mieux se comporter. Depuis des décennies, la communauté scientifique s'appuie sur deux manières très différentes de recueillir des preuves. Une approche, appelée conception de groupe, rassemble un grand nombre de personnes, les divise en équipes et compare les résultats moyens de l'équipe recevant un nouveau traitement par rapport à une équipe recevant des soins standards. Cette méthode est puissante pour observer des tendances générales au sein des populations. L'autre approche, appelée conception expérimentale à cas unique, se concentre intensément sur un seul individu à la fois. Les chercheurs observent attentivement une seule personne, introduisent une intervention spécifique et suivent l'évolution du comportement de cette personne au fil du temps, en recherchant souvent des changements immédiats dans des actions précises comme le fait de faire une requête ou de rester concentré sur une tâche. Bien que les deux méthodes soient rigoureuses, elles ont historiquement parlé des langues différentes. Les études de groupe produisent des chiffres qui décrivent comment un groupe entier a changé, tandis que les études de cas uniques produisent des chiffres qui décrivent comment un individu a changé. Parce que ces chiffres sont calculés différemment, il a été difficile de les combiner en une image unique et claire de ce qui fonctionne le mieux pour les élèves présentant un trouble du spectre de l'autisme.

Cette difficulté crée un angle mort pour les éducateurs et les décideurs politiques. Si une nouvelle technologie aide un groupe d'enfants à améliorer leurs compétences sociales d'une certaine quantité, mais aide un autre groupe d'enfants à améliorer leur communication d'une quantité différente, comment pouvons-nous savoir si la technologie est véritablement efficace dans l'ensemble ? Le problème n'est pas seulement que les études se ressemblent différemment, mais que les outils utilisés pour mesurer le succès sont incompatibles. Les outils traditionnels confondent souvent l'ampleur de l'amélioration avec la variabilité des résultats d'une personne à l'autre, ou changent de signification selon la durée de l'observation. Pour résoudre cela, une équipe de chercheurs dirigée par Wen Luo de l'Université Texas A&M s'est donné pour mission de construire un nouveau bâton de mesure. Ils voulaient un moyen de traduire les résultats des individus et des groupes dans le même langage, permettant ainsi de les comparer côte à côte. Ils se sont concentrés sur un type spécifique de mesure appelé le rapport de taux d'incidence. En termes simples, il s'agit d'une comparaison de taux simple : elle demande combien de fois un comportement s'est produit pendant le traitement par rapport au nombre de fois où il s'est produit avant le début du traitement. En utilisant ce ratio, les chercheurs pouvaient exprimer l'effet d'une intervention sous la forme d'une augmentation ou d'une diminution directe en pourcentage, plutôt que d'un score statistique complexe nécessitant une formation spécialisée pour être compris.

Les chercheurs ont testé cette nouvelle approche en revisitant une vaste collection d'études antérieures sur l'instruction assistée par la technologie pour les élèves autistes. Cette collection originale, compilée par d'autres scientifiques en 2017, comprenait des dizaines d'études utilisant à la fois des conceptions de groupe et des conceptions à cas unique. L'équipe a réexaminé les données de trente-six résultats spécifiques, allant de la capacité des enfants à reconnaître les expressions faciales à la fréquence à laquelle ils demandaient de l'aide ou engageaient une conversation. Ils ont appliqué leur nouvelle méthode basée sur le ratio aux études de cas uniques et une méthode de ratio correspondante aux études de groupe. L'objectif était de voir si les deux types de recherche raconteraient une histoire cohérente lorsqu'ils seraient vus à travers ce nouveau prisme. Les résultats ont révélé une différence claire et quantifiable dans la manière dont les deux conceptions mesuraient le succès. Les études de groupe ont montré que les interventions technologiques entraînaient une amélioration moyenne d'environ 23 % par rapport aux conditions de contrôle. En d'autres termes, les élèves des groupes de traitement performaient environ un quart de mieux que ceux qui ne recevaient pas l'aide technologique spécifique.

Cependant, les études à cas uniques racontaient une histoire beaucoup plus dramatique. Lorsque les chercheurs ont appliqué la même logique de ratio aux cas individuels, ils ont constaté que les interventions produisaient une augmentation de plus de quatre fois des résultats positifs par rapport à la ligne de base. Cela signifie que pour les étudiants individuels de ces études, le comportement qu'ils cherchaient à améliorer s'est produit plus de quatre fois plus souvent après le début de l'intervention. La différence entre une augmentation de 23 % et une augmentation de quatre fois est frappante, et cela semblait initialement suggérer une contradiction. Pourtant, les chercheurs n'ont pas rejeté cet écart comme une erreur ou un défaut des données. Au lieu de cela, ils ont utilisé le nouveau métrique pour expliquer pourquoi les chiffres semblaient si différents. Ils ont découvert que les deux types d'études partaient essentiellement de points de départ différents. Les études de groupe comparaient souvent la nouvelle technologie à un environnement de classe standard ou à un autre type d'instruction, où les élèves possédaient déjà un niveau de compétence modéré. Les études à cas uniques, en revanche, commençaient souvent avec des élèves ayant des niveaux très bas du comportement ciblé avant le début de l'intervention. Parce que le point de départ était si bas, même une amélioration absolue modeste entraînait une augmentation en pourcentage massive.

Cette distinction est cruciale car elle change la façon dont nous interprétons le succès de ces interventions. La nouvelle méthode a montré que les grands chiffres observés dans les études à cas uniques n'étaient pas nécessairement le signe que le traitement fonctionnait mieux pour les individus que pour les groupes, mais plutôt que les individus partaient d'un niveau de base beaucoup plus bas. La mesure basée sur le ratio a rendu cela clair en se concentrant sur le changement relatif plutôt que sur la différence absolue. Elle a également mis en évidence une faiblesse clé des anciennes méthodes utilisées pour comparer ces études. Les outils traditionnels mélangeaient souvent la taille de l'amélioration avec la variabilité des données, rendant difficile de dire si un effet important était réel ou simplement le résultat de la dispersion des scores. La nouvelle approche par ratio a totalement évité ce piège, offrant un résultat qui restait stable, quelle que soit la variabilité des scores ou la durée des sessions d'observation. Elle a également fourni un chiffre que n'importe qui pouvait comprendre : une augmentation de quatre fois est un concept tangible, alors qu'un score statistique complexe ne l'est pas.

L'étude a également abordé la question de savoir si ces résultats différents étaient causés par un biais dans la publication des études. Il est courant de craindre que les chercheurs soient plus enclins à publier des études à cas uniques montrant des améliorations spectaculaires, tout en ignorant celles montrant des effets minimes ou nuls. Bien que les chercheurs aient reconnu que ce biais puisse exister, leur analyse a suggéré qu'il ne faisait pas toute l'histoire. Les données indiquaient que la différence de résultats était largement due aux différences fondamentales dans la manière dont les études étaient configurées et ce qu'elles mesuraient. Les études de groupe testaient si la technologie était meilleure que ce qui était déjà disponible, tandis que les études à cas uniques testaient si la technologie pouvait créer un changement majeur à partir d'un état de faible ou nulle capacité. Les deux résultats sont valides, mais ils répondent à des questions différentes. Les études de groupe suggèrent que la technologie offre un avantage modeste mais significatif par rapport aux pratiques standards, tandis que les études à cas uniques démontrent que la technologie peut être transformatrice pour les élèves qui partent d'un niveau de fonctionnement très bas.

En jetant un pont entre ces deux mondes, les chercheurs ont tracé une voie plus claire pour la synthèse des preuves. Ils ont montré qu'il est possible de combiner les conclusions de différents types de recherche sans les forcer dans un chiffre unique et trompeur. La nouvelle méthode permet aux scientifiques de voir l'image complète : que l'instruction assistée par la technologie est efficace, mais que son impact semble différent selon le contexte et le point de départ des élèves. L'étude conclut qu'aucun chiffre unique ne peut capturer toute la vérité de l'efficacité d'une intervention. Au lieu de cela, les chercheurs et les praticiens devraient regarder à la fois le changement relatif et le changement absolu pour comprendre toute l'étendue du pouvoir d'une intervention. Cette approche garantit que les décisions concernant l'éducation et la thérapie sont basées sur une compréhension complète et précise des preuves, plutôt que sur une vue partielle qui pourrait manquer les nuances de la réponse des différents élèves à l'aide apportée. Ce travail démontre que lorsque nous utilisons les bons outils pour mesurer le changement, nous pouvons voir non seulement que quelque chose fonctionne, mais aussi exactement comment et pour qui cela fonctionne le mieux.