Independence and Collaboration in Single-Case Evidence Standards: Inductive Themes from Two Expert Focus Groups
Par une analyse thématique inductive de deux groupes de discussion d'experts, cet article propose un flux de travail par étapes et une infrastructure de transparence afin de concilier la tension entre le développement collaboratif multisite et les exigences d'indépendance des normes de preuve de cas unique, améliorant ainsi la reproductibilité sans entraver la recherche coordonnée.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde de l'éducation et des sciences du comportement, les chercheurs travaillent souvent pour prouver qu'une méthode d'enseignement spécifique aide réellement les gens. Pour décider si une méthode est véritablement « fondée sur des preuves », c'est-à-dire qu'elle fonctionne de manière fiable pour n'importe qui, et pas seulement pour ceux qui l'ont inventée, les experts s'appuient depuis longtemps sur une liste de contrôle simple. Ils recherchent un certain nombre d'études réussies, menées par un certain nombre d'équipes de recherche différentes, impliquant un nombre spécifique de participants. Cette liste de contrôle sert de sceau de qualité, assurant aux enseignants et aux parents qu'un programme est sûr et efficace. Cependant, un problème croissant est apparu : les personnes qui créent ces programmes travaillent souvent ensemble au sein de grands groupes très soudés. Bien que ce travail d'équipe aide à construire de meilleurs outils plus rapidement, cela soulève une question difficile. Si le même groupe d'amis et de collègues teste sa propre invention encore et encore, peuvent-ils vraiment affirmer qu'elle fonctionne pour tous les autres ? Le cœur du problème est de savoir si l'« indépendance » dans la recherche signifie simplement être dans des bâtiments différents, ou si elle signifie quelque chose de plus profond sur la manière dont le travail est effectué et sur qui prend les décisions.
Pour démêler ce nœud, une équipe de chercheurs a réuni deux petits groupes d'experts lors d'une conférence spécialisée. Il ne s'agissait pas d'observateurs occasionnels ; c'étaient des scientifiques chevronnés qui conçoivent et étudient ces méthodes mêmes. Les chercheurs ont demandé aux experts de discuter ouvertement de ce que l'« indépendance » signifie réellement lorsque plusieurs équipes travaillent ensemble. Ils voulaient savoir si les règles actuelles pour compter les différents groupes de recherche font sens, quels sont les risques découlant d'une collaboration étroite, et comment garantir qu'un programme fonctionne même lorsque ses créateurs originaux ne sont pas là pour aider. Les experts ne se sont pas contentés de débattre de définitions ; ils ont partagé des réflexions pratiques sur la manière de maintenir l'honnêteté de la recherche tout en permettant aux scientifiques de collaborer.
Les experts ont rapidement réalisé que l'indépendance n'est pas seulement une question de distance physique. Il ne suffit pas que deux équipes de recherche soient dans des villes ou des universités différentes si elles partagent la même formation, les mêmes conseillers ou les mêmes habitudes informelles. Le groupe a convenu que l'indépendance remplit deux fonctions principales. Premièrement, elle sert de garde-fou contre les biais. Lorsque les chercheurs sont profondément investis dans un projet qu'ils ont aidé à créer, ils peuvent involontairement percevoir des résultats positifs là où il n'y en a pas, ou interpréter des données ambiguës d'une manière qui favorise leur propre travail. Deuxièmement, et c'est peut-être plus important, l'indépendance sert de test de portabilité. Cela signifie vérifier si les instructions du programme sont assez claires pour qu'une équipe totalement nouvelle, sans l'aide des créateurs originaux, puisse prendre le manuel et obtenir les mêmes résultats. Les experts ont noté que, souvent, les personnes qui construisent un programme s'appuient sur des connaissances tacites ou des décisions prises selon un « langage codé » qu'elles partagent. Si ces étapes invisibles ne sont pas consignées par écrit, une nouvelle équipe pourrait suivre parfaitement les règles écrites, mais échouer tout de même parce qu'elle a manqué ces détails invisibles.
La discussion a révélé que la collaboration et l'indépendance ne sont pas ennemies, mais des outils pour différentes étapes du travail. Les experts ont suggéré une approche en deux étapes. Au début, lorsqu'un nouveau programme est inventé et perfectionné, une collaboration étroite est en fait une bonne chose. Les équipes doivent travailler ensemble pour résoudre les problèmes, partager des idées et faire en sorte que le programme fonctionne le mieux possible. Cependant, une fois le programme terminé, les règles doivent changer. Pour prouver qu'un programme est véritablement prêt pour le monde, une équipe différente et non affiliée doit le tester. Cette seconde équipe ne doit pas avoir les créateurs originaux qui rôdent autour d'elle ou lui offrent des conseils secrets. Cette séparation est le seul moyen de prouver que le programme repose sur ses propres mérites, sans avoir besoin de la « touche magique » de ses inventeurs.
Lorsque les experts ont envisagé des situations où une séparation totale est impossible, ils ont proposé des mesures de protection pratiques pour maintenir l'honnêteté de la science. Ils ont suggéré que les équipes devraient consigner par écrit chaque décision qu'elles prennent, y compris la raison pour laquelle elles ont modifié une règle ou comment elles ont résolu un problème. Cela crée un registre clair que d'autres peuvent étudier. Ils ont également recommandé d'utiliser des moniteurs externes ou des personnes indépendantes pour vérifier les données, afin de s'assurer que les chercheurs n'influencent pas les résultats. Le groupe a décrit une façon de classer les preuves qui s'éloigne d'un simple système « réussite ou échec ». Ils ont imaginé un niveau de preuve « argent », où un programme a été testé par l'équipe qui l'a construit et montre des promesses, et un niveau « or », où une équipe extérieure a utilisé avec succès le programme sans aucune aide. Cette distinction aide tout le monde à comprendre qu'un programme peut être très utile et bien développé, mais qu'il n'est pas encore pleinement prouvé pour le grand public tant qu'une équipe extérieure ne l'a pas essayé.
L'article conclut que les règles actuelles pour compter les groupes de recherche doivent être comprises comme un moyen de mesurer ces fonctions plus profondes, plutôt que comme un simple décompte. Les experts n'ont pas dit que le système actuel était défaillant, mais ils ont soutenu que le simple fait de compter trois groupes différents ne suffit pas si ces groupes sont tous liés de manières qui cachent des biais ou des connaissances tacites. Au lieu de cela, l'accent doit être mis sur la question de savoir si le processus de recherche a été assez transparent pour montrer qu'un programme peut voyager au-delà de son foyer d'origine. En traitant l'indépendance comme un objectif fonctionnel — protéger contre les biais et tester si un programme peut tenir debout seul — les chercheurs peuvent concevoir des études qui sont à la fois collaboratives et rigoureuses. Cette approche permet à la science d'avancer rapidement grâce au travail d'équipe, tout en garantissant que les résultats finaux sont dignes de confiance pour tous.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.