Meta-Analysis with JASP, Part I: Classical Approaches

Imaginez le monde scientifique comme une immense bibliothèque animée où chaque chercheur écrit un livre sur une expérience spécifique. Parfois, un livre dit qu'un nouveau médicament fait des miracles, tandis qu'un autre dit qu'il ne fait rien du tout. C'est là qu'intervient la méta-analyse. Voyez cela comme un super-bibliothécaire qui ne se contente pas de lire un livre, mais qui en rassemble des centaines, les empile et découvre la véritable histoire cachée dans le bruit. C'est comme essayer d'entendre un seul murmure dans un stade bondé ; vous ne pouvez pas simplement écouter une personne, vous devez combiner les voix de tout le monde pour trouver le véritable signal.

Pour ce faire, le super-bibliothécaire utilise quelques outils clés. D'abord, il calcule une taille d'effet (effect size), qui est une façon de mesurer « l'ampleur » d'un résultat, transformant différents types de mesures en un langage commun. Ensuite, il examine un forest plot, un graphique qui ressemble à une forêt d'arbres, où chaque arbre représente une étude et où la position de l'arbre montre son résultat. Enfin, il vérifie l'hétérogénéité, ce qui est un mot savant pour demander : « Est-ce que toutes ces études racontent la même histoire, ou sont-elles radicalement différentes ? » Si les études sont trop divergentes, le bibliothécaire doit utiliser des mathématiques spéciales pour comprendre pourquoi. Les scientifiques se soucient de cela parce que se fier à une seule étude revient à juger un film entier en ne regardant qu'une seule scène ; vous pourriez manquer les rebondissements ou la fin.

Cet article présente un nouvel outil convivial appelé JASP (plus précisément son « module de méta-analyse ») qui fait passer ces outils puissants et complexes du domaine du codage informatique à une interface simple de type « cliquer-glisser ». Les auteurs, une équipe de statisticiens et de développeurs de logiciels, ont conçu cela pour aider les scientifiques qui ne sont pas programmeurs à réaliser des méta-analyses avancées sans avoir besoin d'écrire des lignes de code. Ils démontrent que JASP peut gérer aussi bien des résumés basiques que des scénarios très compliqués où les études partagent des données ou possèdent plusieurs couches d'informations. L'article ne prétend pas avoir découvert une nouvelle loi de l'univers ; il montre plutôt qu'un logiciel gratuit et open-source peut désormais effectuer le travail de force des statistiques avancées, rendant cela accessible aux étudiants et aux chercheurs qui étaient auparavant bloqués par des outils plus simples et moins puissants.

L'histoire de la nouvelle boîte à outils du super-bibliothécaire

Imaginez que vous êtes un détective essayant de résoudre un mystère, mais au lieu d'un seul témoin, vous en avez cinquante. Certains témoins ont vu le crime de loin, certains étaient juste à côté, et d'autres racontent des histoires légèrement différentes. Par le passé, pour combiner tous ces récits en une vérité claire, il fallait être un maître du codage, parlant la langue secrète des ordinateurs (comme le langage de programmation R) pour construire une machine personnalisée capable de trier les preuves. Si vous ne saviez pas coder, vous étiez coincé avec une loupe basique qui passait à côté des indices subtils.

Les auteurs de cet article disent : « Construisons une machine que n'importe qui peut utiliser. » Ils ont créé un module à l'intérieur d'un logiciel gratuit appelé JASP qui agit comme un tableau de bord de haute technologie pour ce travail de détective. Au lieu de taper du code, vous cliquez simplement sur des boutons, faites glisser vos données, et le logiciel effectue les calculs pour vous. L'article vous guide à travers trois différents « cas » pour montrer comment ce tableau de bord fonctionne, prouvant que vous pouvez désormais réaliser le travail de détective le plus avancé sans être un codeur.

Cas 1 : Le mystère du vaccin (Les bases)
Le premier cas concerne un ensemble de données célèbres sur un vaccin contre la tuberculose. Les auteurs montrent comment utiliser JASP pour calculer la « taille d'effet » (l'efficacité du vaccin) et dessiner un funnel plot (graphique en entonnoir). Imaginez un funnel plot comme un graphique en forme d'entonnoir dans lequel vous déposez tous les résultats de vos études. Si tout est équitable et correct, les points devraient former une pyramide nette et symétrique. Si la pyramide est asymétrique, cela peut signifier que certaines études sont manquantes ou biaisées. Le logiciel construit ensuite un forest plot, qui ressemble à une forêt d'arbres, montrant exactement où se situe chaque étude et quel est notre degré de confiance dans le résultat. Les auteurs montrent que JASP peut même diviser les arbres en groupes (sous-groupes) pour voir si le vaccin a fonctionné différemment selon la manière dont l'étude a été menée. Le résultat ? Le logiciel reproduit avec succès les mathématiques complexes qui nécessitaient autrefois du codage, rendant le modèle à « effets aléatoires » (une façon de gérer les différences entre les études) facile à exécuter.

Cas 2 : Les interventions d'écriture (Rechercher des modèles)
Dans le deuxième cas, les détectives examinent des études sur les interventions de type « écrire pour apprendre ». Ici, ils veulent savoir si la durée de l'intervention ou le fait que les élèves reçoivent un feedback modifie les résultats. C'est ce qu'on appelle la méta-régression. Voyez cela comme le fait de tracer une ligne à travers un nuage de points pour voir si une tendance existe. JASP trace cette ligne pour vous et crée même un bubble plot (graphique à bulles), où des bulles plus grandes signifient des études plus précises. Le logiciel calcule également les moyennes marginales estimées (Estimated Marginal Means), ce qui est une façon sophistielle de dire : « Quel serait le résultat si nous maintenions tout le reste constant ? » C'est comme demander : « Si chaque élève avait exactement le même temps et le même feedback, quel serait le score ? » L'article montre que JASP peut gérer ces comparaisons complexes et même tester si la dispersion des données (l'hétérogénéité) change en fonction de la durée de l'étude, une technique appelée modèle de localisation-échelle (location–scale model).

Cas 3 : Le puzzle de la récidive (Le réseau complexe)
Le troisième cas est le plus délicat. Il examine des études sur la délinquance juvénile et la santé mentale. Le problème ici est que de nombreuses études rapportent plusieurs résultats pour le même groupe d'enfants (par exemple, l'agression, le harcèlement et le vol). Cela crée un « réseau complexe » de données où les résultats ne sont pas indépendants. Si vous ignorez cela, vous pourriez croire que vous avez plus de preuves que vous n'en avez réellement. Les auteurs montrent comment JASP peut démêler cela en utilisant des modèles multiniveaux (qui gèrent l'imbrication des données), des modèles multivariés (qui tiennent compte de la corrélation entre différents types de crimes) et des erreurs types robustes aux grappes (cluster-robust standard errors), qui agissent comme un filet de sécurité pour s'assurer que les mathématiques ne sont pas trompées par les connexions. Dans ce cas précis, même après avoir démêlé le réseau, le logiciel a trouvé une différence statistiquement significative : les jeunes ayant des troubles de la santé mentale présentaient un taux de récidive différent (taille d'effet combinée $d=0,36$, IC à 95 % [0,16, 0,56]).

Pourquoi cela importe

L'article ne se contente pas de présenter une interface esthétique ; il soutient que les méthodes statistiques avancées ne devraient pas être verrouillées derrière un mur de code informatique. En intégrant ces outils dans JASP, les auteurs suggèrent que les chercheurs, les enseignants et les étudiants peuvent désormais se concentrer sur l'interprétation de la science plutôt que sur le débogage du code. Le logiciel génère le code en arrière-plan, de sorte que si vous voulez apprendre, vous pouvez voir comment c'est fait, mais si vous voulez juste la réponse, vous n'avez qu'à cliquer sur « Exécuter ».

Les auteurs prennent soin de noter que, bien que ce module couvre un champ très vaste — des graphiques de base aux modèles multiniveaux complexes — il s'agit d'un travail en cours. Ils mentionnent que certaines fonctionnalités, comme la méta-analyse en réseau, sont prévues pour l'avenir. Mais pour l'instant, ils ont démontré avec succès qu'un outil gratuit et open-source peut gérer les méthodes rigoureuses et de pointe nécessaires pour synthétiser les preuves scientifiques. Ils ne prétendent pas avoir résolu tous les problèmes de la science, mais ils ont remis au super-bibliothécaire une boîte à outils bien meilleure, que n'importe qui peut prendre en main et utiliser pour trouver la vérité au milieu du bruit.