Factorial multistratum designs for building, optimising or evaluating multilevel interventions embedded in learning systems: A taxonomy of factorial cluster-randomised trial designs and their variants

Imaginez que vous essayez de préparer le gâteau parfait, mais au lieu de simplement mélanger de la farine et du sucre, vous essayez de réparer une boulangerie entière. Vous devez décider comment former les boulangers, quels menus mettre à la carte et comment disposer les fours. Mais voici la partie délicate : vous ne pouvez pas simplement tester une seule chose à la fois. Si vous ne changez que la température du four, vous pourriez passer à côté du fait que les boulangers ont besoin d'un type de tablier différent pour faire lever le gâteau. C'est le monde des « interventions complexes » dans les soins de santé et l'éducation. Les scientifiques essaient de comprendre comment réparer de grands systèmes désordonnés — comme les hôpitaux, les écoles ou des communautés entières. Pour ce faire, ils utilisent un outil spécial appelé « essai contrôlé randomisé », qui est comme une expérience scientifique où l'on lance une pièce pour décider qui reçoit quelle version de l'aide. Mais quand vous devez tester plusieurs parties d'un système à la fois, et que ces parties appartiennent à différents groupes (comme des élèves à l'intérieur de classes, à l'intérieur d'écoles, à l'intérieur de districts), les mathématiques deviennent incroyablement compliquées. C'est comme essayer de résoudre un Rubik's cube où chaque couche est d'une couleur et d'une taille différente, et où vous devez découvrir quel mouvement de torsion répare l'ensemble du puzzle sans casser les autres pièces.

Ce document est un guide pour démêler ce Rubik's cube. Les auteurs, une équipe de statisticiens et de chercheurs, ont remarqué que si les scientifiques utilisent ces expériences complexes et multicouches depuis des décennies dans l'agriculture et les usines, les personnes qui dirigent des études médicales et sociales s'y perdent souvent à cause du jargon. Ils appellent ces conceptions des « designs factoriels multistratifiés », ce qui ressemble à une bouillie de termes techniques, mais cela signifie essentiellement tester plusieurs choses à la fois à travers différents niveaux d'un système. Le document ne crée pas une nouvelle pilule magique et ne prétend pas avoir résolu tous les problèmes de santé. Au lieu de cela, il propose une nouvelle « taxonomie » — un mot savant pour un système de classification ou une carte — pour aider les chercheurs à décrire ces expériences délicates. En examinant 44 essais du monde réel et en créant un exemple théorique sur la lutte contre l'obésité infantile dans les écoles, les auteurs suggèrent une manière standard de parler de ces conceptions. Ils soutiennent que si nous utilisons ce langage commun, nous pourrons mieux comprendre comment construire, améliorer et tester des interventions qui fonctionnent sur plusieurs niveaux à la fois, du patient individuel jusqu'au niveau de la politique nationale.

La vue d'ensemble : Pourquoi avons-nous besoin d'une carte pour les systèmes désordonnés ?

Commençons par le problème. Imaginez que vous êtes un directeur d'école essayant d'empêcher les enfants de prendre trop de poids. Vous pourriez simplement leur dire de mieux manger. Mais peut-être que le problème n'est pas seulement les enfants ; peut-être que c'est la cafétéria de l'école, le cours de sport, ou même les règles que le district impose à toute la ville. Une « intervention multiniveau » consiste à essayer de corriger tous ces éléments à la fois. Vous pourriez changer le menu de la cantine (pour l'école), former les enseignants (pour la classe) et mener une campagne pour les parents (pour la communauté).

Le problème est le suivant : comment savoir quelle partie a réellement fonctionné ? Est-ce que les enfants ont perdu du poids grâce au nouveau menu, à la formation des enseignants, ou parce qu'il faisait un beau printemps ensoleillé ? Autrefois, les scientifiques testaient peut-être une seule chose à la fois, comme une course parallèle où un groupe reçoit le menu et un autre ne reçoit rien. Mais c'est lent et coûteux en ressources. C'est comme essayer de trouver la meilleure voiture en testant le moteur, puis les pneus, puis la peinture, l'un après l'autre, au lieu de voir comment ils fonctionnent ensemble.

Entrez dans le « design factoriel ». Voyez cela comme un menu de dégustation ultra-efficace. Au lieu de tester le moteur et les pneus séparément, vous testez quatre combinaisons à la fois :

1. Ancien moteur, anciens pneus.
2. Nouvel moteur, anciens pneus.
3. Ancien moteur, nouveaux pneus.
4. Nouvel moteur, nouveaux pneus.

Cela vous indique non seulement si le nouveau moteur est bon, mais aussi si les nouveaux pneus fonctionnent mieux avec le nouveau moteur. C'est la « Stratégie d'Optimisation Multiphase » (ou MOST), une façon populaire de construire la meilleure intervention possible avant de l'essayer à grande échelle.

Mais c'est ici que cela devient complexe. Dans une expérience simple, on lance une pièce pour chaque personne. Dans un « essai randomisé par grappes » (ou CRT), on lance la pièce pour tout un groupe, comme une école entière ou un hôpital entier. Pourquoi ? Parce que si vous dites à un enfant dans une école de manger une salade et au suivant de manger une pizza, le premier enfant pourrait simplement prendre la pizza du second. Pour éviter cette « contamination », on randomise l'école entière.

Maintenant, imaginez que vous vouliez tester le menu (pour l'école) ET la formation des enseignants (pour la classe) ET la lettre d'information aux parents (pour le district). Vous ne pouvez pas simplement lancer une seule pièce. Vous devez lancer une pièce pour le district, une autre pièce pour l'école, et une autre pour la classe. Cela crée un design « multistratifié ». C'est comme une poupée russe de la randomisation. Le problème est que les personnes qui étudient ces designs (principalement des agriculteurs et des gestionnaires d'usines) utilisent un langage secret que les médecins et les enseignants ne parlent pas. Les manuels sont remplis d'exemples agricoles, pas médicaux. Ce document est là pour traduire ce langage secret en français courant.

La mission du document : Construire un traducteur universel

Les auteurs, dirigés par Rebecca Walwyn et son équipe, ont cherché à créer un langage commun pour ces essais complexes. Ils ne se sont pas contentés de rêver de théories dans un laboratoire ; ils ont examiné 44 essais cliniques réels qui avaient déjà été réalisés. Ils ont également construit un « exemple théorique » basé sur un scénario du monde réel : une campagne de réduction de l'obésité infantile dans les écoles.

Dans leur exemple, ils ont imaginé un système avec trois niveaux :

• Districts : Les grands patrons.
• Écoles : Les cadres intermédiaires.
• Classes : La ligne de front.

Ils voulaient tester quatre « ingrédients » différents (facteurs de traitement) :

1. Formations : Pour les enseignants.
2. Politiques : Règles fixées par le district.
3. Menus : Ce que l'école sert.
4. Activités : Ce qui se passe au gymnase.

La conclusion principale du document est qu'il existe dix façons distinctes d'organiser ces expériences, selon la manière dont vous lancez vos pièces et l'endroit où vous appliquez vos ingrédients. Ils ont créé une « taxonomie » (une carte) pour nommer et décrire ces dix designs.

Au lieu de dire « nous avons fait un truc en split-plot », ce qui évoit le jardinage, ils proposent une description claire en trois parties pour chaque essai :

1. Structure du traitement : Que testons-nous ? (par exemple, un design 2x2 signifie deux ingrédients, chacun ayant deux versions : « activé » ou « désactivé »).
2. Structure de l'unité : Qui participe à l'expérience ? S'agit-il d'une hiérarchie (enfants dans des classes, dans des écoles) ou d'un mélange où les périodes de temps croisent les écoles ?
3. Design de randomisation : Comment avons-nous lancé les pièces ? Avons-nous randomisé l'école entière, ou seulement les classes à l'intérieur de l'école ?

Les dix designs : Un tour du laboratoire

Les auteurs décomposent les possibilités en trois grandes familles, en utilisant leur exemple d'obésité pour montrer comment elles fonctionnent.

Famille 1 : Les designs hiérarchiques (Les poupées russes)
Ce sont les plus courants. Imaginez un système scolaire où les enfants sont dans des classes, qui sont dans des écoles, qui sont dans des districts.

• Design A (Le plus simple) : Vous lancez une pièce pour toute l'école. L'école reçoit un nouveau menu et une nouvelle formation des enseignants ensemble. C'est un test « 2x2 » standard, mais l'unité est l'école entière.
• Design B (Le Split-Plot) : C'est là que cela devient astucieux. Vous lancez une pièce pour l'école afin de décider du menu. Mais ensuite, à l'intérieur de cette même école, vous lancez une autre pièce pour chaque classe afin de décider de la formation des enseignants. C'est comme un design « split-plot ». C'est efficace car vous n'avez pas besoin de changer le menu de toute l'école pour chaque classe, mais vous pouvez quand même tester la formation séparément.
• Design C & D (L'immersion profonde) : Ceux-ci sont encore plus complexes. Le Design C ajoute une couche où le résultat est mesuré sur les élèves individuels, et non plus seulement sur les classes. Le Design D ajoute un troisième ingrédient (politiques du district) et le randomise au niveau supérieur, l'école au niveau intermédiaire, et la classe au niveau inférieur. C'est un design « split-split-plot ». Cela permet de voir exactement quel niveau du système fait le plus gros du travail.

Famille 2 : Les designs à classes croisées (Les voyageurs du temps)
Ces designs ajoutent une nuance : le Temps. Imaginez que les écoles soient les mêmes, mais que l'expérience dure 12 mois.

• Design E : L'école reçoit un traitement (comme une nouvelle politique) et le conserve pendant 12 mois. On mesure les enfants chaque mois.
• Design F : C'est un design de « crossover » (croisement). L'école essaie le Traitement A pendant 3 mois, puis le Traitement B pendant 3 mois, puis A à nouveau, puis B. C'est comme une danse de Carré Latin où chaque école essaie toutes les combinaisons au fil du temps.
• Design G & H : Ils mélangent les choses. Peut-être que le district adopte une politique qui reste la même pendant 12 mois, mais que les périodes de temps reçoivent une formation différente chaque mois. Ou peut-être que l'école change de menu chaque mois, mais que la politique du district reste fixe. C'est ce qu'on appelle un design « strip-plot ». C'est excellent pour voir comment un système « apprend » au fil du temps.

Famille 3 : Les designs mixtes (L'hybride ultime)
Ce sont les poids lourds. Ils combinent l'imbrication de la Famille 1 avec le croisement temporel de la Famille 2.

• Design I & J : Imaginez un système où la politique du district est fixée pour un an, mais où le menu de l'école change chaque mois, et où l'activité de la classe change chaque semaine. Ou peut-être que la formation change chaque mois. Ces designs permettent aux chercheurs de tester quatre ingrédients différents à travers quatre niveaux différents du système, tout en suivant comment le système apprend et s'adapte au fil du temps.

Ce que le document dit (et ne dit pas)

Les auteurs sont très clairs sur ce qu'ils ont fait et ce qu'ils n'ont pas fait. Ils suggèrent que l'utilisation de ce nouveau langage facilitera la planification de ces essais par les chercheurs et leur analyse par les statisticiens. Ils ont constaté que 44 essais réels existent déjà qui entrent dans ces catégories, prouvant que ces conceptions complexes ne sont pas seulement théoriques — elles sont utilisées dès maintenant dans les soins primaires, les écoles et les hôpitaux.

Cependant, le document ne prétend pas que ces conceptions sont toujours le meilleur choix. En fait, ils soulignent quatre grands défis pratiques :

1. Le système est désordonné : Les vrais hôpitaux et les vraies écoles ne sont pas des boîtes parfaites. Ils fusionnent, se divisent et changent de taille. On ne peut pas toujours obtenir l'expérience « équilibrée » parfaite.
2. La contamination : Si vous attribuez un traitement à une classe, les enfants de la classe voisine pourraient s'en rendre compte et l'imiter. Ce « débordement » peut ruiner l'expérience, ou parfois, c'est en fait une bonne chose (comme un vaccin qui protège tout le troupeau).
3. L'effet de report (Carryover) : Si vous testez un traitement en janvier et que vous passez à un nouveau en février, les effets de janvier peuvent encore être présents en février. C'est un risque dans les designs basés sur le temps.
4. La communication : Il est difficile d'expliquer à un médecin ou à un directeur d'école pourquoi vous avez besoin d'un design aussi complexe. Ils veulent peut-être juste une réponse simple. Les auteurs notent que obtenir l'adhésion de tous demande de la patience et une communication claire.

L'essentiel

Ce document est une boîte à outils, pas une baguette magique. Il ne vous dit pas quelle intervention fonctionnera pour arrêter l'obésité ou guérir une maladie. Au lieu de cela, il donne aux chercheurs une meilleure façon de poser la question. En fournissant une carte claire des dix façons différentes de configurer ces expériences multi-niveaux et multi-temporelles, les auteurs espèrent mettre fin à la confusion et au « langage opaque » qui ont maintenu ces outils puissants dans l'ombre.

Ils suggèrent que si nous utilisons ce langage partagé, nous pourrons construire de meilleures interventions, adaptées au monde réel, où les problèmes ne surviennent pas de manière isolée mais se propagent à travers les familles, les écoles et les communautés. Le document suggère que l'avenir du test des interventions complexes réside dans l'acceptation de cette complexité, et non dans son évitement. C'est un appel à l'action pour la communauté scientifique afin de cesser de traiter ces conceptions comme un mystère et commencer à les traiter comme les outils sophistiqués et puissants qu'elles sont. La prochaine étape, disent les auteurs, est de déterminer exactement de quelle taille ces expériences doivent être et comment analyser les données, mais pour l'instant, nous avons la carte. Et avec une carte, même le Rubik's cube le plus emmêlé devient soluble.