Don't Drop the Singletons: Efficient Inference for Pairwise Experiments with Independent Attrition

Dans le monde des expériences scientifiques, les chercheurs sont souvent confrontés à un choix difficile entre précision et praticité. Pour savoir si un nouveau traitement fonctionne, les scientifiques utilisent fréquemment une méthode appelée randomisation, où ils assignent des participants soit à un groupe de traitement, soit à un groupe de contrôle, par le fait du hasard. Une version populaire et puissante de cette méthode consiste à apparier des participants qui sont très similaires les uns aux autres — par exemple, des voisins ayant des revenus similaires ou des étudiants ayant des scores de tests similaires — puis à attribuer aléatoirement le traitement à l'une des personnes de la paire tandis que l'autre sert de témoin. Cette approche « par paires » est comme si chaque sujet bénéficiait d'un contrôle intégré, ce qui rend généralement les résultats beaucoup plus nets et fiables que la simple comparaison de deux grands groupes mixtes. Cependant, un problème persistant dans les études du monde réel est l'attrition : le fait que des participants abandonnent l'expérience avant la fin. Lorsque cela se produit, une paire peut perdre un membre, laissant l'autre sans partenaire. Pendant des années, le conseil standard a été de rejeter ces « orphelins » isolés et de n'analyser que les paires où les deux personnes sont restées. La logique était que, sans partenaire, les données étaient trop confuses pour être utilisées. Cette pratique signifiait toutefois que les chercheurs jetaient des informations précieuses, réduisant ainsi l'efficacité de leur étude et rendant plus difficile la détection de réels effets.

Deux chercheurs, Simon Heß et Patrick W. Schmidt, ont remis en question cette règle de longue date. Ils soutiennent que la crainte d'utiliser des données de paires incomplètes est mal placée, à condition que la raison de l'abandon ne soit pas liée au traitement reçu. Dans leurs nouveaux travaux, ils démontrent qu'il est possible de conserver chaque observation, même les isolées, tout en obtenant des résultats très précis. Ils ont développé une nouvelle façon d'analyser les données qui respecte la structure d'appariement originale tout en combinant intelligemment les informations des paires complètes avec celles des pures incomplètes. Au lieu de rejeter les individus isolés, leur méthode les traite comme des pièces utiles du puzzle, en les pondérant de manière appropriée selon la quantité d'informations qu'ils fournissent. Ce faisant, ils montrent que les chercheurs peuvent maintenir la haute précision du plan par paires sans subir la pénalité statistique de la perte de données due à l'attrition.

Le cœur de leur découverte est une procédure de test spécifique qui agit comme un filtre intelligent. Lorsqu'une étude perd un participant, l'approche traditionnelle consisterait simplement à supprimer l'intégralité de la paire de l'analyse, faisant comme si cette personne n'avait jamais existé. Les auteurs montrent que cela gaspille une quantité significative de preuves. Leur nouvelle méthode utilise une technique appelée inférence de randomisation, qui repose sur le fait que le traitement a été assigné par un tirage à pile ou face au sein de chaque paire. Ils créent une statistique de test qui examine la différence de résultats pour les paires complètes et la différence de résultats entre les individus isolés, puis fusionne ces deux sources d'information. Cette fusion est réalisée avec une précision mathématique : les paires complètes, qui offrent une comparaison directe entre deux personnes similaires, reçoivent un poids plus important, tandis que les individus isolés, qui offrent une comparaison plus large à travers l'ensemble du groupe, reçoivent un poids plus faible mais néanmoins significatif. Cette combinaison permet à l'étude d'utiliser chaque donnée restante, maximisant ainsi la puissance de détection d'un effet réel.

Pour prouver l'efficacité de cette méthode, les chercheurs ont réalisé des simulations approfondies et des calculs théoriques. Ils ont comparé leur nouvelle méthode aux deux manières standards dont les scientifiques gèrent actuellement ce problème. La première méthode standard est le « test t apparié », qui suit l'ancienne règle consistant à jeter les paires incomplètes. La seconde est le « test t à deux échantillons », qui ignore entièrement l'appariement et compare simplement la moyenne de tous les sujets traités à celle de tous les sujets de contrôle. Les auteurs ont constaté que leur nouvelle approche surpasse systématiquement les deux autres. Dans les scénarios où la qualité de l'appariement est élevée — c'est-à-dire où les paires sont très bien assorties — l'ancienne méthode appariée perdait beaucoup de puissance dès que des personnes commençaient à abandonner. La méthode qui ignorait totalement l'appariement était souvent trop conservatrice, échouant à voir des effets qui étaient pourtant bien présents. La nouvelle méthode, quant à elle, a dominé les deux approches, délivrant des résultats plus solides à tous les niveaux d'attrition et de qualité d'appariement testés.

Les chercheurs ont également abordé une préoccupation courante concernant la complexité d'utilisation de cette nouvelle méthode en pratique. Ils ont montré que la pondération et les tests complexes peuvent être effectués à l'aide d'un outil statistique standard appelé régression pondérée, disponible dans presque tous les logiciels courants. Un chercheur peut simplement indiquer au logiciel d'inclure toutes les données, d'assigner un poids spécifique aux individus isolés et d'inclure des effets fixes pour les paires complètes. Cela rend la puissante nouvelle méthode accessible à toute personne capable de réaliser une analyse de base, éliminant la barrière d'un besoin de code spécialisé ou sur mesure. Les auteurs soulignent que cette solution fonctionne mieux lorsque les abandons surviennent pour des raisons non liées au traitement, comme un déménagement ou une perte d'intérêt, plutôt que parce que le traitement a provoqué un inconfort. Si les abandons sont liés au traitement lui-même, le problème devient beaucoup plus complexe, mais pour la grande majorité des cas où les abandons sont aléatoires, la nouvelle méthode offre une voie claire.

Enfin, pour vérifier leurs résultats, les auteurs ont comparé leur plan par paires optimisé à une autre stratégie souvent recommandée lorsque l'attrition est attendue : utiliser des groupes plus larges plutôt que des paires, comme des groupes de quatre. L'idée est que dans un groupe de quatre, si une personne part, trois restent, préservant ainsi une plus grande partie de la structure du groupe. Les chercheurs ont simulé ce scénario et ont découvert que même avec des groupes plus larges, leur méthode optimisée pour les paires tenait tête. Dans de nombreux cas, le gain d'efficacité obtenu par l'appariement serré des paires, combiné à leur méthode d'utilisation de toutes les données disponibles, suffisait à battre les groupes plus larges. Cela suggère que les chercheurs n'ont pas besoin d'abandonner le plan par paires simplement parce qu'ils craignent l'attrition. Au contraire, ils peuvent s'en tenir à la stratégie d'appariement plus précise et simplement appliquer la nouvelle technique d'analyse pour s'assurer de ne pas gaspiller les données qu'ils ont si durement collectées.

Les implications de ce travail sont directes pour quiconque mène une étude. Cela supprime le compromis entre le maintien d'un plan serré et efficace et la perte de données due à l'attrition. En refusant de rejeter les individus isolés et en les intégrant plutôt dans l'analyse avec le poids approprié, les chercheurs peuvent maintenir la puissance de leurs études et la robustesse de leurs conclusions. L'article fournit une boîte à outils pratique qui transforme une faiblesse potentielle — la perte de participants — en une partie gérable du processus, garantissant que les résultats finaux reflètent l'étendue complète de l'expérience plutôt que seulement ceux des survivants.