Introducing precision-weighted bias as a performance measure to inform the inclusion of adaptive designs in meta-analysis

Résumé technique : Introduction du biais pondéré par la précision pour les conceptions adaptatives en méta-analyse

Énoncé du problème
Les directives actuelles pour la synthèse des preuves, telles que GRADE et CONSORT, considèrent souvent le potentiel d'augmentation du biais dans les conceptions d'essais cliniques adaptatifs comme un facteur de dissuasion pour leur inclusion dans les revues systématiques et les méta-analyses. Ces directives recommandent fréquemment des analyses de sensibilité excluant les essais s'arrêtant précocement pour bénéfice, en partant du postulat que de telles conceptions introduisent un biais significatif. Bien que les études de simulation soient la méthode standard pour évaluer la performance statistique des conceptions adaptatives, elles résument généralement le biais à l'aide de la simple moyenne (non pondérée) des erreurs inconditionnelles sur les répétitions de simulation. Cette approche ignore le fait que, dans les conceptions adaptatives, la quantité d'information (la précision) fournie par chaque répétition de simulation varie considérablement (par exemple, en raison de tailles d'échantillons différentes résultant d'arrêts précoces). Par conséquent, le biais inconditionnel non pondéré peut ne pas refléter fidèlement l'impact de l'inclusion d'une conception adaptative dans une méta-analyse à effets communs, où les études sont pondérées par leur précision.

Méthodologie
Les auteurs proposent une nouvelle mesure de performance : le biais pondéré par la précision (BPP). Cette métrique est définie comme le biais inconditionnel d'un estimateur pondéré par le degré d'information (précision) qu'il contient.

• Dérivation théorique : L'article démontre que le biais dans une méta-analyse à effets communs est approximativement égal à la moyenne pondérée par la précision des biais pondérés par la précision de ses études constituantes, plutôt qu'à la moyenne de leurs biais inconditionnels non pondérés. En utilisant une approximation de Taylor, les auteurs démontrent que si toutes les études d'une méta-analyse ont un biais pondéré par la précision nul, la méta-analyse résultante aura un biais approximativement nul. De plus, le changement de biais résultant de l'ajout d'une nouvelle étude est approximativement proportionnel au biais pondéré par la précision de la nouvelle étude et à son poids de précision relatif.
• Études de simulation : Pour valider ces affirmations, les auteurs ont mené des études de simulation approfondies ($n_{sim} = 100\,000$) :
  1. Études individuelles : Ils ont comparé le biais inconditionnel non pondéré et le BPP pour des essais à bras unique de résultats binaires fixes (non adaptatifs) et des conceptions adaptatives de Simon à deux étapes (arrêt pour futilité). Ils ont examiné des scénarios avec des probabilités de réponse réelles ($\theta$) et des tailles d'échantillon variables ($N=233$ et $N=127$).
  2. Méta-analyses : Ils ont construit des méta-analyses à effets communs comprenant $K=10$ et $K=100$ études. Chaque méta-analyse incluait une étude de conception adaptative de Simon et $K-1$ études non adaptatives. Ils ont testé si le biais de l'estimation de synthèse correspondait à la moyenne pondérée par la précision des biais des études individuelles et si le changement observé de biais lors de l'ajout de l'étude adaptative correspondait au changement prédit basé sur le BPP.

Contributions clés et résultats

• Divergence des mesures de biais : Dans les études de simulation de conceptions adaptatives individuelles, le biais inconditionnel non pondéré présentait souvent une magnitude significative (par exemple, un « creux » où le biais était négatif) lorsque la probabilité d'arrêt précoce était proche de 0,5. En revanche, le biais pondéré par la précision pour ces mêmes conceptions était fréquemment proche de zéro. Cela se produisait parce que les essais qui s'arrêtaient préocement (biais élevé) contenaient moins d'information (précision plus faible) que ceux qui continuaient, ce qui annulait efficacement le biais lorsqu'il est pondéré par la précision.
• Implications pour la méta-analyse : Les résultats de la simulation ont confirmé la proposition centrale : le biais d'une méta-analyse à effets communs est bien approximé par la moyenne pondérée par la précision des BPP des études constituantes.
  • Lorsqu'une conception adaptative présentant un biais inconditionnel non pondéré substantiel (par exemple, $-0,950$) mais un BPP nul était ajoutée à une méta-analyse sans biais, le changement de biais de la méta-analyse était négligeable (par exemple, $-0,005$).
  • Le changement de biais observé lors de l'ajout d'une étude était trouvé être approximativement égal à la différence pondérée entre le BPP de la nouvelle étude et le biais de la méta-analyse originale, validant ainsi la dérivation théorique.
• Comparaison avec la littérature existante : Les conclusions soutiennent les travaux antérieurs de Senn (2014) et de Schou et Marschner (2013), qui suggéraient que l'inclusion d'essais tronqués n'entraîne pas nécessairement de biais dans les méta-analyses à effets communs. Cependant, cet article fournit une métrique quantitative (BPP) pour expliquer pourquoi cela se produit et offre un outil pour prédire l'impact de l'inclusion.

Signification et revendications
L'article affirme que le biais pondéré par la précision est un indicateur supérieur pour déterminer l'inclusion d'une conception adaptative dans une méta-analyse par rapport au biais inconditionnel non pondéré traditionnel.

• Réévaluation des directives : Les résultats suggèrent que l'inquiétude concernant l'augmentation du biais des conceptions adaptatives dans les méta-analyses peut être surestimée lorsqu'elle est examinée à travers le prisme du biais pondéré par la précision. Les conceptions qui présentent un biais inconditionnel non pondé ont souvent un BPP nul, ce qui implique que leur inclusion entraîne un changement négligeable du biais global de la méta-analyse.
• Recommandation : Les auteurs recommandent que le biais pondéré par la précision soit adopté comme complément standard au biais inconditionnel et au biais conditionnel non pondérés dans les études de simulation. Ce changement soutiendrait une synthèse des preuves plus inclusive et précise, permettant aux conceptions adaptatives d'être considérées dans les revues systématiques sans l'assomption automatique d'un biais préjudiciable.
• Portée : Les auteurs notent que le BPP est particulièrement précieux pour les conceptions à bras unique de résultats binaires où la variabilité de l'erreur standard est élevée, mais qu'il pourrait être moins critique pour les essais contrôlés randomisés à deux bras. Ils reconnaissent que des explorations supplémentaires sont nécessaires pour les résultats continus, les estimateurs ajustés et d'autres échelles (ex. : logit), mais affirment que le BPP est une mesure potentiellement précieuse pour la pratique actuelle.