Résumé technique : La précision et la décision comme objectifs dans les tests d'hypothèses séquentiels

1. Énoncé du problème

Les tests d'hypothèses séquentiels offrent une plus grande flexibilité que les plans à échantillon fixe en permettant l'évaluation des données au fur et à mesure de leur accumulation. Cependant, une tension critique existe entre les règles d'arrêt (quand arrêter la collecte de données) et les critères de décision (comment interpréter les données).

• Le problème du couplage : Les méthodes largement utilisées, telles que l'algorithme HDI+ROPE (Kruschke, 2011, 2013, 2015), couplent directement la règle d'arrêt au critère de décision. L'algorithme s'arrête dès que l'intervalle de densité la plus élevée (HDI) du postérieur se trouve entièrement à l'extérieur ou à l'intérieur d'une région d'équivalence pratique (ROPE). Bien que cela permette une acceptation positive de l'hypothèse nulle (contrairement aux tests de signification de l'hypothèse nulle ou NHST), cela risque d'induire un biais de confirmation par « regard prématuré » (early peeking). Un HDI large sur un échantillon précoce non représentatif peut satisfaire le critère de décision prématurément, entraînant un coût de faux positifs systématique.
• Le problème du découplage : Pour éliminer ce biais, la méthode « La précision est l'objectif » (PitG) (Kruschke, 2015) découple la règle d'arrêt de la décision. Elle interrompt la collecte uniquement lorsqu'une précision cible du postérieur (largeur de l'HDI, $\omega_{goal}$) est atteinte, quel que soit le résultat de l'hypothèse. Bien que cela élimine le biais de regard prématuré, cela introduit un nouveau mode de défaillance : lorsque l'hypothèse nulle est vraie (ou l'est pratiquement), la méthode PitG produit fréquemment des résultats inconcluants (l'HDI chevauche la ROPE) plutôt que d'accepter correctement l'hypothèse nulle. Ce taux élevé d'inconclusivité limite son utilité dans les domaines exigeant une confirmation rigoureuse de la nullité, tels que les essais de bioéquivalence ou les tests de régression logicielle.

Le document identifie une lacune : une méthode est nécessaire pour maintenir les propriétés sans biais de l'arrêt basé sur la précision tout en garantissant un taux élevé de résultats décisifs, particulièrement lorsque l'hypothèse nulle est vraie.

2. Méthodologie

L'auteur propose un nouvel algorithme, « La précision décisive est l'objectif » (DPitG), qui modifie le cadre PitG en exigeant que deux conditions soient remplies simultanément avant l'arrêt :

1. Condition de précision : La largeur de l'HDI postérieur ($\omega_{HDI}$) doit être inférieure ou égale à une cible prédéterminée ($\omega_{goal}$).
2. Condition de décisivité : L'HDI doit être entièrement à l'intérieur (Accepter) ou entièrement à l'extérieur (Rejeter) de la ROPE.

Composantes fondamentales

• Règle de décision partagée : Les trois algorithmes (HDI+ROPE, PitG, DPitG) utilisent une règle de décision identique basée sur la relation entre l'HDI à 95 % et les limites de la ROPE :
  • Accepter l'hypothèse nulle : HDI $\subset$ ROPE.
  • Rejeter l'hypothèse nulle : HDI $\cap$ ROPE = $\emptyset$.
  • Inconcluant : L'HDI chevauche la ROPE.
• Différences dans les critères d'arrêt :
  • HDI+ROPE : S'arrête immédiatement dès qu'une décision est prise (couplé).
  • PitG : S'arrête immédiatement dès que $\omega_{goal}$ est atteint (découplé), puis vérifie la décision.
  • DPitG : Continue l'échantillonnage jusqu'à ce que à la fois $\omega_{HDI} \le \omega_{goal}$ ET une décision décisive soit possible.

Cadre théorique

L'article dérive une formule de planification en forme close pour l'échantillon attendu ($N_{goal}$) requis pour atteindre un objectif de précision sous une approximation normale (Théorème de la limite centrale) :
$$N_{goal} \propto \frac{V}{\omega_{goal}^2}$$
où $V$ est la variance de l'observation. Pour un paramètre de Bernoulli $\theta$, $V \propto \theta(1-\theta)$. Cette formule permet aux chercheurs de pré-spécifier le budget minimum requis pour atteindre un objectif de précision, servant de borne supérieure conservatrice lorsque $\theta_{null} = 0.5$.

Conception expérimentale

Les méthodes ont été évaluées à l'aide de simulations de données synthétiques basées sur des essais de Bernoulli (données binaires à groupe unique) :

• Échelle : $M = 5\,000$ séquences indépendantes allant jusqu'à $N_{max} = 1\,500$ essais.
• Paramètres : $\theta_{null} = 0.5$, ROPE = $[0.45, 0.55]$ ($\Delta_{ROPE} = 0.1$), et $\omega_{goal} = 0.08$.
• Scénarios : Testés à travers une gamme de paramètres réels ($\theta_{true}$) de 0.5 à 0.8, incluant le cas de la « pièce de monnaie équitable » où $\theta_{true} = \theta_{null}$.

3. Résultats clés

Les simulations démontrent que DPitG équilibre avec succès le compromis entre biais, conclusivité et coût d'échantillonnage.

Performance dans le cas de la « pièce de monnaie équitable » ($\theta_{true} = 0.5$)

• HDI+ROPE : A atteint un taux de conclusivité élevé (98,2 %) mais a subi un taux de faux positifs de 6,3 % (rejet incorrect de l'hypothèse nulle).
• PitG : A obtenu zéro faux positif mais a souffert d'un taux d'inconclusivité de 62,1 %, ne fournissant pas de verdict dans la majorité des cas où l'hypothèse nulle était vraie.
• DPitG : A atteint un taux de conclusivité de 97,8 % avec zéro faux positif dans le scénario de la pièce équitable.
  • Coût : Le coût d'échantillonnage médian pour DPitG n'était que de 4,7 % supérieur à celui de PitG.
  • Efficacité : Alors que PitG s'arrête exactement à $N_{goal}$, DPitG s'arrête à $N_{goal}$ pour une fraction substantielle des expériences (celles où la précision et la décisivité s'alignent tôt) mais prolonge l'échantillonnage uniquement lorsque cela est nécessaire pour résoudre les états indécis.

Sensibilité et tendances générales

• Robustesse à $\omega_{goal}$ : À mesure que l'objectif de précision $\omega_{goal}$ était resserré ou assoupli, le taux de conclusivité de PitG variait considérablement (tombant à 0 % pour $\omega_{goal} = 0.10$), tandis que DPitG maintenait un taux de conclusivité élevé (> 97 %) sur toute la plage.
• Biais : L'algorithme HDI+ROPE a présenté un biais d'estimation ($\hat{\theta}$) significatif car il pouvait s'arrêter sur des échantillons asymétriques et de faible précision. Tant PitG que DPitG ont maintenu un biais agrégé proche de zéro pour toutes les valeurs de $\theta_{true}$. Cependant, l'article note que bien que la différence agrégée soit négligeable, un certain biais émerge lorsque la symétrie se rompt (par exemple, quand $\theta_{true} \neq 0.5$), et au sein de la ROPE, PitG montre un biais légèrement plus élevé que DPitG pour les expériences conclusives, tandis que le schéma s'inverse pour les expériences inconcluantes.
• Généralisabilité : Les avantages de DPitG par rapport à PitG (conclusivité plus élevée avec un coût supplémentaire négligeable) ont persisté à mesure que $\theta_{true}$ s'éloignait de la nullité, et le cadre s'étend aux résultats continus et aux comparaisons de deux groupes.

4. Contributions clés

1. Algorithme proposé (DPitG) : Une nouvelle règle d'arrêt séquentiel qui impose un double critère (précision + décisivité) pour éliminer le taux élevé d'inconclusivité de PitG tout en maintenant ses propriétés de biais quasi nul.
2. Formule de planification en forme close : Une dérivation de $N_{goal} \propto V/\omega_{goal}^2$, permettant aux chercheurs de calculer le nombre d'échantillons nécessaire pour un objectif de précision donné, de manière compatible avec la pré-enregistrement.
3. Validation empirique : Preuve par simulation montrant que, dans le cas de la pièce équitable, DPitG réduit le taux d'inconclusivité de PitG de ~62 % à ~2 % avec un coût médian de seulement ~5 % d'échantillons supplémentaires, sans subir les coûts de faux positifs des méthodes couplées comme HDI+ROPE.
4. Outils pratiques : La fourniture d'un calculateur interactif en ligne et de code en libre accès pour faciliter l'adoption de ces méthodes dans des contextes appliqués.

5. Signification et affirmations

L'article positionne DPitG comme la méthode de choix pour les scénarios où un verdict fiable est requis et où l'étude peut se permettre de collecter au moins $N_{goal}$ observations.

• Résolution de la tension : DPitG résout la tension inhérente à PitG en faisant de la précision une condition nécessaire mais non suffisante pour l'arrêt. Il garantit que lorsqu'une étude s'arrête, le résultat est à la fois précis et décisif.
• Rigueur scientifique : La méthode soutient la confirmation rigoureuse de l'hypothèse nulle, une capacité souvent absente du NHST et actuellement compromise par les taux élevés d'inconclusivité de PitG. Cela est crucial pour des domaines comme la bioéquivalence, les tests de type « absence de dommage » et l'arrêt de futilité.
• Compatibilité avec la pré-enregistrement : Comme la règle d'arrêt est entièrement pré-spécifiée (basée sur $N_{goal}$ et $\omega_{goal}$ plutôt que sur des seuils dépendants des données), elle s'aligne sur les normes de pré-enregistrement et répond à l'imprécision de conception impliquée dans la crise de la réplication.
• Honnêteté épistémique : L'auteur soutient que l'exigence de précision est un atout, et non un défaut. Elle force une planification réaliste et empêche les analystes de déclarer un verdict sur des données insuffisantes. Si les données ne peuvent pas soutenir une conclusion dans le budget imparti, DPitG (comme PitG) ne forcera pas une conclusion erronée, mais contrairement à PitG, il minimise la fréquence de ces résultats « inconcluants » en prolongeant le budget d'échantillonnage uniquement lorsque cela est nécessaire.

L'article conclut que bien que DPitG puisse nécessiter une légère augmentation de la taille de l'échantillon par rapport à PitG dans certains scénarios, ce coût est négligeable par rapport au gain de décisivité et à l'évitement des erreurs systématiques de faux positifs inhérentes aux méthodes couplées comme HDI+ROPE.