📊 statistics

A closed-form sample size correction for always-valid inference with optional stopping

Cet article introduit un facteur de correction de la taille de l'échantillon sous forme fermée qui ajuste les calculs d'échantillons fixes pour les tests séquentiels toujours valides, permettant une estimation précise de la puissance sans simulations et réduisant le budget d'échantillonnage requis de 8 à 20 % par rapport aux règles conservatrices du dernier point.

Auteurs originaux : Mårten Schultzberg

Publié 2026-06-18

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mårten Schultzberg

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective essayant de résoudre une affaire (un test A/B) pour voir si un nouvel indice (le traitement) est meilleur que l'ancien. Vous voulez être sûr de ne pas commettre d'erreur, mais vous voulez aussi arrêter dès que vous avez suffisamment de preuves.

Le Problème : Le Piège de l'« Arrêt Final »

Par le passé, les détectives utilisaient une règle appelée la « Règle de l'Arrêt Final ». Ils disaient : « Je vais examiner les preuves chaque jour, mais je ne déclarerai officiellement un vainqueur qu'au 100e jour. Je dois m'assurer qu'au 100e jour spécifiquement, j'ai 95 % de chances de capturer le criminel s'il est là. »

Pour être prudent, ils calculaient le nombre de jours nécessaires pour atteindre ces 95 % de chances. Mais voici le piège : comme ils étaient autorisés à jeter un coup d'œil aux preuves chaque jour avant le 100e jour, le criminel aurait pu être capturé au 10e jour, au 50e jour ou au 99e jour. La « Règle de l'Arrêt Final » ignorait toutes ces opportunités précoces.

Parce qu'elle ignorait ces chances précoces, la règle était trop prudente. Elle disait au détective : « Vous avez besoin de 100 jours pour être en sécurité », alors qu'en réalité, ils auraient pu être en sécurité avec seulement 85 jours. Cela signifiait perdre du temps, de l'argent et des ressources dans une enquête plus longue que nécessaire.

La Solution : Le « Multiplicateur Magique »

L'auteur de ce document, Mårten Schultzberg, a trouvé un facteur de correction à forme fermée (un terme mathématique sophistiqué pour un simple « nombre magique » que vous pouvez calculer sans recourir à des simulations informatiques complexes).

Considérez cela comme un multiplicateur magique (appelé $k^*$ ). Au lieu de deviner combien de temps faire durer l'expérience, vous prenez votre calcul « fixe » standard et vous le multipliez par ce nombre magique.

Ancienne méthode : « Nous avons besoin de 1 000 personnes pour être en sécurité. » (C'est en réalité trop nombreux).
Nouvelle méthode : « Nous avons besoin de 1 000 personnes, mais multipliez cela par 0,85. Donc, nous n'avons besoin que de 850 personnes. »

Cette nouvelle méthode tient compte du fait que vous vérifiez les preuves en continu. Elle réalise que, puisque vous regardez tout le temps, vous n'avez pas besoin d'attendre aussi longtemps pour être sûr.

Comment ça marche (La métaphore)

Imaginez que la preuve est une balle roulant vers le haut d'une colline.

La Limite (Boundary) est une clôture au sommet de la colline. Si la balle franchit la clôture, vous vous arrêtez et déclarez la victoire.
L'Ancienne Règle supposait que la balle n'avait besoin de franchir la clôture qu'à la toute fin de la piste. Pour être prudent, ils ont construit une piste très longue.
La Nouvelle Méthode réalise que la balle pourrait franchir la clôture n'importe où le long de la piste.
L'auteur utilise une astuce ingénieuse : il trace une ligne droite (une tangente) qui touche juste le sommet de la clôture au point final. Comme la clôture est courbe (il devient plus difficile de la franchir au fur et à mesure), cette ligne droite se situe légèrement au-dessus de la clôture réelle.
En calculant les probabilités que la balle franchisse cette ligne droite plutôt que la clôture courbe, le calcul devient simple et soluble avec une calculatrice. Cette approximation par ligne droite est si précise qu'elle vous indique exactement de combien la piste peut être raccourcie.

Les Résultats : Économiser de l'Argent et du Temps

L'auteur a testé ce « multiplicateur magique » contre trois types différents de clôtures (limites statistiques) utilisées par des entreprises comme Spotify.

Les Économies : En utilisant cette nouvelle formule, les entreprises peuvent économiser de 8 % à 20 % de la taille de l'échantillon qu'elles auraient autrement collecté.
- Analogie : Si vous prévoyiez de cuisiner un gâteau pour 100 personnes, cette nouvelle méthode vous dit : « En fait, vous n'avez besoin que des ingrédients pour 85 personnes, et vous serez quand même sûr à 95 % que le gâteau est bon. »
Précision : Lorsqu'ils ont lancé des milliers de simulations informatiques, la nouvelle méthode a atteint la cible de taux de réussite presque parfaitement (à environ 3 points de pourcentage près).
Preuve Réelle : L'auteur a testé cela sur des données réelles de la plateforme d'expérimentation de Spotify. À travers 713 tests différents, la méthode a économisé une médiane de 9,5 % en taille d'échantillon. C'est beaucoup de temps et d'argent économisés.

Limites Importantes

Le document note que ce « nombre magique » fonctionne mieux lorsque les données se comportent bien (comme une courbe en cloche) et lorsque vous avez une quantité raisonnable de données pour commencer (appelée « burn-in »). Si vous testez quelque chose de très rare (comme une maladie qui survient 1 fois sur 10 000 personnes), les mathématiques deviennent un peu fragiles, et les économies pourraient être moins fiables.

Résumé

En bref, ce document offre aux expérimentateurs un « code de réduction » pré-calculé pour leurs tailles d'échantillon. Il leur évite de trop préparer des expériences qui permettent une surveillance continue, économisant ainsi environ 10 à 20 % de leur budget sans sacrifier la sécurité de leurs conclusions.

Résumé Technique : Une correction de la taille d'échantillon sous forme fermée pour l'inférence toujours valide avec arrêt optionnel

Énoncé du problème
Les tests séquentiels permettant une surveillance continue (inférence toujours valide) sont largement déployés dans les plateformes d'expérimentation A/B pour permettre un arrêt précoce lorsque les preuves sont claires. Cependant, déterminer la taille d'échantillon appropriée pour ces tests est coûteux en termes de calcul. Les calculs de puissance traditionnels pour les tests séquentiels nécessitent des simulations approfondies qui ne passent pas bien à l'échelle sur les milliers de métriques surveillées par les grandes plateformes d'expérimentation.

Une heuristique courante, la « règle du dernier point » (last-point rule), tente de dimensionner ces expériences en gonflant la taille d'échantillon fixe ( $n_z$ ) jusqu'à ce que la probabilité de rejet marginal au point de terminaison prévu atteigne la puissance cible ( $1-\beta$ ). L'article identifie une faille critique dans cette approche : la puissance toujours valide (AV) est définie comme la probabilité de franchir une limite à n'importe quel moment pendant la course, et non seulement au point final. Par conséquent, la règle du dernier point est excessivement conservatrice. Aux caractéristiques opérationnelles standards ( $\alpha=0,05, 1-\beta=0,80$ ), cette règle produit une puissance empirique comprise entre 0,86 et 0,88, ce qui entraîne un surdimensionnement des expériences de 7 à 9 points de pourcentage.

Méthodologie
Les auteurs proposent un facteur de correction sous forme fermée, $k^*(\alpha, \beta, t_0)$ , pour ajuster la taille d'échantillon fixe $n_z$ de telle sorte que la puissance AV totale atteigne approximativement la puissance cible sans simulation.

La méthodologie repose sur les composantes suivantes :

Temps redimensionné et approximation par mouvement brownien : Le problème est projeté sur une variable de temps redimensionnée $t = n/n_z$ . Sous l'hypothèse alternative ( $H_1$ ), le processus cumulé standardisé $Y_t$ est approximé par un mouvement brownien avec une dérive $\mu_d = z_\alpha + z_\beta$ et une variance unitaire.
Linéarisation tangente : Le cœur de l'approximation consiste à remplacer la limite séquentielle courbe $b(t)$ par sa droite tangente au point final prévu $t=k$ . Ce substitut linéaire permet l'application de la formule de premier passage de Bachelier.
Dérivation analytique : Les auteurs dérivent la probabilité de franchir la limite linéarisée sur l'intervalle $[t_0, k]$ $[t_{0}, k]$ , où $t_0 = m/n_z$ $t_{0} = m / n_{z}$ est la fraction de mise en chauffe (burn-in), soit le point où la surveillance commence. La dérivation intègre la valeur initiale du processus à $t_0$ $t_{0}$ en utilisant la complétion du carré gaussienne et la fonction de répartition (CDF) de la normale bivariée, $\Phi_2$ $Φ_{2}$ .
- L'approximation de la puissance $\pi_{closed}(k)$ résultante se compose de trois termes : la probabilité de rejet immédiat à $t_0$ , la probabilité de franchir la limite linéaire durant $(t_0, k]$ , et un terme de correction de réflexion.
Spécificité de la limite : Le facteur de correction dépend de la limite séquentielle spécifique uniquement via sa valeur $b(k)$ $b (k)$ et sa pente $b'(k)$ $b^{'} (k)$ au point final. L'article dérive explicitement ces valeurs pour trois limites communes :
- La séquence de confiance de Waudby-Smith et al. [2023] (WSKR).
- La séquence de confiance de Maharaj et al. [2023].
- Le test de rapport de vraisemblance séquentiel de mélange (mSPRT) de Johari et al. [2022].

Contributions clés

Facteur de correction sous forme fermée : L'article fournit une formule explicite pour $k^*$ qui peut être évaluée à l'aide de fonctions élémentaires et de la CDF de la normale bivariée, éliminant ainsi le besoin de calculs de puissance basés sur la simulation.
Généralisabilité : L'approximation est applicable à toute limite concave et lisse, à condition que sa valeur et sa pente au point final soient connues.
Sensibilité de la mise en chauffe (Burn-in) : L'analyse tient compte du paramètre de mise en chauffe $m$ , montant comment le facteur de correction varie selon le début de la fenêtre de surveillance.
Validation empirique : Les auteurs valident cette correction sur trois familles de limites et une large grille de paramètres $(\alpha, \beta)$ à l'aide de simulations de Monte Carlo avec 50 000 réplications par cellule.

Résultats

Précision : Fixer la taille d'échantillon à $k^* \cdot n_z$ atteint la puissance empirique cible à environ 3 points de pourcentage près sur toute la grille testée. Dans les simulations gaussiennes, la puissance empirique est souvent légèrement supérieure à $1-\beta$ , un biais conservateur attribué au fait que la tangente se situe au-dessus de la limite concave.
Gains d'efficacité : Le facteur de correction génère des économies de taille d'échantillon significatives par rapport à la règle du dernier point. Sur toute la plage opérationnelle, les économies varient de 8 % à 20 %.
- Par exemple, pour $\alpha=0,05$ et $1-\beta=0,80$ , les économies sont d'environ 10 à 14 % selon le type de limite.
Validation en production : Les auteurs ont appliqué la correction à 713 métriques de la plateforme d'expérimentation de Spotify (en utilisant la limite de Maharaj). La réduction médiane de la taille d'échantillon observée était de 9,5 %, avec une moyenne de 9,8 %.
Impact de la mise en chauffe : L'article note que si des valeurs de mise en chauffe réalistes ( $m \ll n_z$ ) augmentent le budget total d'échantillonnage (souvent 2 à 3 fois la taille d'échantillon fixe) en raison de séquences de confiance plus larges, le facteur de correction offre toujours des économies substantielles par rapport à la règle non corrigée du dernier point.
Limites : Les auteurs notent qu'à des taux de base très bas (par exemple, $p_C \le 0,01$ ), l'approximation du théorème central limite (TCL) se dégrade, et le facteur sous forme fermée peut sous-estimer la puissance cible.

Signification
L'article affirme que la règle du dernier point, bien que simple, est inefficace pour les tests séquentiels, entraînant une dépense de ressources inutile. En fournissant un facteur de correction sous forme fermée, les auteurs proposent une solution évolutive pour dimensionner précisément les tests toujours valides. Cela permet aux plateformes de réduire les tailles d'échantillon de 8 à 20 % sans compromettre la validité statistique, accélérant ainsi la prise de décision et réduisant le coût de l'expérimentation. Ce travail comble le fossé entre l'analyse séquentielle théorique et la mise en œuvre pratique à grande échelle dans les contextes industriels.