Practical Boundary Degeneracy and Reverse-Martingale Limits in Sequential Binary Models

Résumé technique : Dégénérescence pratique des limites et limites de martingales inverses dans les modèles binaires séquentiels

Énoncé du problème
L'article traite d'un phénomène statistique récurrent dans les données binaires séquentielles où des échantillons finis créent l'apparence d'une « dégénérescence des limites ». Cela se produit dans trois contextes distincts :

1. Épreuves de Bernoulli : Une longue série d'échecs (ou de succès) conduit un analyste à estimer une probabilité exactement égale à zéro (ou à un).
2. Régression logistique : Une séparation complète ou quasi-complète provoque la divergence des coefficients ajustés, poussant les probabilités prédites vers les limites (0 ou 1).
3. Trajectoires de risque séquentiel : Un score de risque approche une limite avant que l'état sous-jacent ne se soit stabilisé.

Dans les trois cas, il existe une tentation de déclarer des probabilités de limites exactes ($p=0$ ou $p=1$) sur la base de données finies. L'article soutient que, bien que des données séquentielles finies puissent justifier des énoncés de limites pratiques (par exemple, $p \le \varepsilon$), elles ne fournissent pas de preuve de probabilités de limites exactes. La confusion fondamentale réside dans la confusion entre une estimation finie proche de la limite et la loi conditionnelle limite vers laquelle le processus converge.

Méthodologie et cadre
L'article unifie ces trois contextes sous un cadre de martingale inverse, en utilisant le théorème classique de convergence des martingales inverses (Doob, 1953 ; Durrett, 2019).

• Formulation de martingale inverse : Au lieu de la filtration standard croissante ($\mathcal{F}_1 \subseteq \mathcal{F}_2 \subseteq \dots$), l'article considère une filtration décroissante ($\mathcal{G}_1 \supseteq \mathcal{G}_2 \supseteq \dots$). Pour une issue binaire $Y \in \{0, 1\}$, le processus $M_n = E(Y | \mathcal{G}_n)$ est une martingale inverse qui converge presque sûrement vers une limite $M_\infty = E(Y | \mathcal{G}_\infty)$.
• Définition de la dégénérescence : La dégénérescence des limites est redéfinie comme une propriété de la loi limite $M_\infty$, et non comme un événement d'échantillon fini. Un processus est pratiquement dégénéré aux limites si $M_\infty \le \varepsilon$ ou $M_\infty \ge 1-\varepsilon$.
• Règle d'arrêt à trois conditions ($\tau_{RM}$) : Pour distinguer la certitude apparente transitoire d'une dégénérescence limite véritable, l'article propose une règle d'arrêt exigeant trois conditions simultanées :
  1. Proximité de la limite ($B_n \le \varepsilon$) : L'estimation actuelle est proche de la limite.
  2. Largeur d'incertitude ($W_n \le w$) : L'intervalle de confiance ou la mesure d'incertitude est suffisamment étroite.
  3. Stabilité de la trajectoire ($r_n \le \eta$) : La trajectoire est stable, mesurée par un défaut de stabilité (par exemple, la différence entre l'estimation actuelle et une moyenne rétrospective ou une projection d'état latent).

Cette approche complète, plutôt qu'elle ne remplace, les outils classiques tels que les tests binomiaux unilatéraux, les bornes de Clopper-Pearson, les séquences de confiance et le test de rapport de vraisemblance séquentiel (SPRT) de Wald. Bien que le SPRT soit optimal pour les tests d'hypothèses simples contre simples, il ne traite pas des énoncés unilatéraux composites, de la séparation logistique ou de la stabilité de la trajectoire.

Contributions clés

1. Unification : L'article fournit une structure théorique unique (les martingales inverses) pour interpréter les séries d'échecs de Bernoulli, la séparation logistique et les trajectoires de risque instables comme des manifestations d'une même confusion entre estimations finies et lois limites.
2. Remède opérationnel : Il dérive la règle d'arrêt $\tau_{RM}$, qui empêche les déclarations prématurées de probabilités de limites en exigeant la stabilité et le contrôle de l'incertitude en plus de la proximité de la limite.
3. Insight sur la régularisation : Dans le contexte de la régression logistique, l'article préconise l'utilisation d'estimateurs régularisés (par exemple, ridge, Firth ou priors bayésiens) pour garantir des probabilités ajustées finies, interprétant les coefficients divergents comme des artefacts numériques de la séparation plutôt que comme des preuves de probabilités de limites exactes.

Résultats numériques
L'article présente cinq études numériques pour valider le cadre :

• Expériences d'événements rares de Bernoulli : Démontre que, bien qu'un estimateur du maximum de vraisemblance (MLE) ordinaire ($\hat{p}_n = 0$) se produise fréquemment dans des échantillons d'événements rares, une règle d'arrêt de « zéro pratique » (basée sur un $\varepsilon$ pré-spécifié) contrôle l'erreur de type I. L'égalité du MLE à zéro est montrée comme un artefact d'échantillon fini, et non comme une preuve de $p=0$.
• Régression logistique de faible et de haute dimension : Montre que même avec des coefficients vrais finis, les événements rares combinés à des covariables (en particulier en haute dimension) conduisent à un comportement de type « séparation », y compris des échantillons d'une seule classe, une non-convergence et des logits ajustés extrêmes. La régularisation (ridge) stabilise ces estimations, convertissant les coefficients divergents en probabilités prédictives finies.
• Stabilité vs Proximité : Dans une simulation contrôlée de trajectoires de risque conditionnel, une règle « uniquement limite » s'est arrêtée avec une probabilité de 0,999 sur une trajectoire transitoire qui est ensuite revenue à l'intérieur. En revanche, la règle à trois conditions ($\tau_{RM}$) a réduit ce taux de faux positifs à 0,107 tout en maintenant un pouvoir d'arrêt de 100 % sur les trajectoires convergentes vers la limite véritablement stables.
• Illustration sur données réelles (Expérience d'assurance santé RAND) : En utilisant un jeu de données réel avec une issue rare (prévalence de 1,5 %), l'étude confirme que de petits sous-échantillons produisent souvent des probabilités ajustées extrêmes et instables. L'ajout de termes de modèle flexibles (conception quadratique) exacerbe ce phénomène, renforçant la nécessité de diagnostics de stabilité.

Signification et affirmations
L'article affirme que le cadre proposé offre un moyen plus fiable d'interpréter les phénomènes de limites dans les échantillons finis. Sa signification principale réside dans la distinction entre les estimations finies proches de la limite et les lois limites de la limite.

Les auteurs déclarent qu'agir sur la proximité de la limite sans preuve de stabilité est prématuré. La perspective de martingale inverse recadre la dégénérescence des limites comme une propriété de la loi conditionnelle limite ($M_\infty$). Par conséquent, l'article soutient que les échantillons finis justifient des énoncés de limites pratiques contrôlés (par exemple, « nous sommes confiants que $p \le \varepsilon$ ») mais jamais des probabilités de limites exactes. Le gain opérationnel est la capacité de séparer la certitude apparente transitoire d'une dégénérescence limite véritable, évitant ainsi des conclusions erronées dans la surveillance séquentielle, le traitement adaptatif et la modélisation d'événements rares.