Résumé technique : Intervalles de confiance pour les probabilités maximales non observées

Énoncé du problème

L'article traite du défi statistique consistant à déterminer si un échantillonnage supplémentaire est nécessaire pour détecter toutes les catégories dont la prévalence dépasse un seuil $\varepsilon$ prescrit. Ce problème survient dans des domaines tels que l'écologie, la génomique, l'analyse de sécurité et la modélisation du langage, où l'objectif est de s'assurer qu'aucun résultat non observé n'a une masse de probabilité supérieure à $\varepsilon$.

Les auteurs formalisent cela au sein d'un modèle de produit de Bernoulli (incidence). Dans ce cadre, pour un ensemble de symboles (catégories) $j \in \{1, \dots, M\}$ et des unités d'échantillonnage $i \in \{1, \dots, n\}$, les observations sont des indicateurs binaires $X_{ij}$ représentant la présence ou l'absence du symbole $j$ dans l'unité $i$. Les probabilités d'incidence $p_j$ sont constantes à travers les unités. La taille de l'alphabet $M$ peut être finie (bornée) ou dénombrablement infinie (non bornée).

La cible inférentielle est la probabilité maximale non observée, notée $M_{\max}$ :
$$M_{\max} = \max_{j: N_j = 0} p_j$$
où $N_j = \sum_{i=1}^n X_{ij}$ est le compte des occurrences observées pour le symbole $j$. L'objectif est de construire une borne supérieure de confiance supérieure, non asymptotique et sans distribution, $U_n(\alpha)$, telle qu'avec une probabilité d'au moins $1-\alpha$, $M_{\max} \leq U_n(\alpha)$. Cette borne sert de règle d'arrêt : l'échantillonnage peut cesser une fois que $U_n(\alpha) \leq \varepsilon$.

Méthodologie et cadre théorique

L'article développe une théorie unifiée à travers deux régimes : les alphabets bornés (finis, $M$ connu) et les alphabets non bornés (dénombrablement infinis, soumis à une condition de sommabilité $\sum p_j < \infty$).

1. Régime d'alphabet borné ($M < \infty$)

• Référence : Les auteurs identifient la règle de trois ajustée par la multiplicité (correction de Bonferroni) comme une référence : $T_{\text{Bonf}} = \log(M/\alpha)/n$. Ils notent que celle-ci est conservatrice car elle suppose que toutes les $M$ catégories sont non observées.
• Borne pire cas indépendante des données : Le Théorème 2.1 affine la borne de Bonferroni en utilisant une approche par norme $\ell_r$ et l'inégalité de Markov. En optimisant sur le paramètre $r$, ils dérivent une borne $T_{\text{wc}}(n, M, \alpha)$ qui améliore la constante non asymptotique de la borne de Bonferroni tout en restant indépendante des données.
• Borne dépendante des données : Le Théorème 2.2 introduit une borne qui s'adapte aux comptes d'incidence empiriques. Elle remplace le facteur pire cas $M$ par une taille d'alphabet effective dépendante des données $m_{b_n}(\hat{p}) = \sum (1-\hat{p}_j)^{b_n}$, où $\hat{p}_j = N_j/n$. Cette quantité se concentre sur les catégories non observées à mesure que le paramètre de réglage $b_n$ augmente. La borne est dérivée en utilisant l'inégalité de McDiarmid pour contrôler l'écart entre les sommes empiriques et réelles.
• Optimalité : Le Théorème 2.3 établit une borne inférieure correspondante, prouvant qu'aucune borne de confiance supérieure uniformément valide ne peut améliorer l'ordre $\log(K/\alpha)/n$, où $K$ est le nombre de catégories non observées. Cela confirme la quasi-optimalité des bornes proposées dépendantes des données.

2. Régime d'alphabet non borné ($M = \infty$)

• Résultat d'impossibilité : Le Théorème 3.1 démontre qu'aucune borne supérieure non triviale et indépendante des données (pire cas) ne peut atteindre une couverture valide uniformément sur la classe des séquences de prévalence sommables. Cela est dû au fait que l'espérance des fonctionnelles pertinentes diverge dans le cas non borné.
• Borne dépendante des données : Pour surmonter cela, le Théorème 3.4 propose une borne entièrement dépendante des données. Elle utilise une construction par norme $r$ qui tire parti de la finitude de la masse totale $S = \sum p_j$. La procédure estime $S$ via un estimateur sans biais $\hat{S}$ et construit une borne de confiance supérieure $S^*$. La borne $U_n$ est ensuite optimisée en choisissant un paramètre $R^*$ dépendant des données qui évolue avec $\log n$.
• Optimalité : Le Théorème 3.5 fournit une borne inférieure correspondante, montrant que le taux atteint par la procédure proposée, $n^{-1}(\log n - \log \log n)$, est essentiellement optimal pour le régime non borné.

3. Règles d'arrêt séquentielles

Les intervalles de confiance dérivés sont utilisés pour construire des règles d'arrêt séquentielles. La procédure s'arrête au premier échantillon $n$ où la borne supérieure $U_n(\alpha) \leq \varepsilon$. Les auteurs évaluent ces règles par rapport à des diagnostics basés sur la couverture et des courbes d'accumulation d'espèces, testant spécifiquement la robustesse face à la contamination (catégories fallacieuses à faible prévalence).

Résultats clés et conclusions empiriques

• Performance dans les simulations :
  • Dans les contextes bornés avec des distributions à queue légère (où la plupart des symboles sont observés), la borne Bornée proposée surpasse la référence standard de Bonferroni.
  • Dans les contextes à queue lourde (nombreuses catégories rares/non observées), la borne Non Bornée produit des intervalles nettement plus courts que les bornes Bornée et Bonferroni, même lorsque l'alphabet réel est fini mais de grande taille.
  • Les méthodes proposées atteignent des niveaux de couverture nominaux (typiquement proches de 100 % empiriquement) dans tous les scénarios testés.
• Heuristique de sélection : L'article propose une heuristique pratique (Équation 10) et un diagnostic visuel (courbes d'accumulation) pour guider le choix entre les procédures Bornée et Non Bornée. L'approche Non Bornée est recommandée lorsque la masse de probabilité totale est faible par rapport à la taille de l'alphabet effectif, ou lorsque la courbe d'accumulation montre une croissance persistante sans asymptote claire.
• Robustesse : En présence de contamination (catégories artificielles à faible prévalence simulant des erreurs de séquençage), les règles d'arrêt basées sur $M_{\max}$ restent stables et robustes. En revanche, les critères basés sur la couverture peuvent s'arrêter prématurément ou nécessiter un effort d'échantillonnage excessif.
• Application réelle (TCGA) : Appliquée aux données de mutations somatiques de The Cancer Genome Atlas (TCGA), la procédure Non Bornée a été jugée appropriée en raison de la nature vaste, effectivement infinie, de l'espace des variants génomiques. La méthode a fourni des garanties en échantplon fini pour la prévalence des variants non observés, offrant une quantification rigoureuse de l'incertitude au-delà des simples comptes de découvertes attendus.

Signification et revendications

L'article affirme fournir la première analyse non asymptotique et sans distribution des intervalles de confiance pour la probabilité maximale non observée dans les deux modèles de produit de Bernoulli (bornés et non bornés).

Les principales contributions incluent :

1. Limites théoriques : Caractérisation des limites des bornes indépendantes des données, prouvant spécifiquement l'impossibilité de bornes valides pour le pire cas dans les régimes non bornés.
2. Optimalité : Établissement de bornes inférieures correspondantes qui démontrent la quasi-optimalité minimax des procédures proposées dépendantes des données dans les deux régimes.
3. Utilité pratique : Offrir un cadre fondé pour l'arrêt séquentiel qui est robuste à la contamination, comblant une lacune critique dans les règles d'arrêt écologiques et génomiques existantes qui reposent souvent sur des hypothèses asymptotiques ou sont fragiles face aux artefacts rares.
4. Garanties en échantillon fini : Fournir une quantification rigoureuse de l'incertitude pour les événements non observés, ce qui est particulièrement précieux pour les applications critiques (ex: essais cliniques, ingénierie de la fiabilité) où l'observation de zéro événement ne justifie pas de conclure à un risque nul.

Les auteurs positionnent leur travail comme un raffinement des heuristiques existantes de la "règle de trois" et des diagnostics basés sur la couverture, offrant des bornes plus serrées et adaptatives aux données, qui sont théoriquement ancrées dans l'optimalité minimax.