The Nonparametric Kiefer-Weiss Problem

Résumé Technique : Le Problème de Kiefer–Weiss Nonparamétrique

Formulation du Problème
Cet article traite d'une nouvelle variante du problème de Kiefer–Weiss, nommée le Problème de Kiefer–Weiss Nonparamétrique (NPKWT). Alors que le problème classique de Kiefer–Weiss cherche à minimiser la taille maximale attendue de l'échantillon sur une famille de distributions paramétriques sous des contraintes d'erreur, le NPKWT inverse l'objectif et le domaine de la contrainte. L'objectif est de minimiser une somme pondérée des probabilités d'erreur de Type I et de Type II ($\alpha + z\beta$) sous une contrainte telle que la taille attendue de l'échantillon ne dépasse pas une constante $c$ pour toutes les distributions de probabilité possibles sur l'espace de séquence donné. Formellement, le problème est défini comme :
$$\inf_{\psi \in I^\infty_c} \inf_{\delta \in I^\infty} \alpha(\delta, \psi) + z \beta(\delta, \psi)$$
où $I^\infty_c$ est l'ensemble des politiques d'arrêt telles que $E_P[T] \le c$ pour tout $P \in \mathcal{M}(\mathcal{X}^\infty)$. Les auteurs supposent des hypothèses binaires $H_0$ et $H_1$ concernant la distribution i.i.d. des observations, avec $P_1$ absolument continue par rapport à $P_0$.

Méthodologie
La solution est dérivée par une réduction à un problème d'arrêt optimal, en utilisant une approche de « hasard limité » pour construire la solution du cas général.

1. Réduction à l'Arrêt Optimal : Les auteurs démontrent d'abord que la politique de décision optimale $\delta^*$ est un test de rapport de vraisemblance (LRT). Cela réduit le problème à la recherche d'une politique d'arrêt optimale $\psi$ qui minimise la fonction de coût $E_0[g(z \Lambda_T)]$, où $\Lambda_T$ est le rapport de vraisemblance au temps d'arrêt et $g(z) = \min\{1, z\}$.
2. Hasard Limité ($k$-randomisation) : Les auteurs introduisent une séquence de sous-problèmes où le nombre de décisions d'arrêt randomisées est limité à $k$. Ils définissent une fonction de coût $\rho_k(z, c)$ représentant le coût minimum avec au plus $k$ randomisations.
   • Pour $k=0$ (déterministe), le test optimal se réduit à un Test à Taille d'Échantillon Fixe (FSST) avec une taille d'échantillon $\lfloor c \rfloor$.
   • Pour $k \ge 1$, les auteurs dérivent une équation récursive de type Bellman (Lemme 4.3) reliant $\rho_k$ à $\rho_{k-1}$. Cela implique de maximiser une fonction $r_k(z, b)$ sur un « budget » potentiel $b$ d'échantillons restants.
3. Hasard Illimité ($k \to \infty$) : La solution du problème original est obtenue en prenant la limite $k \to \infty$. Les auteurs prouvent que $\rho_k$ converge point par point vers une fonction limite $\rho(z, c)$.
   • Résultat Structurel Clé : Contra à cas limité, la fonction limite $\rho(z, \cdot)$ est montrée comme étant convexe et linéaire par morceaux avec des points de rupture aux entiers. Cette propriété simplifie considérablement la règle d'arrêt optimale.
   • Politique Optimale : La règle d'arrêt optimale est caractérisée par une statistique de test à deux dimensions $(z_t, c_t)$, où $z_t$ est le rapport de vraisemblance et $c_t$ suit le budget d'échantillon restant. La probabilité d'arrêt est déterminée par une fonction $m^*(z)$, qui associe le rapport de vraisemblance à une taille d'échantillon entière. La règle est :
     $$\psi^*_t = 1 - \frac{c_t}{\max\{c_t, m^*(z_t)\}}$$
     Si $c_t < m^*(z_t)$, le test s'arrête avec une probabilité $1 - c_t/m^*(z_t)$ ; sinon, il continue avec certitude.

Contributions Clés et Résultats

• Existence et Caractérisation : L'article prouve l'existence d'une politique d'arrêt optimale et la caractérise comme la solution d'une équation de Bellman non linéaire (Éq. 17).
• Statistique à Deux Dimensions : La politique optimale repose sur un état à deux dimensions : le rapport de vraisemblance et le budget d'échantillon restant. Cela contraste avec les tests de rapport de vraisemblance séquentiels (SPRT) standards, qui reposent typiquement sur un rapport de vraisemblance unidimensionnel avec des seuils fixes.
• Rôle de la Randomisation : La stratégie optimale utilise explicitement la randomisation pour « augmenter » le nombre d'échantillons attendus restants pour certaines exécutions tout en arrêtant prématurément pour d'autres. Ce mécanisme permet au test de satisfaire la contrainte de taille d'échantillon attendue dans le pire des cas pour toutes les distributions tout en minimisant les probabilités d'erreur.
• Robustesse et Nature Non Tronquée :
  • Le NPKWT présente une propriété d'« égalisation du coût » : la taille attendue de l'échantillon est constante ($c$) pour toutes les séquences d'observations, rendant chaque distribution « la moins favorable ».
  • Contrairement à de nombreux tests de Kiefer–Weiss paramétriques, le NPKWT est non tronqué ; le temps d'arrêt est supporté sur tous les entiers non négatifs, bien que l'espérance reste bornée.
• Approximations : Les auteurs proposent deux approximations pratiques pour la correspondance $m^*(z)$ basée sur le cas de la randomisation unique ($k=1$) et l'analyse asymptotique ($z \to 0, \infty$). Ces approximations sont montrées comme bornant la taille d'échantillon optimale et sont efficaces sur le plan computationnel.
• Validation Numérique : Deux exemples numériques (décalage de Bernoulli et décalage de moyenne normale) illustrent les résultats. Les simulations montrent que permettre même une seule randomisation ($k=1$) réduit significativement la probabilité d'erreur par rapport aux FSST déterministes ($k=0$), avec des gains marginaux supplémentaires à mesure que $k \to \infty$. Les distributions du temps d'arrêt présentent des queues de distribution lourdes à droite, ce qui est cohérent avec la nature non tronquée de la politique.

Signification et Revendications
L'article prétend résoudre un problème fondamental en analyse séquentielle en étendant le cadre de Kiefer–Weiss à un cadre non paramétrique. La signification réside dans :

1. Robustesse : Le NPKWT fournit un test qui est robuste face à un mésappariement de modèle, car il est optimisé pour la distribution la moins favorable plutôt que pour une famille paramétrique spécifique.
2. Aperçu Théorique : Il révèle que les tests séquentiels non paramétriques optimaux nécessitent des règles d'arrêt randomisées et un espace d'état à deux dimensions, défiant l'intuition selon laquelle les tests optimaux sont toujours basés sur des seuils du rapport de vraisemblance.
3. Utilité Pratique : Bien que la solution exacte implique la résolution d'une équation intégrale, l'article soutient que le NPKWT est essentiellement un « SPRT augmenté » qui est robuste aux écarts par rapport à la correspondance optimale $m^*$. Cela suggère que les approximations proposées peuvent être utilisées en pratique avec un surcoût computationnel minimal, offrant une alternative viable aux tests de Kiefer–Weiss conventionnels qui nécessitent souvent des seuils complexes dépendant du temps.

Les auteurs concluent que, bien que le NPKWT soit d'un intérêt théorique, sa robustesse et la disponibilité de simples approximations en font un choix attractif pour les applications pratiques où l'incertitude du modèle est élevée. Des questions ouvertes subsistent concernant les bornes du gain par rapport aux FSST et la monotonie de la taille d'échantillon optimale par rapport au nombre de randomisations autorisées.