Résumé technique : Test d'hypothèses imprécises

1. Énoncé du problème

L'article traite du défi fondamental que représente le test d'hypothèses d'adéquation (goodness-of-fit) lorsque l'hypothèse nulle n'est pas une distribution unique et précise, mais plutôt un ensemble composite représentant une connaissance « imprécise ». Dans de nombreuses applications scientifiques, comme la physique des hautes énergies, la distribution nulle $P_0$ est connue uniquement à l'égard d'incertitudes systématiques ou d'erreurs d'approximation (par exemple, via des simulateurs).

Le test d'adéquation standard évalue généralement $H_0: P = P_0$ contre $H_1: P \neq P_0$. Les auteurs adoptent plutôt le cadre de test tolérant, qui formule le problème comme la distinction entre deux hypothèses composites :
$$H_0: d(P, P_0) \leq \epsilon_0 \quad \text{contre} \quad H_1: d(P, P_0) \geq \epsilon_1$$
où $d$ est une métrique de divergence (par exemple, la norme $\ell_p$, la variation totale), $\epsilon_0 > 0$ est un paramètre de tolérance (imprécision) définissant une « boule d'incertitude systématique » autour de $P_0$, et $\epsilon_1 > \epsilon_0$ est le paramètre de séparation.

L'objectif principal est de caractériser la séparation critique (ou rayon de séparation critique), définie comme l'écart minimal $\epsilon_1 - \epsilon_0$ requis pour distinguer les hypothèses avec une puissance non triviale de manière uniforme sur les classes de l'hypothèse nulle et de l'alternative. L'article étudie l'échange informationnel entre la taille de la tolérance $\epsilon_0$ et la puissance statistique du test à travers plusieurs modèles canoniques.

2. Méthodologie

Les auteurs emploient le cadre minimax pour le test d'hypothèses, ancré dans les travaux d'Ingster, Lepski et d'autres. La méthodologie implique :

1. Sélection de modèle : L'analyse est menée à travers trois contextes principaux :

   • Le modèle de séquence gaussienne ($X \sim N(v, \sigma^2 I_d)$) sous des normes $\ell_p$.
   • Le modèle de bruit blanc gaussien lisse ($dX(t) = f(t)dt + \sigma dW(t)$) sous des normes $L_p$.
   • Le modèle de densité lisse (estimation d'une densité inconnue $f$) sous des normes $L_p$.

2. Bornes supérieures (Construction de tests) :

   • Pour les normes non lisses (par exemple, $\ell_1$), les auteurs analysent des tests par substitution (plug-in tests) basés sur la norme empirique (par exemple, $T_1(X) = \|X\|_1 - E_{P_0}\|X\|_1$).
   • Pour les normes lisses (entiers pairs $p$), ils utilisent des statistiques de substitution débiaisées qui soustraient des termes de biais dérivés des polynômes de Hermite afin d'atteindre des taux optimaux.
   • Ils démontrent que pour une tolérance élevée, les tests basés sur l'estimation (rejetant si un estimateur de la divergence dépasse un seuil) deviennent optimaux.

3. Bornes inférieures (Résultats d'impossibilité) :

   • Les auteurs construisent des distributions d'appariement de moments (mélanges de Gaussiennes) pour prouver les bornes inférieures minimax.
   • Ils utilisent la dualité entre l'appariement de moments et la meilleure approximation polynomiale (une technique issue d'Ingster, Wu, Yang et d'autres) pour déterminer la séparation fonctionnelle maximale réalisable par des distributions partageant un certain nombre de moments.
   • Ces constructions montrent qu'aucun test ne peut distinguer des hypothèses plus proches que la séparation critique dérivée.

3. Contributions clés et résultats

A. Le modèle de séquence gaussienne

L'article fournit une caractérisation précise de la séparation critique pour tester $\|v\|_p \leq \epsilon_0$ contre $\|v\|_p \geq \epsilon_1$.

1. Normes non lisses ($\ell_1$) :
Les auteurs identifient trois régimes distincts pour la séparation critique $\epsilon_1 - \epsilon_0$ en fonction de la tolérance $\lambda = \epsilon_0/\sigma$ :

• Régime de tolérance libre ($0 \leq \lambda \lesssim \sqrt{d}$) : La séparation critique reste constante au taux standard d'adéquation $d^{3/4}/\sqrt{n}$. La puissance du test ne se dégrade pas lorsque $\epsilon_0$ augmente dans cette plage.
• Régime d'interpolation ($\sqrt{d} \lesssim \lambda \lesssim d$) : La séparation critique évolue selon $d^{1/2} \lambda^{1/2}$. Ce régime est propre au test tolérant, interpolant entre le taux d'adéquation et le taux d'estimation fonctionnelle.
• Régime d'estimation fonctionnelle ($\lambda \gtrsim d$) : La séparation critique coïncide avec la tolérance $\epsilon_0$ (évoluant comme $d$), correspondant au taux minimax pour l'estimation de la norme $\ell_1$.

Constat clé sur la sous-optimalité : L'article établit que le test $\chi^2$ classique (test de Pearson), bien qu'optimal au sens minimax pour les hypothèses nulles simples ($\epsilon_0=0$), est sous-optimal pour le test tolérant. Il possède une tolérance limitée de seulement $d^{1/4}/\sqrt{n}$ avant de perdre sa puissance. En revanche, un simple test de substitution ($T = \sum |X_j|$) atteint la tolérance optimale de $d^{1/2}/\sqrt{n}$.

2. Normes lisses ($\ell_p$ pour $p$ pair) :
Pour les fonctionnelles lisses, les auteurs montrent que le régime d'interpolation disparaît. La séparation critique reste constante au taux d'adéquation ($d^{1/2p}/\sqrt{n}$) jusqu'à ce que $\epsilon_0$ atteigne le taux d'estimation fonctionnelle, après quoi elle transite directement vers le taux d'estimation. Cela confirme que pour les normes lisses, le test tolérant et l'estimation fonctionnelle sont étroitement liés sur l'ensemble du spectre.

3. Normes non lisses ($\ell_p$ pour $p$ non pair) :
Pour les $p$ non pairs (incluant les entiers impairs $>2$), le comportement ressemble à celui du cas $\ell_1$, présentant un régime d'interpolation, bien que les taux spécifiques dépendent de la parité de $p$ et de la structure de biais de la statistique de substitution.

B. Extensions aux modèles de dimension infinie

En utilisant des arguments de discrétisation et des résultats d'équivalence (réduisant les modèles de bruit blanc et de densité aux modèles de séquence gaussienne ou multinomiaux), les auteurs étendent leurs conclusions :

• Bruit blanc gaussien lisse : La séparation critique sous les normes $L_p$ interpole entre les taux de test d'hypothèse simple et les taux d'estimation fonctionnelle, en dépendance avec le paramètre de lissage $s$.
• Modèles de densité lisse : Une équivalence similaire tient pour le test de densité sous les normes $L_1$, montrant que le test tolérant dans les modèles de densité est aussi difficile que dans les modèles de bruit blanc gaussien, sans nécessiter de borne inférieure sur la densité (une exigence standard pour les résultats de déficience de Le Cam).

4. Signification et affirmations

L'article affirme fournir une caractérisation systématique de l'échange informationnel entre la taille de l'hypothèse nulle (tolérance) et la puissance du test.

• Quantification de la robustesse : L'existence d'un « régime de tolérance libre » permet aux praticiens de quantifier la robustesse des tests d'adéquation. Il identifie l'incertitude systématique maximale qu'un test peut tolérer sans sacrifier sa capacité à détecter des écarts d'une magnitude spécifique.
• Sous-optimalité des tests classiques : Une contribution significative est la démonstration que les tests largement utilisés (comme le test $\chi^2$) ne sont pas robustes à la spécification erronée dans le cadre tolérant, alors que des alternatives simples (comme le test de substitution $\ell_1$) le sont.
• Cadre unifié : Ce travail unifie l'étude du test d'adéquation et de l'estimation fonctionnelle, montrant que le test tolérant interpole naturellement entre ces deux problèmes.
• Application à la physique des hautes énergies : Les auteurs soutiennent que le cadre de test tolérant offre une base rigoureuse pour traiter les incertitudes systématiques dans des domaines comme la physique des hautes énergies, où les distributions nulles sont approximées via des simulateurs. Ils suggèrent que l'inversion des tests tolérants peut produire des « facteurs de tolérance » pour évaluer la sensibilité des p-valeurs à l'exactitude du modèle nul.

Les auteurs restent modestes quant à leurs résultats, notant que bien qu'ils fournissent des bornes précises pour des modèles canoniques spécifiques, le régime d'interpolation n'existe pas toujours (par exemple, pour les normes lisses), et que les résultats pour les normes non lisses générales sont conjecturés comme étant serrés à des facteurs polylogarithmiques près. Ils ne proposent pas de nouveaux protocoles expérimentaux, mais offrent plutôt des outils théoriques pour interpréter et concevoir des tests en présence d'hypothèses nulles imprécises.