A complete characterization of testable hypotheses

Cet article complète le programme de Le Cam en établissant une condition nécessaire et suffisante pour l'existence de tests non triviaux entre deux ensembles de mesures de probabilité, sans hypothèse de mesure dominante, en caractérisant la séparation des enveloppes convexes fermées dans l'espace des mesures finiment additives bornées.

L'essentiel

Imagine que vous êtes un juge dans un tribunal très étrange. Vous avez deux camps qui se font face : le Camp Null (les accusés, disons $P$) et le Camp Alternative (les témoins, disons $Q$).

Votre travail est de créer un test (un interrogatoire, une règle de décision) pour distinguer les accusés des témoins.

• Si votre test est trivial, il ne sert à rien : vous ne pouvez pas dire qui est qui avec plus de certitude qu'en lançant une pièce.
• Si votre test est non trivial (ou "strictement impartial"), vous avez une chance réelle de dire : "Celui-ci vient du camp des accusés, celui-là du camp des témoins", avec une erreur minimale.

La question fondamentale que ce papier pose est simple : Quand est-il possible de créer un tel test efficace ?

Le vieux problème : La règle de la "Lampe"

Pendant des décennies, les statisticiens (comme le célèbre Lucien Le Cam) pensaient qu'il existait une règle simple pour répondre à cette question. Ils disaient :

"Pour distinguer les deux camps, il suffit de mesurer la distance entre eux. Si les deux groupes sont assez éloignés l'un de l'autre, alors un bon test existe."

Cependant, cette règle supposait une chose très importante : que tous les membres des deux camps vivaient sous la même "pluie" (une mesure de référence commune). Imaginez que pour mesurer la distance, vous deviez utiliser une seule et même lampe de poche pour éclairer tout le monde.

Le problème : Dans le monde réel (en statistiques non paramétriques), il n'y a souvent pas de lampe de poche unique. Certains accusés vivent dans le noir total, d'autres dans une lumière aveuglante. La vieille règle échoue alors. Elle dit "impossible" ou "imprévisible" alors que parfois, un test existe bel et bien, et parfois non.

La nouvelle solution : Le "Monde des Fantômes" (Mesures finiment additives)

Les auteurs de ce papier (Larsson, Ramdas et Ruf) disent : "Arrêtons de chercher la lampe de poche. Nous devons changer notre façon de voir la distance."

Pour comprendre leur solution, utilisons une analogie : Le Musée des Ombres.

1. Les groupes réels ($P$ et $Q$) : Ce sont les personnes réelles dans la salle.
2. L'enveloppe convexe : Imaginez que vous prenez tous les accusés et que vous créez des "mélanges" d'eux (des clones hybrides). C'est comme si vous preniez 50% de l'accusé A et 50% de l'accusé B pour créer un nouvel accusé virtuel.
3. La fermeture (Le problème de la limite) : Parfois, vous pouvez créer des mélanges qui s'approchent de plus en plus d'une personne, mais qui ne l'atteignent jamais exactement. C'est comme courir vers un mur : vous vous en rapprochez, mais vous n'y êtes jamais tout à fait.
   • Dans les mathématiques classiques, on s'arrête là.
   • Mais les auteurs disent : "Non ! Il faut accepter les fantômes."

L'analogie des Fantômes (Mesures finiment additives) :
Les auteurs introduisent un concept mathématique appelé "mesures finiment additives". Imaginez que dans votre musée, il y a des fantômes.

• Un fantôme n'est pas une personne réelle (il n'est pas "comptablement additif").
• C'est une limite mathématique. Par exemple, imaginez une file infinie de personnes qui s'éloignent à l'infini. Il n'y a pas de "dernière personne", mais il y a un "fantôme à l'infini" qui représente cette file.
• Ce fantôme n'existe pas dans la réalité physique, mais il existe mathématiquement dans l'espace des "mesures bornées" (l'espace $ba$).

La Révélation du Papier

Leur découverte majeure est la suivante :

Pour savoir si vous pouvez distinguer les deux camps, vous ne devez pas mesurer la distance entre les gens réels, ni même entre les mélanges réels. Vous devez mesurer la distance entre les enveloppes complètes, incluant tous les fantômes (les limites dans l'espace des mesures finiment additives).

En termes simples :

• Si la distance entre le "Camp des Fantômes des Accusés" et le "Camp des Fantômes des Témoins" est grande, alors un test parfait existe.
• Si ces deux camps de fantômes se touchent ou se chevauchent, alors aucun test ne peut fonctionner, peu importe à quel point vous êtes intelligent.

Pourquoi c'est important ?

1. La fin des hypothèses cachées : Avant, il fallait supposer que tout le monde vivait sous la même "pluie" (mesure dominante). Maintenant, on n'a plus besoin de cette hypothèse. La règle fonctionne même dans les cas les plus sauvages et complexes.
2. La précision : Ils montrent que si on ignore les "fantômes" (les mesures finiment additives), on peut se tromper. Parfois, on pense qu'un test est impossible alors qu'il existe, ou inversement.
3. L'optimisation : Ils donnent une formule exacte pour calculer le "risque" (la probabilité d'erreur) minimal possible. C'est comme avoir la carte au trésor exacte pour savoir à quel point votre test peut être bon.

En résumé

Imaginez que vous essayez de séparer deux nuages de fumée.

• L'ancienne méthode disait : "Si les nuages sont assez loin, on peut les séparer." (Mais elle échouait si les nuages changeaient de forme de manière imprévisible).
• Cette nouvelle méthode dit : "Regardez non seulement les nuages, mais aussi les ombres qu'ils projettent dans un monde parallèle (les mesures finiment additives). Si les ombres sont séparées, alors vous pouvez séparer les nuages. Si les ombres se touchent, c'est perdu."

Ce papier complète un travail commencé il y a 70 ans par Lucien Le Cam. Il dit : "Lucien avait raison sur le fond, mais il s'est arrêté avant de voir les fantômes. Nous, on les a vus, et c'est grâce à eux que la réponse est enfin complète."

C'est une avancée fondamentale qui permet aux statisticiens de savoir exactement quand ils peuvent espérer gagner un test, même dans les situations les plus complexes et sans règles préétablies.

Résumé technique

Voici un résumé technique détaillé de l'article « A complete characterization of testable hypotheses » de Martin Larsson, Aaditya Ramdas et Johannes Ruf.

1. Problématique et Contexte

L'article s'attaque à une question fondamentale en théorie du test d'hypothèses : quand existe-t-il un test non trivial (c'est-à-dire strictement non biaisé) pour distinguer deux ensembles de mesures de probabilité $P$ (hypothèse nulle) et $Q$ (hypothèse alternative) ?

Un test $\phi$ est dit non trivial si son niveau de risque maximal (erreur de type I) est strictement inférieur à sa puissance minimale (puissance de type II) :
$$\sup_{\mu \in P} E_\mu[\phi] < \inf_{\nu \in Q} E_\nu[\phi]$$

Le problème central réside dans la caractérisation de l'existence d'un tel test lorsque les hypothèses ne sont pas dominées par une mesure de référence commune.

• Résultat classique (Le Cam, Kraft) : Si $P$ et $Q$ admettent une mesure dominante commune $\gamma$, un test non trivial existe si et seulement si les enveloppes convexes $co(P)$ et $co(Q)$ sont séparées par une distance de variation totale (TV) strictement positive.
• Limitation : Dans de nombreux problèmes de statistiques non paramétriques (distributions à support borné, distributions symétriques, boules de Wasserstein, etc.), l'hypothèse d'une mesure dominante commune est violée. Dans ces cas, le théorème classique est inapplicable et peut même conduire à des conclusions erronées (comme le montre l'exemple 1.3 de l'article).

2. Méthodologie et Outils Mathématiques

Pour surmonter l'absence de mesure dominante, les auteurs adoptent une approche basée sur l'analyse fonctionnelle et la théorie des mesures finiment additives.

• Espace des mesures $ba$ : Au lieu de se limiter aux mesures de probabilité dénombrablement additives ($M_1$), les auteurs travaillent dans l'espace $ba$ des mesures de probabilité finiment additives bornées. Cet espace est le dual de l'espace des fonctions mesurables bornées $L^\infty$.
• Topologie $\sigma(ba, L)$ (Topologie faible-*) : La clé de la méthode est l'utilisation de la topologie faible-* sur $ba$. Cette topologie est la plus faible pour laquelle l'espérance $E_\mu[\phi]$ est continue pour tout test $\phi$.
• Enveloppes convexes fermées : Au lieu de considérer l'enveloppe convexe usuelle $co(P)$, les auteurs utilisent sa fermeture dans la topologie faible-*, notée $co^*(P)$. Cette opération inclut des mesures finiment additives qui apparaissent comme limites de suites de mesures classiques (par exemple, une masse à l'infini).
• Théorème Minimax (Fan, 1953) : La preuve repose sur l'application d'un théorème minimax de Ky Fan. La compacité de l'ensemble $ba_1$ (mesures de probabilité finiment additives) dans la topologie faible-* (théorème de Banach-Alaoglu) est cruciale pour garantir l'existence des points de selle nécessaires à l'égalité minimax.

3. Contributions Clés et Résultats Principaux

Le résultat central de l'article est un théorème de caractérisation nécessaire et suffisante valable sans aucune hypothèse de domination.

Théorème Principal (Théorème 1.5)

Pour deux ensembles non vides $P, Q \subset M_1$ et un $\epsilon \ge 0$, il existe un test $\phi$ tel que :
$$\inf_{\nu \in Q} E_\nu[\phi] > \sup_{\mu \in P} E_\mu[\phi] + \epsilon$$
si et seulement si la distance de variation totale entre les enveloppes convexes fermées (au sens faible-*) est strictement supérieure à $\epsilon$ :
$$d_{TV}(co^*(P), co^*(Q)) > \epsilon$$

De plus, le risque minimax $R(P, Q)$ est donné par :
$$R(P, Q) = 1 - d_{TV}(co^*(P), co^*(Q))$$
et l'infimum de la distance TV est atteint par une paire de mesures $(\mu^*, \nu^*)$ dans $co^*(P) \times co^*(Q)$.

Implications et Résultats Secondaires

1. Généralisation de Le Cam (Proposition 1.6) : Dans le cas dominé, $d_{TV}(co(P), co(Q)) = d_{TV}(co^*(P), co^*(Q))$, ce qui montre que le théorème 1.5 généralise le résultat classique sans le contredire.
2. Limites des fermetures usuelles : L'article démontre que ni la fermeture TV usuelle ni la fermeture faible (topologie de la convergence faible des mesures) ne suffisent.
   • La fermeture TV est parfois trop petite (ne capture pas les limites nécessaires).
   • La fermeture faible est parfois trop grande (elle peut faire intersecter des ensembles séparables, rendant le test impossible alors qu'il existe).
   • Seule la fermeture faible-* dans $ba$ fournit la bonne frontière.
3. Cas d'une alternative simple (Section 3) : Pour $Q = \{\nu\}$, l'existence d'un test non trivial équivaut à $\nu \notin co^*(P)$. L'article clarifie la relation entre $co^*(P)$ et l'hypothèse nulle effective $P_{eff}$ (définie via les variables e), montrant que $co^*(P) \cap M_1 = P_{eff} \cap M_1$, mais que $co^*(P)$ contient des éléments finiment additives essentiels pour la caractérisation quantitative (distance TV).
4. Variables e (Corollaire 3.7) : L'existence d'une variable e bornée uniformément puissante contre $Q$ est équivalente à $d_{TV}(co^*(P), co^*(Q)) > 0$.

4. Signification et Impact

• Complétude de la théorie : Ce travail complète le programme initié par Lucien Le Cam. Bien que Le Cam ait suggéré une approche utilisant des mesures finiment additives dans une remarque de son livre (2012), il n'a jamais énoncé un théorème formel nécessaire et suffisant aussi général. Les auteurs fournissent ce théorème manquant.
• Nécessité des mesures finiment additives : L'article démontre que l'utilisation de mesures finiment additives n'est pas un choix axiomatique (comme chez de Finetti) ni une simple commodité mathématique, mais une conséquence inévitable pour obtenir une caractérisation complète de la testabilité dans le cadre standard des mesures dénombrablement additives. Sans elles, la caractérisation est incomplète dans les cas non dominés.
• Applications pratiques : Le résultat fournit un critère vérifiable pour déterminer si un problème de test non paramétrique est soluble. Il permet également de vérifier l'optimalité minimax d'un test candidat en calculant la distance TV entre les fermetures convexes faibles-*.
• Correction d'erreurs potentielles : L'article met en garde contre l'application incorrecte de théorèmes minimax dans des topologies inadaptées, un problème fréquent dans la littérature existante.

En résumé, cet article établit que la frontière entre les hypothèses testables et non testables est déterminée par la séparation des enveloppes convexes fermées dans l'espace des mesures finiment additives, offrant ainsi une solution définitive à un problème ouvert depuis des décennies en statistique mathématique.