Kernel Tests of Equivalence

Cet article propose de nouveaux tests d'équivalence basés sur des noyaux, utilisant la divergence de Stein et la divergence maximale de moyenne pour évaluer l'absence de différences significatives entre distributions sans les limitations des méthodes paramétriques ou des tests de moments.

L'essentiel

Imagine que vous êtes un chef cuisinier. Vous avez une recette parfaite, la "recette de référence" (c'est la distribution nominale P). Ensuite, vous avez un nouveau plat que vous avez cuisiné, et vous voulez savoir s'il est identique à la recette originale.

Jusqu'à présent, les tests statistiques classiques fonctionnaient comme un détective très sévère :

• Son hypothèse de départ : "Ce nouveau plat est différent de la recette."
• Son verdict : S'il ne trouve pas de preuve de différence, il dit : "Bon, je ne peux pas prouver qu'il est différent, donc on suppose qu'il est pareil."

Le problème ? Ce détective est parfois paresseux. S'il n'a pas assez d'indices (peu de données), il ne trouve rien, même si le plat est en fait très différent. Il conclut à tort que tout va bien. C'est ce qu'on appelle l'erreur de type II. De plus, avec assez de données, ce détective finira toujours par trouver un tout petit grain de sable dans le plat et dira : "Non, ce n'est pas exactement pareil !" (car en réalité, aucun plat n'est jamais exactement identique à la recette).

La solution : Le Test d'Équivalence (Nos "Juges de Tolérance")

Les auteurs de cet article, Xing Liu et Axel Gandy, proposent une nouvelle approche. Au lieu de chercher à prouver qu'il y a une différence, ils veulent prouver que les plats sont "suffisamment similaires".

Imaginez que vous définissez une zone de tolérance (un cercle de sécurité) autour de la recette parfaite.

• Si le nouveau plat est à l'intérieur de ce cercle, c'est Équivalent.
• S'il est à l'extérieur, c'est Différent.

Leur but est de construire un test statistique qui dit avec certitude : "Oui, ce plat est dans la zone de tolérance, on peut le servir !"

Les deux outils magiques (Les "Règles de Mesure")

Pour mesurer la différence entre les plats, ils utilisent deux outils mathématiques puissants basés sur des "noyaux" (des fonctions mathématiques qui comparent les données) :

1. KSD (Kernel Stein Discrepancy) : Le "Détective de la Recette"

   • Quand l'utiliser ? Quand vous avez la recette écrite (vous connaissez la formule mathématique de la distribution P), mais que vous ne pouvez pas cuisiner de nouveaux plats à partir de cette recette (parce que c'est trop cher ou impossible).
   • Comment ça marche ? Il utilise les "indices" de la recette (la dérivée du logarithme, ou score function) pour voir si le plat que vous avez dans votre assiette correspond à la logique de la recette.
   • Les deux méthodes :
     • Méthode Normale : Une estimation rapide basée sur des moyennes. C'est rapide, mais si la différence est très fine (le plat est presque parfait), cette méthode peut se tromper et dire "c'est pareil" alors que ce n'est pas le cas.
     • Méthode Bootstrap (Le "Simulateur") : C'est la méthode préférée des auteurs. Ils prennent votre plat, le coupent en mille morceaux, le remélange, le remet dans l'assiette, et répètent l'opération des milliers de fois pour voir si la variation est normale. C'est plus lent, mais beaucoup plus fiable, surtout quand la différence est infime.

2. MMD (Maximum Mean Discrepancy) : Le "Comparateur de Goût"

   • Quand l'utiliser ? Quand vous n'avez pas la recette écrite, mais que vous avez un autre chef qui peut cuisiner des plats de référence (P) et un autre qui cuisine le plat test (Q). Vous avez juste deux tas de plats (des échantillons).
   • Comment ça marche ? Il compare directement les deux tas de plats pour voir si leur "goût moyen" (dans un espace mathématique complexe) est le même.
   • Les deux méthodes : Comme pour le KSD, ils proposent une méthode rapide (Normale) et une méthode de simulation robuste (Bootstrap).

Pourquoi c'est génial ? (Les Analogies)

• Le problème de la "Petite Différence" :
  Imaginez que vous essayez de distinguer deux photos d'un chat prises à 1 mm de distance. Une méthode rapide (la méthode "Normale") pourrait dire "C'est le même chat" par erreur, car elle s'attend à ce que les photos soient très différentes. La méthode "Bootstrap" de cet article, elle, prend une loupe, regarde les pixels un par un, et vous dit : "Attends, il y a une différence, mais elle est si petite qu'elle rentre dans notre zone de tolérance, donc c'est acceptable."

• Choisir la taille de la "Zone de Tolérance" (Le seuil $\theta$) :
  Comment savoir quelle taille donner à votre cercle de sécurité ? Trop petit, vous rejetterez tout. Trop grand, vous accepterez n'importe quoi.
  Les auteurs proposent une astuce intelligente : Fixez votre niveau d'exigence.

  • Dites : "Je veux être sûr à 95% que si le plat est vraiment identique à la recette, je le valide."
  • Le test calcule alors automatiquement la taille du cercle de tolérance nécessaire pour atteindre cet objectif. C'est comme dire : "Je ne veux pas rater un vrai plat délicieux, donc je vais définir la tolérance juste assez large pour ne pas le rater, mais assez stricte pour ne pas accepter un plat pourri."

En résumé

Cet article nous dit :

1. Arrêtez de chercher à prouver qu'il n'y a aucune différence (c'est impossible).
2. Commencez à chercher à prouver que la différence est négligeable.
3. Utilisez leurs nouveaux tests (surtout ceux basés sur le Bootstrap, qui sont les plus sûrs) pour le faire.
4. Que vous ayez la formule mathématique (KSD) ou juste des échantillons de données (MMD), il y a une méthode pour vous dire : "Oui, c'est équivalent."

C'est comme passer d'un juge qui cherche à condamner pour la moindre erreur, à un juge qui cherche à valider la qualité globale, avec des règles claires et une marge d'erreur contrôlée.

Résumé technique

Voici un résumé technique détaillé de l'article "Kernel Tests of Equivalence" en français.

1. Problématique

Le test d'adéquation (Goodness-of-Fit ou GOF) classique vise à rejeter l'hypothèse nulle $H_0^*: Q = P$ (où $Q$ est la distribution des données et $P$ la distribution nominale) en cas d'évidence statistique de différence. Cependant, l'échec à rejeter $H_0^*$ ne prouve pas que $Q$ est équivalente à $P$ ; cela peut simplement être dû à un manque de puissance du test (erreur de type II). De plus, avec des échantillons de plus en plus grands, tout modèle imparfait finira par être rejeté, rendant le test d'adéquation classique inadapté pour conclure à l'absence de différence significative.

L'objectif est donc de réaliser un test d'équivalence, où l'on cherche à prouver que les distributions sont "suffisamment proches" dans un sens statistique contrôlé. Le problème central est de définir une hypothèse nulle $H_0$ qui suppose une différence significative (au-delà d'un seuil $\theta$) et une hypothèse alternative $H_1$ qui suppose l'équivalence, tout en contrôlant rigoureusement les erreurs de type I et II, sans faire d'hypothèses paramétriques sur les distributions.

2. Méthodologie

Les auteurs proposent deux familles de tests basés sur des noyaux (kernel methods), utilisant deux mesures de divergence statistiques :

1. KSD (Kernel Stein Discrepancy) : Pour le cas un échantillon (one-sample), où l'on dispose d'échantillons de $Q$ mais seulement de la fonction de score de $P$ (sans échantillons directs de $P$).
2. MMD (Maximum Mean Discrepancy) : Pour le cas deux échantillons (two-sample), où l'on dispose d'échantillons de $Q$ et de $P$.

Pour chaque mesure de divergence, deux approches de calcul des valeurs critiques sont développées :

A. Approche par Approximation Normale (Asymptotique)

• Principe : Utiliser le Théorème Central Limit (CLT) pour approximer la distribution du statistique de test.
• Tests : E-KSD-Normal et E-MMD-Normal.
• Fonctionnement : On rejette $H_0$ si le statistique standardisé (basé sur la différence entre l'estimateur de la divergence et le seuil $\theta^2$) est inférieur à un quantile normal.
• Limitation : Bien que valide asymptotiquement, cette approche souffre d'une mauvaise calibration (contrôle erroné de l'erreur de type I) lorsque le seuil d'équivalence $\theta$ est petit ou lorsque la divergence réelle est proche de zéro. Dans ces cas, la distribution limite n'est plus gaussienne (elle devient une somme infinie de lois du khi-deux pondérées), rendant l'approximation normale inexacte pour des échantillons finis.

B. Approche par Bootstrap (Rééchantillonnage)

• Principe : Utiliser une technique de bootstrap pondéré (weighted bootstrapping) pour approximer la distribution de la statistique de test sans supposer la normalité.
• Tests : E-KSD-Boot et E-MMD-Boot.
• Fonctionnement :
  • La statistique de test est définie comme $T = \theta - \text{Divergence}(Q_n, P)$.
  • On génère des échantillons bootstrap pour estimer la distribution de la divergence sous l'hypothèse nulle.
  • Une inégalité triangulaire (liant KSD/MMD et la divergence entre l'échantillon empirique et la vraie distribution) est utilisée pour établir une borne supérieure conservatrice, garantissant un contrôle strict de l'erreur de type I même pour de petits $\theta$.
• Avantage : Ces tests restent bien calibrés (contrôle correct de l'erreur de type I) même avec de petits échantillons et de faibles marges d'équivalence, là où les tests normaux échouent.

C. Sélection du Seuil d'Équivalence ($\theta$)

Les auteurs proposent une approche pilotée par les données pour choisir $\theta$. Au lieu de fixer arbitrairement la marge, $\theta$ est choisi comme la plus petite taille d'effet permettant d'atteindre une puissance de test pré-spécifiée (ex: $1-\beta$) pour une alternative donnée. Cela transforme le seuil en une "taille d'effet d'intérêt minimale" (SESOI).

3. Contributions Clés

1. Nouveaux Tests d'Équivalence Non-Paramétriques : Introduction de quatre tests (E-KSD-Normal, E-KSD-Boot, E-MMD-Normal, E-MMD-Boot) capables de tester l'équivalence de distributions complètes, sans se limiter à des moments spécifiques ou à des modèles paramétriques.
2. Extension aux Cas Un et Deux Échantillons :
   • Adaptation du KSD pour les tests à un échantillon (utile pour les modèles génératifs où le score est connu mais l'échantillonnage coûteux).
   • Généralisation des tests MMD à des tailles d'échantillons inégales ($n \neq m$), contrairement à des travaux précédents (ex: Chen et al., 2023) qui supposaient $n=m$.
3. Analyse Théorique Rigoureuse :
   • Preuve de la validité asymptotique et de la cohérence (consistency) des tests.
   • Démonstration que les tests basés sur la normalité peuvent échouer à contrôler l'erreur de type I pour de petits $\theta$, tandis que les tests bootstrap maintiennent ce contrôle.
   • Utilisation de l'inégalité triangulaire des noyaux pour construire des bornes valides pour les hypothèses d'équivalence.
4. Méthode de Sélection de $\theta$ : Proposition d'une méthode pour déterminer le seuil d'équivalence basé sur la puissance du test, rendant le choix de la marge plus interprétable et pertinent pour l'application.

4. Résultats Expérimentaux

Les auteurs évaluent leurs méthodes sur plusieurs scénarios :

• Décalage de moyenne Gaussienne : Comparaison des tests sur des distributions $N(0,1)$ vs $N(\mu, 1)$.
  • Les tests Boot contrôlent correctement l'erreur de type I même pour de petits $\theta$ et des tailles d'échantillon modérées (ex: $n=200$), là où les tests Normal sont trop libéraux (faux positifs).
  • Les tests Normal ont une puissance légèrement supérieure mais au prix d'une invalidité pratique dans les régimes critiques.
• Modèles RBM (Restricted Boltzmann Machines) : Test d'adéquation sur un modèle à variables latentes avec fonction de score connue mais constante de normalisation intractable. Les résultats confirment la robustesse des tests KSD-Boot.
• Données MNIST : Test d'équivalence sur des images de chiffres (haute dimension, 784 pixels).
  • Dans ce contexte de haute dimension, l'approximation normale se dégrade fortement, conduisant à un échec du contrôle de l'erreur de type I pour le test E-MMD-Normal.
  • Le test E-MMD-Boot reste bien calibré et détecte les différences avec une puissance non triviale.

5. Signification et Impact

Cet article comble un vide important dans la littérature statistique en fournissant des outils rigoureux pour affirmer l'équivalence entre distributions, plutôt que de simplement chercher à rejeter l'identité.

• Fiabilité : En démontrant les limites des approximations normales pour les petits seuils d'équivalence, les auteurs mettent en garde contre l'utilisation aveugle de tests asymptotiques standards dans ce contexte et proposent le bootstrap comme solution robuste.
• Applicabilité : Les méthodes s'appliquent à des domaines variés où la validation de modèles est cruciale : bioéquivalence pharmaceutique, validation de modèles génératifs (GANs), et analyse de données complexes (comme les images).
• Flexibilité : La capacité à traiter des cas à un échantillon (via KSD) et à deux échantillons (via MMD) avec des tailles inégales rend ces tests très polyvalents pour les applications modernes de l'apprentissage automatique et de la statistique computationnelle.

En résumé, ce travail établit un nouveau standard pour les tests d'équivalence non paramétriques, offrant un cadre théorique solide et des procédures pratiques qui garantissent le contrôle des erreurs de type I même dans des situations difficiles (petits échantillons, haute dimension, faibles marges).