Résumé Technique : LOTTERY

Énoncé du Problème

Le document traite du défi du test de deux échantillons adaptatif aux données dans des conditions d'asymétrie sévère de la taille des échantillons. Dans de nombreux scénarios de surveillance réels (ex: détection de décalage de jeu de données, détection d'adversaires, surveillance de modèles), les praticiens possèdent un ensemble de données de référence abondant ($X \sim P$) mais ne reçoivent que quelques échantillons de requête ($Y \sim Q$) pour tester par rapport à la référence.

Les tests de deux échantillons basés sur l'apprentissage existants reposent généralement sur un paradigme de division entraînement-test pour découpler l'apprentissage de représentation du test d'hypothèse, garantissant ainsi un contrôle valide de l'erreur de Type I. Cependant, dans les contextes de type "few-shot" où $|Y|$ est extrêmement petit, diviser les données de requête est préjudiciable :

1. Instabilité de l'apprentissage : Utiliser un sous-ensemble minuscule de $Y$ pour l'entraînement conduit à des extracteurs de caractéristiques à haute variance et instables.
2. Bruit de test : Allouer les quelques points restants pour le test entraîne un calibrage bruité et une faible puissance statistique.
3. Goulot d'étranglement : Augmenter simplement la taille de l'échantillon de référence ne permet pas de pallier la rareté fondamentale des points de requête.

La question centrale posée est : Comment peut-on conserver l'adaptativité des tests basés sur l'apprentissage tout en évitant d'apprendre à partir de données de requête rares ?

Méthodologie : LOTTERY

Les auteurs proposent LOTTERY (Learning from Reference-Only samples in Two-sample Testing under sizE asymmetRY), un cadre qui déplace le paradigme de « apprendre une divergence entre $X$ et $Y$ » vers « apprendre une collection de signaux de compatibilité à partir de $X$ et tester $Y$ par rapport à ceux-ci ».

1. Apprentissage à partir de la Référence Uniquement (RDR)

Au lieu de diviser $Y$, LOTTERY apprend des Représentations Dépendantes de la Référence (RDRs) exclusivement à partir des données de référence abondantes $X$. Une RDR est une fonction $f: \mathcal{X} \to \mathbb{R}$ entraînée sur $X$ telle que des valeurs plus élevées de $f(y)$ indiquent une plus faible compatibilité avec la distribution de référence $P$.
Le cadre emploie une famille de RDR complémentaires pour capturer divers aspects structurels de $P$ :

• ME-RDR (Embedding de Moyenne) : Capture les motifs de similitude locale en utilisant des noyaux caractéristiques et des localisations de test. Théoriquement garanti d'être cohérent pour toute alternative $P \neq Q$.
• Mahalanobis-RDR : Capture la structure globale (décalages de moyenne et de covariance).
• kNN-RDR : Capture la géométrie de l'échelle locale et du support via les distances de plus proches voisins.
• LOF-RDR : Capture les irrégularités de densité relative locale.

2. Agrégation Guidée par l'Incertitude

Puisqu'aucune RDR n'est uniformément puissante contre toutes les alternatives, LOTTERY agrège les preuves de l'ensemble de la famille. Pour optimiser cette agrégation sans utiliser les données de requête, les auteurs introduisent un schéma de pondération guidé par l'incertitude :

• Stabilité : Quantifiée par la variance de la moyenne par lot de la RDR lors du rééchantillonnage à partir de l'ensemble de calibration de la référence. Les RDR instables (haute variance) sont sous-pondérées.
• Sensibilité : Quantifiée par la réponse de la RDR à de petites perturbations contrôlées des données de référence.
• Pondération : Le poids final pour une RDR $f$ est $w_f = \hat{\delta}_f / \hat{\sigma}^2_f$, favorisant les représentations qui sont à la fois stables sous l'hypothèse nulle et sensibles aux écarts.
• Statistique de Test : La statistique finale est une somme pondérée des carrés des décalages standardisés de la moyenne : $T_{weight}(Y) = \sum_{f \in \mathcal{F}} w_f T_f(Y)$.

3. Test de Permutation Groupé

Pour garantir un contrôle valide de l'erreur de Type I sans diviser les données de requête, LOTTERY utilise un test de permutation groupé.

• Un ensemble de référence mis de côté $X_{hold}$ est combiné avec le lot de requête $Y$ pour former un échantillon groupé $U$.
• Sous l'hypothèse nulle ($P=Q$), tous les points de $U$ sont échangeables.
• La statistique de test est calculée pour le $Y$ observé et comparée à une distribution générée par l'échantillonnage aléatoire de sous-ensembles de taille $|Y|$ à partir de $U$.
• Cela produit un contrôle exact de l'erreur de Type I au niveau $\alpha$ pour des échantillons finis.

Principales Contributions

1. Cadre de Référence Uniquement : Introduit un nouveau paradigme pour le test de deux échantillons dans le régime d'asymétrie de taille "few-shot", éliminant le besoin de diviser les rares données de requête pour l'apprentissage de représentation.
2. Agrégation Guidée par l'Incertitude : Propose un mécanisme pour pondérer de manière adaptative plusieurs représentations dépendantes de la référence en fonction de leur stabilité et de leur sensibilité, dérivées uniquement des données de référence.
3. Garanties Théoriques :
   • Contrôle de l'Erreur de Type I : Prouve que la procédure de permutation groupée contrôle l'erreur de Type I au niveau $\alpha$ pour les échantillons finis.
   • Cohérence : Montre que la puissance du test converge vers 1 à mesure que les tailles d'échantillons augmentent, à condition que la famille de représentations contienne au moins une représentation cohérente (ex: ME-RDR).
4. Performance Empirique : Démontre de fortes performances sur des benchmarks synthétiques et réels, surpassant particulièrement les méthodes basées sur les noyaux et les méthodes d'apprentissage par division dans les contextes extrêmes de "few-shot".

Résultats Expérimentaux

Les auteurs évaluent LOTTERY sur des données synthétiques (BLOB) et des jeux de données réels (Higgs Boson, détection d'adversaires CIFAR-10).

• Variation de la Taille de Référence ($N$) : Avec une taille de requête fixe et petite, LOTTERY montre une croissance de puissance nettement plus rapide à mesure que $N$ augmente par rapport aux lignes de base. Il surpasse toutes les méthodes lorsque $N$ est suffisamment grand (ex: $N \ge 300$ sur BLOB).
• Variation de la Taille de Requête ($M$) : Dans les régimes de "few-shot" extrêmes (ex: $M=2$ à $M=10$), LOTTERY atteint une puissance substantiellement plus élevée que les méthodes basées sur les noyaux (MMD-FUSE, MMDAgg) et les bases d'apprentissage par division (MMD-Deep, RL-TST), qui performent souvent près du niveau du hasard.
• Études d'Ablation :
  • Le retrait du mécanisme de sélection guidé par l'incertitude entraîne une baisse constante de la puissance, confirmant la valeur de la sous-pondération des RDR instables.
  • L'agrégation de plusieurs familles de RDR produit de meilleurs résultats que n'importe quelle RDR seule, confirmant leur complémentarité à travers différents types de décalages de distribution (moyenne globale, variance, densité locale).
• Erreur de Type I : Les vérifications empiriques confirment que le test maintient l'erreur de Type I proche du niveau de signification $\alpha = 0,05$ dans toutes les configurations.

Signification et Revendications

Le papier affirme que LOTTERY fournit une approche principled et efficace pour le test de deux échantillons sous un déséquilibre de classe extrême. Sa signification réside dans :

• Résolution du Goulot d'Étranglement du "Few-Shot" : Il contourne l'instabilité inhérente à la division de petits lots de requête, une limitation qui affecte les tests adaptatifs aux données existants.
• Pont entre Test de Classe Unique et de Deux Échantillons : Il adapte le succès de la classification à classe unique (apprentissage à partir d'une seule distribution) dans un cadre de test de deux échantillons rigoureux avec des garanties formelles de Type I, se distinguant ainsi de la détection d'anomalies standard qui manque souvent de garanties de test de niveau $\alpha$.
• Utilité Pratique : Il offre un outil de diagnostic pour des applications à enjeux élevés comme la détection d'adversaires et la surveillance de modèles, où les données de requête sont rares mais les données de référence sont abondantes, permettant une détection plus fiable des décalages de distribution et des défaillances silencieuses.

Les auteurs soulignent que la méthode est de nature statistique et destinée à être un composant de diagnostic au sein d'un pipeline plus large, plutôt qu'une règle de décision autonome pour les individus.