Kernel Two-Sample Testing via Directional Components Analysis

Résumé Technique : Test de deux échantillons par noyau via l'Analyse des Composantes Directionnelles

Énoncé du Problème
Les tests classiques de deux échantillons par noyau, particulièrement ceux basés sur la Maximum Mean Discrepancy (MMD), agrègent les différences au carré à travers toutes les directions d'un espace de Hilbert à noyau reproduisant (RKHS). Bien que théoriquement fondés, ces méthodes souffrent dans les régimes à échantillons finis, notamment dans les context d'alta dimensionnalité ou de déséquilibre. Le problème central identifié est que l'estimateur MMD inclut des « composantes directionnelles traînantes » correspondant aux petites valeurs propres de l'opérateur intégral du noyau. Dans un régime d'échantillons finis, ces composantes traînantes sont estimées avec une variance élevée (bruit), ce qui dégrade la puissance globale du test. Les approches classiques basées sur la permutation pour déterminer les valeurs critiques exacerbent davantage l'inefficacité computationnelle.

Méthodologie
Les auteurs proposent un nouveau test statistique qui exploite la décomposition spectrale de la MMD pour effectuer une Analyse des Composantes Directionnelles (KDCA). La méthodologie repose sur l'observation que la qualité de l'estimation varie considérablement selon les directions propres : les composantes de tête (associées à de grandes valeurs propres) sont estimées de manière fiable, tandis que les composantes traînantes sont bruitées.

1. Troncation Spectrale : Au lieu de sommer sur l'intégralité du RKHS, la méthode proposée tronque l'expansion spectrale à une dimension $d$. La statistique de test agrège uniquement les normes au carré des $d$ premières composantes directionnelles, écartant ainsi efficacement la queue bruitée.
2. Fondement Théorique : L'article établit des bornes d'erreur rigoureuses pour les échantillons finis concernant l'estimation des fonctions propres et des composantes directionnelles en utilisant les propriétés spectrales du noyau. Il prouve que sous l'hypothèse nulle ($H_0: P=Q$), le statisticien proposé converge vers une somme pondérée de variables chi-deux indépendantes.
3. Bootstrap Paramétrique : Pour éviter le coût computationnel des tests de permutation, les auteurs dérivent la distribution nulle asymptotique et introduisent une procédure de bootstrap paramétrique efficace. Cette méthode approxime les valeurs critiques en rééchantillonnant à partir d'une distribution gaussienne définie par la covariance estimée des principales composantes directionnelles.
4. Sélection de $d$ Pilotée par les Données : Un élément clé est un algorithme piloté par les données pour la sélection de la dimension de troncation $d$. Cette méthode maximise un rapport signal sur bruit (SNR) estimé sur un ensemble d'entraînement, équilibrant le biais de la troncation et la variance liée à l'inclusion de composantes bruitées.
5. Analyse de Robustesse : L'article inclut une analyse de perturbation démontrant que la statistique de test et sa distribution limite sont stables par rapport aux choix d'hyperparamètres du noyau, à condition qu'un écart spectral suffisant existe entre les valeurs propres conservées et écartées.

Contributions Clés

• Nouvelle Statistique de Test : Introduction d'une statistique MMD tronquée qui se concentre sur les directions propres de tête bien estimées, théoriquement justifiée pour améliorer la puissance en échantillon fini.
• Théorie Asymptotique : Dérivation de la distribution nulle asymptotique (une somme pondérée de variables chi-deux) et analyse de puissance sous des alternatives fixes et locales.
• Inférence Efficace : Développement d'une procédure de bootstrap paramétrique qui offre des accélérations significatives par rapport aux alternatives basées sur la permutation tout en maintenant un contrôle valide de l'erreur de Type I.
• Troncation Adaptative : Un critère de sélection principled et piloté par les données pour la dimension de tronction $d$ qui optimise le SNR sans nécessitée de réglage manuel ou de dépendance à des estimations instables de l'écart spectral (eigengap).
• Robustesse : Preuve formelle que la méthode est moins sensible aux choix d'hyperparamètres du noyau par rapport aux tests MMD de rang complet, car les composantes spectrales de tête sont stables sous les perturbations.

Résultats
Des simulations étendues et des études empiriques valident la performance de la méthode :

• Puissance : Le test proposé (spécifiquement la version avec $d=1$ fixé, notée $T_{MMD}(d=1)$) surpasse systématiquement les tests à noyau de pointe (incluant le MMD standard, MMD-Agg, SpectraRegu, et d'autres) dans les contextes de haute dimension et de déséquilibre. Il atteint une puissance quasi parfaite dans les scénarios où les tests de rang complet échouent en raison de l'inflation du bruit.
• Contrôle de la Taille : La méthode maintient un contrôle strict de l'erreur de Type I à travers diverses distributions et dimensions, les taux de rejet correspondant étroitement au niveau de signification nominal.
• Robustesse au Choix du Noyau : Contrairement au MMD standard, qui est très sensible à la sélection de la largeur de bande (bandwidth), la méthode tronquée présente une stabilité remarquable à travers différentes largeurs de bande de noyau.
• Efficacité : Le coût computationnel est nettement inférieur aux méthodes basées sur la permutation. La méthode proposée est des ordres de grandeur plus rapide que le MMD de rang complet et les approches de régularisation spectrale, ce qui la rend scalable pour de grands jeux de données.
• Application Empirique : La méthode a été appliquée à des jeux de données d'expression génique de microarrays (Khan, Gordon, et Chin), où elle a réussi à rejeter l'hypothèse nulle avec une grande confiance, surpassant souvent les méthodes concurrentes en termes de p-values.

Signification et Revendications
L'article affirme que l'inefficacité du MMD standard en échantillon fini est fondamentalement un problème d'« inflation de la variance » causé par les composantes de la queue bruitée. En déplaçant l'attention vers l'Analyse des Composances Directionnelles, la méthode proposée résout ce problème en imposant une troncation stricte qui ne retient que les directions propres robustes et dominantes.

Les auteurs soulignent que leur approche diffère fondamentalement des méthodes de régularisation spectrale (ex: SpectraRegu), qui abordent le problème sous l'angle des problèmes inverses et de la statistique minimax. En revanche, ce travail considère le problème sous l'angle de l'apprentissage d'opérateurs intégraux et de la réduction de dimension, privilégiant la puissance en échantillon fini et l'efficacité computationnelle. L'article soutient que cette agrégation ciblée de composantes robustes produit une puissance et une robustesse supérieures, particulièrement dans les contextes exigeants de haute dimensionnalité et de déséquilibre, tout en offrant une alternative rapide et théoriquement justifiée aux tests de permutation.