Optimal Demixing of Nonparametric Densities

1. Problématique et Contexte

L'article aborde un problème fondamental en statistiques et en apprentissage automatique : le démélange linéaire de densités non paramétriques.

• Le Modèle : On observe $n$ groupes d'échantillons. Le $i$-ème groupe contient $N_i$ échantillons indépendants provenant d'une densité $f_i(x)$ sur $\mathbb{R}^d$. Chaque densité $f_i$ est une combinaison convexe de $K$ densités de base inconnues $g_1(x), \dots, g_K(x)$ :
  $$f_i(x) = \sum_{k=1}^K \pi_i(k) g_k(x)$$
  où $\pi_i = (\pi_i(1), \dots, \pi_i(K))$ est un vecteur de poids (appartenant au simplexe de probabilité) spécifique au groupe $i$.
• Objectif : Estimer les $K$ densités de base $g_1, \dots, g_K$ à partir des données observées $\{X_{ij}\}$.
• Applications : Ce problème généralise le topic modeling (modélisation de sujets) aux variables continues (au lieu de mots discrets). Il trouve des applications dans l'analyse de plongements de mots (word embeddings) des grands modèles de langage (LLM), l'analyse archétypale sur des données distributionnelles et la décontamination de modèles de contamination mutuelle.

2. Limites des Approches Classiques

Les auteurs expliquent pourquoi les méthodes existantes échouent ou sont sous-optimales :

• Estimateur à noyau (KDE) standard : Si l'on estime chaque $f_i$ séparément par KDE, le taux de convergence ne dépend que de $N_i$ (taille du groupe), et non du nombre total d'échantillons $\sum N_i$. De plus, il n'y a pas de méthode directe pour "décomposer" ces estimations en $g_k$.
• Modèles paramétriques (EM, VAE) : Ils nécessitent que les $g_k$ aient une forme paramétrique connue, ce qui contredit l'hypothèse non paramétrique.
• Méthodes récentes (Katz-Samuels et al., Austern et al.) :
  • Katz-Samuels (2019) ne fournit pas de taux de convergence explicite et impose des conditions restrictives sur les poids $\pi_i$.
  • Austern et al. (2025) utilisent une approche en deux étapes (modélisation de sujets sur des histogrammes + lissage par noyau). Cependant, leur taux de convergence n'est pas optimal lorsque les densités sont très lisses (paramètre de régularité $\beta > 1$) en raison d'un compromis biais-variance mal géré sur la taille des bins $M$.

3. Méthodologie Proposée : L'Estimateur Pondéré par Sujets Débiaisé

Les auteurs proposent un nouvel estimateur qui combine la modélisation de sujets (Topic Modeling) et l'estimation par noyau, avec une correction de biais cruciale.

A. Induction d'un Modèle de Sujets

En divisant l'espace $\mathbb{R}^d$ en $M$ bins (intervalles ou hypercubes) $B_1, \dots, B_M$, on construit des vecteurs d'histogrammes $Y_i$ pour chaque groupe. La relation (1.1) implique que $Y_i$ suit une loi multinomiale :
$$Y_i \sim \text{Multinomial}\left(N_i, \sum_{k=1}^K \pi_i(k) g_k^B\right)$$
où $g_k^B$ est le vecteur de probabilités de la densité $g_k$ sur les bins. Cela transforme le problème en un modèle de sujets classique où $g_k^B$ sont les "sujets" et $\pi_i$ les "poids".

B. Estimation des Poids et des Sujets

1. Estimation de la matrice de sujets ($\hat{G}$) : On utilise l'algorithme Topic-SCORE sur la matrice des histogrammes $Y$ pour estimer les vecteurs de sujets $\hat{g}_k^B$.
2. Estimation des poids ($\hat{\pi}_i$) : Au lieu d'estimer $\pi_i$ directement (ce qui est lent), on utilise une régression linéaire basée sur $\hat{G}$ et les données brutes pour obtenir un estimateur $\hat{\Pi}$. La clé est que l'erreur sur $\hat{G}$ est très faible, permettant de traiter $G$ comme connu pour l'estimation de $\Pi$.

C. L'Estimateur Débiaisé (Le Cœur de la Méthode)

Un estimateur "plug-in" naïf utilisant $\hat{\Pi}$ et un KDE pondéré souffre d'un biais important dû aux termes quadratiques dans l'estimation des covariances.
Pour corriger cela, les auteurs remplacent les termes quadratiques par des statistiques U incomplètes (incomplete U-statistics) en excluant les termes diagonaux ($j=j'$).
L'estimateur final pour la densité $g_k(x)$ s'écrit sous forme matricielle :
$$\hat{g}(x) = \hat{G}' \hat{G} (\hat{G}' T \hat{G})^{-1} \hat{G}' S(x) \mathbf{1}_n$$
où :

• $T$ est une matrice construite à partir des statistiques U des produits d'indicateurs de bins.
• $S(x)$ est une matrice reliant les noyaux $K_h(x-X_{ij})$ aux indicateurs de bins.
• Cette formulation assure que l'estimateur est une statistique U pondérée, éliminant le biais dominant.

4. Résultats Théoriques Principaux

Les auteurs établissent des bornes minimax (supérieures et inférieures) prouvant l'optimalité de leur méthode.

• Hypothèses : Les densités $g_k$ appartiennent à la classe de régularité de Nikol'ski d'ordre $\beta$. Le nombre de groupes $n$, la taille par groupe $N$, et le nombre de sujets $K$ peuvent croître.
• Taux de Convergence : Sous des conditions raisonnables sur la croissance de $K$ (par exemple $K = O((Nn)^{c})$ avec $c < 1/4$), l'erreur quadratique intégrée (MISE) satisfait :
  $$\mathbb{E}\left[ \sum_{k=1}^K \int (\hat{g}_k(x) - g_k(x))^2 dx \right] \asymp K \left( \frac{K}{Nn} \right)^{\frac{2\beta}{2\beta+d}}$$
  Ce taux est minimax optimal. Il dépend du nombre total d'échantillons $Nn$ et de la dimension $d$, et il est nettement meilleur que les méthodes précédentes (comme Austern et al.) lorsque $\beta > 1$.
• Preuve de l'Optimalité :
  • Borne Supérieure : Obtenue en décomposant l'erreur en biais (non stochastique), variance principale (stochastique) et erreur secondaire (due à l'estimation de $G$). Les auteurs développent de nouvelles inégalités de grande déviation pour les statistiques U incomplètes.
  • Borne Inférieure : Une construction de configuration défavorable (least-favorable configuration) utilisant des fonctions "bump" et le lemme de Gilbert-Varshamov montre qu'aucun estimateur ne peut faire mieux.

5. Contributions Clés

1. Nouvelle Méthodologie : Introduction d'un estimateur basé sur une statistique U débiaisée, qui diffère fondamentalement des approches par lissage direct de matrices de sujets.
2. Optimalité Minimax : Démonstration que l'estimateur atteint le taux de convergence optimal sur toute la gamme de régularité $\beta$, comblant le fossé laissé par les méthodes antérieures.
3. Théorie des Modèles de Sujets Croissants : Extension des résultats théoriques de l'algorithme Topic-SCORE au cas où le nombre de sujets $K$ croît avec la taille des données, fournissant des bornes d'erreur précises pour $K \to \infty$.
4. Gestion de la Dimension : Extension des résultats aux dimensions $d > 1$ avec des noyaux anisotropes.

6. Signification et Impact

Ce travail est significatif car il résout un problème théorique ouvert dans l'estimation de densités non paramétriques sous mélange linéaire.

• Pour le NLP et les LLM : Il offre un cadre rigoureux pour extraire des "sujets" (distributions de plongements de mots) à partir de corpus massifs, là où les méthodes paramétriques échouent.
• Pour les Statistiques : Il démontre comment combiner efficacement la structure latente (modèle de sujets) avec l'estimation non paramétrique, en surmontant les biais d'estimation via des techniques de statistiques U.
• Comparaison : Contrairement aux méthodes existantes qui sont soit incohérentes, soit sous-optimales pour les fonctions lisses, cette méthode est universellement optimale dans son régime de paramètres.

En résumé, Fan, Ke et Shi proposent une solution théoriquement fondée et pratiquement réalisable pour "démélanger" des distributions complexes, établissant une nouvelle référence pour l'analyse de données distributionnelles à haute dimension.