Résumé technique : Analyse statistique de l'optimisation robuste par distribution de groupes conditionnelle avec perte d'entropie croisée

1. Formulation du problème

Le document traite de l'adaptation de domaine non supervisée multi-sources pour la classification multi-catégories. Dans ce cadre, des données étiquetées sont disponibles à partir de $L$ domaines sources, tandis que seules des données de covariables non étiquetées sont observées dans un domaine cible. Le défi central est l'hétérogénéité distributionnelle, où les distributions de covariables ($P_X$ vs $Q_X$) ainsi que les distributions de résultats conditionnels ($P_{Y|X}$ vs $Q_{Y|X}$) peuvent varier entre les sources et la cible.

L'ERM (Minimisation du Risque Empirique) standard échoue souvent à généraliser sous de tels décalages. Bien que le Group DRO (Optimisation Robuste par Distribution de Groupes) offre une solution en minimisant le risque dans le pire des cas sur des mélanges de distributions conjointes sources, il n'exploite pas l'information spécifique des covariables disponible dans le domaine cible non étiqueté.

Les auteurs proposent le cadre CG-DRO (Optimisation Robuste par Distribution de Groupes Conditionnelle). Contrairement au Group DRO, qui considère l'incertitude sur les distributions conjointes, le CG-DRO construit un ensemble d'incertitude sur les distributions de résultats conditionnels (mélanges de conditionnelles sources) tout en maintenant fixe la distribution des covariables cibles. L'objectif est d'apprendre un classifieur $\theta^*$ qui minimise la perte d'entropie croisée dans le pire des cas sur cet ensemble d'incertitude :
$$\theta^* = \arg \min_{\theta} \left[ \max_{\gamma \in \Delta_L} \sum_{l=1}^L \gamma_l \cdot \mathbb{E}_{X \sim Q_X, Y \sim P^{(l)}_{Y|X}} [\ell(X, Y, \theta)] \right]$$
où $\ell$ est la perte d'entropie croisée et $\gamma$ représente les poids de mélange.

2. Méthodologie

2.1 Algorithme d'optimisation (Mirror Prox avec DML)

Pour résoudre le problème empirique de CG-DRO, les auteurs utilisent un algorithme Mirror Prox, qui effectue une descente de gradient sur les paramètres du modèle $\theta$ et une ascendance miroir sur les poids de mélange $\gamma$.

Un composant critique est l'estimation des composantes de la fonction de risque sous décalage de covariables (covariate shift). Puisque la distribution des covariables cible $Q_X$ diffère des distributions sources $P^{(l)}_X$, les moyennes empiriques directes à partir des données sources sont biaisées. Les auteurs intègrent le Double Machine Learning (DML) pour construire un estimateur non biaisé $\hat{\mu}^{(l)}$ des termes d'espérance conditionnelle.

• Étape 1 : Ajuster un modèle de machine learning (ex: réseaux de neurones, forêts aléatoires) pour estimer la probabilité conditionnelle $f^{(l)}(x) = P^{(l)}(Y|X)$ en utilisant les données sources.
• Étape 2 : Estimer le rapport de densité $\omega^{(l)}(x) = dQ_X/dP^{(l)}_X$.
• Correction de biais : Construire un estimateur DML qui corrige le biais de l'estimateur par substitution (plug-in) en utilisant le rapport de densité et le résidu du modèle de probabilité conditionnelle. Cela garantit que les erreurs dans l'estimation des paramètres de nuisance (les modèles ML) n'entrent dans l'estimateur de risque final qu'à un taux d'ordre supérieur.

2.2 Analyse de la convergence statistique

L'article établit des taux de convergence statistique rapides pour l'estimateur empirique $\hat{\theta}$.

• Défi : La théorie classique de l'estimation M produit des taux lents ($n^{-1/4}$) ici, car l'objectif implique une maximisation sur $\gamma$ après l'espérance, introduisant une non-lissé et une potentielle absence de concavité forte.
• Solution : Les auteurs construisent deux problèmes d'optimisation minimax de substitution (problèmes de population et empiriques approximatifs) en utilisant un développement de Taylor du second ordre du terme log-sum-exp.
  • Ces substituts permettent de dériver une expression en forme close de la solution approximative.
  • En analysant l'écart entre les problèmes originaux et de substitution, ils prouvent que l'estimateur empirique $\hat{\theta}$ converge vers l'optimum de population $\theta^*$ à un taux paramétrique rapide de $O(\sqrt{d/n})$, à condition que les distributions conditionnelles sources soient suffisamment distinctes (indépendance linéaire des vecteurs $\mu^{(l)}$).

2.3 Quantification de l'incertitude (Inférence par perturbation)

Une contribution majeure est de traiter les asymptotiques non standards de l'estimateur. L'estimateur CG-DRO empirique $\hat{\theta}$ échoue souvent à converger vers une distribution normale standard en raison de :

1. Effets de bord : Lorsque le poids de mélange optimal $\gamma^*$ se situe sur la frontière du simplexe (ex: une source domine).
2. Instabilité du système : Lorsque les distributions conditionnelles des sources sont très similaires, provoquant une fluctuation sauvage des poids optimaux.

Pour permettre une inférence valide (intervalles de confiance et tests d'hypothèse) dans ces régimes non réguliers, les auteurs proposent une procédure d'inférence basée sur la perturbation :

• Idée : Au lieu de s'appuyer sur la normalité asymptotique de $\hat{\theta}$, la méthode génère une collection de vecteurs de poids perturbés $\{\hat{\gamma}^{[m]}\}$ en rééchantillonnant les paramètres de nuisance estimés ($\hat{\mu}^{(l)}$).
• Filtrage : Une étape de filtrage exclut les perturbations extrêmes qui s'écartent significativement de la structure des données observées.
• Union d'intervalles : Pour chaque perturbation filtrée, un estimateur « semi-oracle » $\hat{\theta}^{[m]}$ est calculé (en traitant le poids perturbé comme fixe). Des intervalles de confiance sont construits pour chaque $\hat{\theta}^{[m]}$ en utilisant des quantiles gaussiens standards (puisque le poids est fixe, l'estimateur devient asymptotiquement normal).
• IC Final : L'intervalle de confiance final est l'union de ces intervalles individuels. Théoriquement, cette union est garantie de contenir le vrai paramètre avec la probabilité de couverture souhaitée, même si l'estimateur original est non normal.

3. Contributions clés

1. Cadre : Proposition du cadre CG-DRO pour la perte d'entropie croisée, qui exploite les covariables cibles pour définir un ensemble d'incertitude conditionnelle, se distinguant du Group DRO standard.
2. Algorithme et Estimation : Développement d'un algorithme Mirror Prox amélioré par un estimateur de Double Machine Learning pour gérer efficacement les décalages de covariables et les erreurs d'estimation des paramètres de nuisance.
3. Théorie de la convergence : Établissement d'un taux de convergence rapide $O(\sqrt{d/n})$ pour l'estimateur CG-DRO empirique par la construction de problèmes minimax de substitution, surmontant les limites de l'estimation M standard dans les contextes minimax.
4. Inférence : Introduction d'une méthode d'inférence par perturbation qui produit des intervalles de confiance uniformément valides avec une longueur paramétrique, même lorsque l'estimateur présente des distributions limites non standards (non normales) dues aux effets de bord ou à l'instabilité du système.

4. Résultats

• Convergence : Les simulations confirment que l'erreur d'estimation $\|\hat{\theta} - \theta^*\|_2$ décroît au taux de $1/\sqrt{n}$, s'alignant sur les bornes théoriques.
• Robustesse : Dans les comparaisons numériques, le CG-DRO obtient systématiquement un risque dans le pire des cas inférieur à celui du Group DRO et de l'ERM sous décalage de covariables.
• Validité de l'inférence :
  • Dans les régimes réguliers (sources distinctes), les méthodes standards fonctionnent, mais le CG-DRO maintient ses performances.
  • Dans les régimes non réguliers (décalages parfaits causant des poids de bord) et les régimes instables (sources similaires causant des fluctuations de poids), les méthodes de Normalité et de Bootstrap standards échouent à maintenir la couverture nominale (ex: tombant en dessous de 95 %).
  • La méthode de perturbation proposée maintient une couverture uniforme dans tous les régimes, avec des longueurs d'intervalle comparables à un benchmark oracle.

5. Signification

L'article affirme combler une lacune critique dans la compréhension théorique de l'optimisation robuste par distribution (DRO) sous perte d'entropie croisée, un contexte où les solutions en forme close sont indisponibles et où la théorie asymptotique standard échoue souvent.

La signification réside dans la fourniture d'un cadre principled pour l'inférence dans les problèmes d'optimisation minimax où la distribution limite de l'estimateur est non standard. En découplant l'incertitude des paramètres de nuisance (poids) des paramètres structurels (classifieur), la méthode de perturbation proposée offre une alternative efficace sur le plan computationnel et théoriquement solide aux méthodes de bootstrap qui échouent dans les régimes non réguliers. Cela permet une quantification de l'incertitude fiable pour les modèles robustes déployés dans des environnements avec des décalages de distribution, tels que l'analyse de données médicales ou géographiques multi-sources.