Résumé technique : TILT : Basculement de la perte induit par la cible sous dérive de covariables

Formulation du problème

L'article aborde le problème de l'adaptation de domaine non supervisée sous dérive de covariables. Dans ce cadre, un prédicteur est entraîné sur des données étiquetées issues d'une distribution source $P$ sur $\mathcal{X} \times \mathcal{Y}$ et déployé sur des entrées issues d'une distribution cible $Q$. L'hypothèse fondamentale est que, bien que les distributions marginales d'entrée diffèrent ($P_X \neq Q_X$), la distribution conditionnelle de la réponse étant données les covariables reste invariante ($P(Y|X) = Q(Y|X)$).

La minimisation standard du risque empirique (ERM) sur les données source échoue dans ce cadre car elle minimise le risque pondéré par la marge source plutôt que par la marge cible. La correction standard implique un pondérage par importance, réajustant les échantillons source par le rapport de densité $w(x) = q(x)/p(x)$. Cependant, l'article note deux inconvénients majeurs à cette approche :

1. Instabilité : Le rapport de densité peut être très variable ou non borné, entraînant une variance statistique élevée et une instabilité de l'optimisation.
2. Difficulté d'estimation : Le rapport est généralement inconnu et doit être estimé, nécessitant souvent une étape séparée et explicite d'estimation (par exemple KMM, KLIEP, LSIF) qui introduit une erreur supplémentaire.

Méthodologie : Basculement de la perte induit par la cible (TILT)

Les auteurs proposent le Basculement de la perte induit par la cible (TILT), une méthode en une étape qui élimine le besoin d'estimation explicite du rapport de densité.

Mécanisme central

TILT décompose le prédicteur sous une forme additive : $f(x) + b(x)$, où :

• $f \in \mathcal{F}$ est le prédicteur principal à déployer.
• $b \in \mathcal{B}$ est un composant auxiliaire.

La méthode minimise un objectif empirique conjoint sur les données source étiquetées $\{(x_i, y_i)\}_{i=1}^n$ et les covariables cibles non étiquetées $\{\tilde{x}_j\}_{j=1}^m$ :

$$\hat{\mathcal{L}}(f, b) = \frac{1}{n} \sum_{i=1}^n (f(x_i) - y_i + b(x_i))^2 + \lambda \sum_{j=1}^m b^2(\tilde{x}_j)$$

Le prédicteur final déployé est uniquement le composant $f$. Le composant auxiliaire $b$ est autorisé à s'ajuster à la distribution source (en absorbant les résidus spécifiques à la source) mais est pénalisé sur les covariables cibles. Le paramètre de régularisation $\lambda > 0$ contrôle l'intensité de cette suppression.

Fondement théorique

Au niveau de la population, l'article démontre que la minimisation du risque excédentaire auxiliaire par rapport à $b$ conduit à un objectif profilé équivalent à un risque excédentaire cible pondéré relatif à $\lambda$ :
$$\inf_b \mathcal{A}(f, b) = \mathbb{E}_Q \left[ \frac{p(X)}{p(X) + \lambda q(X)} (f(X) - f^*(X))^2 \right]$$
où $f^*(x) = \mathbb{E}[Y|X=x]$.

Les propriétés théoriques clés incluent :

1. Répondérage implicite : La méthode induit un critère de pondération relative sans estimer $q/p$. Le poids effectif est $v_\lambda(x) = \frac{p(x)}{p(x) + \lambda q(x)}$, qui est uniformément borné dans $[0, 1]$ pour toute paire source-cible, contrairement au potentiellement non borné $q/p$.
2. Auto-localisation : Le décalage optimal $b^*_f(x)$ est donné par $-v_\lambda(x)(f(x) - f^*(x))$. Cela implique que la tâche auxiliaire devient plus facile à mesure que le prédicteur principal $f$ s'améliore (puisque le terme d'erreur rétrécit), et que la correction est localisée à l'erreur de prédiction actuelle.
3. Extension à la classification : La méthode est étendue à la classification (spécifiquement dans des contextes de distillation de connaissances) via une formulation de divergence KL (KL-TILT) ou un mélange de pertes d'entropie croisée et de distillation (KD-TILT), où le composant auxiliaire opère sur les logits.

Contributions clés

1. Algorithme novateur : Introduction de TILT, une procédure en une étape qui ajuste un prédicteur additif sur les données source tout en pénalisant le composant auxiliaire sur les données cibles, évitant entièrement l'estimation explicite du rapport de densité.
2. Garanties au niveau population : Démonstration que la pénalité côté cible induit un risque excédentaire profilé équivalent à un risque cible pondéré relatif, avec un décalage optimal uniformément borné et auto-localisé à l'erreur.
3. Analyse en échantillon fini :
   • Dérivation d'une inégalité d'oracle générale pour le risque excédentaire, séparant l'erreur d'approximation des termes d'estimation source et cible.
   • Spécialisation aux réseaux ReLU parcimonieux, fournissant des taux de convergence non paramétriques de bout en bout. Les bornes caractérisent explicitement le compromis entre la pertinence cible et la variance d'estimation via $\lambda$.
4. Validation empirique :
   • Régression synthétique : Démontre que TILT atteint des taux minimax-optimaux en termes de sévérité de la dérive de covariables et surpasse l'entraînement uniquement source, le pondérage par importance exact (IW) et les références de rapport de densité relative (RuLSIF), en particulier dans des contextes de haute dimension ou de mauvaise spécification.
   • Distillation CIFAR-100 : Montre que les variantes de TILT (KD-TILT, KL-TILT) améliorent les performances sur le domaine cible par rapport à l'entraînement uniquement source et à la distillation de connaissances classique sous des dérives de covariables au niveau de l'image (luminosité, contraste, flou), avec une dépendance stable au paramètre de régularisation.

Résultats et signification

L'article affirme que TILT offre une alternative robuste au pondérage par importance traditionnel. En remplaçant le rapport de densité non borné par une correction auxiliaire bornée et localisée à l'erreur, TILT évite l'instabilité associée à l'estimation de $q/p$.

• Stabilité : Dans les expériences synthétiques avec une sévérité de dérive croissante, TILT maintient des performances stables, tandis que le IW exact se dégrade rapidement en raison de la variabilité du rapport de densité.
• Optimalité : Dans une expérience de borne inférieure minimax impliquant des décalages de masse ponctuelle, TILT récupère le taux de taille d'échantillon effectif prédit par la théorie, surpassant l'ERM source qui évolue linéairement avec la sévérité de la dérive.
• Praticité : Dans la tâche de distillation CIFAR-100, les variantes de TILT surpassent systématiquement les références à des intensités de dérive modérées à élevées. La méthode s'avère robuste au choix de $\lambda$ dans une plage intermédiaire, évitant les extrêmes d'une ERM source pure ou d'un pondérage par importance instable.

Les auteurs positionnent TILT comme une méthode qui réalise une correction de dérive de covariables grâce à une simple décomposition additive et une régularisation côté cible, « basculant » efficacement la perte sans les charges computationnelles et statistiques de l'estimation du rapport de densité. Le travail est modeste dans son ampleur, se concentrant sur la régression par moindres carrés et des extensions spécifiques à la classification, avec des travaux futurs suggérés pour des pertes de Bregman générales et des décalages de distribution naturelle plus larges.