Factorizable joint shift revisited

1. Énoncé du problème

L'article aborde le défi du décalage de distribution (ou décalage de jeu de données) en apprentissage automatique, où un modèle entraîné sur une distribution source $P$ (données d'entraînement) échoue lorsqu'il est déployé sur une distribution cible $Q$ (données de test). Plus précisément, l'article se concentre sur des scénarios où :

• Les observations de caractéristiques ($X$) sont disponibles pour le jeu de données cible.
• Les observations d'étiquettes ($Y$) sont manquantes pour le jeu de données cible (adaptation de domaine non supervisée).
• L'espace des étiquettes $\Omega_Y$ est général, englobant non seulement les variables catégorielles (classification) mais aussi les variables continues (régression) et les espaces mixtes.

La littérature existante s'est largement concentrée sur des hypothèses de décalage spécifiques telles que le décalage de covariables (changement de $P(X)$, $P(Y|X)$ constant) ou le décalage d'étiquettes (changement de $P(Y)$, $P(X|Y)$ constant). Cependant, ces hypothèses sont souvent insuffisantes pour les tâches réelles. Le décalage conjoint factorisable (FJS) a été proposé comme une hypothèse plus générale couvrant les deux, mais les analyses précédentes étaient restreintes aux étiquettes catégorielles. Cet article vise à généraliser le FJS à des espaces d'étiquettes arbitraires et à fournir des cadres d'estimation robustes.

2. Méthodologie et cadre

2.1. Cadre théorique

L'auteur établit un cadre probabiliste rigoureux utilisant la théorie de la mesure :

• Source ($P$) et Cible ($Q$) : Définies sur un espace produit $\Omega = \Omega_X \times \Omega_Y$.
• Continuité absolue : La distribution cible $Q$ est supposée être absolument continue par rapport à la source $P$ ($Q \ll P$), permettant la définition d'une dérivée de Radon-Nikodym (densité) $f = \frac{dQ}{dP}$.
• Définition du FJS : $P$ et $Q$ sont liées par un FJS si la densité $f$ se factorise en un produit d'une fonction des caractéristiques et d'une fonction des étiquettes :
  $$\frac{dQ}{dP} = h(X)g(Y)$$
  où $h$ et $g$ sont des fonctions mesurables. Cela implique que le décalage conjoint est une combinaison d'un décalage de covariables et d'un décalage d'étiquettes.

2.2. Caractérisation du FJS

L'article démontre que le FJS est équivalent à une séquence de décalages consécutifs (par exemple, un décalage d'étiquettes suivi d'un décalage de covariables).

• Théorème 3.5 : Établit la relation entre les fonctions de factorisation ($h, g$) et les densités marginales de la distribution cible. Il montre que sous FJS, les densités conditionnelles cibles sont des versions « mises à l'échelle » des densités conditionnelles sources.
• Généralisation : L'article étend les résultats précédents (limités aux $Y$ catégoriels) à des espaces d'étiquettes généraux, montrant que le FJS implique que le rapport des densités conditionnelles cible sur source ne dépend que de la variable de conditionnement.

2.3. Algorithmes d'estimation

L'article traite deux problèmes spécifiques sous l'hypothèse FJS :

• Problème (A) : Les marginales cibles $Q_X$ et $Q_Y$ sont toutes deux connues.
• Problème (B) : Seule la marginale cible des caractéristiques $Q_X$ est connue (le cadre non supervisé standard).

L'algorithme EM généralisé (Section 3.3) :
Pour résoudre le Problème (B), l'auteur propose une généralisation de l'algorithme Espérance-Maximisation (EM) (à l'origine par Saerens et al., 2002, pour les priors de classe).

• Objectif : Estimer la densité d'étiquettes cible inconnue $g(Y)$ (ou la distribution d'étiquettes cible) étant donnée la densité de caractéristiques cible connue $h(X)$.
• Itération :
  1. Initialiser une densité d'étiquettes $g_0(Y)$.
  2. Étape E : Calculer la densité de caractéristiques implicite $h_n(X) = E_P[g_n(Y) | X]$.
  3. Étape M : Mettre à jour la densité d'étiquettes $g_{n+1}(Y) = g_n(Y) E_P[\frac{h(X)}{h_n(X)} | Y]$.
• Convergence : Le théorème 3.8 démontre que cette itération minimise la divergence de Kullback-Leibler (KL) entre la densité de caractéristiques cible prédéfinie et la densité de caractéristiques implicite. L'algorithme converge vers une solution où la distribution d'étiquettes cible est estimée de telle sorte que la distribution conjointe résultante satisfait la contrainte FJS.

Solution itérative pour le Problème (A) :
Pour le cas où les deux marginales sont connues, une itération alternée est proposée pour trouver les fonctions de factorisation $h$ et $g$ qui satisfont simultanément les contraintes marginales.

2.4. Relation avec le décalage d'étiquettes généralisé (GLS)

L'article analyse la relation entre le FJS et le décalage d'étiquettes généralisé (GLS), un concept utilisé en apprentissage de représentations où les caractéristiques sont mappées vers un espace où seul un décalage d'étiquettes se produit.

• Proposition 4.1 : Si une carte de représentation $R$ est suffisante pour les caractéristiques (c'est-à-dire $P(Y|X) = P(Y|R)$), alors le GLS dans l'espace mappé implique le FJS dans l'espace original.
• Implication : Cela suggère qu'il n'est peut-être pas nécessaire d'apprendre explicitement une carte de représentation pour atteindre le GLS ; au lieu de cela, on peut appliquer directement l'algorithme EM basé sur le FJS aux caractéristiques originales.

3. Contributions clés

1. Généralisation aux étiquettes continues/mixtes : La contribution principale est l'extension de la théorie du décalage conjoint factorisable des étiquettes catégorielles aux espaces d'étiquettes généraux (incluant la régression). Cela permet d'appliquer les concepts de FJS aux problèmes de régression et aux types de données mixtes.
2. Algorithme EM généralisé : L'article présente une dérivation rigoureuse d'un algorithme EM pour l'estimation de la distribution d'étiquettes dans des espaces généraux. Il démontre que cet algorithme minimise la divergence KL entre la distribution de caractéristiques cible et la distribution implicite du modèle, fournissant une garantie théorique pour son utilisation en adaptation de domaine non supervisée.
3. Décomposition du FJS : Il démontre formellement que le FJS peut être vu comme une séquence de décalages d'étiquettes et de covariables consécutifs, clarifiant la relation structurelle entre ces types de décalages.
4. Lien avec le GLS : Il établit un lien formel montrant que le GLS avec une représentation suffisante implique le FJS, suggérant que la modélisation directe du FJS peut être une alternative à l'apprentissage de représentations complexe.
5. Gestion de l'« ajustement exact » : L'article discute des conditions sous lesquelles une distribution de caractéristiques cible peut être parfaitement adaptée (« ajustement exact ») par un décalage d'étiquettes ou un FJS contraint. Il note que bien que l'ajustement exact ne soit pas toujours garanti (par exemple, dans les modèles de mélanges normaux), l'algorithme EM fournit la meilleure approximation possible en termes de divergence KL.

4. Résultats clés

• Théorème 3.5 : Fournit les conditions nécessaires et suffisantes pour qu'une distribution conjointe satisfasse le FJS en termes de densités marginales et d'espérances conditionnelles.
• Théorème 3.8 : Prouve les propriétés de convergence de l'algorithme EM généralisé, montrant que la séquence des densités de caractéristiques implicites approche monotonement la densité de caractéristiques cible en termes de divergence KL.
• Corollaire 3.17 : Montre que dans le cas de caractéristiques catégorielles finies et d'étiquettes générales, si les probabilités a posteriori sont linéairement indépendantes, l'algorithme EM atteint un ajustement exact de la distribution de caractéristiques cible.
• Exemple 3.16 : Une expérience numérique démontre la capacité de l'algorithme à estimer une distribution d'étiquettes cible continue (Gaussienne) étant donnée une distribution de caractéristiques cible discrète, montrant que bien que la densité d'étiquettes finale dépende de l'initialisation, la distribution de caractéristiques est adaptée avec une grande précision.

5. Importance

• Pont entre classification et régression : En allant au-delà des étiquettes catégorielles, ce travail unifie le traitement du décalage de distribution pour les tâches de classification et de régression, ce qui constitue une avancée significative car la plupart des littératures existantes sur l'adaptation de domaine se concentrent fortement sur la classification.
• Adaptation de domaine pratique : L'algorithme EM proposé offre une méthode pratique et calculable pour adapter des modèles lorsque les étiquettes cibles sont indisponibles, à condition que l'hypothèse FJS soit vérifiée. Cela est crucial pour des applications réelles comme le diagnostic médical (où les étiquettes des données de test sont retardées) ou la modélisation des risques financiers.
• Clarté théorique : L'article clarifie la structure mathématique du FJS, résolvant les ambiguïtés concernant sa relation avec les décalages de covariables et d'étiquettes, et fournissant une base théorique solide pour les recherches futures sur le décalage de distribution.
• Alternative à l'apprentissage de représentations : En reliant le GLS et le FJS, l'article suggère que dans certains cas, l'apprentissage de représentations complexe pourrait être évité au profit d'une estimation de densité directe sous FJS, simplifiant potentiellement le pipeline d'adaptation.

En résumé, « Factorizable joint shift revisited » fournit un cadre théorique et algorithmique complet pour gérer les décalages de distribution dans des contextes généraux, offrant une alternative robuste aux hypothèses standard de décalage de covariables ou d'étiquettes et étendant ces capacités aux problèmes de régression.