Résumé technique : Apprentissage par transfert multi-sources de modèles à indice unique parcimonieux

1. Énoncé du problème

L'article traite de deux limitations critiques dans la littérature existante de l'apprentissage par transfert statistique pour les tâches de régression :

1. Rigidité du modèle : La plupart des avancées théoriques reposent sur des modèles linéaires ou des modèles linéaires généralisés (GLM). Les GLM nécessitent une fonction de lien connue, ce qui ne permet pas de capturer les contextes où la transformation non linéaire est complètement inconnue et varie selon les domaines.
2. Accessibilité des données : Presque toutes les méthodes existantes supposent un accès simultané aux données brutes de la source et de la cible. Cela devient de plus en plus impraticable en raison des réglementations sur la confidentialité, des restrictions de propriété ou du fait que les modèles sources sont pré-entraînés et que les données brutes ne sont plus partageables.

Les auteurs proposent un cadre pour l'apprentissage par transfert multi-sources dans le contexte d'un modèle à indice unique (SIM) parcimonieux. L'objectif est d'améliorer l'apprentissage dans un domaine cible ($i=0$) pauvre en données en exploitant les connaissances de plusieurs domaines sources ($i \in [K]^+$) sans accéder aux données brutes des sources, tout en accommodant des fonctions de lien non linéaires, flexibles et potentiellement distinctes entre les domaines.

2. Méthodologie

Le cadre proposé fonctionne de manière « sans données sources » (source-data-free), en transférant uniquement des statistiques de résumé dérivées d'un lemme de Stein généralisé. La méthodologie comprend trois étapes :

A. Estimation des paramètres de la source (Domaines sources)

Au lieu de partager les données brutes, la méthode transfère des indices estimés via le lemme de Stein généralisé.

• Score de Stein : Pour un domaine source $i$, l'indice mis à l'échelle $\tilde{\alpha}_i = \mu_i \alpha_i$ (où $\mu_i = E\{\nabla f_i(\alpha_i^\top x)\}$) satisfait l'identité $E\{y^{(i)} s(x^{(i)})\} = \tilde{\alpha}_i$, où $s(x)$ est la fonction de score $-\nabla \ln P(x)$.
• Estimation : La fonction de score est estimée soit par des méthodes à noyau (pour de petits échantillons), soit par des réseaux de neurones profonds (pour des échantillons plus larges). L'estimateur de moment $\hat{M}_i = \hat{E}\{y^{(i)} \hat{s}(x^{(i)})\}$ est calculé.
• Parcimonie : Un estimateur de seuillage dur normalisé $\hat{\alpha}_i$ est obtenu en résolvant un problème d'optimisation pénalisé par $\ell_0$ sur $\hat{M}_i$. Seuls ces indices normalisés sont communiqués au domaine cible.

B. Estimation des paramètres de la cible (Domaine cible)

Le domaine cible dispose de données limitées ($n_0 \ll n_i$). La méthode emploie une stratégie en deux étapes :

1. Estimateur de base (Baseline) : Un estimateur de seuillage doux basé sur Lasso ($\hat{\alpha}_{0}^{base}$) est calculé directement à partir de l'estimateur de moment des données de la cible pour servir de base robuste.
2. Estimateurs de transfert : Deux méthodes combinent les informations de la source avec la base :
   • Estimateur de moyenne simple (SAE) : Suppose que le contraste moyen entre les sources et la cible est parcimonieux. Il calcule la moyenne des estimateurs de source et utilise Lasso pour estimer le contraste $\bar{\delta}$.
   • Estimateur de combinaison convexe optimale (OCCE) : Gère les cas où les sources sont hétérogènes. Il construit un dictionnaire de contrastes individuels source-cible, estime les contrastes individuels via Lasso, et trouve les poids convexes optimaux pour minimiser la distance par rapport à l'estimateur de base.
3. Sélection de la source : Un algorithme classe les sources en fonction de la norme $\ell_\infty$ de leurs contrastes estimés par rapport à la base. Les sources ayant de faibles contrastes sont sélectionnées comme « informatives » pour éviter le transfert négatif.

C. Estimation de la fonction de lien

Une fois l'indice cible $\hat{\alpha}_0$ estimé, la fonction de lien non linéaire inconnue $f_0$ est modélisée à l'aide d'un Perceptron Multicouche (MLP). Le MLP est entraîné sur les données de la cible en utilisant l'indice pré-estimé $\hat{\alpha}_0^\top x$ comme entrée, ce qui atténue considérablement le surapprentissage par rapport à l'entraînement d'un réseau de neurones à partir de zéro avec des données limitées.

3. Principales contributions

• Cadre sans données sources : L'article introduit un protocole d'apprentissage par transfert qui ne nécessite qu'une communication unique de statistiques de résumé (indices estimés), préservant ainsi la confidentialité et contournant les contraintes d'accès aux données.
• Gestion de la non-linéarité inconnue : En utilisant le cadre SIM, la méthode accommode des fonctions de lien non linéaires et spécifiques à chaque domaine, un contexte où les transferts basés sur les GLM standards échouent.
• Garanties théoriques : Les auteurs établissent des taux de convergence pour leurs estimateurs proposés (SAE et OCCE) dans des contextes de haute dimension et de parcimonie. Ils prouvent que :
  • Les estimateurs atteignent des taux minimax optimaux sous des conditions de parcimonie spécifiques.
  • La procédure de sélection de la source est cohérente (identifiant correctement les sources informatives avec une haute probabilité) sous des hypothèses modérées.
  • L'estimateur composé (indice + MLP) atteint des bornes d'erreur qui se décomposent en erreur d'estimation d'indice, erreur d'approximation du réseau de neurones et bruit irréductible.
• Robustesse à l'hétérogénéité : L'OCCE montre qu'il est robuste même lorsque les indices des sources ne sont pas parfaitement alignés, à condition qu'ils soient individuellement informatifs.

4. Résultats expérimentaux

L'article valide le cadre par des simulations synthétiques et une application réelle.

• Données synthétiques :
  • Scénario 1 (Fonctions de lien identiques) : Les méthodes proposées sont comparables aux méthodes linéaires de fusion (A-Trans-GLM).
  • Scénarios 2 & 3 (Fonctions de lien diverses) : À mesure que les fonctions de lien varient entre les domaines, les performances des méthodes de fusion linéaires (A-Trans-GLM) se dégradent considérablement en raison d'une erreur de spécification du modèle. En revanche, les méthodes SAE et OCCE maintiennent une grande précision et surpassent souvent les bases linéaires, démontrant l'avantage de la gestion de la non-linéarité inconnue.
  • Surapprentissage : Le MLP guidé par l'indice transféré généralise nettement mieux qu'un réseau de neurones entraîné uniquement sur les données limitées de la cible.
• Sélection de la source : L'algorithme de classement proposé surpasse les méthodes basées sur la validation croisée (comme Trans-GLM) dans les scénarios avec des fonctions de lien non linéaires, où les pertes de substitution (ex: MSE) ne parviennent pas à distinguer de manière fiable les sources informatives.
• Application réelle (Communautés et Criminalité) : Appliqué à la prédiction des taux de criminalité violente, les méthodes proposées (particulièrement OCCE) ont obtenu un $R^2$ hors échantillon plus élevé que le Lasso ciblé seul, les réseaux de neurones ciblés seuls et les méthodes de transfert linéaires. Le réseau de neurones entraîné à partir de zéro a échoué ( $R^2$ négatif), soulignant la nécessité de l'initialisation guidée par le transfert.

5. Signification et affirmations

L'article affirme offrir une solution pratique, respectueuse de la vie privée et adaptative à la non-linéarité pour l'apprentissage par transfert. Sa signification principale réside dans le fait de combler le fossé entre l'apprentissage par transfert théorique et les contraintes du monde réel où :

1. Les données brutes ne peuvent pas être partagées.
2. La relation sous-jacente entre les variables est non linéaire et inconnue.
3. Les données de la cible sont rares.

Les auteurs soulignent que leur approche exploite la similitude des indices (définissant un espace d'immersion unidimensionnel) plutôt que la similitude des modèles complets ou des fonctions de lien. Cela permet le transfert de connaissances même lorsque les domaines possèdent des transformations non linéaires distinctes. Le travail suggère que les extensions futures pourraient généraliser ce cadre aux modèles à indices multiples pour capturer des espaces latents de plus haute dimension.