Résumé Technique : Estimation Adaptative et Inférence dans l'Apprentissage Multi-tâches Clusterisé Hétérogène Semi-paramétrique via l'Orthogonalité de Neyman

1. Énoncé du Problème

L'article aborde le défi de l'apprentissage multi-tâches (MTL) dans des contextes où les tâches ne sont que partiellement liées. Plus précisément, les auteurs considèrent un scénario avec $m$ tâches où :

• Structure Partagée : Les paramètres cibles $\theta^*_j$ (de dimension finie) présentent une structure de cluster latente. Les tâches au sein d'un même cluster partagent des paramètres cibles similaires, tandis que les tâches de clusters différents diffèrent.
• Hétérogénéité : Chaque tâche $j$ possède un composant de nuisance spécifique à la tâche $\eta^*_j$ qui peut être de dimension infinie, hétérogène dans sa structure (par exemple, espaces de caractéristiques, distributions ou régularités différents), et potentiellement de haute dimension.
• Le Défi : Les méthodes MTL existantes supposent souvent des espaces de caractéristiques alignés ou des structures de tâches homogènes, échouant lorsque les composantes de nuisance varient considérablement. À l'inverse, les approches standard d'Apprentissage Machine Double (DML) gèrent les nuisances de haute dimension via l'orthogonalité de Neyman mais fonctionnent comme des procédures mono-tâche, échouant à exploiter les similitudes inter-tâches ou à découvrir des structures partagées. Le regroupement naïf des données à travers des environnements hétérogènes conduit à une inférence invalide en raison d'un inadéquation du modèle, tandis que l'estimation des tâches indépendamment sacrifie l'efficacité statistique.

2. Méthodologie

Les auteurs proposent un Estimateur Orthogonal Fusionné Adaptatif qui opère en deux étapes pour découvrir simultanément les clusters latents et estimer les paramètres cibles avec une inférence valide.

Étape 1 : Initialisation Locale par Tâche (Découverte de Structure)

• Objectif : Obtenir des estimations grossières et stables de la similarité des tâches pour construire des pénalités de fusion pilotées par les données.
• Procédure : Pour chaque tâche $j$, un estimateur pilote $\hat{\theta}^{\text{init}}_j$ est calculé en utilisant une fonction de perte standard (potentiellement non orthogonale) et un estimateur de nuisance pré-calculé $\hat{\eta}^{\text{init}}_j$.
• Raison d'être : L'orthogonalité n'est pas requise ici ; la consistance suffit. Ces estimations sont utilisées uniquement pour quantifier la similarité entre les tâches, et non pour l'inférence finale.

Étape 2 : Agrégation par Fusion Adaptative

• Objectif : Effectuer une agrégation multi-tâches tout en préservant l'orthogonalité de Neyman pour assurer une inférence valide.
• Procédure :
  1. Division de l'Échantillon : L'ensemble de données $D_j$ de chaque tâche est divisé en deux parties, $D_{j,1}$ et $D_{j,2}$.
  2. Estimation de la Nuisance : Les paramètres de nuisance $\hat{\eta}_j$ sont estimés en utilisant $D_{j,1}$.
  3. Optimisation : Les paramètres cibles $\hat{\theta} = \{\hat{\theta}_j\}_{j=1}^m$ sont estimés en minimisant un objectif pénalisé sur $D_{j,2}$ :
     $$\hat{\theta} = \arg\min_{\theta_1, \dots, \theta_m} \sum_{j=1}^m f^\dagger_j(\theta_j, \hat{\eta}_j) + \sum_{1 \le j' < j \le m} \lambda_{jj'} \|\theta_j - \theta_{j'}\|_2$$
     où $f^\dagger_j$ est la perte orthogonale de Neyman empirique.
• Pénalité Adaptative : Les poids de fusion $\lambda_{jj'}$ sont construits de manière adaptative sur la base des estimations pilotes de l'Étape 1 :
  $$w_{jj'} = c_w \|\hat{\theta}^{\text{init}}_j - \hat{\theta}^{\text{init}}_{j'}\|_2^{-\gamma}$$
  $$\lambda_{jj'} = \begin{cases} \epsilon_n & \text{si } w_{jj'} \le \tau \\ w_{jj'} & \text{si } w_{jj'} > \tau \end{cases}$$
  Ce mécanisme fusionne fortement les tâches ayant des estimations pilotes similaires (probablement dans le même cluster) tout en laissant les tâches distinctes non pénalisées.
• Caractéristique Clé : L'estimation de la nuisance reste locale à la tâche tout au long du processus. L'interaction inter-tâches ne se produit que par l'intermédiaire des paramètres cibles, permettant à chaque tâche d'utiliser son propre espace de caractéristiques et son propre algorithme d'apprentissage.

3. Contributions Clés

L'article apporte les contributions théoriques et méthodologiques suivantes :

1. Intégration de Cadres : Il comble le fossé entre l'inférence semi-paramétrique (via l'orthogonalité de Neyman) et l'apprentissage multi-tâches clusterisé (via la fusion adaptative), permettant le partage d'informations entre des tâches ayant des structures de nuisance hétérogènes.
2. Récupération Exacte des Clusters : Les auteurs prouvent que l'estimateur proposé récupère la structure de clustering latente avec une forte probabilité. Les tâches au sein d'un même vrai cluster sont fusionnées, tandis que les clusters distincts restent séparés.
3. Vitesses Oracle : L'estimateur atteint des taux de convergence paramétriques regroupés proportionnels à la taille du cluster ($N_k$). Les petites tâches bénéficient du renforcement emprunté aux tâches plus grandes au sein du même cluster.
4. Normalité Asymptotique : Malgré la régularisation dépendante des données et l'agrégation adaptative, l'article établit la normalité asymptotique pour chaque estimateur au niveau de la tâche. La variance limite correspond à celle d'une procédure oracle qui connaîtrait le vrai clustering à l'avance.
5. Robustesse à l'Hétérogénéité : Le cadre accommodé une hétérogénéité légère au sein des clusters (où les paramètres cibles fluctuent autour d'un centroïde de cluster) et des dimensions de nuisance variables.

4. Résultats

Garanties Théoriques

Sous des conditions de régularité standard (convexité, régularité, et taux spécifiques pour l'estimation de la nuisance), l'article établit :

• Théorème 3.5 (Récupération de Cluster) : Avec une forte probabilité, l'estimateur atteint un clustering exact et obtient un taux d'erreur de $O_P(N_k^{-1/2})$, où $N_k$ est la taille totale de l'échantillon du $k$-ième cluster.
• Théorème 3.6 (Normalité Asymptotique) : L'estimateur mis à l'échelle $\sqrt{N_k}(\hat{\theta}_j - \theta^*_j)$ converge en distribution vers une variable aléatoire normale ayant la même variance que l'estimateur oracle.
• Extensions : Les résultats s'étendent aux clusters quasi-homogènes (Théorèmes 3.7 et 3.8), où le biais introduit par l'hétérogénéité au sein du cluster s'annule asymptotiquement si l'hétérogénéité est faible par rapport au taux regroupé.

Performance Empirique

La méthode a été évaluée sur trois modèles semi-paramétriques canoniques :

1. Modèle Partiellement Linéaire (PLM)
2. Effet Moyen du Traitement (ATE)
3. Différence de Différences (DID)

Constats :

• Précision : L'estimateur adaptatif a constamment obtenu l'erreur quadratique moyenne (RMSE) la plus faible par rapport aux bases de référence, y compris les estimateurs personnalisés (mono-tâche), ARMUL (une méthode MTL clusterisée paramétrique) et d'autres méthodes basées sur la fusion (CN, FC, MeTaG).
• Récupération de Cluster : La méthode a atteint un Indice Rand Ajusté (ARI) presque parfait dans tous les contextes, récupérant avec succès les partitions latentes réelles sans connaissance préalable du nombre de clusters. En revanche, les performances d'ARMUL se sont dégradées de manière significative lorsque le nombre de clusters était mal spécifié.
• Comportement Distributionnel : Les distributions empiriques des estimateurs étaient fortement concentrées et approximativement normales autour des moyennes réelles des clusters, confirmant la normalité asymptotique théorique.
• Application Réelle : Appliquée aux données de consommation d'énergie résidentielle aux États-Unis (RECS 2020) pour estimer les élasticités-prix de l'électricité au niveau des États, la méthode a identifié trois clusters régionaux distincts (Virginie ; un groupe d'États du Sud ; et le reste des États-Unis), révélant une hétérogénéité géographique significative dans la réactivité de la demande que les méthodes mono-tâche ont manquée.

5. Signification et Revendications

Les auteurs affirment que ce travail fournit un cadre principiel pour l'apprentissage multi-tâches dans des environnements complexes et hétérogènes où le MTL traditionnel échoue en raison de l'hétérogénéité de la nuisance et où le DML échoue à exploiter la structure partagée.

• Validité de l'Inférence : Une contribution critique est la préservation d'une inférence statistique valide (normalité asymptotique et intervalles de confiance) dans un contexte multi-tâches, une propriété souvent perdue dans les méthodes multi-tâches régularisées.
• Adaptativité : La méthode ne nécessite pas que le nombre de clusters soit connu à l'avance, contrairement à de nombreuses approches MTL clusterisées existantes.
• Flexibilité : Le cadre est suffisamment large pour couvrir divers contextes statistiques, y compris l'inférence causale (ATE, DID) et les modèles partiellement linéaires, gérant les paramètres de nuisance de dimension infinie via la division de l'échantillon et l'apprentissage machine flexible.

L'article conclut que l'estimateur orthogonal fusionné adaptatif proposé offre un compromis supérieur entre biais et variance, surpassant les bases de référence solides à la fois dans les simulations et les applications réelles, tout en fournissant des garanties théoriques rigoureuses pour l'estimation et l'inférence.