Résumé Technique : CORE-MTL

Énoncé du Problème

L'apprentissage multi-tâche (MTL - Multi-Task Learning) vise à améliorer l'efficacité de l'échantillonnage et la robustesse en entraînant un encodeur partagé sur plusieurs tâches liées. Cependant, le MTL souffre fréquemment de transfert négatif, où l'optimisation d'une tâche dégrade les performances des autres, et présente une faible généralisation face aux changements de distribution (OOD - Out-of-Distribution).

Les approches existantes opèrent principalement au niveau de l'optimisation, tentant de concilier les conflits de tâches par :

1. Équilibrage de Gradient : Repondération ou projection des gradients (ex: GradNorm, PCGrad, STCH).
2. Modification d'Architecture : Routage des tâches vers des segments spécifiques des caractéristiques de l'architecture (ex: MTAN).

Les auteurs soutiennent que ces méthodes traitent l'apprentissage de caractéristiques comme une "boîte noire", ignorant la structure interne de la représentation partagée. Lorsque la représentation partagée entremêle des facteurs sémantiques invariants (pertinents pour la tâche) avec des facteurs résiduels spécieux (nuisances telles que l'arrière-plan ou l'éclairage), la simple manipulation de gradient ne peut résoudre les conflits qui en résultent. Cet enchevêtrement conduit à une dépendance envers des "raccourcis pilotés par les nuisances", provoquant une généralisation OOD fragile.

Méthodologie : CORE-MTL

Les auteurs proposent CORE-MTL (Causal Orthogonal Representations for Multi-Task Learning), un cadre centré sur la représentation qui déplace l'attention de la chirurgie de gradient vers une factorisation sémantique-résiduelle motivée par la causalité.

1. Décomposition Structurelle

CORE-MTL décompose la sortie de l'encodeur partagé $\Phi_\theta(x)$ en deux flux distincts :

• Flux Sémantique ($\hat{Z}_s$) : Capture la structure invariante et pertinente pour la tâche (ex: géométrie, identité de l'objet).
• Flux Résiduel ($\hat{Z}_r$) : Absorbe les variations de nuisance non pertinentes pour la tâche (ex: texture, illumination, arrière-plan).

Contrainte Cruciale : Les prédicteurs de tâches ($f_{\phi_t}$) sont restreints à dépendre uniquement du flux sémantique $\hat{Z}_s$. Cette isolation structurelle empêche le modèle d'exploiter les signaux de nuisance comme raccourcis durant l'apprentissage.

2. Objectifs d'Entraînement

Pour imposer cette décomposition et garantir que les flux capturent leurs rôles respectifs, CORE-MTL utilise une fonction d'objectif unifiée comprenant quatre composantes :

• Supervision de Tâche ($L_{task}$) : Perte standard pour chaque tâche basée sur $\hat{Z}_s$.
• Indépendance Structurelle ($L_{CKA}$) : Utilise l'alignement de noyau centré (CKA - Centered Kernel Alignment) pour minimiser la dépendance statistique entre $\hat{Z}_s$ et $\hat{Z}_r$, encourageant les deux à capturer des informations mutuellement exclusives.
• Augmentation de Caractéristiques Contrefactuelles ($L_{CFA}$) : Synthétise des instances contrefactuelles en recombinant le flux sémantique d'une image avec un vecteur résiduel aléatoire provenant d'une autre image ($\tilde{x} = D(\hat{Z}_s, \tilde{Z}_r)$). Le modèle est entraîné pour maintenir des prédictions de tâche cohérentes sur ces images synthétisées, imposant l'invariance de $\hat{Z}_s$ aux changements de nuisances.
• Ancrage par Reconstruction ($L_{rec}$) : Un décodeur auxiliaire reconstruit l'entrée à partir de $(\hat{Z}_s, \hat{Z}_r)$. Cela fournit un signal d'ancrage pour éviter une factorisation arbitraire. Les auteurs implémentent deux variantes :
  • Ancrage Fort (Hard Grounding) : Utilise des priors physiques explicites (ex: rendu inverse avec modèles d'albédo et d'éclairage) pour les scènes structurées.
  • Ancrage Faible (Soft Grounding) : Utilise un décodeur convolutionnel générique pour les tâches où les priors physiques sont indisponibles, en s'appuyant sur des goulots d'étranglement architecturaux et des contraintes statistiques.

3. Garanties Théoriques

Le papier fournit une analyse théorique sous un Modèle Structurel Causal (SCM) Linéaire-Gaussien :

• Borne Inférieure OOD : Il prouve que pour toute méthode centrée sur l'optimisation opérant sur des représentations enchevêtrées, il existe un plancher d'erreur OOD inévitable proportionnel au degré d'enchevêtrement ($\sin^2 \psi$).
• Borne de Découplage : Inversement, l'architecture découplée de CORE-MTL garantit une borne de généralisation OOD plus étroite qui évolue linéairement avec le "coefficient de fuite" (sensibilité du flux sémantique aux facteurs résiduels).
• Orthogonalité de Gradient : Le cadre induit théoriquement une orthogonalité de gradient entre les pertes de tâche et de résidu comme un sous-produit structurel du découplage, résolvant les conflits au niveau de la représentation plutôt que via une correction post-hoc.

Contributions Clés

1. Perspective Causale sur le MTL : Les auteurs formalisent les limites des méthodes centrées sur l'optimisation sous un SCM latent, prouvant que la manipulation des gradients sur des représentations enchevêtrées ne peut éliminer les erreurs OOD.
2. Cadre CORE-MTL : Un nouveau cadre centré sur la représentation qui impose la factorisation sémantique-résiduelle via un ancrage physique ou générique, résolvant le transfert négatif à la source.
3. Supériorité Empirique : Des expériences approfondies montrent des améliorations constantes par rapport à dix baselines représentatives (incluant GradNorm, PCGrad, STCH, MTAN) sur des benchmarks tant en distribution (NYUv2, Cityscapes) qu'hors distribution (GTA5→Cityscapes, Cityscapes-C, Colored-Cityscapes).
4. Scalabilité : La méthode maintient des coûts d'entraînement quasi constants à mesure que le nombre de tâches augmente, évitant l'augmentation prohibitive du temps de calcul associée aux méthodes de chirurgie de gradient comme PCGrad.

Résultats Expérimentaux

• En Distribution (ID) : Sur NYUv2 et Cityscapes, CORE-MTL obtient le meilleur compromis global, atteignant des performances de pointe en segmentation, estimation de profondeur et prédiction de normales de surface.
• Hors Distribution (OOD) :
  • Sim-to-Real (GTA5→Cityscapes) : CORE-MTL atteint les meilleures métriques sur le domaine cible et le plus faible écart de performance par rapport au domaine source.
  • Robustesse aux Corruptions (Cityscapes-C) : Surpasse les baselines sous diverses corruptions (contraste, flou, brouillard, bruit), particulièrement dans les scénarios de réduction sévère de la visibilité.
  • Test de Stress de Raccourcis (Colored-Cityscapes) : Dans un benchmark où les couleurs des classes sont permutées entre la source et la cible, CORE-MTL reste robuste, démontrant qu'il ne repose pas sur des corrélations d'apparence spécieuses.
• Scalabilité (CelebA) : À mesure que le nombre de tâches augmente (jusqu'à 40 attributs), CORE-MTL maintient une précision élevée tandis que les méthodes de chirurgie de gradient (PCClad) souffrent d'une explosion des temps d'entraînement.

Signification et Revendications

Le papier affirme que l'enchevêtrement dans les représentations partagées, plutôt que le schéma d'équilibrage de gradient lui-même, est une source primaire d'interférence de tâche et d'échec OOD. En déplaçant le paradigme de la "chirurgie de gradient post-hoc" vers le "découplage intrinsèque de la représentation", CORE-MTL :

• Résout les conflits de tâches de manière structurelle, permettant aux tâches de créer des synergies naturelles sans correction rigide de gradient.
• Fournit une borne plus étroite pour la généralisation OOD.
• Offre une solution scalable pour l'apprentissage multi-tâche qui reste efficace à mesure que le nombre de tâches croît.

Les auteurs positionnent ce travail comme une étape vers une conception de représentation consciente de la structure pour un apprentissage multi-tâche robuste, allant au-delà de la simple coordination centrée sur l'optimisation. Ils reconnaissent des limites, notant que leurs garanties théoriques reposent sur des hypothèses linéaires-gaussiennes stylisées et que l'instanciation actuelle est principalement destinée aux tâches de compréhension de scènes denses.