Résumé technique : L'apprentissage supervisé comme une procédure non supervisée en deux étapes

Énoncé du problème

L'article aborde une question fondamentale en apprentissage automatique : les étiquettes de sortie ($y$) sont-elles strictement nécessaires pour entraîner des modèles supervisés, ou la structure du modèle peut-elle être apprise entièrement de manière non supervisée ? Alors que l'apprentissage non supervisé opère sans accès à $y$, l'apprentissage supervisé repose traditionnellement sur $y$ pour optimiser les paramètres du modèle. Les auteurs étudient si l'apprentissage supervisé peut être décomposé en une procédure en deux étapes où (1) tous les paramètres du modèle (spécifiquement le « lisseur » ou la représentation de l'espace d'entrée) sont sélectionnés sans accès à $y$, et (2) les sorties $y$ ne sont ajoutées qu'après la fixation des paramètres pour générer des prédictions.

Méthodologie

1. Le cadre du lisseur (Smoother Framework)

La principale contribution théorique est la formulation des modèles supervisés comme des lisseurs linéaires. Un modèle est exprimé sous la forme :
$$\hat{f}^* = s^{*\top} y$$
où $\hat{f}^*$ est la prédiction pour une nouvelle covariable $x^*$, et $s^*$ est un vecteur de lissage (ou une matrice $S$ pour les données d'échantillonnage) qui dépend des covariables d'entraînement $X$ et potentiellement des hyperparamètres du modèle, mais pas des sorties $y$.

• Pour les modèles linéaires (ex: régression Ridge), $s^*$ est dérivé directement de la solution analytique.
• Pour les modèles non linéaires (ex: réseaux de neurones, forêts aléatoires), les auteurs démontrent comment les exprimer en tant que lisseurs. Pour les réseaux de neurones, cela utilise le cadre du Noyau de Tangente Neuronale (NTK), traitant le réseau comme un lisseur linéaire où la matrice de lissage est mise à jour de manière itérative pendant l'entraînement mais reste indépendante du vrai $y$ si les étiquettes d'entraînement sont remplacées.

2. Sélection de modèle sans $y$ (MSV)

Pour sélectionner les hyperparamètres du modèle (ex: force de régularisation $\lambda$, largeur de noyau, ou temps d'arrêt) sans accès à $y$, les auteurs proposent un critère basé sur la variance des prédictions hors échantillon.

• Prémisse : Pour un modèle qui généralise bien, la distribution des prédictions hors échantillon $\hat{f}^*_v$ devrait approximativement correspondre à la distribution des données observées $y$.
• Critère : La méthode minimise la différence entre la variance de l'échantillon de $y$ et la variance de l'échantillon des prédictions sur un ensemble de covariables de validation $X^*_v$ (qui sont générées à partir de la distribution d'entraînement mais n'ont pas d'étiquettes associées).
• Implémentation sans $y$ : La fonction objectif implique un terme de la forme $|y^\top A y|$. Pour rendre cela indépendant de $y$, les auteurs remplacent $y$ par un vecteur aléatoire $y_R$ (ou le vecteur nul). En prenant l'espérance sur $y_R$, l'objectif se simplifie en minimisant une norme de la matrice $A$ (spécifiquement la semi-norme de trace ou la norme de Frobenius), nommée MSV-Tr (Matching of Sample Variances - Trace).
  $$\text{Minimiser } \left| 1 - \frac{1}{n^*_v} \text{Tr}(S^{*\top}_v S^*_v) \right|$$
  Cela permet la sélection d'hyperparamètres en utilisant uniquement $X$ et des $X^*_v$ générés, contournant complètement le besoin de $y$ durant la phase de sélection.

3. Analyse théorique

L'article fournit une analyse de décomposition biais-variance pour la régression ridge linéaire dans la limite asymptotique ($n, d \to \infty$).

• Proposition 1 : Montre que MSV-Tr sélectionne le modèle tel que la variance de la fonction inférée est égale à la variance du bruit de mesure ($\sigma^2_\epsilon$).
• Théorème 1 : Pour la régression ridge linéaire, les auteurs dérivent une expression analytique du paramètre de régularisation optimal $\lambda$ sélectionné par MSV-Tr. Ils prouvent que le risque asymptotique hors échantillon de cette méthode est borné par rapport au risque théoriquement optimal (qui nécessite la connaissance du rapport signal sur bruit). Plus précisément, pour des rapports signal sur bruit (SNR) compris entre $[1, 80]$, le ratio de risque est borné par 2,45.
• Théorème 2 : Démontre que les méthodes alternatives « sans $y$ », telles que la validation croisée généralisée (GCV) et le MSV intra-échantillon, échouent pour la régression ridge. Elles sélectionnent soit une régularisation infinie (entraînement nul), soit une régularisation nulle (surapprentissage), les rendant inutiles pour la sélection de paramètres. Seul le MSV hors échantillon produit une régularisation finie et non nulle.

Contributions clés

1. Décomposition de l'apprentissage supervisé : L'article démontre que les modèles supervisés standards (régression ridge linéaire/à noyau, splines de lissage, k-NN, forêts aléatoires, et réseaux de neurones) peuvent être entraînés en un processus en deux étapes où la structure du modèle est apprise de manière non supervisée, et les étiquettes ne sont introduites qu'à l'étape de la prédiction.
2. Nouveau critère de sélection de modèle (MSV) : Introduction d'un critère de sélection de modèle basé sur l'appariement de la variance des prédictions hors échantillon à la variance des données, qui peut être calculé sans accès à $y$ en remplaçant $y$ par un bruit aléatoire.
3. Bornes théoriques : Établissement de bornes de risque asymptotique pour la régression ridge linéaire entraînée via MSV-Tr, montrant qu'elle se situe dans un facteur constant du risque optimal.
4. Validation empirique : Expériences étendues sur des jeux de données synthétiques et réels (MNIST, CIF-10, Steel Production, CPU Run Time, Superconductors, Power Consumption) montrant que les modèles entraînés sans $y$ (en utilisant des étiquettes aléatoires ou nulles durant la phase de sélection des paramètres) atteignent des performances comparables à celles des modèles standards entraînés avec $y$.

Résultats

• Parité de performance : Dans les expériences, les modèles entraînés sans $y$ (utilisant MSV pour la sélection) ont atteint des scores de précision et de $R^2$ très proches de leurs homologues standards entraînés avec $y$. Par exemple, sur MNIST, le classificateur de réseau de neurones standard a atteint une précision de 0,82, tandis que la version MSV sans $y$ a atteint 0,75.
• Échec des alternatives : La GCV sans $y$ a performé au niveau d'une prédiction aléatoire (ex: 0,1 de précision pour des problèmes à 10 classes), confirmant les conclusions théoriques selon lesquelles la GCV ne peut pas rendre le processus efficace sans $y$ pour ces modèles.
• Forêts aléatoires : Bien que l'entraînement sans $y$ ait bien fonctionné pour la plupart des modèles, les forêts aléatoires ont montré un écart de performance plus important par rapport à l'entraînement avec $y$. Les auteurs attribuent cela à la dépendance des divisions d'arbres de décision vis-à-vis de la variance de $y$, qui est perdue lorsque $y$ est remplacé par un bruit aléatoire.

Signification et affirmations

L'article affirme que la différence entre l'apprentissage supervisé et l'apprentissage non supervisé est « moins fondamentale qu'elle ne semble l'être ». Les résultats suggèrent que le défi principal de l'apprentissage supervisé est de trouver une bonne représentation de l'espace d'entrée $x$ (le lisseur $s^*$), ce qui peut être accompli sans étiquettes. Les étiquettes $y$ ne sont nécessaires que pour assigner des valeurs à ces représentations pré-construites.

Modestie des affirmations :
Les auteurs précisent explicitement qu'ils ne suggèrent pas d'exclure $y$ du processus d'entraînement dans les applications pratiques. Ils reconnaissent que :

• La formulation du lisseur passe mal à l'échelle avec la taille des données, particulièrement pour les réseaux de neurones où le NTK doit être recalculé de manière itérative.
• Leur méthode n'est pas destinée à surpasser les approches existantes basées sur $y$.
• L'objectif est de démontrer la faisabilité et de souligner les parallèles théoriques entre l'apprentissage supervisé et non supervisé, plutôt que de proposer un nouveau standard pour le déploiement industriel.

Ce travail sert de démonstration théorique et empirique que la sélection de modèle et l'apprentissage de représentation peuvent être découplés de l'information d'étiquette, remettant en question la nécessité conventionnelle des étiquettes pour l'ensemble du pipeline d'entraînement.