Prediction-Only Distillation in Linear and Logistic Regression

Résumé technique : Distillation par prédiction uniquement dans la régression linéaire et logistique

Énoncé du problème
L'auto-distillation (SD) standard implique généralement de réentraîner un modèle étudiant sur les données d'entraînement étiquetées originales du professeur. Cependant, dans de nombreux scénarios de déploiement pratique, les données d'entraînement étiquetées originales sont indisponibles en raison de contraintes de confidentialité, de stockage ou de sécurité. Dans ces régimes de « prédiction uniquement », les praticiens n'ont accès qu'à un prédicteur entraîné (le professeur) et à un flux de nouvelles covariables non étiquetées, potentiellement hors distribution (OOD). La question centrale abordée est de savoir si ces nouvelles données non étiquetées peuvent être exploitées pour améliorer un prédicteur fixe lorsque les données d'entraînement originales et les paramètres de régularisation spécifiques du professeur sont inconnus.

Méthodologie
Les auteurs proposent un cadre de Distillation par Mélange de Prédictions (PMSD - Prediction-Mixed Self-Distillation). La procédure comprend trois étapes :

1. Distillation Pure (PD) : Un modèle étudiant est entraîné sur de nouvelles covariables non étiquetées en utilisant les prédictions du professeur comme pseudo-étiquettes. Cela produit un étudiant « purement distillé ».
2. Mélange Affine : Au lieu de déployer l'étudiant PD seul, le prédicteur final est construit comme une combinaison affine des prédictions du professeur et des prédictions de l'étudiant PD : $f_{pmsd}(x) = (1-\xi)f_{teacher}(x) + \xi f_{pd}(x)$. Le poids de mélange $\xi$ est un paramètre réel qui n'a pas besoin d'être restreint à l'intervalle $[0, 1]$.
3. Calibrage : Puisque le poids de mélange optimal dépend de quantités de population inconnues, les auteurs proposent de l'estimer en utilisant un petit ensemble de calibration étiqueté indépendant. Cette estimation est réalisée en une seule étape post-entraînement sans réentraîner les modèles.

L'analyse théorique est menée sous l'asymptotique proportionnelle ($n, p \to \infty$ avec $p/n$ constant) pour deux configurations :

• Régression Ridge : Analysée sous des structures de covariance anisotropes générales et des signaux déterministes. Les auteurs dérivent des équivalents déterministes pour le poids de mélange optimal et le risque de prédiction résultant.
• Régression Logistique : Analysée dans un contexte de classification binaire avec des pseudo-étiquettes dures, étendant l'analyse à des scénarios où le taux d'erreur du professeur est élevé (dépassant même 50 %).

Contributions clés

1. Caractérisation théorique du risque PMSD : L'article dérive des identités oracle exactes et des équivalents déterministes pour le poids de mélange optimal et le risque du PMSD en régression ridge. Ces résultats sont valables pour des covariances anisotropes générales où les nouvelles covariables peuvent avoir une distribution différente (mais des matrices de covariance commutatives) des données d'entraînement du professeur.
2. Garanties d'amélioration stricte : Les auteurs prouvent que, pour presque chaque paire de niveaux de régularisation du professeur et de l'étudiant, l'étudiant PMSD optimisé surpasse strictement le professeur. Cela est vrai même quand :
   • Les nouvelles covariables sont hors distribution (par exemple, échantillonnées à partir d'une distribution gaussienne isotrope).
   • Le niveau de régularisation du professeur est inconnu ou sous-optimal.
   • La régularisation de l'étudiant n'est pas optimisée.
     Les seules exceptions surviennent à des points de « dégénérescence » spécifiques où les risques coïncident.
3. Non-monotonie des données non étiquetées : Contrairement à l'intuition, l'article démontre qu'augmenter la quantité de nouvelles données non étiquetées n'améliore pas les performances de manière monotone. Dans le cadre de l'isotropie de même-$\lambda$, le risque optimal du PMSD est unimodal par rapport à la taille de l'échantillon non étiqueté ; ajouter plus de données au-delà d'un certain point peut dégrader les performances.
4. Calibrage cohérent sans réentraînement : Les auteurs montrent que le poids de mélange optimal ne peut pas être identifié à partir de données non étiquetées seules (une limitation informationnelle). Cependant, ils prouvent qu'un petit ensemble de calibration étiqueté indépendant permet une estimation cohérente du poids optimal en une seule étape post-hoc, ne nécessant aucun ajustement de modèle supplémentaire.
5. Gains de la régression logistique : Étendant au-delà de la perte au carré, l'article montre que le mélange de prédictions peut surpasser strictement le professeur et l'étudiant PD en régression logistique. Notamment, même lorsque le professeur et l'étudiant PD échouent tous deux à récupérer les étiquettes réelles (atteignant 0 % de précision dans des régimes de bruit élevé), l'étudiant PMSD peut atteindre 100 % de précision de population en extrapolant de manière appropriée via le poids de mélange.

Résultats

• Validation empirique : Des expériences sur des jeux de données du monde réel (UCI Blog Feedback, Communities and Crime, Airfoil) et des données synthétiques confirment les prédictions théoriques. L'étudiant PMSD atteint systématiquement un risque de prédiction au carré inférieur à celui du professeur et de l'étudiant PD à travers divers niveaux de régularisation et structures de covariance (incluant isotrope et AR1).
• Robustesse au OOD : La méthode reste efficace même lorsque les nouvelles covariables sont échantillonnées à partir d'une distribution isotrope, distincte de la distribution d'entraînement du professeur.
• Performance de classification : Dans des expériences de sondage linéaire sur Caltech-101, Caltech-256 et CIFAR-100 avec des étiquettes corrompues, le PMSD améliore systématiquement la précision de test par rapport au professeur et à l'étudiant PD. Les poids de mélange optimaux se situent souvent en dehors de $[0, 1]$, validant l'utilisation de combinaisons affines plutôt que convexes.

Signification et affirmations
L'article affirme que la distillation par prédiction uniquement offre une méthode théoriquement fondée et pratiquement viable pour améliorer les prédicteurs fixes dans des environnements contraints en données. Sa signification réside dans :

• Combler le fossé des données : Fournir un mécanisme pour adapter les modèles lorsque les données d'entraînement originales sont inaccessibles, une contrainte courante dans le déploiement réel.
• Amélioration générique : Établir que l'amélioration stricte par rapport au professeur est une propriété générique du schéma PMSD, non dépendante de l'ajustement fin des hyperparamètres ou de l'alignement spécifique des distributions.
• Efficacité opérationnelle : Démontrer que les bénéfices de la distillation peuvent être réalisés avec un surcoût de calcul minimal (calibration en une étape) et sans accès aux étiquettes de vérité terrain pour les nouvelles données.
• Nouveauté théorique : Remettre en question l'hypothèse selon laquelle plus de données non étiquetées aident toujours, en révélant une relation non monotone entre la taille de l'échantillon et le risque dans le cadre des nouvelles covariables (fresh-X).

Les auteurs positionnent ce travail comme un complément à la littérature existante sur l'auto-distillation de type « same-X », soulignant que si les méthodes « same-X » peuvent retrouver une performance optimale étant donné les données originales, le PMSD fournit la meilleure amélioration possible étant donné uniquement les prédictions du professeur et les nouvelles covariables.