Résumé technique : La supervision de l'enseignant sur les classes d'équivalence de représentation

1. Énoncé du problème

La distillation de connaissances est traditionnellement formulée comme un choix de ce qu'il faut faire correspondre au sein d'un modèle enseignant : les logits (distributions de sortie), les caractéristiques cachées ou les relations entre les échantillons. Ce cadrage présuppose que la représentation d'un enseignant possède des « coordonnées absolues » qu'un étudiant peut directement égaler.

L'article soutient que ce postulat est fondamentalement erroné. Une représentation pré-entraînée n'est pas une matrice fixe, mais n'est identifiable qu'à l'échelle d'une classe d'équivalence par rotation orthogonale et mise à l'échelle isotrope. Parce que le « lecteur » en aval (les poids) peut absorber toute rotation ou mise à l'échelle de la représentation sans modifier la fonction de sortie du réseau, les coordonnées spécifiques d'un vecteur de caractéristiques ne portent aucune signification intrinsèque. Par conséquent, tenter de faire correspondre les caractéristiques d'un enseignant « base par base » est un objectif mal posé. L'article pose que la capacité (ex: perplexité, précision top-1) n'est pas une propriété de la représentation elle-même, mais un invariant de la classe d'équivalence de la représentation — spécifiquement, la fonction de sortie.

2. Méthodologie et cadre théorique

2.1 La représentation comme classe d'équivalence

Les auteurs définissent une représentation $H$ (activations de couches) non pas comme une matrice fixe, mais comme une orbite sous l'action du groupe $G = O(d) \times \mathbb{R}^+$ (rotations orthogonales et mise à l'échelle isotrope).

• Hypothèse 2.1 (Reparamétrage absorbable) : Tout changement de coordonnées $h \mapsto c h Q$ dans une représentation peut être contrecarré par un changement correspondant dans les poids en aval $W_{in} \mapsto c^{-1} Q^\top W_{in}$, laissant la fonction du réseau inchangée.
• Proposition 2.1 (Caractère mal posé de la correspondance absolue) : Parce que la fonction est invariante sous cette action de groupe, une fonction de perte qui minimise la distance entre les coordonnées absolues (ex: $\|H_T - H_S\|_F$) est mal posée. Elle pénalise des reparamétrages préservant la fonction et son minimiseur dépend d'un choix arbitraire du représentant au sein de la classe d'équivalence.

2.2 L'espace quotient et la capacité

L'article distingue deux espaces quotients :

1. Quotient de représentation ($\pi_{rep}$) : Réduit la représentation $H$ seule à sa classe d'équivalence $[H]$. Les invariants ici incluent la matrice de Gram, la CKA (Alignement de Noyau Centré) et les angles principaux. Ils mesurent la similitude géométrique mais ne déterminent pas la fonction de sortie.
2. Quotient conjoint ($\pi_{joint}$) : Réduit la paire $(H, \theta_{downstream})$ ensemble. La fonction de sortie $f$ est une fonction bien définie sur ce quotient conjoint.

La Proposition 3.2 établit que la capacité est un invariant de classe défini sur le quotient conjoint. Par conséquent, un objectif de distillation ne peut transférer la capacité que s'il cible l'invariant de la fonction de sortie sur ce quotient.

2.3 Taxonomie des objectifs de distillation

Sur la base du cadre quotient, l'article catégorise les pertes de distillation en trois familles :

• (A) Correspondance relationnelle : Cible le quotient de représentation (ex: CKA, Gram normalisé). Ils sont invariants par rapport à la base mais ne transfèrent pas la capacité par eux-mêmes car ils ignorent le référentiel de coordonnées du lecteur.
• (B) Alignement puis correspondance (Align-then-Match) : Estime une carte d'alignement (ex: rotation de Procruste ou carte linéaire de faible capacité $W$) pour fixer un représentant au sein de la classe, puis fait correspondre les coordonnées absolues. Cela est nécessaire pour les tâches exigeant une consommation de caractéristiques spécifique aux coordonnées (ex: greffage), mais introduit un bruit d'alignement.
• (C) Distillation de logits : Cible directement le quotient conjoint en faisant correspondre les distributions de sortie. Puisque la sortie est déjà une fonction du quotient conjoint, cet objectif est naturellement défini sur le bon quotient et ne nécessite aucune étape d'alignement.

3. Contributions clés

1. Recadrage géométrique : L'article recadre la supervision de l'enseignant non plus comme une « correspondance de caractéristiques », mais comme le « transfert de la classe d'équivalence de la représentation ». Il identifie la capacité comme un invariant de classe (la fonction de sortie) plutôt que comme une propriété d'une matrice de caractéristiques spécifique.
2. Preuve du caractère mal posé : Il démontre formellement que la correspondance de caractéristiques absolue est mal posée car elle sépare des points au sein d'une même fibre fonctionnelle, pénalisant des reparamétrages valides.
3. Taxonomie des pertes : Il fournit un compte géométrique unifié pour la correspondance de caractéristiques, la distillation relationnelle, l'alignement et le greffage, en les distinguant par la partie de la structure de la classe qu'ils fixent.
4. Validation empirique : À travers des expériences de restauration contrôlée et de distillation cross-width sur Qwen2.5 et Llama-3.1, l'article isole le mécanisme de transfert de capacité.

4. Résultats expérimentaux

4.1 Étude de restauration (Qwen2.5, Llama-3.1)

Les auteurs ont corrompu un modèle enseignant en ré-initialisant une fraction de ses couches et ont tenté de le restaurer en utilisant différents objectifs.

• Résultat 1 : L'entraînement avec uniquement une perte relationnelle invariante par la base ($L_{CKA}$) a réussi à restaurer la géométrie de la représentation (CKA $\approx$ 0,99) mais a échoué à restaurer la capacité (ratio de perplexité de $10^2$–$10^4$ pire, top-1 $\approx$ 0).
• Résultat 2 : L'entraînement avec uniquement une perte de logits ($L_{logit}$) a restauré la capacité presque parfaitement (ratio de perplexité $\approx$ 1,01, top-1 $\approx$ 0,98) sans aligner les représentations cachées (la CKA est restée faible).
• Conclusion : Aligner les représentations et restaurer la fonction sont des tâches quasi-orthogonales. La capacité est pilotée exclusivement par le terme de la fonction de sortie.

4.2 Le rôle du partage de poids (Weight Tying)

• Dans les modèles avec des embeddings d'entrée/sortie liés (Qwen2.5-0.5B), la tête de sortie est fixe, donc la correspondance de logits seule suffit à restaurer la fonction.
• Dans les modèles avec des têtes non liées (Qwen2.5-7B, Llama-3.1-8B), la restauration de la capacité a nécessité un entraînement explicite de la tête de sortie aux côtés de la perte de logits. Cela confirme que le « lecteur » doit être aligné sur le nouveau référentiel de coordonnées de la représentation.

4.3 Distillation Cross-Width

Dans un cadre réel de distillation cross-width (Enseignant : 1.5B, Étudiant : 0.5B) :

• La correspondance de caractéristiques uniquement (même avec une projection apprise $W$) a provoqué l'effondrement du modèle étudiant (perplexité $> 10^6$).
• La correspondance de logits uniquement a préservé et légèrement amélioré les performances de l'étudiant.
• L'ajout d'un terme de caractéristique à la correspondance de logits n'a apporté aucun bénéfice et s'est souvent avéré légèrement préjudiciable.
• Une expérience de substitution avec une carte d'alignement optimisée a confirmé que la supervision basée uniquement sur les caractéristiques échoue de manière structurelle, et non par difficulté d'optimisation.

4.4 Greffage et chevauchement de sous-espaces

L'article valide que le succès du greffage de modules est régi par le chevauchement des sous-espaces de bordure (mesuré par la CKA ou le résidu de Procruste) entre le donneur et l'hôte. Un chevauchement élevé est nécessaire mais non suffisant ; les greffages proches de la couche de sortie échouent même avec un chevauchement élevé en raison de la sensibilité aux petits écarts.

5. Signification et affirmations

L'article affirme que l'intuition selon laquelle la distillation se produit « dans la base » est « juste dans l'esprit, mais fausse dans la lettre ».

• Affirmation centrale : La supervision de l'enseignant doit cibler la classe d'équivalence, et non les coordonnées. La capacité est transférée via l'invariant de la fonction de sortie.
• Implication pratique : Pour transférer la capacité, la correspondance de logits est le seul objectif naturellement défini sur le bon quotient. La correspondance de caractéristiques (même relationnelle ou alignée) est insuffisante pour le transfert de capacité et n'est utile que pour transférer la structure géométrique ou pour des tâches spécifiques comme le greffage où l'alignement des coordonnées est explicitement requis.
• Limite de portée : L'article souligne que la distillation est une réplication, non une création. Elle transfère la fonction de sortie de l'enseignant sur le sous-espace couvert par le corpus d'entraînement. Elle ne prétend pas générer de nouvelles capacités au-delà de la fonction existante de l'enseignant ou résoudre le transfert entre familles incompatibles avec des tokenizers différents.

L'article conclut que « ce que l'enseignant sait réside dans la classe ; ce qui est transféré est la partie de cette classe que l'objectif et le corpus ciblent réellement ».