🤖 AI

Relational Representation Distillation

Cet article propose la Distillation de Représentation Relationnelle, une nouvelle méthode de distillation de connaissances qui préserve les relations relatives entre les instances en utilisant des paramètres de température distincts pour surmonter les limites de la divergence KL standard et de l'apprentissage contrastif trop strict, atteignant ainsi une performance supérieure à travers diverses tâches de transfert.

Auteurs originaux : Nikos Giakoumoglou, Tania Stathaki

Publié 2026-07-30

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nikos Giakoumoglou, Tania Stathaki

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où les ordinateurs les plus intelligents sont comme de gigantesques bibliothèques imposantes remplies de tous les livres jamais écrits. Ils peuvent résoudre des problèmes, reconnaître des visages et comprendre le monde avec une précision incroyable. Mais il y a un piège : ces bibliothèques sont si massives et lourdes qu'elles ne peuvent pas tenir dans votre sac à dos, et encore moins sur votre téléphone. Elles nécessitent énormément d'électricité et un matériel puissant juste pour rester ouvertes. C'est le défi de l'intelligence artificielle moderne : comment prendre le génie de ces géants modèles « enseignants » et compresser leur savoir dans de petits modèles « étudiants » légers, capables de fonctionner n'importe où ?

Pour ce faire, les scientifiques utilisent un tour de passe-passe appelé Distillation de Connaissances (Knowledge Distillation). Imaginez cela comme un chef étoilé enseignant à un jeune apprenti. Au lieu de simplement donner la recette finale à l'apprenti (la réponse), le maître lui montre le ressenti du plat. Si le maître dit : « Cette soupe a un petit goût de poulet, mais aussi des nuances d'herbes », l'apprenti apprend cette nuance, et pas seulement que c'est une « soupe ». En termes informatiques, le modèle enseignant ne se contente pas de dire « C'est un chat » ; il murmure aussi : « C'est très similaire à un chien, mais moins à un avion ». Ce « murmure » aide l'étudiant à apprendre les relations subtiles entre les choses. Cependant, les tentatives récentes pour enseigner ces relations ont été un peu trop strictes, comme un professeur qui crie : « Tu es un chat, et ce chien n'est pas un chat, alors reste loin de lui ! » Cela force l'étudiant à oublier que les chats et les chiens sont en fait tous deux des animaux et devraient être quelque peu similaires.

C'est là qu'un nouvel article de chercheurs de l'Imperial College London intervient avec une idée fraîche appelée Distillation de Représentation Relationnelle (RRD - Relational Representation Distillation). Ils ont réalisé qu'au lieu de forcer l'étudiant à mémoriser les distances exactes entre chaque objet, il est préférable de lui enseigner l'ordre relatif des choses. Imaginez une salle de classe où le professeur ne se contente pas de dire « Assieds-toi ici », mais plutôt : « Assieds-toi plus près du chien qu'un de l'avion, mais pas aussi près que du chat ». Les chercheurs ont découvert qu'en utilisant un réglage de « température » spécial pour rendre l'apprentissage de l'étudiant plus net et plus concentré, ils pouvaient préserver ces relations importantes sans la confusion. Leurs expériences montrent que cette méthode aide les petits modèles étudiants à beaucoup mieux apprendre, performant parfois aussi bien que les géants modèles enseignants eux-mêmes, tout en gardant le « sac à dos » léger et efficace.

Le problème d'être trop strict

Pendant longtemps, la meilleure façon d'enseigner à un modèle étudiant était d'utiliser une méthode appelée Apprentissage Contrastif (Contrastive Learning). Imaginez un jeu de chaises musicales où le but est de garder vos amis proches et de repousser les inconnus. Dans ce jeu, si vous avez l'image d'un chat, l'ordinateur essaie de rendre la représentation du « chat » très proche d'autres images de « chats » et très éloignée de celles de « chiens » ou d'« avions ».

Le problème, comme le soulignent les auteurs, est que ce jeu peut devenir un peu trop intense. Il force l'ordinateur à traiter un chat et un chien comme des étrangers complets, même s'ils sont tous deux des animaux à poils. C'est comme un professeur qui dirait à un élève : « Tu es un chat, et un chien est un univers totalement différent, donc ne pense jamais qu'ils se ressemblent ». Cette « répulsion sémantique » (une façon sophistiquée de dire « repousser les choses trop fort ») jette aux oubliettes des informations précieuses. L'étudiant apprend à reconnaître un chat, mais il oublie que les chats et les chiens partagent un arbre généalogique.

La nouvelle approche : Les relations relatives

Les auteurs proposent une manière plus intelligente de jouer au jeu. Au lieu de forcer des distances absolues, ils se concentrent sur les relations relatives. Ils demandent au modèle étudiant d'apprendre l'ordre de similitude.

Voici l'analogie : Imaginez que vous classiez vos fruits préférés.

L'ancienne méthode (Contrastive stricte) : « Une pomme est 100 % pomme. Une banane est 100 % banane. Elles sont ennemies. Restez à 100 miles l'une de l'autre. »
La nouvelle méthode (RRD) : « Une pomme est votre préférée. Une poire est votre deuxième préférée (parce qu'elles sont toutes deux rondes et sucrées). Une banane est troisième. Un caillou est dernier. »

L'étudiant n'a pas besoin de connaître la distance exacte entre la pomme et la poire en miles ; il doit simplement savoir que la poire est plus proche de la pomme que ne l'est la banane. Cela préserve la structure du monde : les pommes et les poires sont liées, les bananes le sont quelque peu, et les cailloux ne le sont pas.

Comment ils ont fait : La magie de la température

Pour faire fonctionner cela, les chercheurs ont introduit un tour de main ingénieux impliquant la température. Dans le monde de l'IA, la « température » ne concerne pas la chaleur ; il s'agit de savoir si les prédictions du modèle sont « douces » ou « tranchantes ».

Température élevée : Le modèle est incertain et étale ses prédictions (comme un jour de brouillard où tout semble flou).
Température basse : Le modèle est très confiant et aiguise sa concentration (comme un faisceau laser).

Les auteurs ont donné au Enseignant une température spécifique et à l'Étudiant une température différente, plus tranchante. Ils ont réglé la température de l'étudiant pour qu'elle soit plus basse (plus nette) que celle de l'enseignant. Cela signifie que l'étudiant est forcé de se concentrer intensément sur les relations les plus importantes (les « primaires », comme chat contre avion) tout en gardant une mémoire douce et diffuse des secondaires (comme chat contre chien).

Ils ont également utilisé une « banque de mémoire » — une liste géante de caractéristiques que l'enseignant a déjà vues auparavant. L'étudiant compare son image actuelle à cette banque de mémoire pour voir où il se situe dans le grand schéma. En alignant les « classements relatifs » de l'étudiant avec ceux de l'enseignant, l'étudiant apprend la structure du monde sans être confus par les règles strictes des anciennes méthodes.

Ce qu'ils ont trouvé

L'équipe a testé cette idée sur plusieurs ensembles de données d'images célèbres, notamment CIFAR-100 (qui contient 100 types différents d'objets) et ImageNet (une collection massive de plus d'un million d'images). Ils ont opposé leur nouvelle méthode aux champions actuels du domaine.

Les résultats sont impressionnants. Lorsqu'ils ont utilisé leur nouvelle méthode seule, elle a surpassé les méthodes « contrastives » standards. Mais la véritable magie s'est produite lorsqu'ils l'ont combinée à la technique traditionnelle de distillation de connaissances.

Sur l'ensemble de données CIFAR-100, leur méthode a montré une amélioration relative de 75,50 % par rapport aux méthodes de distillation de connaissances standard.
Lorsqu'ils l'ont combinée à la méthode classique, l'amélioration a bondi à 80,03 %.

En termes simples, les modèles étudiants ont appris beaucoup plus vite et sont devenus beaucoup plus intelligents. Dans certains cas, le petit modèle étudiant entraîné avec cette nouvelle méthode a même performé mieux que le géant modèle enseignant qu'il essayait de copier !

Ils ont également examiné le « cerveau » des modèles à l'aide d'une technique appelée t-SNE, qui transforme des données complexes en une carte 2D. Dans ces cartes, on peut voir comment l'ordinateur regroupe les choses. Avec les anciennes méthodes, les groupes étaient désordonnés ou trop éloignés. Avec la nouvelle Distillation de Représentation Relationnelle, les groupes ressemblaient presque identiquement aux groupes de l'enseignant. L'étudiant avait réussi à apprendre la « vision du monde » de l'enseignant, gardant les chats près des chiens et loin des avions, exactement comme l'enseignant l'avait prévu.

Pourquoi cela importe

Il ne s'agit pas seulement de faire de beaux chiffres sur un graphique. Il s'agit de rendre l'IA pratique. Si nous pouvons enseigner à de petits modèles efficaces à comprendre le monde aussi bien que les géants, nous pouvons mettre une IA intelligente dans nos téléphones, nos voitures et nos montres sans avoir besoin d'un supercalculateur dans le coffre de la voiture. En apprenant à l'étudiant à comprendre les relations plutôt que de simples règles, les auteurs ont trouvé un moyen de compresser le génie des géants dans un paquet qui tient dans votre poche.

L'article suggère que se concentrer sur ces connexions relatives est une voie prometteuse pour l'avenir. Il ne prétend pas avoir résolu tous les problèmes de l'IA, mais il offre un outil clair et efficace pour rendre la prochaine génération d'appareils intelligents à la fois puissants et portables.

Résumé Technique : Distillation de Représentation Relationnelle

Énoncé du Problème

La distillation de connaissances (KD - Knowledge Distillation) vise à transférer le savoir de modèles enseignants de grande capacité vers des modèles étudiants compacts afin de faciliter le déploiement dans des environnements aux ressources limitées. Alors que les approches classiques de la KD minimisent la divergence de Kullback-Leibler (KL) entre les sorties probabilistes (logits) des réseaux enseignants et étudiants, elles échouent souvent à capturer les relations structurelles au sein des représentations de caractéristiques internes de l'enseignant.

Des avancées récentes ont tenté d'y remédier en employant des objectifs d'apprentissage contrastif (par exemple, CRD). Cependant, ces méthodes reposent sur des contraintes strictes de discrimination d'instances. Cela crée un problème de « répulsion sémantique » où des échantillons sémantiquement similaires sont forcés de s'éloigner alors qu'ils devraient maintenir une similitude, car ils sont traités comme des instances distinctes. L'article soutient que la préservation des relations relatives entre les instances (par exemple, la similitude relative d'une image de chat par rapport à un chien versus un avion) est plus critique que l'imposition d'une séparation ou d'une similitude absolue rigide.

Méthodologie : Distillation de Représentation Relationnelle (RRD)

Le cadre proposé, la Distillation de Représentation Relationnelle (RRD), assouplit les objectifs contrastifs rigides en se concentrant sur la préservation des relations relatives significatives entre les instances. Les composantes clés sont :

Banque de Mémoire et Score de Similitude :
- Les caractéristiques des réseaux enseignant ( $z^T_i$ ) et étudiant ( $z^S_i$ ) sont normalisées $\ell_2$ pour résider sur une hypersphère unité.
- Une banque de mémoire $M$ stocke les plongements de caractéristiques des lots précédents (mise à jour via des stratégies FIFO ou de momentum).
- Pour assurer un alignement direct, l'encodage actuel de l'enseignant est ajouté à la banque de mémoire ( $M^+$ ), créant un ensemble de $K+1$ vecteurs de référence.
- Les scores de similitude sont calculés entre les caractéristiques d'entrée actuelles et les entrées de la banque de mémoire en utilisant une fonction softmax avec des paramètres de température.
Paramètres de Température Doubles :
- Une innovation clé est l'utilisation de paramètres de température distincts pour l'enseignant ( $\tau_t$ ) et l'étudiant ( $\tau_s$ ).
- La distribution de l'enseignant $p^T$ est calculée avec $\tau_t$ , et la distribution de l'étudiant $p^S$ avec $\tau_s$ .
- Les auteurs fixent $\tau_s > \tau_t$ (par exemple, $\tau_s=0,1, \tau_t=0,02$ ). Cela crée une distribution « accentuée » pour l'étudiant, le forçant à se concentrer sur les relations primaires (scores de similitude les plus élevés) tout en conservant la flexibilité nécessaire pour capturer les similitudes secondaires, évitant ainsi les problèmes de collision de classes liés à la discrimination d'instances stricte.
Fonction de Perte :
- L'objectif minimise la divergence KL entre la distribution de similitude de l'enseignant $p^T$ et la distribution de similitude de l'étudiant $p^S$ :
  $\mathcal{L}_{RRD} = \sum_{i} -p^T(x_i) \cdot \log p^S(x_i)$
- Celle-ci est combinée à une perte supervisée ( $\mathcal{L}_{sup}$ ) et à une perte de KD standard basée sur les logits ( $\mathcal{L}_{KL}$ ) dans l'objectif complet :
  $\mathcal{L}_{total} = \mathcal{L}_{sup} + \lambda \cdot \mathcal{L}_{KL} + \beta \cdot \mathcal{L}_{RRD}$
Connexions Théoriques :
- L'article établit qu'à mesure que $\tau_t \to 0$ , l'objectif RRD converge vers la perte InfoNCE (utilisée dans l'apprentissage contrastif), faisant de l'InfoNCE un cas particulier de la RRD.
- Il maintient également une relation structurelle avec la divergence KL standard utilisée dans la KD originale de Hinton, mais opère sur les scores de similitude de la banque de mémoire plutôt que sur les logits de classe.

Principales Contributions

Proposition de Cadre : Introduction de la RRD, un cadre de distillation qui préserve les relations structurelles dans les espaces de caractéristiques en employant des paramètres de température distincts pour les distributions de l'enseignant et de l'étudiant, ce qui produit des sorties d'étudiant plus nettes.
Unification Théorique : Démonstration des connexions théoriques entre l'objectif proposé, la perte de contraste InfoNCE et la divergence KL, montant que l'InfoNCE émerge comme un cas particulier de la RRD.
Validation Empirique : Validation complète sur des benchmarks standards (CIFAR-100, ImageNet, STL-10, Tiny ImageNet) et la détection d'objets (MS-COCO) montrant des gains de précision significatifs par rapport aux méthodes existantes.
Preuve de Préservation Structurelle : Preuves quantitatives (analyse de corrélation) et qualitatives (visualisations t-SNE) démontrant que la RRD préserve mieux les relations spatiales et la cohérence structurelle entre les espaces de plongement de l'enseignant et de l'étudiant par rapport à l'entraînement classique ou d'autres méthodes de distillation.

Résultats Expérimentaux

La méthode a été évaluée sur 13 paires d'architectures enseignant-étudiant différentes (incluant ResNet, WideResNet, VGG, MobileNet et ShuffleNet).

CIFAR-100 : La RRD a surpassé la KD standard et la méthode d'état de l'art CRD lorsqu'elle était utilisée seule. Lorsqu'elle est combinée avec la KD, elle apporte des améliorations supplémentaires. L'article rapporte une amélioration relative de 75,50 % par rapport à la KD conventionnelle et une amélioration relative de 80,03 % lorsqu'elle est intégrée à la KD (basé sur les mesures d'amélioration relative moyenne).
ImageNet : La RRD a systématiquement surpassé la KD à travers diverses architectures (par exemple, de ResNet-50 à ResNet-18), démontrant sa scalabilité.
Apprentissage par Transfert : Dans les expériences de transfert de caractéristiques de CIFAR-100 vers STL-10 et Tiny ImageNet, la RRD a montré une forte transférabilité des caractéristiques, atteignant des performances comparables ou supérieures à la CRD sans nécessiter de KD supplémentaire.
Études d'Ablation :
- Températures : Les performances optimales ont été trouvées avec $\tau_t \approx 0,02$ et $\tau_s = 0,1$ . Des valeurs de $\tau_t$ plus élevées dégradaient les performances en produisant des distributions trop lisses.
- Taille de la Mémoire : Les performances se sont améliorées avec une taille de mémoire allant jusqu'à $K=16384$ , après quoi les gains plafonnent.
- Pondération de la Perte : Le coefficient de pondération $\beta$ fonctionnait le mieux entre 0,5 et 1,5.
- Structure de la Mémoire : La RRD a bien fonctionné avec les mises à jour par momentum et par file FIFO, la méthode FIFO montrant des résultats particulièrement solides.

Signification et Revendications

L'article affirme que la RRD offre une approche plus efficace de la distillation de connaissances en déplaçant l'attention de la similitude absolue vers la préservation des relations relatives entre les instances. En assouplissant les contraintes strictes de l'apprentissage contrastif grâce aux paramètres de température doubles, la méthode évite le problème de répulsion sémantique tout en garantissant que le réseau étudiant apprenne les indices structurels primaires de l'enseignant.

Les auteurs affirment que leur méthode surpasse de manière significative les techniques de distillation de connaissances existantes à travers diverses tâches et architectures. Ils soulignent que l'amélioration de la préservation structurelle conduit à un meilleur alignement avec les modèles enseignants et, dans certains cas, permet à l'étudiant de surpasser le réseau enseignant lui-même. Ce travail suggère que la focalisation sur les relations relatives est une direction prometteuse pour développer des techniques de compression de modèles plus efficaces.