🤖 machine learning

KLAS: Using Similarity to Stitch Neural Networks for Improved Accuracy-Efficiency Tradeoffs

L'article présente KLAS, un cadre novateur qui automatise et optimise l'assemblage de réseaux de neurones préentraînés en exploitant la divergence de KL pour identifier les représentations intermédiaires les plus similaires, améliorant ainsi considérablement les compromis entre précision et efficacité par rapport aux approches heuristiques existantes.

Auteurs originaux : Debopam Sanyal, Anantharaman Iyer, Alind Khare, Trisha Jain, Akshay Jajoo, Myungjin Lee, Clayton Kerce, Alexey Tumanov

Publié 2026-05-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Debopam Sanyal, Anantharaman Iyer, Alind Khare, Trisha Jain, Akshay Jajoo, Myungjin Lee, Clayton Kerce, Alexey Tumanov

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédiez une immense bibliothèque de robots préfabriqués. Certains sont petits et rapides mais pas très intelligents (comme un robot jouet). D'autres sont énormes, lents et incroyablement intelligents (comme un supercalculateur). Habituellement, si vous avez besoin d'un robot « juste comme il faut » — assez intelligent pour bien faire le travail, mais assez rapide pour fonctionner sur batterie — vous devez en construire un tout nouveau à partir de zéro. Cela prend beaucoup de temps, d'argent et d'énergie.

Il y a quelques années, des scientifiques ont découvert un raccourci : le Soudage. Au lieu de construire un nouveau robot, vous pouvez prendre les « yeux » du petit robot et le « cerveau » du grand robot et les coudre ensemble. Vous obtenez ainsi un robot hybride situé quelque part entre les deux.

Cependant, il y avait un gros problème avec cette méthode de soudage. Les personnes qui faisaient le soudage utilisaient de mauvaises règles empiriques. Elles disaient simplement : « Coudons le deuxième œil du petit robot au deuxième cerveau du grand robot », ou « Connectons uniquement les robots de taille similaire ». Elles ne vérifiaient pas réellement si ces pièces s'adaptaient vraiment l'une à l'autre. Parfois, les pièces entraient en conflit et le nouveau robot ne fonctionnait pas bien.

Voici KLAS.

Les auteurs de cet article, KLAS, sont comme un maître tailleur qui ne devine pas. Au lieu de cela, ils utilisent un outil spécial appelé Divergence KL (pensez-y comme un « scanner de compatibilité ») pour mesurer exactement à quel point les pensées d'une pièce de robot sont similaires à celles d'une autre.

Voici comment KLAS fonctionne, décomposé en étapes simples :

1. Le problème du soudage « Voisin le plus proche »

Imaginez que vous essayiez d'apparier des chaussettes. L'ancienne méthode (appelée SN-Net) disait : « Appariez simplement les chaussettes qui sont les plus proches les unes des autres sur l'étagère. »

Le défaut : Parfois, une chaussette rouge vif (un petit modèle) correspond parfaitement à une chaussette bleu foncé (un grand modèle) parce qu'elles sont faites du même tissu, même si elles sont éloignées sur l'étagère. L'ancienne méthode manquait ces correspondances parfaites car elle ne regardait que la distance, pas la qualité.

2. Le « scanner de compatibilité » KLAS

KLAS utilise un concept mathématique appelé Divergence KL. Imaginez que vous avez deux personnes qui parlent.

Ancienne méthode : Vérifie si elles se tiennent côte à côte.
KLAS : Écoute ce qu'elles disent. Il demande : « Si la personne A parle, la personne B comprend-elle parfaitement le ton et le sens ? »
Si la réponse est « Oui » (faible divergence KL), KLAS sait que ces deux pièces fonctionneront bien ensemble. Si la réponse est « Non » (forte divergence KL), KLAS sait qu'elles entreront en conflit.

3. La magie de « ProbeNet »

Pour vérifier cette compatibilité sans réellement souder les robots ensemble au préalable (ce qui serait lent et coûteux), KLAS utilise une astuce ingénieuse appelée ProbeNet.

Imaginez que vous voulez savoir si un moteur de voiture s'adapte à un nouveau châssis. Au lieu de les boulonner ensemble et d'essayer de conduire, vous connectez un tout petit capteur temporaire au moteur. Ce capteur vérifie rapidement si la sortie du moteur correspond à ce que le châssis attend.
KLAS fait cela avec des « sondes linéaires ». Il place une toute petite couche de test temporaire sur les modèles préentraînés pour voir comment ils « pensent ». Cela prend presque aucun temps et coûte presque rien.

4. Le résultat : Un ajustement parfait

En utilisant ce scanner, KLAS peut trouver les meilleures combinaisons possibles, pas seulement les « plus proches ».

L'affirmation : Dans leurs tests, KLAS a trouvé des combinaisons qui étaient plus précises (plus intelligentes) que l'ancienne méthode, en utilisant la même quantité de puissance informatique.
Ou : Il a trouvé des combinaisons tout aussi intelligentes mais qui utilisaient moins de puissance (économisant batterie et argent).

Exemples réels tirés de l'article

Les auteurs ont testé cela sur :

Reconnaissance d'images : Rendant les ordinateurs meilleurs pour identifier les chats, les chiens et les voitures. Ils ont assemblé différentes versions de modèles « Swin » et « DeiT ». KLAS a découvert que parfois, connecter le plus petit modèle directement au plus grand (en sautant celui du milieu) fonctionnait mieux que l'ancienne méthode « étape par étape ».
Tâches médicales/cartographiques : Ils l'ont même essayé sur la « segmentation sémantique » (comme une carte qui colore chaque pixel d'une photo pour montrer ce qu'il est). KLAS a produit de meilleures cartes avec le même budget informatique.
Modèles de langage : Ils l'ont testé sur les grands modèles de langage (comme ceux qui écrivent du texte). KLAS a trouvé de meilleures façons de mélanger un petit modèle de langage avec un grand, rendant le résultat plus intelligent et plus véridique que l'ancienne méthode basée sur le « nombre de couches ».

La conclusion

L'article soutient que nous n'avons pas besoin de construire de nouveaux modèles d'IA à partir de zéro pour obtenir l'équilibre parfait entre vitesse et intelligence. Nous devons simplement arrêter de deviner quelles pièces coudre ensemble. En utilisant un « scanner de compatibilité » (Divergence KL) pour écouter comment les pièces pensent, nous pouvons assembler automatiquement l'IA hybride parfaite pour n'importe quelle tâche, en économisant du temps, de l'argent et de l'énergie.

En bref : KLAS est le tailleur intelligent qui mesure le tissu avant de couper, assurant que le costume final s'ajuste parfaitement, tandis que l'ancienne méthode devinait simplement en fonction de l'endroit où le tissu était accroché dans le placard.

Résumé technique : KLAS - Utilisation de la similarité pour assembler des réseaux de neurones afin d'améliorer les compromis précision-efficacité

1. Énoncé du problème

Le déploiement de grands transformeurs de vision préentraînés (ViT) et de réseaux de neurones convolutifs (CNN) fait face à un défi fondamental : des environnements variés, allant des serveurs cloud puissants aux périphériques contraints en ressources, nécessitent une sélection flexible de modèles au sein de budgets de calcul spécifiques. Bien que la recherche d'architecture neuronale (NAS) tente d'équilibrer précision et efficacité, le NAS traditionnel d'un à un est prohibitif en termes de calcul, et les approches NAS d'un à plusieurs ou en zéro-shot sont souvent limitées à un seul espace de conception de modèle, échouant à exploiter le riche réservoir de modèles préentraînés existants.

L'assemblage de modèles (model stitching) offre une alternative prometteuse en combinant des blocs de différents modèles préentraînés « ancres » pour créer des réseaux interpolés. Cependant, les approches d'assemblage de plusieurs à plusieurs existantes, telles que SN-Net, reposent sur des heuristiques naïves (par exemple, l'« assemblage le plus proche » d'ancres adjacentes ou l'appariement fixe de blocs) pour sélectionner les configurations d'assemblage. Ces heuristiques produisent souvent des compromis précision-efficacité sous-optimaux et manquent de généralisabilité à travers des familles de modèles diverses. De plus, l'espace de recherche des configurations d'assemblage est vaste ( $O(k^2n^2)$ pour $k$ modèles de profondeur $n$ ), rendant la recherche exhaustive impossible. Le problème central réside dans l'absence d'une méthode automatisée et fondée sur des principes pour identifier des configurations d'assemblage compatibles qui maximisent les performances sans engendrer de coûts d'entraînement élevés.

2. Méthodologie : Le cadre KLAS

Les auteurs proposent KLAS (KL divergence based Anchor Stitching), un cadre qui automatise la sélection d'assemblage en exploitant la similarité entre les représentations intermédiaires de modèles préentraînés.

Concept central : La divergence de KL comme métrique de similarité

KLAS postule que l'assemblage réussi dépend à la fois de la similarité représentative (alignement géométrique des activations) et de la similarité fonctionnelle (préservation des informations pertinentes pour la tâche et des frontières de décision). Les auteurs soutiennent que la divergence de Kullback-Leibler (KL) est particulièrement adaptée pour capturer les deux :

Alignement représentatif : Elle quantifie la distance statistique entre les distributions d'activation, indiquant si une transformation légère peut mapper les activations source vers les activations cible.
Alignement fonctionnel : Elle évalue dans quelle mesure les sorties d'un bloc source préservent les frontières de décision du modèle cible, garantissant que le réseau assemblé maintient les performances de la tâche en aval avec un micro-ajustement minimal.

Contrairement à des métriques telles que l'alignement noyau centré (CKA), l'erreur quadratique moyenne (MSE) ou l'entropie croisée (CE), qui échouent souvent à prédire le succès de l'assemblage, la divergence de KL mesure directement la compatibilité des distributions de probabilité générées par des sondes linéaires.

L'algorithme KLAS

Le cadre fonctionne en deux étapes principales :

Sélection d'ancres :
- KLAS calcule la divergence de KL entre les distributions de probabilité softmax des derniers blocs des modèles préentraînés candidats.
- Les modèles présentant une faible divergence de KL des derniers blocs sont considérés comme des ancres compatibles, car ils partagent des frontières de décision et des distributions de confiance de classe similaires. Cela remplace l'heuristique « assemblage le plus proche » utilisée dans les travaux antérieurs.
Sélection de blocs :
- Une fois les ancres sélectionnées, KLAS évalue les paires de blocs en utilisant un score d'assemblage $\Gamma(i, j)$ défini comme suit :
  $\Gamma(i, j) = \frac{\Theta(P^f_i, P^g_j)}{\Theta(P^g_j, P^g_{j+1})}$
  Où :
  - $\Theta(P^f_i, P^g_j)$ est la distance d'activation inter-ancre (divergence de KL entre le bloc source $i$ et le bloc cible $j$ ).
  - $\Theta(P^g_j, P^g_{j+1})$ est la capacité intra-ancre des blocs (divergence de KL entre les blocs consécutifs dans l'ancre cible).
- Ce score équilibre la charge de transformation imposée à la couche d'assemblage hypothétique contre la capacité du bloc cible à absorber les différences distributionnelles.
- ProbeNet : Pour calculer efficacement ces scores sans entraîner de couches d'assemblage complètes, KLAS emploie une architecture unifiée appelée ProbeNet. Elle attache des sondes de classificateur linéaire à chaque bloc des modèles ancres et les entraîne conjointement en un seul passage avant-arrière. Cela engendre un coût unique négligeable (par exemple, 0,25 jour GPU pour Swin-B) par rapport à l'entraînement de sondes individuelles.
Sélection de configuration :
- Les configurations d'assemblage candidates sont filtrées en fonction d'un seuil ajustable $\tau$ par rapport au score minimum au sein des buckets de FLOPs. Cela garantit une frontière de Pareto dense de modèles déployables à travers le spectre précision-efficacité.

3. Contributions clés

Identification des limites des heuristiques : L'article démontre que les heuristiques naïves (comme celles de SN-Net) ne sont pas universellement optimales, manquant souvent des configurations d'« assemblage lointain » supérieures (par exemple, connecter Swin-Ti directement à Swin-B) que les heuristiques négligent.
Métrique de similarité fondée sur des principes : L'introduction de la divergence de KL comme métrique pour la sélection d'assemblage, capturant à la fois l'alignement représentatif et fonctionnel sans nécessiter l'instanciation ou l'entraînement de couches d'assemblage.
Cadre KLAS : Un cadre généralisable et à faible coût qui automatise la sélection d'ancres et de blocs à travers des familles de modèles diverses (ViT, CNN et LLM).
Validation empirique : Des expériences complètes montrant des améliorations constantes par rapport aux lignes de base sur plusieurs jeux de données (ImageNet-1K, CIFAR-100, ADE20K, TruthfulQA) et architectures.

4. Résultats expérimentaux

Les auteurs ont évalué KLAS par rapport à SN-Net et d'autres lignes de base dans des conditions de micro-ajustement identiques (50 époques pour la vision, 10 époques pour les LLM).

Compromis précision-efficacité :
- ImageNet-1K : KLAS atteint jusqu'à 1,21 % de précision Top-1 supérieure au même coût de calcul ou une réduction de 1,33× des FLOPs à précision équivalente par rapport à SN-Net.
- Scores AUC : Sur la famille Swin, KLAS a obtenu une aire sous la courbe (AUC) de 0,8950, surpassant significativement SN-Net (0,8345) et d'autres métriques de similarité comme CKA (0,8124).
- Inter-architecture : KLAS a assemblé avec succès ResNet-18 avec Swin-B, surpassant les lignes de base d'inférence en cascade de 2 à 3 % de précision Top-1 à FLOPs similaires.
Prédiction dense (segmentation sémantique) :
- Sur ADE20K utilisant Mask2Former, les assemblages sélectionnés par KLAS ont atteint jusqu'à +0,9 % de mIoU de plus que les lignes de base SN-Net à budgets FLOPs comparables.
Grands modèles de langage (LLM) :
- En utilisant les ancres Llama 1B et 3B sur le benchmark TruthfulQA, les modèles assemblés par KLAS ont surpassé ESTA (une méthode d'assemblage de LLM basée sur des heuristiques) de jusqu'à 0,017 ROUGE-1 et 0,033 ROUGE-2, malgré un nombre de paramètres inférieur dans certaines configurations.
Efficacité de la métrique :
- La divergence de KL a récupéré avec succès 88,9 % des configurations d'assemblage Swin Ti-B viables, tandis que CKA n'en a récupéré que 5,5 % et les heuristiques SN-Net 61,1 %.

5. Importance et revendications

L'article revendique que KLAS comble le fossé critique dans l'assemblage de modèles en remplaçant les heuristiques ad hoc par une approche fondée sur des principes et pilotée par la similarité. Son importance réside dans :

Généralisabilité : Il fonctionne à travers des familles architecturales diverses (Transformers, CNN, Hybrides) et des modalités (Vision, Langage), surmontant les limites des méthodes restreintes à des familles uniques.
Efficacité des coûts : Il génère une frontière de Pareto continue de modèles déployables avec une surcharge de calcul supplémentaire négligeable (seulement l'entraînement des sondes et le micro-ajustement de la couche d'assemblage), évitant les coûts prohibitifs du NAS traditionnel.
Optimisation systématique : En capturant explicitement les différences distributionnelles via la divergence de KL, KLAS permet la découverte de configurations d'assemblage non intuitives et performantes (par exemple, « assemblage lointain ») que les méthodes heuristiques manquent.

Les auteurs concluent que KLAS fournit une solution robuste et automatisée pour optimiser le compromis précision-efficacité dans les scénarios de déploiement, exploitant efficacement l'écosystème existant de modèles préentraînés sans nécessiter d'entraînement à partir de zéro.