💻 computer science

TAS-LoRA: Transformer Architecture Search with Mixture-of-LoRA Experts

TAS-LoRA est une nouvelle méthode de recherche d'architecture Transformer qui résout le problème de l'effondrement des caractéristiques dans les approches existantes en introduisant une stratégie de mélange d'experts LoRA avec routage dynamique et initialisation par groupe, permettant ainsi l'apprentissage de caractéristiques spécifique à chaque sous-réseau tout en maintenant l'efficacité computationnelle.

Auteurs originaux : Jeimin Jeon, Hyunju Lee, Bumsub Ham

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jeimin Jeon, Hyunju Lee, Bumsub Ham

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de construire la voiture parfaite pour chaque conducteur possible sur la route : un petit citadin, un camionneur de gros tonnage et un coureur de luxe.

Dans le monde de l'Intelligence Artificielle (IA), et plus précisément des Transformeurs de Vision (ViT), ces « voitures » sont des réseaux de neurones conçus pour reconnaître des images. Habituellement, les ingénieurs conçoivent manuellement ces réseaux, ce qui est lent et coûteux. Pour accélérer le processus, les chercheurs utilisent une méthode appelée Recherche d'Architecture de Transformeur (TAS).

Considérez la TAS comme la construction d'une immense « Super-réseau » — une usine géante tout-en-un qui contient chaque conception de voiture possible à l'intérieur. Au lieu de construire chaque voiture séparément, l'usine partage les mêmes pièces de moteur (les poids) pour toutes les voitures. L'idée est d'entraîner cette seule usine géante une fois, puis simplement « extraire » la conception de voiture spécifique dont vous avez besoin.

Le Problème : Le Piège du « Taille Unique »

L'article identifie un défaut majeur dans cette approche d'usine, qu'ils appellent « Effondrement des Caractéristiques ».

Parce que chaque conception de voiture dans l'usine partage exactement les mêmes pièces de moteur, elles finissent toutes par conduire de la même manière. L'usine apprend un style de conduite « générique » qui fonctionne correctement pour tout le monde, mais qui n'est parfait pour personne.

Le citadin a besoin d'être agile.
Le camion a besoin d'être robuste.
Le coureur a besoin d'être rapide.

Mais parce qu'ils partagent tous les mêmes pièces, l'usine les force tous à conduire comme une berline « moyenne ». Aucun d'eux n'atteint son plein potentiel. En termes d'IA, les différentes conceptions de réseaux échouent à apprendre les caractéristiques spécifiques dont ils ont besoin pour être bons dans leurs tâches spécifiques.

La Solution : TAS-LoRA (Le « Kit de Réglage Personnalisé »)

Les auteurs proposent une nouvelle méthode appelée TAS-LoRA. Au lieu de forcer chaque voiture à utiliser exactement les mêmes réglages de moteur, ils ajoutent un « Kit de Réglage Personnalisé » à chaque voiture.

Ils utilisent une technique appelée LoRA (Adaptation de Rang Inférieur). Imaginez LoRA comme un petit module d'ajout léger que vous pouvez clipper sur le moteur partagé.

Le moteur principal (les poids partagés) reste le même pour tout le monde.
Mais chaque voiture reçoit son propre kit LoRA unique qui ajuste le moteur juste pour ses besoins spécifiques.

Cela permet à la voiture citadine d'apprendre l'agilité, au camion d'apprendre la robustesse, et au coureur d'apprendre la vitesse, tout en utilisant toujours le même moteur d'usine principal.

Le Gestionnaire Intelligent : Mixture-of-LoRA-Experts (MoLE)

Voici la partie délicate : il existe des millions de conceptions de voitures possibles. Si vous essayiez de donner à chaque conception unique son propre kit de réglage, l'usine deviendrait trop grande et trop lente à gérer.

Pour résoudre ce problème, TAS-LoRA introduit un Mélange d'Experts LoRA (MoLE).

Au lieu de millions de kits uniques, l'usine possède un ensemble limité de « Kits d'Experts » (par exemple, un « Kit Vitesse », un « Kit Force », un « Kit Agilité »).
Un Gestionnaire Intelligent (Routeur) se tient à la chaîne de montage. À mesure que chaque conception de voiture descend la ligne, le Gestionnaire examine ses spécifications (nombre de roues, taille du moteur) et décide instantanément : « Celui-ci a besoin du Kit Vitesse mélangé au Kit Agilité. »

De cette façon, l'usine reste petite et efficace, mais chaque voiture reçoit tout de même une expérience personnalisée.

L'Astuce du « Groupe » : Éviter la Confusion

L'article a remarqué un problème : lorsque l'usine commence tout juste, le Gestionnaire Intelligent ne sait pas quel kit va à quelle voiture. Il donne simplement le même kit à tout le monde, ce qui ramène au problème de « l'Effondrement des Caractéristiques ».

Pour corriger cela, ils ont inventé l'Initialisation du Routeur par Groupes.

Avant que l'usine n'ouvre, ils regroupent les voitures par leur forme de base (par exemple, toutes les « petites voitures » vont dans le Groupe A, tous les « gros camions » dans le Groupe B).
Ils forcent le Gestionnaire à donner le « Kit Vitesse » au Groupe A et le « Kit Force » au Groupe B dès le premier jour.
Cela garantit que dès le tout premier jour de l'entraînement, les différents groupes apprennent des choses différentes, les empêchant de tous devenir la même voiture « générique ».

Les Résultats

Les auteurs ont testé cela sur un vaste ensemble de données appelé ImageNet (une immense bibliothèque de photos) et plusieurs autres ensembles de données plus petits (comme des fleurs, des voitures et des oiseaux).

Meilleures Performances : Leur méthode (TAS-LoRA) a produit des modèles d'IA nettement plus précis que les méthodes précédentes.
Aucun Coût Supplémentaire : Parce que les « kits de réglage » peuvent être fusionnés dans le moteur principal avant que la voiture ne soit utilisée, il n'y a aucun coût supplémentaire lorsque l'IA regarde réellement une image. Elle fonctionne tout aussi vite que les anciennes méthodes.
Flexibilité : Contrairement à d'autres méthodes qui pourraient devoir être reconstruites si vous changez les règles matérielles (comme rendre la voiture plus petite), TAS-LoRA peut s'adapter à de nouvelles règles sans tout recommencer.

Résumé

En bref, l'article dit : « Ne forcez pas chaque conception d'IA à partager exactement le même cerveau. Donnez-leur un cerveau partagé, mais laissez-leur porter des « lunettes intelligentes » différentes (experts LoRA) afin qu'ils puissent voir le monde de la manière qui convient le mieux à leur tâche spécifique. » Cela rend le processus de recherche d'IA plus rapide, plus intelligent et plus efficace.

Résumé Technique : TAS-LoRA

Énoncé du Problème

La Recherche d'Architecture de Transformer (TAS) vise à découvrir automatiquement des architectures optimales de Vision Transformer (ViT), réduisant ainsi l'effort manuel requis pour la conception. Les méthodes TAS actuelles les plus avancées reposent principalement sur des approches one-shot, qui entraînent une « superréseau » (supernet) contenant tous les sous-réseaux possibles. Dans ces supernets à poids entrelacés, tous les sous-réseaux partagent un ensemble commun de poids.

L'article identifie une limitation critique de ce paradigme : le problème de l'effondrement des caractéristiques (feature collapse). Étant donné que le supernet est optimisé pour minimiser une perte globale sur l'ensemble des sous-réseaux, les poids partagés tendent à apprendre des caractéristiques génériques qui fonctionnent de manière adéquate pour des architectures diverses, mais échouent à capturer les caractéristiques spécifiques à chaque sous-réseau. Par conséquent, les sous-réseaux individuels ne peuvent pas pleinement exploiter leurs propriétés architecturales uniques (par exemple, des nombres spécifiques de têtes d'attention ou des ratios de couches MLP), ce qui entraîne des performances sous-optimales par rapport à des sous-réseaux entraînés indépendamment à partir de zéro. L'analyse empirique de l'article confirme que les sous-réseaux au sein des supernets à poids entrelacés présentent des représentations de caractéristiques quasi identiques (forte similarité cosinus), alors que les sous-réseaux entraînés indépendamment développent des représentations distinctes.

Méthodologie : TAS-LoRA

Pour remédier à l'effondrement des caractéristiques tout en maintenant l'efficacité computationnelle, les auteurs proposent TAS-LoRA (Recherche d'Architecture de Transformer avec Mélanges d'Experts LoRA). La méthode intègre l'Adaptation à Faible Rang (LoRA) dans le processus d'entraînement du supernet afin de permettre un apprentissage de caractéristiques spécialisé pour chaque sous-réseau, sans encourir le coût prohibitif d'attribuer des paramètres uniques à chaque configuration possible de sous-réseau.

1. Mélanges d'Experts LoRA (MoLE)

Au lieu d'attribuer un module LoRA unique à chaque sous-réseau (ce qui est computationnellement irréalisable en raison de l'immensité de l'espace de recherche), TAS-LoRA emploie une stratégie de Mélanges d'Experts LoRA (MoLE).

Architecture : Les experts LoRA sont appliqués aux couches linéaires du supernet (incluant les projections QKV et les couches MLP).
Routage Dynamique : Un routeur léger sélectionne et combine dynamiquement un ensemble limité d'experts LoRA en fonction de l'architecture spécifique du sous-réseau échantillonné.
Efficacité à l'Inférence : Au moment de l'inférence, les paramètres LoRA sélectionnés sont fusionnés dans les poids originaux du supernet. Puisque la configuration du sous-réseau est fixe lors de l'inférence, le routeur ne s'exécute qu'une seule fois, et les poids fusionnés n'introduisent aucune surcharge computationnelle supplémentaire.

2. Conception du Routeur

Le routeur est conçu pour capturer les dépendances séquentielles des blocs de transformateurs :

Entrée : Il prend en entrée à la fois des attributs au niveau du bloc (par exemple, nombre de têtes d'attention, ratio MLP) et des attributs au niveau du sous-réseau (par exemple, dimension d'encodage, profondeur).
Mécanisme : Ces attributs sont encodés par une couche d'encodage apprenable et traités par un LSTM pour capturer les dépendances séquentielles à travers les blocs. Le LSTM produit des représentations cachées, qui sont transmises à travers une « tête de routeur » entièrement connectée pour générer une distribution de probabilité sur les experts LoRA disponibles pour chaque couche.

3. Initialisation du Routeur par Groupes

Un défi clé identifié est que, durant les premières phases d'entraînement, le routeur tend à attribuer des poids similaires à tous les experts, conduisant à une redondance et empêchant la spécialisation. Pour atténuer cela, les auteurs introduisent une technique d'initialisation du routeur par groupes :

Regroupement : Les blocs de transformateurs à travers différents sous-réseaux sont regroupés en fonction de similarités architecturales (spécifiquement le nombre de têtes d'attention, le ratio MLP et la dimension d'encodage).
Initialisation : Le nombre d'experts LoRA est défini pour correspondre au nombre de groupes. Le routeur est initialisé de manière à ce que chaque expert soit biaisé vers un groupe distinct. Cela est réalisé en définissant des termes de biais spécifiques dans la tête de routeur à une valeur positive $\beta$ pour la paire groupe-expert correspondante, tout en mettant les autres à zéro.
Effet : Cela force le routeur à attribuer des experts distincts à différents groupes architecturaux au début de l'entraînement, encourageant un apprentissage de caractéristiques diversifié. À mesure que l'entraînement progresse, le routeur met à jour dynamiquement ces attributions en fonction des propriétés du sous-réseau.

Contributions Clés

Identification de l'Effondrement des Caractéristiques dans la TAS : L'article identifie et analyse formellement le problème de l'effondrement des caractéristiques dans les supernets à poids entrelacés, démontrant que les poids partagés empêchent les sous-réseaux d'apprendre des représentations spécialisées.
Cadre TAS-LoRA : Une méthode novatrice qui combine LoRA avec un mécanisme de routage dynamique (MoLE) pour apprendre efficacement des caractéristiques spécifiques aux sous-réseaux. Elle permet aux sous-réseaux d'affiner les caractéristiques partagées en fonction de leurs propriétés architecturales sans réentraîner l'ensemble du supernet à partir de zéro.
Initialisation du Routeur par Groupes : Une technique pour prévenir la redondance des experts durant les premières étapes de l'entraînement, garantissant que les experts LoRA apprennent des représentations de caractéristiques distinctes.
Performances de l'État de l'Art : Des expériences extensives démontrent que TAS-LoRA surpasse significativement les méthodes TAS existantes (par exemple, AutoFormer, DYNAS, FocusFormer) à travers divers espaces de recherche et ensembles de données.

Résultats Expérimentaux

Les auteurs ont évalué TAS-LoRA sur l'ensemble de données ImageNet et plusieurs benchmarks d'apprentissage par transfert (CIFAR-10/100, Flowers, CARS, INAT-19).

Performance sur ImageNet : TAS-LoRA a constamment amélioré la précision top-1 des supernets entraînés avec AutoFormer et DYNAS à travers les espaces de recherche Tiny, Small et Base.
- Par exemple, dans l'espace AutoFormer-T, TAS-LoRA a atteint une précision de 75,7 %, surpassant AutoFormer original (74,7 %) et d'autres méthodes de l'état de l'art comme PreNAS-Ti (77,1 % mais avec moins de flexibilité).
- Dans l'espace AutoFormer-B, TAS-LoRA-B a atteint une précision de 82,6 % avec 54 millions de paramètres, dépassant AutoFormer-B (82,4 %) et égalant ou surpassant des modèles plus grands comme GLiT-B (82,3 % avec 96 millions de paramètres).
Apprentissage par Transfert : TAS-LoRA a démontré une généralisation supérieure, obtenant des résultats compétitifs ou de l'état de l'art sur CIFAR-10/100, Flowers, CARS et INAT-19.
Études d'Ablation :
- Initialisation : L'initialisation par groupes a constamment surpassé l'initialisation aléatoire, confirmant son rôle dans la réduction de la redondance des experts.
- Similarité des Caractéristiques : L'analyse de similarité cosinus a montré que TAS-LoRA avec initialisation par groupes produisait des représentations de caractéristiques significativement plus diversifiées parmi les experts par rapport à l'initialisation aléatoire ou aux méthodes standard à poids entrelacés.
- Comparaison avec le Fine-tuning : TAS-LoRA a surpassé un supernet entièrement affiné (où tous les poids sont mis à jour) malgré un entraînement limité à 50 époques sur les couches MoLE. Cela indique que les gains proviennent de la capacité d'apprentissage de caractéristiques spécifiques aux sous-réseaux de MoLE, et non simplement d'un entraînement prolongé.

Importance et Revendications

L'article revendique que TAS-LoRA représente une avancée significative dans la Recherche d'Architecture de Transformer en résolvant efficacement le problème de l'effondrement des caractéristiques inhérent aux supernets à poids entrelacés.

Efficacité vs Performance : Contrairement aux méthodes qui nécessitent l'entraînement de plusieurs supernets (par exemple, MoS) ou le réentraînement à partir de zéro lorsque les contraintes matérielles changent (par exemple, PreNAS), TAS-LoRA entraîne un seul supernet avec des couches d'adaptation spécifiques aux sous-réseaux. Cela permet une adaptation flexible aux nouvelles contraintes matérielles (par exemple, FLOPs, latence) sans réentraîner l'ensemble du modèle.
Évolutivité : En utilisant un ensemble limité d'experts et un routeur dynamique, la méthode s'adapte aux supernets avec un nombre énorme de configurations de sous-réseaux possibles sans augmentation linéaire des paramètres ou du coût computationnel.
Généralisabilité : L'approche est présentée comme une solution générale applicable à tout supernet à poids entrelacés, améliorant les performances indépendamment de la stratégie d'entraînement sous-jacente (par exemple, AutoFormer ou DYNAS).

Les auteurs concluent que TAS-LoRA atténue avec succès l'effondrement des caractéristiques, permettant aux sous-réseaux d'apprendre des représentations spécialisées et d'atteindre des performances de l'état de l'art tant dans les tâches de recherche d'architecture que d'apprentissage par transfert.