🤖 machine learning

LionVote: Per-Layer Learning Rate Adaptation for Lion

Cet article introduit LionVote, un mécanisme d'adaptation du taux d'apprentissage par couche qui utilise la stabilité du gradient et les diagnostics de momentum pour ajuster dynamiquement les taux d'apprentissage, atteignant des améliorations de précision statistiquement significatives par rapport à Lion et AdamW standards sur ViT-Tiny/CIFAR-100 en traitant les disparités de taux d'apprentissage inter-couches inhérentes aux architectures Transformer.

Auteurs originaux : Kris Atallah (New York University, New York, USA)

Publié 2026-07-13

📖 6 min de lecture🧠 Analyse approfondie

CC0 1.0

Auteurs originaux : Kris Atallah (New York University, New York, USA)

Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous entraînez un cerveau numérique géant pour reconnaître des chats, des chiens et des voitures. Ce cerveau est composé de nombreuses couches différentes, comme un immeuble à plusieurs étages. Habitellement, pour enseigner à ce cerveau, nous donnons à chaque étage exactement la même quantité de « temps d'étude » (un taux d'apprentissage) à la même vitesse. C'est comme si un professeur disait aux classes de mathématiques, d'arts plastiques et d'éducation physique de tous courir exactement au même rythme, peu importe ce qu'ils font.

Mais et si les élèves de mathématiques devaient sprinter, tandis que les élèves d'arts devaient se promener tranquillement ?

C'est le problème que LionVote résout. C'est une nouvelle façon d'entraîner un type spécifique de cerveau numérique appelé « Lion ». Les chercheurs ont découvert que si l'on traite chaque partie du cerveau de la même manière, certaines parties sont submergées et d'autres s'ennuient.

La grande découverte : L'« échelle effective » du cerveau est décalée

Les auteurs ont mesuré comment le cerveau Lion apprend et ont découvert quelque chose de surprenant. Sur un test spécifique (utilisant un modèle appelé ViT-Tiny sur le jeu de données CIFAR-100), l'« échelle effective » du cerveau était 2,6 à 2,8 fois trop élevée pour les parties qui gèrent l'attention et la pensée complexe (paramètres MLP). Pour les parties qui assurent l'organisation (couches de normalisation), elle était environ 2 fois trop élevée.

Pensez-y de cette façon : les parties d'attention du cerveau essaient de boire à un jet d'eau haute pression, tandis que les parties d'organisation boivent à un tuyau d'arrosage de jardin. Les parties d'attention et de MLP reçoivent en réalité une échelle effective 32 % plus élevée que les parties de normalisation, même si l'enseignant (le taux d'apprentissage global) règle le robinet sur le même réglage pour les deux. Ce décalage rend difficile l'apprentissage efficace du cerveau.

La solution : Un système de vote pour chaque couche

Pour corriger cela, les chercheurs ont inventé LionVote. Au lieu d'un seul enseignant criant des instructions à tout l'immeuble, ils ont donné à chaque couche du cerveau son propre petit « compteur de niveau » persistant.

Voici comment fonctionne le vote :

Le niveau composé : Chaque couche possède un score (un entier) qui commence à zéro. Ce score agit comme un bouton de volume, augmentant ou diminuant le taux d'apprentissage.
Les deux votes : Tous les quelques époques (cycles d'entraînement), la couche vérifie sa propre santé à l'aide de deux tests spécifiques :
- Vote 1 (Vérification de la direction) : La couche se déplace-t-elle dans une direction constante, ou oscille-t-elle de gauche à droite ? Si le gradient (la direction de l'apprentissage) est stable, elle reçoit un « pouce levé ». S'il bascule de manière sauvage, elle reçoit un « pouce baissé ».
- Vote 2 (Santé de l'inertie) : L'inertie (sa vitesse et son élan) de la couche est-elle trop forte par rapport à ses progrès actuels ? Si elle part en vrille, elle reçoit un « pouce baissé ».
Le départage : Parfois, les deux votes ne sont pas d'accord (l'un dit « va plus vite », l'autre dit « ralentis »). Quand cela arrive, le système regarde la perte de validation (un score de la performance du cerveau lors d'un test d'entraînement). Si le score du test d'entraînement s'est amélioré, il vote pour continuer ; s'il s'est dégradé, il vote pour ralentir.

Sur la base de ces votes, le « bouton de volume » (le niveau composé) de la couche augmente ou diminue. Si une couche est stable, elle peut recevoir un boost. Si elle est chaotique, elle reçoit un temps mort.

Les résultats : Une petite mais réelle victoire

Lorsqu'ils ont testé cela sur le modèle ViT-Tiny :

LionVote a atteint 69,71 % de précision.
L'optimiseur Lion standard a obtenu 68,95 %.
L'optimiseur populaire AdamW a obtenu 68,75 %.

La différence entre LionVote et le Lion standard est statistiquement significative (ce qui signifie qu'il est probable qu'il s'agisse d'une véritable amélioration et non de chance), avec une probabilité de moins de 2 % que cela soit dû au hasard. Sur le test ViT-Tiny/CIFAR-100, LionVote a également battu AdamW, bien que sur le test ViT-Tiny/CIFAR-10, LionVote ait égalé AdamW plutôt que de le battre.

Ce que cela ne signifie PAS

Il est important de savoir ce que cette méthode ne fait pas, car l'article est très clair à ce sujet :

Ce n'est pas un remède miracle pour tout. Sur des réseaux plus simples et uniformes (comme WideResNet), l'ancienne méthode consistant à ajuster manuellement le taux d'apprentissage (en utilisant le SGD avec un recuit cosinusique) reste gagnante. LionVote n'a pas aidé là, il a même, sur certains tests, légèrement aggravé les choses.
Ce n'est pas une solution permanente pour toutes les tâches. Le bénéfice dépend fortement de la différence entre les couches. Plus l'architecture est « hétérogène » (différente), plus LionVote est utile. Sur le réseau uniforme WideResNet, les couches étaient trop similaires pour que le système de vote puisse trouver beaucoup de choses à corriger.
Ce n'est pas un système « on l'installe et on l'oublie » pour tous les optimiseurs. Les règles spécifiques pour le vote de la « Santé de l'inertie » ont été dérivées spécifiquement pour l'optimiseur Lion. Si vous essayiez d'utiliser ces règles exactes sur un autre optimiseur comme Adam, elles pourraient ne pas fonctionner car la mathématique derrière l'inertie est différente.

À retenir

L'article suggère que l'adaptation par couche est un outil puissant, mais seulement lorsque l'architecture du cerveau est assez complexe pour avoir des besoins différents. LionVote prouve qu'en laissant chaque couche voter sur sa propre vitesse d'apprentissage, nous pouvons extraire un peu de performance supplémentaire (environ 0,7 point de pourcentage sur ce test spécifique) sans avoir besoin de deviner les réglages parfaits à la main.

C'est comme réaliser que, dans une école très fréquentée, le professeur de maths, le professeur d'arts et le professeur d'EPS ne devraient pas tous donner les mêmes instructions au même volume. Parfois, la classe de maths a besoin d'un murmure, et la classe de sport a besoin d'un mégaphone. LionVote est le système qui permet à chaque classe de décider par elle-même.

Résumé technique : LionVote : Adaptation du taux d'apprentissage par couche pour Lion

Énoncé du problème

Les réseaux de neurones profonds ne sont pas monolithiques ; différents types de couches (par exemple, l'attention, les MLP, la normalisation) présentent des caractéristiques d'optimisation distinctes. Les optimiseurs standards comme Lion appliquent un taux d'apprentissage (LR) global unique à tous les paramètres, ce qui peut conduire à un mauvais calibrage. Plus précisément, la règle de mise à jour basée sur le signe de l'optimiseur Lion rejette l'amplitude du gradient, empêissant les couches directionnellement instables de compenser via des mises à jour plus importantes. Cela rend Lion particulièrement sensible au mauvais calibrage du taux d'apprentissage par couche par rapport aux méthodes basées sur le second moment comme Adam.

Des travaux antérieurs ont montré que le préconditionnement adaptatif par couche peut restaurer les avantages des méthodes adaptatives, mais les approches existantes opèrent soit sans état (par exemple, LARS, LAMB), soit par une adaptation par coordonnée sans historique au niveau de la couche, soit reposent sur des affectations de couches codées en dur (par exemple, Muon). Il existe une lacune dans les méthodes combinant une adaptation par couche avec état et un ajustement de taux fondé sur les données qui ne nécessite pas de réglage manuel des magnitudes de divergence.

Méthodologie : LionVote

LionVote est un mécanisme de taux d'apprentissage par couche conçu pour l'optimiseur Lion. Il introduit un « niveau composé » entier persistant ( $s_i$ ) pour chaque tenseur de paramètres, qui module le taux d'apprentissage de base de manière exponentielle. Le système fonctionne sans modifier la règle de mise à jour centrale de Lion, mais ajoute un mécanisme de vote qui s'exécute toutes les $c$ époques.

Composants fondamentaux

Niveau composé ( $s_i$ ) :
Chaque paramètre $i$ maintient un niveau $s_i \in \{-L, \dots, +L\}$ (par défaut $L=4$ ). Le taux d'apprentissage effectif est :
$\alpha_i = \text{lr} \cdot \exp(s_i \cdot \beta_1/2)$
où $\text{lr}$ est le taux de base global et $\beta_1$ est le coefficient d'interpolation de l'élan (momentum) de Lion. À $\beta_1=0,9$ , un pas unitaire dans $s_i$ correspond à un multiplicateur de $\times 1,57$ .
Diagnostics de vote :
Toutes les $c$ époques, deux diagnostics votent pour augmenter, diminuer ou maintenir le taux pour chaque couche :
- Vote 1 (Stabilité de la direction du gradient) : Calcule la similitude cosinus entre le gradient moyen actuel et celui de l'époque précédente.
  - Seuils : $+1$ si l'alignement $> 0,5$ (stable), $-1$ si $< 0$ (inversé), $0$ sinon.
  - Dérivation : Le seuil de $0,5$ correspond à une supermajorité des $2/3$ de paires de signes de coordonnées s'accordant sous l'isotropie des coordonnées (formule de Sheppard).
- Vote 2 (Santé de l'élan) : Calcule le ratio de la norme de l'EMA de l'élan par rapport à la norme du gradient ( $r = \|m\| / \|\bar{g}\|$ $r = ∥ m ∥/∥ \overset{g}{ˉ} ∥$ ).
  - Seuils : $-1$ si $r > e$ , $+1$ si $r < 1/e$ , $0$ sinon.
  - Dérivation : Dérivé de la constante de temps intrinsèque de la $\beta_2$ -EMA ( $\beta_2^\tau = e^{-1}$ ).
Arbitre (Perte de validation) :
Si les deux votes sont en conflit ou si les deux s'abstiennent, un arbitre global résout la décision en fonction du changement relatif de la perte de validation ( $\delta$ ).
- Seuil : $\pm 1\,\%$ , choisi pour correspondre au niveau de bruit de l'estimation de la perte d'entropie croisée pour des tailles de jeux de validation typiques.
- Note : Sur ViT-Tiny/CIFAR-100, cet arbitre est la voie de signal dominante, s'activant pour environ $59\,\%$ des décisions.
Règle de mise à jour :
Le niveau composé $s_i$ est mis à jour via une règle asymétrique : un vote de $+1$ réinitialise les niveaux négatifs à 0 et incrémente les niveaux positifs ; un vote de $-1$ réinitialise les niveaux positifs à 0 et décrémente les niveaux négatifs. Un vote de $0$ fait décroître le niveau vers zéro.

Principales contributions

Un mécanisme par couche avec état pour Lion : Le papier propose un système de vote dont les seuils sont dérivés d'identités géométriques et de constantes de temps d'EMA plutôt que d'être ajustés manuellement. La méthodologie de dérivation de ces seuils (par exemple, la convention de la supermajorité des $2/3$ et le facteur $e$ pour l'élan) est présentée comme réutilisable pour d'autres optimiseurs.
Miscalibration quantifiée de Lion : À travers les trajectoires des niveaux composés, les auteurs démontrent que sur ViT-Tiny/CIFAR-100, l'échelle effective de Lion est systématiquement trop élevée :
- $2,6\times$ à $2,8\times$ trop élevée pour les paramètres d'Attention et de MLP.
- $\sim 2\times$ trop élevée pour les couches de Normalisation.
- Les couches de Normalisation reçoivent une échelle effective $32\,\%$ plus élevée que les couches d'Attention. Cette disparité ne peut être reproduite par une simple réduction globale du taux.
Dépendance à l'architecture et à la tâche : La valeur de l'adaptation par couche dépend de l'hétérogénéité architecturale et de la tâche spécifique.
- ViT-Tiny : Montre des gains significatifs sur CIFAR-100 ( $69,7\,\%$ contre $69,0\,\%$ pour Lion) en raison de la grande dispersion des types de couches.
- WideResNet : Sur les architectures CNN uniformes, le SGD ajusté avec lissage cosinus (cosine annealing) reste dominant, et LionVote n'offre aucun avantage constant.
- Sensibilité à la tâche : Sur ViT-Tiny, LionVote améliore les performances sur CIFAR-100 mais dégrade significativement les performances sur CIFAR-10 ($-0,88$ pp), indiquant que l'hétérogénéité architecturale seule est insuffisante ; des facteurs liés au niveau de la tâche dictent également l'utilité de l'adaptation.

Résultats expérimentaux

Les expériences ont été menées sur WideResNet et ViT-Tiny à travers CIFAR-10 et CIFAR-100 avec 8 graines aléatoires (seeds).

ViT-Tiny / CIFAR-100 : LionVote (cadence 8) atteint 69,71 % de précision top-1, surpassant Lion (68,95 %, $p < 0,02$ ) et AdamW (68,75 %). Il atteint le seuil de 68 % d'exactitude environ 80 époques plus vite que Lion.
ViT-Tiny / CIFAR-10 : LionVote (cadence 8) atteint 91,52 %, ce qui est statistiquement inférieur à Lion standard (92,40 %, $p < 0,001$ ).
WideResNet : Le SGD ajusté avec lissage cosinus domine toutes les configurations (par exemple, 96,08 % sur WRN-28-10/CIFAR-10). LionVote ne surpasse pas systématiquement Lion ou SGD sur ces CNN uniformes.
Ablation :
- L'arbitre est crucial pour les gains sur CIFAR-100 ; le supprimer réduit la performance en dessous de Lion.
- Le Vote 1 (stabilité du gradient) est le principal moteur de la différenciation par couche.
- Le Vote 2 (santé de l'élan) se déclenche rarement sur cette charge de travail, agissant comme un diagnostic dormant.
- Une variante avec une règle de mise à jour symétrique a obtenu la précision la plus élevée de l'étude (70,54 % sur ViT/CIFAR-100) mais avec une variance plus élevée.

Signification et affirmations

Le papier affirme que LionVote fournit un mécanisme de principe, non ajusté, pour l'adaptation par couche dans les optimiseurs basés sur le signe. Sa signification réside dans trois domaines :

Réutilisabilité méthodologique : La dérivation des seuils de vote à partir de structures mathématiques (identités géométriques, constantes de temps d'EMA) offre un modèle pour concevoir des mécanismes par couche pour d'autres optimiseurs sans dépendre du méta-apprentissage ou d'un ajustement extensif des hyperparamètres.
Diagnostic de Lion : Il quantifie un mauvais calibrage spécifique de l'échelle effective de Lion à travers les types de couches, suggérant que les travaux futurs sur Lion devraient considérer une mise à l'échelle sensible au type de couche, même sans le mécanisme de vote complet.
Valeur contextuelle : Il établit que l'adaptation par couche n'est pas une panacée universelle. Sa valeur dépend de l'hétérogénéité architecturale (par exemple, ViTs vs CNN uniformes) et de la difficulté de la tâche. Le papier conclut modestement que bien que le mécanisme fonctionne bien pour les architectures hétérogènes comme les ViTs sur des tâches complexes (CIFAR-100), il n'offre aucun avantage constant sur les CNN uniformes ou les tâches plus simples où Lion est déjà proche de son plafond de performance.

Les auteurs notent des limites, notamment la dépendance à la perte de validation pour l'arbitre (qui devrait idéalement porter sur un ensemble séparé), la variance plus élevée entre les graines par rapport à Lion standard, et le fait que le champ d'application est limité aux jeux de données CIFAR et à des tailles de modèles spécifiques. Ils laissent ouvertes des questions concernant la généralisation à d'autres optimiseurs et le potentiel d'une cadence adaptative.