Résumé technique : HORST : Composition de géométries d'optimiseurs pour l'entraînement de Transformers épars

Énoncé du problème

L'épuration (sparsification) des modèles Transformer reste un défi fondamental. Bien que l'épuration des réseaux (suppression des poids redondants) offre une voie prometteuse pour la compression de modèles et l'inférence efficace, elle conduit systématiquement à une dégradation significative des performances des Transformers, en particulier aux niveaux d'épuration élevés où la compression est la plus précieuse. En revanche, les réseaux de convolution s'épurent plus efficacement.

Les auteurs soutiennent que cette disparité découle du biais implicite des optimiseurs utilisés pendant l'entraînement. Les Transformers standards reposent sur des optimiseurs adaptatifs comme AdamW, qui présentent un biais implicite $L_\infty$. Ce biais favorise la stabilité en égalisant les magnitudes des poids à travers les paramètres, une géométrie fondamentalement incompatible avec le biais $L_1$ requis pour l'épuration, qui nécessite de concentrer la masse des poids sur un petit sous-ensemble de paramètres tout en poussant le reste vers zéro. À l'inverse, la descente de gradient standard (utilisée dans les CNN) induit un biais $L_2$, et la descente de coordonnées (une descente la plus raide basée sur $L_1$) est théoriquement idéale pour l'épuration mais computationnellement irréalisable pour les grands réseaux profonds.

Les tentatives existantes pour induire l'épuration via la descente miroir (par exemple, en utilisant l'entropie hyperbolique) échouent souvent dans le contexte des Transformers car elles remplacent directement le gradient, perdant ainsi la stabilité fournie par les méthodes adaptatives. Le problème central est une tension géométrique : la stabilité des optimiseurs adaptatifs ($L_\infty$) entre en conflit avec les exigences d'épuration ($L_1$).

Méthodologie

L'article propose HORST (Hyperbolic Operator for Robust Sparse Training), un optimiseur modulaire qui résout cette tension en composant les étapes d'optimisation en tant qu'opérateurs fonctionnels non commutatifs.

1. Cadre de composition d'opérateurs

Les auteurs traitent les mises à jour d'optimisation comme des opérateurs agissant sur les vecteurs de paramètres et les gradients. Ils identifient deux classes distinctes d'opérateurs :

• Opérateurs de descente la plus raide : Bornés et invariants à l'échelle (par exemple, la Descente du Signe, qui approxime Adam). Ceux-ci fournissent une stabilité mais induisent un biais $L_\infty$.
• Opérateurs de descente miroir : Linéaires mais généralement non bornés. Des cartes miroir spécifiques, telles que la carte miroir d'entropie hyperbolique, induisent un biais $L_1$ favorisant l'épuration.

2. Non-commutativité et ordre des opérations

Une insight théorique clé est que ces classes d'opérateurs sont non commutatives.

• Appliquer une étape miroir suivie d'une étape de descente la plus raide ($S \circ M$) entraîne la domination de l'opérateur de descente la plus raide, annulant efficacement le biais d'épuration.
• Appliquer une étape de descente la plus raide suivie d'une étape miroir ($M \circ S$) permet à la carte miroir d'agir sur la mise à jour basée sur le signe, héritant avec succès de la stabilité de la descente la plus raide tout en induisant le biais d'épuration $L_1$.

3. L'algorithme HORST

HORST implémente la composition $M_R \circ S$ dans un cadre discret et pratique :

1. Mise à jour stable : Il effectue d'abord une mise à jour adaptative standard (AdamW), qui fournit la stabilité nécessaire et une régularisation de type $L_\infty$.
2. Induction d'épuration : Il applique ensuite une mise à jour exponentielle dérivée de la carte miroir d'entropie hyperbolique. Cette étape reparamètre efficacement les poids pour favoriser l'épuration.
3. Régularisation découplée : L'algorithme intègre un décrochage de poids découplé et un terme de régularisation supplémentaire ($\beta$) pour contrôler davantage le biais d'épuration.

La règle de mise à jour est définie comme suit :
$$\theta_{k+1/2} = \theta_k - \text{Adam}(g(\theta_k), \eta) - \eta \lambda \theta_k$$
$$\theta_{k+1} = \theta_{k+1/2} \exp\left( -\alpha \cdot \text{sign}(\theta_{k+1/2}) \cdot \text{Adam}(g(\theta_k), \eta) - \eta \beta \right)$$
Ici, $\alpha$ contrôle l'intensité relative du biais d'épuration. Le réglage de $\alpha=0$ permet de retrouver AdamW standard.

Contributions clés

1. Dichotomie géométrique : L'article formalise la dichotomie structurelle entre la descente la plus raide (bornée, stable, biais $L_\infty$) et la descente miroir (linéaire, non bornée, biais $L_1$), illustrant pourquoi aucune des deux ne suffit à elle seule pour un entraînement robuste de Transformers épars.
2. Composition d'opérateurs : Il introduit la composition des opérateurs d'optimiseur comme principe de conception, démontrant que l'ordre de composition est critique. L'ordre spécifique ($M \circ S$) permet au système d'hériter de la stabilité des méthodes adaptatives tout en écrasant leur biais implicite par un biais $L_1$ favorisant l'épuration.
3. Garantie théorique : Les auteurs prouvent (Théorème 4.7) que la composition de la descente la plus raide (par rapport à une norme $L_p$, $p \ge 2$) avec une carte miroir d'entropie hyperbolique fait converger les itérés en direction vers la solution d'un problème de minimisation $L_1$, écrasant efficacement le biais $L_\infty$ de l'optimiseur de base.
4. Optimiseur HORST : Ils proposent HORST, un optimiseur modulaire qui s'intègre parfaitement aux méthodes adaptatives standards (comme AdamW) et ne nécessite aucune évaluation de gradient supplémentaire, seulement une mise à jour exponentielle par paramètre.

Résultats expérimentaux

Les auteurs évaluent HORST sur des tâches de vision et de langage en utilisant le pipeline d'épuration AC/DC (Alternating Compressed/Decompressed).

• Transformers de vision (DeiT) : Sur ImageNet, HORST-AdamW surpasse systématiquement les références AdamW à tous les niveaux d'épuration (70 %, 80 %, 90 %). Les gains sont les plus prononcés aux fortes épurations (80–90 %), où les performances d'AdamW se dégradent brutalement. Par exemple, à 90 % d'épuration sur DeiT-base, HORST atteint une précision de 76,83 % contre 68,86 % pour AdamW.
• Modèles de langage (GPT-2 Small) : Dans l'élagage non structuré par magnitude couche par couche en un seul coup sur SlimPajama-6B, les modèles entraînés avec HORST-AdamW présentent une perplexité de validation significativement plus faible après élagage par rapport à AdamW et à l'optimiseur HAM. L'écart s'élargit aux niveaux d'épuration plus élevés.
• Comparaison avec HAM : HORST surpasse nettement HAM (un optimiseur alterné précédent) sur DeiT-small à 90 % d'épuration (70,5 % contre 60,06 %). Les auteurs attribuent cela à la composition de la mise à jour exponentielle avec la mise à jour AdamW elle-même par HORST, plutôt qu'à l'application d'une étape exponentielle basée sur le gradient comme le fait HAM.
• Distribution des poids : Les visualisations confirment que HORST induit une distribution de poids fortement concentrée autour de zéro (indiquant un biais $L_1$), tandis qu'AdamW conserve un profil plus large, proche d'une gaussienne.

Importance et affirmations

L'article affirme que le biais implicite de l'optimiseur est un goulot d'étranglement principal pour l'entraînement de Transformers épars. En traitant les étapes d'optimisation comme des opérateurs composables, les auteurs démontrent qu'il est possible de découpler la stabilité des méthodes adaptatives de leur biais géométrique.

L'importance de HORST réside dans sa capacité à :

• Permettre l'entraînement de Transformers à forte épuration sans la dégradation sévère des performances généralement associée à une telle compression.
• Fournir un cadre principiel et modulaire pour concevoir des optimiseurs capables de satisfaire simultanément des exigences géométriques contradictoires (stabilité vs épuration).
• Offrir une solution pratique nécessitant une surcharge computationnelle minimale (aucune évaluation de gradient supplémentaire) et s'intégrant aux pipelines d'entraînement épar existants.

Les auteurs concluent que, bien que la limite $L_\infty$ de la descente la plus raide et son interaction avec les mises à jour miroir restent une question théorique ouverte, le cadre proposé comble avec succès le fossé entre la stabilité de l'entraînement adaptatif et la géométrie des solutions éparse.