Spectrum-Adaptive Generalization Bounds for Trained Deep Transformers

Résumé technique : Bornes de généralisation adaptatives au spectre pour les Transformers profonds entraînés

Énoncé du problème
Comprendre pourquoi les Transformers fortement surparamétrés généralisent bien reste un défi fondamental en théorie moderne de l'apprentissage automatique. Bien que les bornes de généralisation basées sur les normes existantes (par exemple, Edelman et al., 2022 ; Trauger et Tewari, 2024) aient réussi à éliminer la dépendance polynomiale explicite vis-à-vis des dimensions cachées et des longueurs de jetons, elles souffrent de deux limitations principales lorsqu'elles sont appliquées à des modèles profonds entraînés :

1. Accumulation de la profondeur : Elles présentent souvent une dépendance défavorable, exponentielle ou à haut polynôme, vis-à-vis de la profondeur du réseau ($L$) en raison de facteurs de propagation couche par couche (s'échelonnant comme $C^L$ ou $L^{3/2}$).
2. Contraintes de normes fixes : Elles reposent sur des rayons de normes fixes (par exemple, normes mixtes $(2,1)$ ou $(1,1)$) spécifiés a priori. Ces rayons croissent généralement avec la dimension cachée ($N$) et ne s'adaptent pas aux profils spectraux hétérogènes observés dans les poids entraînés, où les matrices d'attention exhibent souvent des structures de faible rang distinctes des matrices feedforward.

Méthodologie
Les auteurs dérivent des bornes de généralisation post hoc adaptatives au spectre pour les Transformers multicouches. Les innovations méthodologiques centrales incluent :

• Adaptativité post hoc : Contrairement aux bornes traditionnelles où les paramètres de complexité sont fixés avant l'entraînement, cette approche permet de sélectionner les indices de Schatten ($p$) après l'observation des poids entraînés. Ces indices peuvent être choisis séparément pour chaque type de matrice (Query-Key, Value, Feedforward) et chaque couche.
• Interpolation paramétrique : L'article étend les techniques d'interpolation paramétrique (Ledent et al., 2025) aux classes de fonctions à valeurs matricielles. En décomposant les matrices de poids en une partie principale de faible rang et une queue contrôlée par la norme de Frobenius, les auteurs dérivent des bornes de nombres de recouvrement qui interpolent entre les régimes basés sur le rang ($p=0$) et ceux basés sur la norme ($p=2$).
• Mesures de complexité spectrale : Les bornes sont exprimées en termes de quantités de Schatten $p$ couche par couche ($\|W\|_{s,p}$) et de normes spectrales ($\|W\|_2$). La mesure de complexité est définie comme un infimum sur tous les indices de Schatten admissibles $p \in [0, 2]^{3L}$.
• Analyse des nombres de recouvrement : La preuve construit des nombres de recouvrement pour l'architecture Transformer sous la métrique $\|\cdot\|_{2\to\infty}$. Elle utilise un argument de pelage dyadique sur les rayons de quantités de Schatten réalisés pour garantir que l'événement à haute probabilité s'applique uniformément à tous les choix de $p$, permettant ainsi la sélection post hoc.

Contributions clés

1. Théorème 3.1 (Bornes adaptatives au spectre) : Le résultat principal fournit une borne de l'écart de généralisation où le terme de complexité implique un infimum sur les indices de Schatten. Cela permet à la borne de sélectionner automatiquement le compromis le plus favorable entre complexité spectrale, dimension cachée et profondeur pour chaque matrice apprise spécifique.
2. Théorème 4.1 (Interpolation paramétrique à valeurs matricielles) : Une extension technique fournissant des bornes de nombres de recouvrement pour des fonctions linéaires à valeurs matricielles sous des contraintes simultanées de norme spectrale et de quantités de Schatten. Cela sert de bloc de construction pour l'analyse des Transformers.
3. Comparaison théorique : L'article démontre que dans des régimes représentatifs (contraintes de norme de Frobenius, de rang et de norme spectrale), les bornes proposées améliorent la dépendance vis-à-vis de la profondeur par rapport aux bases de référence existantes basées sur les normes. Plus précisément, la dépendance en profondeur passe de $L^{3/2}$ (dans Edelman et al., 2022) à $\sqrt{L}$ ou mieux, selon la structure spectrale.
4. Validation empirique : En utilisant des points de contrôle de BERT Miniatures, les auteurs construisent des « proxies adaptés à BERT » pour les facteurs de complexité principaux. Ils observent que les proxies dérivés de leurs bornes adaptatives au spectre croissent significativement plus lentement avec l'augmentation de la profondeur ($L$) et de la dimension cachée ($N$) par rapport aux proxies dérivés de Edelman et al. (2022).

Résultats

• Mise à l'échelle de la profondeur et de la dimension : L'analyse théorique montre qu'en sélectionnant des $p$ plus petits (plus proches du rang), le facteur de propagation couche par couche et les facteurs polynomiaux de profondeur sont réduits. Les résultats empiriques sur les points de contrôle BERT confirment que les facteurs de complexité principaux des bornes proposées s'échelonnent plus favorablement que leurs homologues basés sur les normes à mesure que $L$ et $N$ augmentent.
• Hétérogénéité des poids : L'analyse empirique révèle que, tandis que les matrices liées à l'attention (Query-Key, Value) sont exactement de faible rang (en raison des contraintes de dimension de tête), les matrices feedforward présentent un déclin spectral plus lent. Cependant, même pour ces matrices, la sélection post hoc de $p=0$ (basée sur le rang) produit souvent la borne la plus serrée, car la réduction du terme spectral l'emporte sur la pénalité des facteurs d'échelle architecturaux.
• Dépendance à la longueur des jetons : Les bornes conservent une dépendance logarithmique vis-à-vis de la longueur des jetons ($T$), cohérente avec les avancées récentes, bien que l'article note que cela découle de l'argument de recouvrement de type $\ell_2$ utilisé pour l'approche spectrale, contrairement aux arguments de type $\ell_1$ utilisés pour éliminer la dépendance aux jetons dans d'autres travaux.

Signification et affirmations
L'article prétend fournir une perspective basée sur la complexité sur la manière dont la structure spectrale des Transformers entraînés se reflète dans les analyses de généralisation. Sa signification réside dans :

• Adaptativité : Aller au-delà des contraintes de normes globales et fixes pour permettre des mesures de complexité qui s'adaptent aux profils spécifiques de valeurs singulières des poids entraînés.
• Interpolation : Offrir un pont théorique entre les régimes basés sur le rang et ceux basés sur les normes, démontrant que la mesure de complexité optimale dépend des données et peut être sélectionnée post hoc.
• Bornes plus serrées pour les modèles profonds : Fournir un mécanisme pour atténuer les bornes lâches souvent associées aux réseaux profonds en exploitant la nature de faible rang ou compressible des représentations apprises.

Les auteurs notent modestement que leur analyse est agnostique vis-à-vis de l'entraînement, reposant uniquement sur des quantités spectrales post hoc plutôt que sur la trajectoire d'optimisation ou la régularisation implicite. Ils suggèrent que des travaux futurs pourraient intégrer des structures d'activation dépendantes des données et des dynamiques d'optimisation pour des bornes encore plus précises.