Spectrum-Adaptive Generalization Bounds for Trained Deep Transformers

Technische Samenvatting: Spectrum-Adaptieve Generalisatiegrenzen voor Getrainde Deep Transformers

Probleemstelling
Het begrijpen waarom sterk overgeparameteriseerde Transformers goed generaliseren, blijft een fundamentele uitdaging in de moderne machine learning-theorie. Hoewel bestaande op normen gebaseerde generalisatiegrenzen (bijv. Edelman et al., 2022; Trauger en Tewari, 2024) succesvol de expliciete polynomiale afhankelijkheid van verborgen dimensies en tokenlengten hebben verwijderd, lijden ze bij toepassing op diepe, getrainde modellen aan twee primaire beperkingen:

1. Dieptecumulatie: Ze vertonen vaak een ongunstige exponentiële of hoog-polynomiale afhankelijkheid van de netwerkdiepte ($L$) als gevolg van laag-voor-laag propagatiefactoren (schalend als $C^L$ of $L^{3/2}$).
2. Vaste Normbeperkingen: Ze vertrouwen op stralen van vaste normen (bijv. gemengde $(2,1)$- of $(1,1)$-normen) die a priori worden gespecificeerd. Deze stralen groeien typisch mee met de verborgen dimensie ($N$) en slagen er niet in zich aan te passen aan de heterogene spectrale profielen die worden waargenomen in getrainde gewichten, waarbij attentiematrices vaak laag-rang structuren vertonen die verschillen van feedforward-matrices.

Methodologie
De auteurs leiden spectrum-adaptieve post hoc generalisatiegrenzen af voor multi-layer Transformers. De kernmethodologische innovaties omvatten:

• Post Hoc Adaptiviteit: In tegenstelling tot traditionele grenzen, waarbij complexiteitsparameters vóór het trainen worden vastgesteld, maakt deze aanpak het mogelijk om de Schatten-indices ($p$) te selecteren na het observeren van de getrainde gewichten. Deze indices kunnen afzonderlijk worden gekozen voor elk matrixtype (Query-Key, Value, Feedforward) en voor elke laag.
• Parametrische Interpolatie: Het artikel breidt parametrische interpolatietechnieken (Ledent et al., 2025) uit naar matrixwaardige functieklassen. Door gewichtsmatrices te ontleden in een laag-rang leidend deel en een door de Frobenius-norm gecontroleerde staart, leiden de auteurs grenzen voor overdekkingsgetallen af die interpoleren tussen op rang gebaseerde ($p=0$) en op normen gebaseerde ($p=2$) regimes.
• Spectrale Complexiteitsmaten: De grenzen worden uitgedrukt in termen van laag-voor-laag Schatten $p$-kwantiteiten ($\|W\|_{s,p}$) en spectrale normen ($\|W\|_2$). Het complexiteitsmaat wordt gedefinieerd als een infimum over alle toelaatbare Schatten-indices $p \in [0, 2]^{3L}$.
• Analyse van Overdekkingsgetallen: Het bewijs construeert overdekkingsgetallen voor de Transformer-architectuur onder de $\|\cdot\|_{2\to\infty}$-metriek. Het maakt gebruik van een dyadisch afschilferingsargument over gerealiseerde stralen van Schatten-kwantiteiten om ervoor te zorgen dat het gebeurtenis met hoge waarschijnlijkheid uniform geldt voor alle keuzes van $p$, waardoor de post hoc-selectie mogelijk wordt.

Belangrijkste Bijdragen

1. Stelling 3.1 (Spectrum-Adaptieve Grenzen): Het primaire resultaat biedt een grens voor de generalisatiekloof waarbij de complexiteitsterm een infimum over Schatten-indices omvat. Dit stelt de grens in staat om automatisch de meest gunstige afweging te selecteren tussen spectrale complexiteit, verborgen dimensie en diepte voor elke specifieke geleerde matrix.
2. Stelling 4.1 (Matrixwaardige Parametrische Interpolatie): Een technische uitbreiding die grenzen voor overdekkingsgetallen biedt voor lineaire matrixwaardige functies onder gelijktijdige spectrale norm- en Schatten-kwantiteitsbeperkingen. Dit dient als bouwsteen voor de Transformer-analyse.
3. Theoretische Vergelijking: Het artikel toont aan dat in representatieve regimes (Frobenius-, Rang- en Spectrale normbeperkingen) de voorgestelde grenzen de afhankelijkheid van diepte verbeteren ten opzichte van bestaande op normen gebaseerde baselines. Specifiek verbetert de afhankelijkheid van diepte van $L^{3/2}$ (in Edelman et al., 2022) naar $\sqrt{L}$ of beter, afhankelijk van de spectrale structuur.
4. Empirische Validatie: Met behulp van checkpoints van BERT Miniatures construeren de auteurs "BERT-aangepaste proxies" voor de leidende complexiteitsfactoren. Ze observeren dat de proxies die zijn afgeleid uit hun spectrum-adaptieve grenzen aanzienlijk langzamer groeien met toenemende diepte ($L$) en verborgen dimensie ($N$) dan de proxies die zijn afgeleid uit Edelman et al. (2022).

Resultaten

• Schaling van Diepte en Dimensie: De theoretische analyse toont aan dat door kleinere $p$ te selecteren (dichter bij rang), de laag-voor-laag propagatiefactor en polynomiale dieptefactoren worden verminderd. Empirische resultaten op BERT-checkpoints bevestigen dat de leidende complexiteitsfactoren van de voorgestelde grenzen gunstiger schalen dan op normen gebaseerde tegenhangers naarmate $L$ en $N$ toenemen.
• Heterogeniteit van Gewichten: De empirische analyse onthult dat hoewel attentiegerelateerde matrices (Query-Key, Value) exact laag-rang zijn (vanwege head-dimensiebeperkingen), feedforward-matrices een langzamere spectrale afname vertonen. Echter, zelfs voor deze matrices levert de post hoc-selectie van $p=0$ (rang-gebaseerd) vaak de strakste grens op, omdat de reductie in de spectrale term opweegt tegen de straf van architecturale schalingsfactoren.
• Afhankelijkheid van Tokenlengte: De grenzen behouden een logaritmische afhankelijkheid van de tokenlengte ($T$), consistent met recente vooruitgang, hoewel het artikel opmerkt dat dit voortkomt uit het $\ell_2$-type overdekkingsargument dat wordt gebruikt voor de spectrale aanpak, in tegenstelling tot de $\ell_1$-type argumenten die worden gebruikt om tokenafhankelijkheid in andere werken te verwijderen.

Betekenis en Claims
Het artikel claimt een op complexiteit gebaseerd perspectief te bieden op hoe de spectrale structuur van getrainde Transformers wordt weerspiegeld in generalisatieanalyses. De betekenis hiervan ligt in:

• Adaptiviteit: Voorbijgaan aan vaste, globale normbeperkingen om complexiteitsmaten mogelijk te maken die zich aanpassen aan de specifieke singuliere-waardenprofielen van getrainde gewichten.
• Interpolatie: Het bieden van een theoretische brug tussen op rang gebaseerde en op normen gebaseerde regimes, waarbij wordt aangetoond dat het optimale complexiteitsmaat data-afhankelijk is en post hoc kan worden geselecteerd.
• Strakkere Grenzen voor Diepe Modellen: Het bieden van een mechanisme om de losse grenzen die vaak geassocieerd worden met diepe netwerken te mitigeren door gebruik te maken van het laag-rang of comprimeerbare karakter van geleerde representaties.

De auteurs merken bescheiden op dat hun analyse trainings-agnostisch is, en alleen steunt op post hoc spectrale kwantiteiten in plaats van de optimalisatietrajectorie of impliciete regularisatie. Zij suggereren dat toekomstig werk data-afhankelijke activatiestructuren en optimalisatiedynamiek kan integreren voor nog scherpere grenzen.