Technisch overzicht: Voordelen van niet-gladde componenten voor het finetunen van Vision Transformers

Probleemstelling

Hoewel de gladheid (smoothness) van transformer-architecturen uitgebreid is bestudeerd met betrekking tot generalisatie, trainingsstabiliteit en adversariële robuustheid, blijft de specifieke rol ervan bij transfer learning (finetuning) slecht begrepen. Heersende aannames suggereren dat het bevorderen van gladheid (bijv. via Lipschitz-regularisatie) gunstig is voor het leren. Echter, in de context van het aanpassen van foundation models aan downstream-taken, kan excessieve gladheid het vermogen van een component beperken om zijn outputs aan te passen aan veranderingen in inputs, wat de prestaties belemmert. Het artikel adresseert de vraag: Welke transformer-componenten moeten prioriteit krijgen tijdens finetuning, en waarom?

Methodologie

De auteurs stellen een systematische, component-gewijze analyse van Vision Transformers (ViTs) voor op basis van een nieuwe metriek genaamd plasticiteit.

1. Definitie van Plasticiteit

Het artikel definieert de plasticiteit van een transformer-component $f$ als de gemiddelde veranderingssnelheid ten opzichte van input-perturbaties. Formeel, voor een component $f$ en een uniforme distributie $\nu$ over onderscheidende paren token-sequenties $(x, y)$ is de plasticiteit $P(f)$:
$$P(f) = \mathbb{E}_{(x,y)\sim\nu} \left[ \frac{\|f(x) - f(y)\|_F}{\|x - y\|_F} \right]$$

• Hoge Plasticiteit ($P(f) > 1$): Wijst op lage gladheid (niet-glad), waarbij de component inputveranderingen gemiddeld versterkt.
• Lage Plasticiteit ($P(f) < 1$): Wijst op hoge gladheid, waarbij de component inputveranderingen contracteert.

2. Theoretische Analyse

De auteurs leiden theoretische bovengrenzen af voor de plasticiteit van standaard ViT-componenten:

• LayerNorm: Is bewezen een nauwe bovengrens te hebben die afhankelijk is van de inverse van de minimale standaarddeviatie van tokens en de gewichtsnorm.
• Feedforward Layers (FC): Worden begrensd door de spectrale norm van de gewichtsmatrices.
• Multi-Head Self-Attention (MHA): Wordt begrensd door een term die de spectrale normen van gewichten en de sequentielengte $n$ bevat. De analyse laat zien dat MHA een lossere bovengrens (hogere potentiële plasticiteit) heeft vergeleken met LayerNorms en lineaire lagen, met name naarmate de sequentielengte toeneemt.

Dit leidt tot een theoretische rangschikking van plasticiteit: MHA $\to$ FC1 $\approx$ FC2 $\to$ LN2 $\to$ LN1.

3. Empirische Validatie

• Plasticiteitsmeting: De auteurs berekenden de plasticiteitsmetriek op voorgetrainde ViTs (Base, Large, Huge) over 11 diverse classificatie-benchmarks (inclusief CIFAR, DomainNet, Flowers, Pets) en breidden de analyse uit naar zelfgesuperviseerde modellen (DINOv3) en LLM's (GPT-2).
• Finetuning Experimenten: Om het effect van specifieke componenten te isoleren, voerden de auteurs meer dan 1.000 finetuning-runs uit op een 86M-parameter ViT. In elke run werd slechts één specifieke type component (bijv. alleen MHA, alleen FC1, alleen LN1) bijgewerkt, terwijl anderen bevroren bleven.
• Optimalisatie: Experimenten werden uitgevoerd met zowel SGD als Adam optimizers over een sweep van learning rates en random seeds om robuustheid te garanderen.

Belangrijkste Resultaten

1. Empirische Plasticiteitsrangschikking

Experimentele gegevens bevestigden de theoretische rangschikking. Over alle benchmarks en model-schalen heen (ViT-Base tot ViT-Huge, en uitgebreid naar DINOv3 en GPT-2):

• MHA vertoonde consistent de hoogste plasticiteit ($P(f) > 1$).
• Feedforward lagen (FC1, FC2) volgden met een hoge plasticiteit.
• LayerNorms (LN2, LN1) vertoonden de laagste plasticiteit ($P(f) < 1$), en fungeerden als "rigide" of gladde componenten.

2. Finetuning Prestaties

De component-gewijze finetuning experimenten onthulden een directe correlatie tussen plasticiteit en downstream prestaties:

• Superieure Accuratesse: Het aanpassen van componenten met hoge plasticiteit (M와 FC-lagen) leverde consistent een hogere top-1 accuratesse op dan het aanpassen van componenten met lage plasticiteit (LayerNorms).
• Statistische Significantie: Op uitdagende datasets (bijv. CIFAR-100, Sketch, Clipart) presteerden MHA en FC-lagen significant beter dan LayerNorms. Bijvoorbeeld, het finetunen van enkel MHA overtrof vaak de volledige finetuning baselines op kleine datasets.
• Robuustheid: Componenten met hoge plasticiteit vertoonden een grotere stabiliteit over verschillende learning rates en initialisatie-seeds, met een kleinere variantie in prestaties.
• Optimalisatiedynamiek: Het artikel observeerde dat componenten met hoge plasticiteit grotere gradiëntnormen genereren tijdens de training, wat leidt tot een steilere loss-descent en snellere convergentie naar lokale minima. Dit staat in contrast met gladde componenten, die gradiëntnormen beperken en resulteren in een tragere optimalisatie.

3. Vergelijking met Parameter-Efficiënte Methoden (PEFT)

De studie vond dat het selectief finetunen van componenten met hoge plasticiteit (bijv. MHA) competitief kan zijn met of superieur aan populaire PEFT-methoden zoals LoRA, zelfs met aanzienlijk minder trainbare parameters. Bijvoorbeeld, het finetunen van enkel de LayerNorms met Adam presteerde beter dan LoRA op CIFAR-100 met 15$\times$ minder parameters, hoewel MHA-tuning over het algemeen de beste resultaten opleverde.

Betekenis en Claims

Het artikel claimt een nieuw perspectief te bieden op de functionele eigenschappen van transformers, waarmee de conventionele wijsheid dat gladheid universeel wenselijk is voor leren, wordt uitgedaagd.

• Paradigmaverschuiving: De auteurs argumenteren dat hoewel gladheid helpt bij generalisatie en stabiliteit tijdens pretraining, niet-gladheid (hoge plasticiteit) de cruciale factor is die effectieve adaptatie tijdens finetuning mogelijk maakt.
• Praktische Richtlijnen: Het werk biedt principiële richtlijnen voor beoefenaars: bij het ontwerpen van parameter-efficiënte finetuning-strategieën moet de prioriteit worden gegeven aan attention modules en feedforward lagen in plaats van normalisatie-lagen.
• Brug tussen Theorie en Praktijk: Het artikel slaagt erin de theoretische grenzen van Lipschitz-constanten te verbinden met empirische optimalisatiedynamiek, waarbij wordt aangetoond dat de "plasticiteit" van een module de capaciteit bepaalt om informatie over downstream-data te dragen en gradiënt-gebaseerde optimalisatie te faciliteren.

De auteurs concluderen dat het begrijpen en benutten van de plasticiteit van niet-gladde componenten essentieel is voor het ontwerpen van efficiëntere adaptatiemethoden voor foundation models.