📊 statistics

Vision Transformer Finetuning Benefits from Non-Smooth Components

Diese Arbeit zeigt, dass die Priorisierung der Anpassung von Komponenten mit hoher Plastizität (weniger glatt), spezifisch der Attention- und Feedforward-Schichten, die Performance des Fine-Tunings von Vision Transformern signifikant verbessert und damit die weit verbreitete Annahme infrage stellt, dass Glattheit für das Transfer Learning immer wünschenswert sei.

Ursprüngliche Autoren: Ambroise Odonnat, Laetitia Chapel, Romain Tavenard, Ievgen Redko

Veröffentlicht 2026-06-04

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ambroise Odonnat, Laetitia Chapel, Romain Tavenard, Ievgen Redko

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen hochqualifizierten Experten, wie etwa einen Meisterkoch, der jahrelang tausende verschiedene Gerichte gekocht hat. Dieser Koch ist Ihr Vision Transformer (ViT), ein leistungsfähiges KI-Modell, das Bilder versteht. Nun möchten Sie diesen Koch auf eine neue, spezifische Aufgabe spezialisieren, wie zum Beispiel das Zubereiten von perfektem Sushi. Dieser Prozess, dem Experten eine neue Fertigkeit beizubringen, wird als Finetuning bezeichnet.

Lange Zeit glaubten Forscher, dass man diesen Koch gut unterrichten müsse, indem man seine Bewegungen glatt, stetig und vorhersehbar hält. Man wollte, dass er sanft auf neue Zutaten reagiert. Aber dieses neue Paper argumentiert, dass diese „Glätte“ ihn tatsächlich ausbremsen könnte. Stattdessen schlägt das Paper vor, dass die erfolgreichsten Köche diejenigen sind, die bereit sind, ein wenig grob, reaktiv und „plastisch“ (flexibel) zu sein.

Hier ist die Aufschlüsselung ihrer Erkenntnisse unter Verwendung einfacher Analogien:

1. Das Konzept: Glätte vs. Plastizität

Betrachten Sie das KI-Modell als eine Maschine mit verschiedenen Teilen:

LayerNorm (Die Stoßdämpfer): Diese Teile glätten die Daten und stellen sicher, dass nichts zu wild verändert wird. Sie sind wie die Federung eines Autos, die für eine stabile Fahrt sorgt.
Attention Modules & Feedforward Layers (Der Motor & das Lenkrad): Dies sind die Teile, die tatsächlich die Daten betrachten, entscheiden, was wichtig ist, und den Output verändern.

Das Paper führt ein Konzept namens Plastizität ein.

Geringe Plastizität (Glatt): Wenn man das Auto schubst, bewegt es sich kaum. Es ist sehr stabil, aber schwer schnell in eine neue Richtung zu lenken.
Hohe Plastizität (Nicht-glatt): Wenn man das Auto schubst, reagiert es sofort und dramatisch. Es ist sprunghaft und sensibel, aber es kann die Richtung sehr schnell ändern.

2. Die große Entdeckung

Die Forscher führten über 1.000 Experimente durch, um zu sehen, welche Teile des KI-Modells aktualisiert werden sollten, wenn man es eine neue Aufgabe lehrt. Sie fanden ein überraschendes Muster:

Die „glatten“ Teile (LayerNorms) sind eigentlich am schlechtesten zu aktualisieren. Da sie darauf ausgelegt sind, stabil und unveränderlich zu sein, wehren sie sich gegen das Erlernen neuer Dinge. Sie zu aktualisieren ist, als würde man versuchen, ein Auto zu lenken, indem man nur die Stoßdämpfer anpasst; es ist langsam und ineffektiv.
Die „rauen“ Teile (Attention- und Feedforward-Layer) sind am besten zu aktualisieren. Diese Teile besitzen eine hohe Plastizität. Sie sind von Natur aus sensibel und reaktiv. Wenn man sie anpasst, ändert sich das Verhalten des Modells schnell und effektiv, was es dem Modell ermöglicht, die neue Aufgabe (wie das Sushi-Machen) viel schneller und besser zu lernen.

3. Die Analogie der Loss-Landschaft

Stellen Sie sich den Lernprozess wie einen Wanderer vor, der versucht, den Boden eines Tals zu finden (die beste Lösung).

Glatte Komponenten sind wie das Wandern auf einer flachen, schlammigen Ebene. Man macht kleine, vorsichtige Schritte, aber man bewegt sich sehr langsam. Man könnte in einer kleinen Senke stecken bleiben und den wahren Boden niemals erreichen.
Hochplastische Komponenten sind wie das Wandern an einem steilen, felsigen Hang. Man macht große, mutige Schritte. Man mag zwar mal stolpern, aber man kann die Strecke viel schneller zurücklegen und den Boden des Tals viel schneller finden.

4. Was dies für Praktiker bedeutet

Wenn Sie ein Ingenieur sind, der versucht, ein großes KI-Modell an einen neuen Job anzupassen, gibt Ihnen dieses Paper eine klare Faustregel:

Verschwenden Sie keine Zeit damit, die „glatten“ Teile (die Normalisierungsschichten) zu aktualisieren. Sie sind zu starr.
Konzentrieren Sie Ihre Energie auf die „nicht-glatten“ Teile (die Attention-Mechanismen und die Feedforward-Layer). Dies sind die flexiblen, reaktiven Teile, die das Lernen vorantreiben.

Zusammenfassung

Das Paper stellt die alte Vorstellung auf den Kopf. Wir dachten früher, dass es immer gut sei, KI-Modelle „glatt“ und stabil zu machen. Diese Forschung zeigt, dass man für das Lernen neuer Aufgaben tatsächlich etwas Rauheit und Flexibilität braucht. Die Teile der KI, die am empfindlichsten auf Veränderungen reagieren (hohe Plastizität), sind diejenigen, die am besten lernen.

Kurz gesagt: Um einer KI einen neuen Trick beizubringen, versuchen Sie nicht, sie glatt zu bügeln. Lassen Sie die Teile, die ohnehin schon sprunghaft und reaktiv sind, die schwere Arbeit erledigen.

Technisches Resümee: Vorteile nicht-glatter Komponenten beim Fine-Tuning von Vision Transformern

Problemstellung

Während die Glattheit von Transformer-Architekturen im Hinblick auf Generalisierung, Trainingsstabilität und adversarielle Robustheit umfassend untersucht wurde, bleibt ihre spezifische Rolle beim Transfer Learning (Fine-Tuning) unzureichend verstanden. Vorherrschende Annahmen legen nahe, dass die Förderung von Glattheit (z. B. durch Lipschitz-Regularisierung) vorteilhaft für das Lernen ist. Im Kontext der Anpassung von Foundation Models an Downstream-Aufgaben könnte eine übermäßige Glattheit jedoch die Fähigkeit einer Komponente einschränken, ihre Ausgaben an Änderungen der Eingaben anzupassen, was die Leistung behindert. Die Arbeit adressiert die Frage: Welche Transformer-Komponenten sollten beim Fine-Tuning priorisiert werden und warum?

Methodik

Die Autoren schlagen eine systematische, komponentenweise Analyse von Vision Transformern (ViTs) basierend auf einer neuen Metrik namens Plastizität vor.

1. Definition der Plastizität

Die Arbeit definiert die Plastizität einer Transformer-Komponente $f$ als deren durchschnittliche Änderungsrate in Bezug auf Eingabestörungen. Formal gilt für eine Komponente $f$ und eine Gleichverteilung $\nu$ über distinkte Paare von Token-Sequenzen $(x, y)$ :
$P(f) = \mathbb{E}_{(x,y)\sim\nu} \left[ \frac{\|f(x) - f(y)\|_F}{\|x - y\|_F} \right]$

Hohe Plastizität ( $P(f) > 1$ ): Deutet auf geringe Glattheit (Nicht-Glattheit) hin, wobei die Komponente Eingangsänderungen im Durchschnitt verstärkt.
Geringe Plastizität ( $P(f) < 1$ ): Deutet auf hohe Glattheit hin, wobei die Komponente Eingangsänderungen kontrahiert.

2. Theoretische Analyse

Die Autoren leiten theoretische obere Schranken für die Plastizität standardmäßiger ViT-Komponenten ab:

LayerNorm: Es wurde nachgewiesen, dass sie eine enge obere Schranke besitzt, die von der inversen minimalen Standardabweichung der Token und der Gewichtsnorm abhängt.
Feedforward-Schichten (FC): Gebunden durch die Spektralnorm der Gewichtmatrizen.
Multi-Head Self-Attention (MHA): Gebunden durch einen Term, der die Spektralnormen der Gewichte und die Sequenzlänge $n$ beinhaltet. Die Analyse zeigt, dass MHA eine lockerere Schranke (höhere potenzielle Plastizität) aufweist als LayerNorms und lineare Schichten, insbesondere wenn die Sequenzlänge zunimmt.

Dies führt zu einer theoretischen Rangfolge der Plastizität: MHA $\to$ FC1 $\approx$ FC2 $\to$ LN2 $\to$ LN1.

3. Empirische Validierung

Messung der Plastizität: Die Autoren berechneten die Plastizitätsmetrik auf vortrainierten ViTs (Base, Large, Huge) über 11 diverse Klassifikations-Benchmarks (einschließlich CIFAR, DomainNet, Flowers, Pets) und erweiterten die Analyse auf selbstüberwachte Modelle (DINOv3) und LLMs (GPT-2).
Fine-Tuning-Experimente: Um den Effekt spezifischer Komponenten zu isolieren, führten die Autoren über 1.000 Fine-Tuning-Durchläufe an einem 86M-Parameter-ViT durch. In jedem Durchlauf wurde jeweils nur eine spezifische Art von Komponente (z. B. nur MHA, nur FC1, nur LN1) aktualisiert, während andere eingefroren wurden.
Optimierung: Die Experimente wurden sowohl mit SGD- als auch mit Adam-Optimierern unter Verwendung eines Sweeps über Lernraten und Random Seeds durchgeführt, um Robustheit zu gewährleisten.

Kernergebnisse

1. Empirische Plastizitäts-Rangfolge

Die experimentellen Daten bestätigten die theoretische Rangfolge. Über alle Benchmarks und Modellskalen hinweg (ViT-Base bis ViT-Huge sowie die Erweiterung auf DINOv3 und GPT-2):

MHA wies konsistent die höchste Plastizität ( $P(f) > 1$ ) auf.
Feedforward-Schichten (FC1, FC2) folgten mit hoher Plastizität.
LayerNorms (LN2, LN1) wiesen die geringste Plastizität ( $P(f) < 1$ ) auf und agierten als „starre“ oder glatte Komponenten.

2. Fine-Tuning-Leistung

Die komponentenweise Fine-Tuning-Experimente zeigten eine direkte Korrelation zwischen Plastizität und Downstream-Leistung:

Überlegene Genauigkeit: Die Anpassung hoch-plastischer Komponenten (MHA und FC-Schichten) lieferte konsistent eine höhere Top-1-Genauigkeit als die Anpassung von Low-Plastizitäts-Komponenten (LayerNorms).
Statistische Signifikanz: Auf anspruchsvollen Datensätzen (z. B. CIFAR-100, Sketch, Clipart) übertrafen MHA und FC-Schichten die LayerNorms signifikant. Beispielsweise übertraf das Tuning von MHA allein auf kleinen Datensätzen oft die Full-Fine-Tuning-Baselines.
Robustheit: Hoch-plastische Komponenten zeigten eine größere Stabilität über verschiedene Lernraten und Initialisierungs-Seeds hinweg und wiesen eine geringere Varianz in der Leistung auf.
Optimierungsdynamik: Die Arbeit beobachtete, dass hoch-plastische Komponenten während des Trainings größere Gradientennormen erzeugen, was zu einem steileren Verlustabstieg und einer schnelleren Konvergenz gegen lokale Minima führt. Dies steht im Gegensatz zu glatten Komponenten, welche die Gradientennormen einschränken und zu einer langsameren Optimierung führen.

3. Vergleich mit PEFT-Methoden

Die Studie ergab, dass das selektive Fine-Tuning hoch-plastischer Komponenten (z. B. MHA) mit populären PEFT-Methoden wie LoRA konkurrieren oder diese sogar übertreffen kann, selbst bei signifikant weniger trainierbaren Parametern. Beispielsweise übertraf das Fine-Tuning von nur den LayerNorms mit Adam die Leistung von LoRA auf CIFAR-100 mit 15 $\times$ weniger Parametern, obwohl das MHA-Tuning im Allgemeinen die besten Ergebnisse lieferte.

Bedeutung und Ansprüche

Die Arbeit beansprucht, eine neue Perspektive auf die funktionalen Eigenschaften von Transformern zu bieten, die die konventionelle Weisheit infrage stellt, dass Glattheit universell wünschenswert für das Lernen sei.

Paradigmenwechsel: Die Autoren argumentieren, dass während Glattheit beim Pretraining die Generalisierung und Stabilität unterstützt, die Nicht-Glattheit (hohe Plastizität) der entscheidende Faktor für eine effektive Anpassung während des Fine-Tunings ist.
Praktische Orientierung: Die Arbeit bietet eine fundierte Anleitung für Praktiker: Bei der Entwicklung parametereffizienter Fine-Tuning-Strategien sollte der Vorrang Aufmerksamkeitsmodulen und Feedforward-Schichten eingeräumt werden, statt Normalisierungsschichten.
Brücke zwischen Theorie und Praxis: Die Arbeit verbindet erfolgreich theoretische Schranken für Lipschitz-Konstanten mit empirischen Optimierungsdynamiken und zeigt auf, dass die „Plastizität“ eines Moduls dessen Fähigkeit bestimmt, Informationen über Downstream-Daten zu tragen und eine gradientenbasierte Optimierung zu erleichtern.

Die Autoren kommen zu dem Schluss, dass das Verständnis und die Nutzung der Plastizität nicht-glatter Komponenten essenziell für das Design effizienterer Anpassungsmethoden für Foundation Models sind.