🤖 machine learning

The Fine-Tuning Trap: Evaluating Negative Transfer and the Role of PEFT in Sub-1B Mathematical Reasoning

Diese Arbeit zeigt auf, dass Full Fine-Tuning bei Sprachmodellen unter 1B zu schwerem Negative Transfer führt und etabliert damit Parameter-Efficient Fine-Tuning (PEFT) als eine kritische Stabilitätsanforderung für mathematische Aufgaben auf Edge-Geräten.

Ursprüngliche Autoren: Rahul Nair, Chun Tao

Veröffentlicht 2026-06-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Rahul Nair, Chun Tao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen winzigen, unglaublich intelligenten, taschengroßen Roboter (ein „Small Language Model“ oder SLM), der bereits eine Bibliothek von Büchern gelesen hat, um zu lernen, wie man spricht, schlussfolgert und Probleme löst. Nun möchten Sie ihm einen speziellen neuen Trick beibringen, wie zum Beispiel das Lösen von Matheaufgaben.

Dieses Paper ist ein Warnhinweis und ein Benutzerhandbuch für diesen Prozess. Es besagt: „Wenn Ihr Roboter zu klein ist, wird der Versuch, sein gesamtes Gehirn umzuprogrammieren, um den neuen Trick zu lernen, tatsächlich seine Fähigkeit zu denken komplett zerstören.“

Hier ist die Aufschlüsselung ihrer Erkenntnisse unter Verwendung einfacher Analogien:

1. „Vollständige Gehirnoperation“ vs. „Klebezettel“

Die Forscher testeten zwei Wege, um diese winzigen Roboter zu lehren:

Full Fine-Tuning (Die „Vollständige Gehirnoperation“): Dies ist so, als würde man den Roboter auseinandernehmen und jede einzelne Verbindung in seinem Gehirn neu verdrahten, um ihn an die neue Matheaufgabe anzupassen.
- Das Ergebnis: Für winzige Roboter (unter 300 Millionen „Verbindungen“ oder Parametern) ist dies eine Katastrophe. Es ist, als würde man versuchen, die Möbel in einem Schuhkarton umzustellen; am Ende wirft man alles um. Der Roboter vergisst, wie man spricht, beginnt sich in Schleifen zu wiederholen oder macht grundlegende Mathefehler (wie zu sagen, dass 15 + 7 = 30 ist). Er schneidet tatsächlich schlechter ab, als wenn man ihn einfach nur hätte raten lassen, ohne jegliches Training.
PEFT / LoRA (Der „Klebezettel“): Diese Methode friert das ursprüngliche Gehirn des Roboters ein und fügt lediglich einen winzigen, speziellen „Adapter“ oder einen Klebezettel oben auf das Gehirn hinzu, um die Matheaufgabe zu bewältigen.
- Das Ergebnis: Der Roboter behält seine ursprüngliche Intelligenz und Persönlichkeit bei, während er den neuen Trick lernt. Es funktioniert viel besser und führt nicht zum Absturz.

2. Die „Stabilitätsklippe“

Die Autoren entdeckten eine spezifische Größenbeschränkung, die sie eine „Stabilitätsklippe“ nennen.

Unter 500 Millionen Parametern: Der Roboter ist so dicht gepackt mit essenziellem Wissen, dass es keinen „zusätzlichen Raum“ gibt, um neue Dinge zu lernen, ohne altes, wichtiges Wissen zu überschreiben. Wenn man hier eine „Vollständige Gehirnoperation“ durchführt, fällt der Roboter von der Klippe und geht kaputt.
Über 1 Milliarde Parameter: Der Roboter ist groß genug, um etwas „freien Raum“ zu haben. Hier kann man die vollständige Operation durchführen, und sie funktioniert gut.

3. Die „Eindringlings-Dimensionen“

Warum scheitert die Operation? Das Paper legt nahe, dass beim Versuch, einen winzigen Roboter komplett umzuverdrahten, die Mathematik den Roboter zwingt, „Eindringlings-Dimensionen“ zu erkunden.

Analogie: Stellen Sie sich vor, das Wissen des Roboters ist eine sichere, flache Autobahn. Wenn man eine komplette Umprogrammierung vornimmt, wird der Roboter von der Autobahn in eine gezackte, felsige Schlucht (Regionen mit hohem Verlust/Loss) gedrückt. Er verirrt sich in den Felsen und findet nicht mehr zurück.
Die Lösung: Die „Klebezettel“-Meth Methode (PEFT) hält den Roboter auf der Autobahn und stößt ihn nur leicht an, um die neue Kurve zu nehmen.

4. Der „Sicherheits-Bulldozer“

Eine der erschreckendsten Erkenntnisse betrifft „ausgerichtete“ (aligned) Roboter (jene, die darauf trainiert wurden, sicher und hilfreich zu sein).

Das Problem: Als sie versuchten, einem sicheren Roboter (Qwen2.5) mittels „Vollständiger Operation“ Mathe beizubringen, vergaß der Roboter völlig, wie man sicher handelt. Er wurde bei Sicherheitstests unbrauchbar.
Die Metapher: Es ist, als würde man einen „Bulldozer“ engagieren, um ein Wandgemälde zu malen. Der Bulldozer (Full FT) ist so kraftvoll und wahllos, dass er die feinen Sicherheitsfunktionen zusammen mit der alten Farbe zertrümmert.
Die Lösung: Der „Klebezettel“ (PEFT) ist wie ein vorsichtiger Künstler, der über die Sicherheitsfunktionen malt, ohne sie zu zerstören.

5. Das Geschwindigkeit vs. Sicherheit Paradoxon

Man könnte denken: „Wenn die Vollständige Operation alles aktualisiert, sollte sie nicht schneller sein?“

Überraschung: Auf leistungsstarken Computern ist die „Vollständige Operation“ tatsächlich doppelt so schnell zu trainieren wie die „Klebezettel“-Methode.
Warum die langsamere Methode nutzen? Weil der „Klebezettel“ das Einzige ist, was verhindert, dass der Roboter kaputtgeht. Es ist ein Kompromiss: Man akzeptiert eine langsamere Trainingszeit, um einen Roboter zu erhalten, der tatsächlich funktioniert.
Bonus: Die „Klebezettel“-Methode ist so leichtgewichtig, dass man diese winzigen Roboter auf einem normalen Laptop oder Gaming-PC trainieren kann, während die „Vollständige Operation“ massive, teure Supercomputer benötigt, nur um in den Speicher zu passen.

Die wichtigsten Empfehlungen

Das Paper gibt drei klare Regeln für jeden, der versucht, diese winzigen KI-Modelle zu lehren:

Wenn das Modell winzig ist (<500M): Verwenden Sie niemals eine „Vollständige Operation“. Es wird das Modell ruinieren. Verwenden Sie immer die „Klebezettel“-Methode (PEFT/LoRA/DoRA).
Wenn das Modell ausgerichtet (safe) ist: Verwenden Sie immer „Klebezettel“. Die „Vollständige Operation“ wird sein Sicherheitstraining auslöschen.
Wenn das Modell groß ist (>1B): Sie können die „Vollständige Operation“ verwenden, wenn Sie wollen, da das Modell groß genug ist, um sie zu verkraften, ohne kaputtzugehen.

Kurz gesagt: Bei kleinen KI-Modellen ist weniger mehr. Versuchen Sie nicht, den ganzen Motor neu zu bauen; fügen Sie einfach ein neues Teil hinzu, sonst fällt das ganze Auto auseinander.

Technisches Resümee: Die Fine-Tuning-Falle in der mathematischen Argumentation von Modellen unter 1B Parametern

Problemstellung

Die Bereitstellung von Small Language Models (SLMs) auf Edge-Geräten erfordert effiziente Adaptionsstrategien, die keine Verschlechterung der allgemeinen Fähigkeiten bewirken. Dieses Paper identifiziert jedoch eine kritische Schwachstelle bei Modellen mit weniger als 300 Millionen Parametern: Full Fine-Tuning (Full FT) induziert oft „negativen Transfer“, was die Leistung aktiv verschlechtert und die Genauigkeit unter das Zero-Shot-Baseline-Niveau sinken lässt. Dieses Phänomen, bezeichnet als die „Fine-Tuning-Falle“, legt nahe, dass für Sub-1B-Modelle Standard-Fine-Tuning nicht nur eine Effizienzentscheidung, sondern eine Stabilitätsanforderung ist. Die Autoren argumentieren, dass SLMs nahe an der „Kapazitätssättigung“ operieren, wo das dichte vortrainierte Wissen keine redundanten Parameter mehr hinterlässt, um neue aufgabenspezifische Gradienten zu absorbieren, ohne die Kernfähigkeiten in Linguistik und logischem Denken zu überschreiben.

Methodik

Die Studie verwendet ein systematisches empirisches Framework, um fünf Decoder-Only-Architekturen in einem Parameterbereich von 135M bis 2B zu benchmarken.

Modellauswahl: Die Evaluierung umfasst drei Regime:
- Tiny-Regime (<500M): SmolLM2-135M und SmolLM2-360M.
- Transitions-Regime (~500M): Qwen2.5-0.5B (hochgradig aligned).
- Referenz-Regime (>1B): OLMo-1B und Gemma-2B.
Aufgaben: Der primäre Fokus liegt auf mathematischer Argumentation unter Verwendung eines stratifizierten Subsets von 10.000 Beispielen aus OrcaMath für das Training. Die Evaluierung deckt GSM8K (In-Distribution Reasoning), SVAMP (Out-of-Distribution Robustheit) und MATH (hochkomplexe Probleme) ab.
Fine-Tuning-Strategien: Die Studie vergleicht:
- Full FT: Aktualisierung aller Parameter.
- PEFT (Parameter-Efficient Fine-Tuning): Speziell LoRA (Low-Rank Adaptation) und DoRA (Weight-Decomposed LoRA).
Trainingsprotokoll: Die Experimente wurden auf H100-Nodes durchgeführt. Die Autoren verwendeten unterschiedliche Hyperparameter zur Sicherstellung der Stabilität, wobei eine höhere Lernrate für PEFT ( $2 \times 10^{-4}$ ) im Vergleich zu Full FT ( $2 \times 10^{-5}$ ) eingesetzt wurde, um die Null-Initialisierung der Adapter gegenüber der Notwendigkeit, die Priors bei Full FT zu bewahren, zu berücksichtigen.
Analyse: Die Autoren analysierten die Trainingsdynamik mittels Gradientennormen, Verlusttrajektorien und Hessischen Spektralanalysen, um die Optimierungsstabilität zu verstehen.

Zentrale Beiträge

Identifizierung einer Stabilitätsschwelle: Das Paper etabliert einen „Phasenübergang“ bei etwa 500 Millionen Parametern. Unterhalb dieser Schwelle versagt Full FT konsistent und führt oft zu katastrophalem Vergessen. Oberhalb von 1 Milliarde Parametern gewinnt Full FT an Effektivität zurück, da die Modelle über ausreichend „Slack“-Kapazität verfügen.
Theoretische Formalisierung der Instabilität: Die Autoren modellieren das Scheitern von Full FT in winzigen Modellen durch drei Linsen:
- Intruder Dimensions (Eindringende Dimensionen): Unbeschränkte Updates bei Full FT bewegen sich durch orthogonale Subräume ( $W_{pre}^\perp$ ), die durch hochgradig gekrümmte Richtungen (große Hesse-Eigenwerte) charakterisiert sind, was zu Instabilität führt. PEFT beschränkt die Updates auf den vortrainierten Manifold.
- Architektonische Konditionierung: Moderne SLMs nutzen oft „Deep and Thin“-Architekturen. Dies erhöht die Konditionszahl des Input-Output-Jacobians exponentiell, was zu extremer Gradientenvarianz führt, die Full FT nicht ausbalancieren kann, während LoRA die Updates entkoppelt, um dies zu mildern.
- Begrenzung des Vergessens: PEFT-Methoden begrenzen strikt die Verschiebung von den vortrainierten Gewichten ( $\delta_{PEFT}$ ) und stellen sicher, dass das Modell innerhalb einer „Trust Region“ bleibt, im Gegensatz zur unbeschränkten Verschiebung bei Full FT.
Vergleichende Dynamik von PEFT: Die Studie liefert eine granulare Analyse, die zeigt, dass sowohl LoRA als auch DoRA das Training stabilisieren, ihre Stärken jedoch variieren. DoRA (welches Magnitude und Richtung entkoppelt) brilliert bei komplexen Denkaufgaben (GSM8K), während LoRA bei Pattern Matching (OrcaMath) dominiert.
Hardware- und ökonomische Trade-offs: Das Paper definiert den Wert von PEFT für SLMs neu. Auf High-End-Hardware (H100) ist Full FT aufgrund optimierter dichter Matrix-Kernel tatsächlich 2x schneller in der Wandzeit (Wall-Clock Time), während PEFT Kernel-Overhead verursacht. PEFT ist jedoch essenziell für die Zugänglichkeit, da es die VRAM-Anforderungen von ~16GB (Full FT) auf <4GB reduziert, was das Training auf Consumer-Hardware (z. B. RTX 4090) ermöglicht, wo Full FT die Speergrenzen überschreiten würde.

Empirische Ergebnisse

Der Optimierungs-Abgrund (Optimization Cliff): Für das 135M-Modell (SmolLM2) stagnierte der Full-FT-Loss frühzeitig bei ~0,82 mit instabilen Gradientennormen, während PEFT-Methoden auf ~0,74 konvergierten. Die Genauigkeit von Full FT auf OrcaMath sank auf 4,80 % (unter die Zero-Shot-Baseline von 6,00 %).
Alignment-Kollaps: Beim alignierten Qwen2.5-0,5B-Modell erreichte Full FT hohe In-Distribution-Scores, resultierte jedoch in einer Genauigkeit von 0,00 % auf dem SVAMP-Robustheits-Benchmark. Dies deutet darauf hin, dass Full FT die Sicherheits- und Robustheitsvektoren durch die enge Aufgabenverteilung überschrieben hat. PEFT-Methoden bewahrten diese Fähigkeiten.
Qualitative Ausfälle: Full FT bei winzigen Modellen führte zu „Repetitionsschleifen“ (unendliche Berechnungsschritte) und einem „Verlust der arithmetischen Logik“ (sinnlose Zwischenschritte), was auf eine Beschädigung der Attention-Heads hindeutet, die für die Diskursstruktur verantwortlich sind.
Erfolg im Referenz-Regime: Für Modelle >1B (OLMo, Gemma) übertraf Full FT PEFT (z. B. Gemma-2B Full FT: 19,8 % GSM8K vs. LoRA: 18,5 %), was bestätigt, dass ausreichende Kapazität Full-Rank-Updates ohne Kollaps ermöglicht.

Bedeutung und Empfehlungen

Das Paper schließt, dass der „Stability-Capacity Trade-off“ eine strikte operative Grenze für SLMs diktiert:

Die <500M Gefahrenzone: Für Modelle wie SmolLM2 ist Full FT aktiv schädlich. Praktiker sollten standardmäßig zu PEFT greifen, um einen Zusammenbruch der Argumentationsfähigkeit zu verhindern.
Das Alignment-Mandat: Für alignierte Modelle (z. B. Qwen2.5) zerstört Full FT die Robustheit und das Safety-Alignment. PEFT ist zwingend erforderlich, um den „Safety-Subspace“ der vortrainierten Gewichte zu bewahren, indem es als „Safety Sandbox“ fungiert.
Die Rückkehr zur Skalierung: Full FT wird erst wieder praktikabel, wenn die Parameterzahl 1 Milliarde überschreitet, wo die intrinsische Kapazität Full-Rank-Updates absorbieren kann.

Die Autoren empfehlen, standardmäßig PEFT für alle alignierten Sub-1B-Modelle einzusetzen und vor Full FT für jede Architektur kleiner als 500 Millionen Parameter zu warnen. Sie betonen, dass Full FT zwar auf Clustern schneller sein mag, PEFT jedoch der entscheidende Enabler für die Demokratisierung des SLM-Trainings auf Edge-Geräten und die Aufrechterhaltung der Sicherheit und Robustheit ist, die für regulierte Industrien erforderlich sind.