💻 computer science

From Memorization to Parameter Interference: How Overtraining Experts Harms Model Merging

Diese Arbeit stellt die Annahme infrage, dass die Optimierung von Expertenmodellen auf individuelle Leistung das anschließende Zusammenführen von Modellen begünstigt, und zeigt stattdessen auf, dass Übertraining zu Auswendiglernen und negativen Parameterinterferenzen führt, welche die Leistung der zusammengeführten Modelle verschlechtern – ein Problem, das durch aufgabenabhängiges Early Stopping effektiv gemildert wird.

Ursprüngliche Autoren: Stefan Horoi, Guy Wolf, Eugene Belilovsky, Gintare Karolina Dziugaite

Veröffentlicht 2026-06-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Stefan Horoi, Guy Wolf, Eugene Belilovsky, Gintare Karolina Dziugaite

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Kernidee: „Weniger ist mehr“ (sogar für KI)

Stellen Sie sich vor, Sie haben ein Team von Experten-Köchen. Jeder Koch wurde auf ein bestimmtes Rezept spezialisiert: Einer macht die perfekte Pizza, ein anderer das perfekte Sushi und ein anderer den perfekten Kuchen.

In der Welt der KI nehmen wir oft ein „Basismodell“ (einen Koch mit allgemeinem Wissen) und führen ein Fine-Tuning durch, damit es zu einem Experten für eine ganz bestimmte Aufgabe wird. Dann wollen wir all diese verschiedenen Experten-Köche zu einem einzigen „Super-Koch“ kombinieren, der alles gleichzeitig kann. Dieser Prozess wird als Model Merging bezeichnet.

Die gängige Annahme war: „Je besser die einzelnen Köche ihr spezifisches Rezept beherrschen, desto besser wird der Super-Koch sein.“

Diese Arbeit beweist, dass diese Annahme falsch ist. Tatsächlich gilt: Wenn man seine einzelnen Experten zu lange trainiert, wird der daraus resultierende Super-Koch sogar schlechter.

Das Problem: Der „übertrainierte“ Experte

Die Autoren entdeckten ein Phänomen, das sie „Overtraining“ (Übertraining) nennen.

Denken Sie an einen Schüler, der für eine Prüfung lernt:

Früh im Training: Der Schüler lernt die allgemeinen Regeln der Mathematik. Er versteht die Konzepte.
Spät im Training: Der Schüler hört auf, neue Konzepte zu lernen, und beginnt stattdessen, die spezifischen, seltsamen und schwierigen Fragen aus der Übungsprüfung auswendig zu lernen. Er merkt sich die exakte Formulierung der schwierigsten Aufgaben, selbst wenn diese Tippfehler oder verwirrende Formulierungen enthalten.

In der Welt der KI bedeutet das: Wenn ein Expertenmodell zu viele Trainingsschritte durchläuft, lernt es keine allgemeinen Muster mehr, sondern beginnt, einen kleinen Satz sehr schwieriger, seltsamer Beispiele auswendig zu lernen.

Die Kollision: Warum Merging scheitert

Stellen Sie sich nun vor, Sie versuchen, diese „auswendig lernenden“ Köche zu einem Super-Koch zu kombinieren.

Koch A hat auswendig gelernt, dass eine „Pizza“ immer einen ganz spezifischen, seltsamen Fleck am Rand hat, aufgrund eines einzigen schlechten Fotos in seinen Trainingsdaten.
Koch B hat auswendig gelernt, dass „Sushi“ immer eine ganz bestimmte, seltsame Textur hat, wegen eines einzelnen verrauschten Bildes.

Wenn man versucht, sie zu verschmelzen, beginnen ihre Gehirne (die Computerparameter) zu kämpfen. Koch A sagt: „Der Rand muss einen Fleck haben!“ Koch B sagt: „Nein, die Textur muss seltsam sein!“

Da sie spezifische, idiosynkratische Details auswendig gelernt haben statt allgemeiner Regeln, heben sich ihre Anweisungen gegenseitig auf. Dies nennt man Negative Parameter Interference (negative Parameter-Interferenz).

Das Ergebnis? Der Super-Koch vergisst die schwierigen Dinge komplett. Er kann immer noch einfache Pizza und einfaches Sushi machen (die leichten Beispiele), aber er scheitert völlig an den schwierigen Aufgaben, weil die widersprüchlichen, „auswendig gelernten“ Anweisungen das Wissen zerstört haben.

Der Beweis: Die „schwierige Beispiel“-Falle

Die Forscher nutzten ein Werkzeug, um zu messen, wie „schwierig“ ein Trainingsbeispiel war. Sie fanden heraus:

Früh im Training: Das Modell lernt die einfachen Beispiele schnell.
Spät im Training: Das Modell verbringt seine gesamte Zeit damit, sich auf die schwierigsten 10 % der Beispiele zu konzentrieren.
Das Merging-Desaster: Wenn sie Modelle kombinierten, die lange trainiert worden waren, waren die „schwierigen Beispiele“ die ersten, die vergessen wurden. Das Modell verlor die Fähigkeit, schwierige Fälle zu bewältigen, weil die widersprüchlichen, auswendig gelernten Daten das Wissen ausgelöscht hatten.

Interessanterweise fanden sie auch heraus, dass man tatsächlich etwas Auswendiglernen braucht, um gute Ergebnisse zu erzielen. Wenn man die schwierigen Beispiele komplett entfernt, scheitert das Modell. Aber wenn man das Modell zu sehr auswendig lernen lässt (indem man zu lange trainiert), bricht der Merging-Prozess zusammen.

Die Lösung: Frühzeitig aufhören!

Die Arbeit schlägt eine einfache Lösung vor: Aggressives Early Stopping (aggressives vorzeitiges Stoppen).

Anstatt Ihre Experten-Modelle so lange zu trainieren, bis sie perfekt bei ihrer spezifischen Aufgabe sind, sollten Sie das Training viel früher abbrechen.

Der alte Weg: Trainieren, bis der Experte 90 % Genauigkeit erreicht. (Ergebnis: Schlechter Super-Koch).
Der neue Weg: Trainieren, bis der Experte 85 % Genauigkeit erreicht, und dann aufhören. (Ergebnis: Großartiger Super-Koch).

Durch das frühere Stoppen haben die Experten noch keine Zeit gehabt, diese seltsamen, schwierigen Beispiele auswendig zu lernen. Sie behalten die allgemeinen Regeln bei, die für alle gut funktionieren. Wenn man sie kombiniert, stimmen sie bei den allgemeinen Regeln überein, und der Super-Koch wird wesentlich leistungsfähiger.

Wichtige Erkenntnisse

Bessere Experten $\neq$ Bessere Merges: Nur weil ein einzelnes KI-Modell bei seiner spezifischen Aufgabe besser ist, bedeutet das nicht, dass es auch helfen wird, ein besseres kombiniertes Modell zu bauen. Manchmal ist „gut genug“ tatsächlich besser für das Team.
Auswendiglernen ist der Feind des Mergings: Je mehr ein Modell spezifische, schwierige Datenpunkte auswendig lernt, desto schwieriger ist es, es mit anderen Modellen zu kombinieren.
Trainieren Sie früher zu Ende: Egal, ob Sie ein volles Modelltraining oder effiziente „LoRA“-Adapter (eine leichtgewichtige Methode zum Trainieren) verwenden – das vorzeitige Beenden des Trainingsprozesses liefert bessere Ergebnisse beim Merging.
Es funktioniert überall: Dies geschieht sowohl bei Bildmodellen (wie dem Erkennen von Autos oder Katzen) als auch bei Sprachmodellen (wie dem Beantworten von Fragen) und tritt unabhängig von der Größe des Modells auf.

Kurz gesagt: Lassen Sie Ihre KI-Experten nicht zu besessen von den schwierigsten Details werden. Halten Sie sie auf das große Ganze fokussiert, und wenn Sie sie kombinieren, werden sie viel besser zusammenarbeiten.

Technisches Resümee: Von der Auswendiglernen zur Parameterinterferenz

Problemstellung

Das moderne Deep Learning stützt sich stark auf eine Pipeline, in der Open-Weight-Foundation-Modelle auf allgemeinen Daten vortrainiert und anschließend auf spezialisierte Aufgaben feinjustiert werden, um „Experten-Modelle“ zu erstellen. Diese Experten werden oft zusammengeführt (merged), um die Fähigkeiten in einem einzigen, leistungsfähigeren Modell zu kombinieren. Eine weit verbreitete Annahme in diesem Workflow ist, dass Verbesserungen in der Phase der Feinjustierung (d. h. das Erreichen einer höheren Genauigkeit auf der spezifischen Aufgabe des Experten) auf die Leistung des resultierenden zusammengeführten Modells übertragen werden.

Dieses Paper stellt diese Annahme infrage. Die Autoren untersuchen den Zusammenhang zwischen der Dauer des Experten-Fein-Tunings und der Effektivität des Modell-Merging. Sie postulieren, dass das „Übertrainieren“ von Experten – also die Optimierung auf Konvergenz oder darüber hinaus für ihre jeweiligen Aufgaben – die Leistung des resultierenden zusammengeführten Modells tatsächlich verschlechtern kann, obwohl die Experten auf ihren nativen Aufgaben besser abschneiden.

Methodik

Die Studie führt eine systematische empirische Analyse über Vision- und Sprachmodalitäten hinweg durch und nutzt dabei verschiedene Modellfamilien (ViT-B-32, ViT-L-14, T5-Base/Large/3B, BERT-Base) sowie Adaptationsregime (Full Fine-Tuning und Low-Rank Adaptation/LoRA).

Experimentelles Setup:

Datensätze: 8 Bildklassifizierungsaufgaben (z. B. Cars, MNIST, SVHN) und 7 NLP-Aufgaben (z. B. QASC, Winogrande).
Trainingsdauer: Experten wurden für eine variierende Anzahl von Schritten ( $s \in \{2, \dots, 2048\}$ ) feinjustiert.
Merging-Methoden: Die Autoren evaluierten mehrere Merging-Techniken, einschließlich einfacher Parameter-Mittelwertbildung (Parameter Averaging), Task Arithmetic (TA), TIES, DARE und SVD-basierten Methoden (Iso-C, Iso-CTS, TSV-M).
Evaluierung: Die primäre Metrik ist die rohe, unnormierte durchschnittliche Testgenauigkeit über alle Aufgaben des zusammengeführten Modells. Die Autoren vermeiden explizit normalisierte Genauigkeitsmetriken, um Inkonsistenzen zu vermeiden, die durch die variierende Expertenleistung über die Experimente hinweg entstehen könnten.

Analytische Werkzeuge:
Um die beobachteten Phänomene zu erklären, nutzen die Autoren Daten-Schwierigkeitswerte (speziell den EL2N-Score), um Trainingsbeispiele in Bins von Schwierigkeit (von einfach bis schwer) zu kategorisieren. Sie analysieren:

Auswendiglernen (Memorization): Unter Verwendung des Feldman-Memorization-Frameworks wird gemessen, wie sehr das Vertrauen eines Modells auf ein spezifisches Beispiel davon abhängt, ob dieses Beispiel während des Trainings gesehen wurde.
Parameterinterferenz: Quantifizierung des Konflikts zwischen Task-Vektoren mittels Metriken wie dem Prozentsatz der Vorzeichenkonflikte (sign conflict percentage), Parameter-Überlappung, Größenverhältnis (magnitude ratio) und Parameter-Varianz pro Parameter.
Kausale Isolation: Durchführung von Experimenten, bei denen spezifische Teilmengen von Daten (einfach, mittel, schwer) zurückgehalten wurden, um deren individuellen Einfluss auf das Modellverhalten und die Merging-Ergebnisse zu messen.

Zentrale Erkenntnisse

1. Übertraining schadet dem Merging

Entgegen der Annahme, dass bessere Experten zu besseren Merges führen, stellen die Autoren fest, dass längeres Fein-Tuning zu einer Verschlechterung der Merging-Leistung führt.

Vision & Sprache: In beiden Domänen erreicht die Merging-Genauigkeit ihren Höhepunkt bei mittleren Trainingsschritten (z. B. 256 Schritte für T5, 128 für ViT-LoRA) und sinkt signifikant ab, wenn das Training bis zu 2048 Schritten fortgesetzt wird.
Ausmaß des Einflusses: Die Verschlechterung ist gravierend. Bei LoRA-adaptierten Modellen kann die Merging-Genauigkeit um über 16 % sinken (z. B. bei der TIES-Methode), wenn man von optimalem Early Stopping zu übertrainierten Checkpoints wechselt.
Experten- vs. Merged-Performance: Während die Genauigkeit der Experten auf ihren spezifischen Aufgaben mit längerem Training weiter steigt, verschlechtert sich die Leistung des zusammengeführten Modells. Beispielsweise verbesserte sich die Experten-Genauigkeit in der NLP-Domäne von 256 auf 2048 Schritte um 3,7 %, während die Merging-Genauigkeit für alle Methoden um mindestens 2,4 % sank.

2. Der Mechanismus: Auswendiglernen und Interferenz

Das Paper führt diese Verschlechterung auf das Auswendiglernen schwieriger Beispiele während der späten Trainingsphase zurück.

Auswendiglernen schwieriger Beispiele: Das frühe Training wird von der Erlernung gemeinsamer Merkmale (einfache Beispiele) dominiert. Spätere Trainingsphasen werden durch das Auswendiglernen eines kleinen Bruchteils von „schweren“ Beispielen (Ausreißer oder verrauschte Labels) getrieben.
Idiosynkratische Updates: Das Auswendiglernen dieser schwierigen Beispiele führt zu idiosynkratischen Parameter-Updates, die nicht über Aufgaben hinweg generalisieren.
Negative Parameterinterferenz: Beim Merging verursachen diese aufgabenspezifischen, auswendig gelernten Updates eine negative Interferenz. Die Autoren zeigen, dass schwierige Beispiele während des Merging-Prozesses überproportional häufig vergessen werden (über 50 % der vergessenen Datenpunkte gehören zu den schwersten 30 % der Beispiele), während einfache Beispiele korrekt klassifiziert bleiben.
Quantitative Evidenz: Parameterinterferenz-Metriken (Vorzeichenkonflikt, Überlappung, Varianz) steigen systematisch mit der Trainingsdauer an, was bestätigt, dass längeres Training zu mehr konfliktbehafteten Parameter-Updates führt.

3. Die Notwendigkeit von etwas Auswendiglernen

Die Autoren demonstrieren, dass, während übermäßiges Auswendiglernen schädlich ist, ein gewisses Maß an Auswendiglernen für ein optimales Merging notwendig ist. Das Entfernen der schwersten Beispiele aus dem Training verschlechtert die Merging-Leistung konsistent, was darauf hindeutet, dass ein Gleichgewicht erforderlich ist, bei dem generalisierbare Merkmale gelernt werden, ohne auf idiosynkratisches Rauschen zu überfitten.

4. Early Stopping als Lösung

Das Paper schlägt aggressives Early Stopping als allgemeines Prinzip vor, um das Übertraining zu mildern.

Aufgabenspezifische Strategien: Durch das Stoppen des Trainings, wenn die Validierungsgenauigkeit stagniert (anstatt für eine feste Anzahl von Schritten zu trainieren), erreichen die Autoren eine Merging-Leistung, die der besten durch Fixed-Step-Training erzielten Ergebnisse entspricht oder diese sogar übertrifft, obwohl die einzelnen Experten auf ihren spezifischen Aufgaben weniger genau sind.
LoRA-Besonderheiten: Early Stopping ist besonders effektiv für LoRA-Adapter, um die optimale Merging-Genauigkeit wiederherzustellen, die bei Standard-Langzeit-Training verloren geht.

Bedeutung und Ansprüche

Das Paper beansprucht, eine kritische neue Dimension für das Feld des Model Merging eingeführt zu haben: die Dauer des Experten-Trainings.

Paradigmenwechsel: Es stellt die Standardpraxis infrage, Experten vor dem Merging bis zur Konvergenz zu trainieren. Die Autoren argumentieren, dass der „beste“ Experte für das Merging oft ein „undertrainierter“ Experte ist, der noch nicht die schwierigen, idiosynkratischen Beispiele auswendig gelernt hat.
Praktische Anleitung: Die Arbeit bietet praktische Anweisungen für Praktiker:
1. Veröffentlichung intermediärer Checkpoints: Da der optimale Merging-Punkt oft vor der Konvergenz liegt, ist die Veröffentlichung intermediärer Checkpoints entscheidend.
2. Priorisierung von Early Stopping: Wenn Experten für das Merging trainiert werden, kann aggressives Early Stopping bessere Downstream-Ergebnisse liefern als ein vollständiges Training bis zur Konvergenz.
Effizienz: Durch die Reduzierung der für optimales Merging erforderlichen Trainingsdauer können diese Erkenntnisse die mit dem Training und Merging von KI-Modellen verbundenen Rechen- und Umweltkosten erheblich senken.
Generalisierbarkeit: Das Phänomen erweist sich als robust über verschiedene Modellskalen (von 220M bis 3B Parametern), Architekturen (ViT, T5, BERT) und Adaptationsmethoden (FFT, LoRA) sowie alternative Upcycling-Strategien wie Model MoErging.

Die Autoren kommen zu dem Schluss, dass ein sorgfältiges Management der Experten-Trainingsdynamik, insbesondere die Vermeidung des Auswendiglernens schwieriger Beispiele in der späten Phase, essenziell ist, um das volle Potenzial von Model-Merging-Pipelines auszuschöpfen.