💬 NLP

Multi-task Code LLMs: Data Mix or Model Merge?

Diese Arbeit vergleicht Strategien der Datenmischung und des Modell-Merging zur Erstellung effizienter Multi-Task-Code-LLMs und stellt fest, dass Model Merging bei größeren Skalen (7B) die Datenmischung übertrifft, indem es die spezialisierte Leistung beibehält oder sogar übertrifft, während die Datenmischung bei kleineren Skalen (2B) bevorzugt wird.

Ursprüngliche Autoren: Mingzhi Zhu, Boris Sobolev, Rahul Krishna, Raju Pavuluri, Stacy Patterson, Michele Merler

Veröffentlicht 2026-01-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Mingzhi Zhu, Boris Sobolev, Rahul Krishna, Raju Pavuluri, Stacy Patterson, Michele Merler

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen brillanten, aber kleinen Roboter-Assistenten, der zwei sehr unterschiedliche Fähigkeiten lernen muss: Programmieren schreiben (wie ein Programmierer) und Code erklären (wie ein Lehrer). Sie möchten, dass der Roboter in beidem gut ist, aber Sie haben weder das Budget noch die Zeit, zwei separate Roboter zu trainieren. Sie haben zwei Hauptwege, um ihn zu lehren:

Die „Mix-and-Match“-Klasse (Datenmischung): Sie werfen alle Programmieraufgaben und alle Erklärungslektionen in einen großen Eimer und lehren den Roboter alles auf einmal.
Der „Spezialisten-Tausch“ (Modellverschmelzung): Sie trainieren zuerst einen Roboter, der ein Meister des Programmierens ist, und einen anderen, der ein Meister des Lehrens ist. Dann nehmen Sie deren „Gehirne“ (ihre „Gewichte“) und vermischen sie vorsichtig zu einem einzigen Super-Roboter.

Dieses Paper stellt eine einfache Frage: Welche Methode funktioniert besser? Und die Antwort hängt ganz allein davon ab, wie groß der Roboter ist.

Die große Entdeckung: Die Größe zählt

Die Forscher testeten dies an Robotern unterschiedlicher Größe (kleine mit etwa 2 Milliarden „Gehirnzellen“ und größere mit 7 Milliarden). Hier ist, was sie herausfanden:

1. Die kleinen Roboter (2 Milliarden Parameter): „Mix-and-Match“ gewinnt

Für die kleineren Roboter war der Versuch, zwei Expertengehirne zusammenzuführen, ein Desaster. Es war, als würde man versuchen, Öl und Wasser zu mischen; die beiden Fähigkeiten bekämpften sich gegenseitig, und der Roboter wurde verwirrt und vergaß, wie man eine der beiden Aufgaben gut erledigt.

Die Analogie: Stellen Sie sich einen kleinen Schüler vor, der versucht, gleichzeitig Analysis und Poesie in einem einzigen Kurs zu lernen. Wenn man versucht, ihn durch das bloße Vermischen zweier separater Lektionen zu einem „Mathe-Poeten“ zu machen, könnte er überfordert werden und beides nicht gut lernen.
Die Lösung: Für kleine Roboter ist es besser, einfach alle Mathe- und Poesiebücher in einen Haufen zu legen und sie gemeinsam zu studieren. Der „Mix-and-Match“-Ansatz (Datenmischung) hielt den kleinen Roboter bei beiden Aufgaben kompetent, ohne dass er verwirrt wurde.

2. Die großen Roboter (7 Milliarden Parameter): Der „Spezialisten-Tausch“ gewinnt

Bei den größeren Robotern kehrte sich die Geschichte komplett um. Das Verschmelzen der Gehirne zweier Experten funktionierte wunderbar. Tatsächlich war der verschmolzene Roboter manchmal sogar besser als die einzelnen Experten.

Die Analogie: Stellen Sie sich einen genialen Professor vor, der bereits ein Meister der Mathematik und ein Meister der Literatur ist. Wenn Sie sein „Mathe-Gehirn“ und sein „Literatur-Gehirn“ kombinieren, wird er nicht verwirrt. Stattdessen findet er einen Weg, sein umfassendes Wissen zu nutzen, um Probleme auf eine Weise zu lösen, die keiner der Spezialisten allein bewältigen könnte.
Das Ergebnis: Der große verschmolzene Roboter behielt 96 % der Leistung der spezialisierten Experten bei. In einigen Fällen schnitt der verschmolzene Roboter bei Coding-Tests sogar besser ab als der Roboter, der speziell für das Programmieren trainiert wurde!

Warum passiert das? (Der „Gehirnscan“)

Die Forscher haben nicht nur die Testergebnisse betrachtet; sie haben in die Gehirne der Roboter geschaut, um zu sehen, wie sie sich während des Trainings veränderten.

Kleine Roboter: Wenn kleine Roboter versuchten, zwei Dinge gleichzeitig zu lernen, veränderten sich ihre Gehirne für beide Aufgaben in einer sehr ähnlichen Weise. Es war, als würden sie exakt dieselben Neuronen für Mathe und Poesie verwenden. Wenn man dann versuchte, zwei kleine Roboter zu verschmelzen, kämpften diese Neuronen darum, wer was machen durfte, was zu einem „Verkehrsstau“ im Gehirn führte.
Große Roboter: Große Roboter haben genug „Gehirnraum“, um verschiedene Teile ihres Gehirns für Mathe und andere Teile für Poesie zu nutzen. Sie sind wie zwei separate Zimmer in einem Haus. Wenn man sie verschmilzt, kollidieren die Zimmer nicht; sie stehen einfach nebeneinander, was es dem Roboter ermöglicht, ein Meister in beidem zu sein, ohne dass es zu Interferenzen kommt.

Das Fazit

Wenn Sie ein kleines, effizientes KI-System bauen (vielleicht für ein Gerät mit begrenzter Akkulaufzeit oder Speicher), versuchen Sie nicht, Experten zu verschmelzen. Trainieren Sie einfach ein Modell auf einer Mischung aller Daten, die Sie benötigen.

Wenn Sie jedoch ein größeres, leistungsfähigeres Modell haben, gehen Sie ruhig dazu über, Experten zu verschmelzen. Sie können einen Coding-Spezialisten und einen Zusammenfassungs-Spezialisten separat trainieren und sie dann kombinieren, um einen vielseitigen, leistungsstarken Roboter zu erhalten, der die Kosten für das Training eines massiven Multi-Task-Modells von Grund auf spart.

Kurz gesagt:

Kleines Modell? Mische die Daten.
Großes Modell? Verschmelze die Experten.

Das Paper liefert eine klare Regel für Entwickler, um die richtige Strategie basierend auf der Größe ihres Modells zu wählen und so die beste Leistung ohne Ressourcenverschwendung zu erzielen.

Technisches Resümee: Multi-Task Code-LLMs: Data Mix oder Model Merge?

Problemstellung

Der Aufstieg agentischer Frameworks hat eine Nachfrage nach kleineren, spezialisierten Code-Large-Language-Models (LLMs) geschaffen, die neben Frontier-Modellen operieren können, um ein Gleichgewicht zwischen Leistung, Kosten und Inferenzbeschränkungen zu halten. Die praktische Bereitstellung erfordert jedoch oft, dass diese kleinen Modelle gleichzeitig mehrere Codierungsaufgaben bewältigen können (z. B. Code-Generierung und Code-Zusammenfassung). Es existieren zwei primäre Strategien zur Erstellung solcher Multi-Task-Modelle:

Data Mixture: Fine-Tuning eines Basismodells einmalig auf einem kombinierten Datensatz aller gewünschten Aufgaben.
Model Merging: Das Training separater „Spezialisten-Modelle“ für jede Aufgabe und das anschließende Zusammenführen ihrer Gewichte (Weights) im Post-hoc-Verfahren.

Obwohl sowohl Data Mixing als auch Model Merging aktive Forschungsbereiche sind, bleibt deren vergleichende Effektivität speziell für Code-LLMs unteruntersucht. Es ist unklar, welche Strategie eine bessere Multi-Task-Leistung liefert, wie die Modellskalierung diese Wahl beeinflusst und ob eine Analyse des Gewichtsraums die optimale Strategie vorhersagen kann.

Methodik

Die Autoren führten umfangreiche Experimente durch, um Data-Mixture-Supervised-Fine-Tuning (SFT) gegen vier hochmoderne Model-Merging-Techniken über zwei Modellfamilien (Qwen2.5-Coder und DeepSeekCoder) hinweg bei zwei Skalierungen (ca. 1,5B/1,3B und 7B Parameter) zu vergleichen.

Aufgaben: Die Studie konzentrierte sich auf zwei unterschiedliche Codierungsaufgaben: Code-Generierung (unter Verwendung von KodCode, HumanEval, MBPP) und Code-Zusammenfassung (unter Verwendung von CodeXGLUE Code-to-Text).
Strategien:
- Data Mixture: SFT auf einer gemischten (shuffled) Kombination aus Generierungs- und Zusammenfassungsdatensätzen.
- Model Merging: Training separater Spezialisten für Generierung und Zusammenfassung, gefolgt von einem Merging mittels Linear, TIES (Trim, Elect Sign & Merge), DARE (Drop And Rescale) und DELLA (Deep Linear Learning Alignment).
Analyse: Die Autoren führten einen diagnostischen Ansatz im Gewichtsraum ein, indem sie die schichtweise $L_2$ -Distanz vom Basismodell maßen und die Pearson-Korrelationen zwischen aufgabenspezifischen Gewichts-Updates berechneten, um Interferenzen und Repräsentationsüberlappungen zu verstehen.

Zentrale Beiträge

Skalierungsübergreifender Vergleich: Die Arbeit bietet einen umfassenden empirischen Vergleich von Data-Mixture-SFT gegenüber Model Merging für Code-LLMs bei 2B- und 7B-Skalierungen.
Gewichtsraum-Diagnostik: Die Autoren schlagen vor, schichtweise Gewichtsverschiebungen und Inter-Task-Update-Korrelationen als mechanistische Diagnose zu nutzen. Sie fanden heraus, dass kleinere Modelle eine hohe Korrelation zwischen Task-Updates aufweisen (was auf Interferenzen hindeutet), während größere Modelle eine niedrige Korrelation zeigen (was auf orthogonale Repräsentationen hindeutet).
Praktische Leitlinien: Die Studie etabliert eine klare Faustregel basierend auf der Modellskalierung:
- Kleine Modelle (~2B): Data-Mixture-SFT ist die bevorzugte Strategie, da das Merging von Spezialisten zu einer signifikanten Leistungsdegradation führt.
- Große Modelle (7B): Model Merging ist überlegen und erreicht oft die Leistung der einzelnen Spezialisten mit minimaler durchschnittlicher Degradation (< 2,1 %).

Ergebnisse

Die Evaluierung auf den Benchmarks HumanEval, MBPP und CodeXGlue offenbarte eine deutliche skalenabhängige Divergenz in der Effektivität der Strategien:

Kleine Modelle (1,3B/1,5B):
- Data-Mixture-SFT übertraf konsistent die Merging-Strategien. Beispielsweise erreichte Data Mixing bei Qwen 1,5B nur eine durchschnittliche Degradation von -1,26 % im Vergleich zu den Spezialisten, während Merging-Methoden (Linear, TIES, DELLA) Verluste zwischen -7 % und -27 % erlitten.
- Die Gewichtsanalyse zeigte eine hohe Pearson-Korrelation zwischen den Generierungs- und Zusammenfassungs-Updates in kleinen Modellen, was darauf hindeutet, dass sie ähnliche Parameter modifizieren und dies beim Merging zu destruktiver Interferenz führt.
Große Modelle (7B):
- Model Merging übertraf Data Mixing signifikant. Bei Qwen 7B erreichte das DELLA-Merge die beste Gesamtleistung (-2,08 % durchschnittlicher Verlust) und übertraf damit leicht das Data-Mixture-SFT (-2,57 %).
- Bei DeepSeek 7B erreichte das DARE-Merging eine nahezu perfekte Leistungserhaltung (-0,01 % durchschnittlicher Verlust) und übertraf sogar die Spezialisten bei spezifischen Metriken (z. B. verbesserte MBPP pass@1 von 0,775 auf 0,799).
- Die Gewichtsanalyse ergab eine niedrige Korrelation zwischen den Task-Updates in 7B-Modellen, was darauf hindeutet, dass sie unterschiedliche Repräsentationspfade nutzen, was eine erfolgreiche Kombination ohne Konflikte ermöglicht.
Architekturspezifität: Der optimale Merging-Algorithmus variierte je nach Architektur; DELLA performte am besten für Qwen-Coder 7B, während DARE für DeepSeek-Coder 7B exzellierte.

Bedeutung und Behauptungen

Das Paper behauptet, handlungsrelevante Erkenntnisse für Praktiker bereitzustellen, die ressourcenbeschränkte agentische Systeme einsetzen. Die primäre Bedeutung liegt in der Erkenntnis, dass die optimale Multi-Task-Lernstrategie fundamental durch die Modellskalierung und nicht allein durch die Task-Charakteristika bestimmt wird.

Für kleine Modelle: In sorgfältige Data-Mixture-Strategien während des Trainings zu investieren, liefert überlegene Ergebnisse im Vergleich zu Post-hoc-Merging und vermeidet die „katastrophale Interferenz“, die durch begrenzte Parameterkapazität verursacht wird.
Für große Modelle: Das Merging von aufgabenspezifischen Spezialisten bietet überzeugende Vorteile und ermöglicht eine modulare Entwicklung, bei der Teams Modelle unabhängig optimieren können, bevor sie diese kombinieren. Dieser Ansatz reduziert die Trainingskosten, da redundantes Multi-Task-Training vermieden wird, und erlaubt es, neue Fähigkeiten hinzuzufügen, ohne von Grund auf neu trainieren zu müssen.

Die Autoren kommen zu dem Schluss, dass mit sorgfältiger Strategiewahl kleine agentische Systeme eine Multi-Task-Code-Intelligenz genießen können, ohne durch verschwendetes Übertraining an Boden zu verlieren, und dass eine Gewichtsraum-Analyse als prädiktives Werkzeug zur Auswahl der geeigneten Strategie vor der Bereitstellung dienen kann.