💬 NLP

Dynamic Model Merging Made Slim

Das Papier stellt DiDi-Merging vor, ein kompaktes Framework für das dynamische Zusammenführen von Modellen, das differenzierbare Rangallokation und datenfreie Verfeinerung nutzt, um überlegene Kompromisse zwischen Genauigkeit und Effizienz bei visuellen, sprachlichen und multimodalen Aufgaben mit deutlich weniger Parametern als bestehende Methoden zu erreichen.

Ursprüngliche Autoren: Guodong Du, Wanyu Lin

Veröffentlicht 2026-05-20

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Guodong Du, Wanyu Lin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen Meisterkoch, der unglaublich talentiert im Kochen ist. Sie bitten ihn, zehn verschiedene Küchen zu erlernen: italienisch, japanisch, mexikanisch, indisch und so weiter. Um dies zu tun, trainieren Sie eine separate „Spezialist"-Version des Kochs für jede Küche. Jetzt haben Sie zehn verschiedene Köche, jeder mit seinem eigenen einzigartigen Satz an Notizen und Techniken.

Das Problem:
Wenn Sie ein Restaurant betreiben wollen, das alle zehn Küchen anbietet, können Sie nicht einfach zehn separate Köche einstellen; das ist zu teuer und nimmt zu viel Platz ein.

Der alte Weg (statisches Zusammenführen): Sie versuchen, die Notizen aller zehn Köche in einem einzigen riesigen Buch zu mischen. Doch die Notizen widersprechen sich oft (z. B. „Salz hinzufügen" vs. „kein Salz hinzufügen"), und das finale Buch ist ein verwirrtes Durcheinander, in dem der Koch vergisst, wie man bestimmte Gerichte gut zubereitet.
Der aktuelle „dynamische" Weg: Sie behalten das Basiswissen des Meisterkochs bei und fügen für jede Küche einen kleinen „Spickzettel" hinzu. Wenn ein Kunde italienisch bestellt, geben Sie ihm den italienischen Spickzettel. Das funktioniert gut, aber wenn Sie 50 Küchen haben, benötigen Sie 50 Spickzettel. Wenn das Basiswissen des Meisterkochs riesig ist und Sie es für jede einzelne Küche separat aufbewahren, wird Ihre „Küche" (Speicher) aufgebläht und teuer.

Die neue Lösung: DiDi-Merging
Die Autoren dieses Papiers, Guodong Du und Wanyu Lin, schlagen einen intelligenteren Weg vor, diese Köche zu organisieren, der DiDi-Merging genannt wird. Denken Sie daran als an eine „schlanke dynamische Küche".

So funktioniert es, unter Verwendung einfacher Analogien:

1. „Gemeinsames Wissen" vs. „Spezialisten-Tricks"

Anstatt das gesamte Gehirn des Meisterkochs für jede Aufgabe separat zu behalten (was schwerfällig ist) oder den Meisterkoch zu verwerfen und nur winzige Notizen zu behalten (was die Qualität mindert), findet DiDi-Merging ein Gleichgewicht.

Es erstellt ein kleines, gemeinsames „Kern"-Buch, das die gemeinsamen Fähigkeiten enthält, die alle Küchen teilen (wie Gemüse schneiden oder Wasser kochen).
Anschließend erstellt es winzige, spezifische „Taschenführer" für die einzigartigen Teile jeder Küche (wie die spezifische Gewürzmischung für indisches Curry).

2. Der „intelligente Dimmer-Schalter" (Differentiable Rank Allocation)

Dies ist das Geheimrezept des Papiers. Normalerweise, wenn Sie Informationen komprimieren, schneiden Sie einfach die obersten 10 % oder 20 % der Daten ab, wie den oberen Teil eines Kuchens. Dies ist ein „Einheitsgröße"-Ansatz.

DiDi-Merging verwendet einen intelligenten Dimmer-Schalter. Er betrachtet jedes einzelne Stück Information und fragt: „Wie wichtig ist dies für diese spezifische Aufgabe?"

Wenn ein Stück Wissen für alle Aufgaben nützlich ist, hält der Dimmer-Schalter es im gemeinsamen Kern hell.
Wenn ein Stück Wissen nur für eine Aufgabe nützlich ist, dimmt der Dimmer-Schalter es im Kern herunter und verschiebt es in den Spezialisten-Taschenführer.
Entscheidend ist, dass das System lernt, genau wie viel „Helligkeit" (oder Rang) jedem Teil automatisch zuzuweisen, ohne die ursprünglichen Trainingsdaten erneut sehen zu müssen. Es ist wie ein intelligenter Thermostat, der lernt, wie viel Wärme jeder Raum benötigt, um komfortabel zu bleiben, ohne Energie zu verschwenden.

3. Die „Politur" (datenfreie Verfeinerung)

Wenn Sie Informationen komprimieren, verlieren Sie normalerweise ein wenig Geschmack. Um dies zu beheben, führt DiDi-Merging eine abschließende „Politur" durch.

Es nimmt die komprimierte, schlanke Version und passt sie leicht an, indem es die ursprünglichen „Notizen" (Aufgabenvektoren) verwendet, die es bereits hat.
Es tut dies ohne die ursprünglichen Zutaten (die rohen Trainingsdaten) zu benötigen. Es ist wie ein Koch, der eine reduzierte Sauce probiert und eine Prise Salz hinzufügt, um den Geschmack zurückzuholen, obwohl er den ursprünglichen Topf Suppe nicht mehr hat.

Warum ist das eine große Sache?
Das Papier behauptet, dass DiDi-Merging der effizienteste Weg ist, dies bisher zu tun:

Winziger Fußabdruck: Es benötigt nur etwa 1,24-fach den Platz der Notizen eines einzelnen Kochs. Bisherige Methoden benötigten 2-fach oder mehr Platz.
Hohe Qualität: Obwohl es so klein ist, behält es 98 % oder mehr der ursprünglichen Kochkünste bei. Es verliert nicht den Geschmack.
Vielseitig: Es funktioniert für Vision (Bilder sehen), Sprache (Chatten) und sogar gemischte Aufgaben (wie die Beschreibung eines Videos).

Zusammenfassung:
DiDi-Merging ist wie der Bau einer modularen Küche, in der Sie eine kleine, hochwertige Basisstation und winzige, maßgeschneiderte Aufsätze für jeden spezifischen Job haben. Es verwendet ein intelligentes, lernendes System, um genau zu entscheiden, wie groß jeder Teil sein sollte, und stellt sicher, dass Sie die beste Leistung mit dem geringsten Speicherplatz erhalten, alles ohne Rückgriff auf die ursprünglichen Trainingsdaten.

Technische Zusammenfassung: DiDi-Merging

Problemstellung
Das Modell-Merging ermöglicht die Wiederverwendung von feinabgestimmten Modellen ohne gemeinsames Training oder Zugriff auf Originaldaten. Dies adressiert die hohen Kosten für den Einsatz mehrerer aufgaben spezifischer Modelle sowie die Undurchführbarkeit von Multi-Task-Training aufgrund von Datenschutz- oder Rechenbeschränkungen. Während statisches Merging Modelle zu einem einzigen Checkpoint fusioniert, leidet es unter Aufgabeninterferenzen. Dynamisches Merging verbessert die Flexibilität durch das Routing von Eingaben zu aufgabenrelevanten Expertenkomponenten, doch bestehende Methoden stoßen auf eine kritische Speicherengpass. Aktuelle dynamische Ansätze fallen in zwei suboptimale Extreme:

Schwerer Shared: Aufrechterhaltung eines vollgrößigen gemeinsamen Modells mit winzigen aufgabenspezifischen Experten (z. B. TALL-Mask, EMR-Merging), was zu Parametern führt, die nicht kleiner als das ursprüngliche Modell sind.
Schwerer Expert: Verwerfen der gemeinsamen Komponente und Speichern allen Wissens in aufgabenspezifischen Expertenvektoren (z. B. TSV-C, SMILE), wodurch der Speicherbedarf linear mit der Anzahl der Aufgaben skaliert.
Keiner dieser Ansätze balanciert den Trade-off zwischen gemeinsamem Wissen und aufgabenspezifischer Kapazität effektiv aus, was zu übermäßigem Speicher-Overhead führt (typischerweise $\ge 2\times$ der Größe eines einzelnen feinabgestimmten Modells).

Methodik: DiDi-Merging
Die Autoren schlagen DiDi-Merging (Dynamic Merging with Differentiable Rank) vor, ein schlankes dynamisches Merging-Framework, das Parameter zwischen gemeinsamen und aufgabenspezifischen Experten durch differenzierbare Rangallokation ausbalanciert. Die Methode läuft in drei Stufen ab:

Niedrigrangige Zerlegung: Aufgabenvektoren ( $\tau_t = \theta_t - \theta_0$ ) werden in eine gemeinsame Wissensmatrix ( $M_s$ ), die durch statisches Averaging gewonnen wird, und aufgabenspezifische Expertenresiduen ( $M_t = \tau_t - M_s$ ) zerlegt. Beide Matrizen werden mittels Singulärwertzerlegung (SVD) zerlegt.
Differenzierbare Rangoptimierung: Anstelle einer festen Rangallokation formuliert die Methode das Parameterbudget als differenzierbares Optimierungsproblem. Eine glatte Trunkierungsfunktion gewichtet Singulärwerte basierend auf einem lernbaren kontinuierlichen Rangparameter $r$ neu. Das Ziel minimiert einen Aufgaben-Rekonstruktionsverlust (Mittlerer quadratischer Fehler zwischen rekonstruierten und ursprünglichen Aufgabenvektoren), während Abweichungen von einem Zielkompressionsverhältnis bestraft werden. Dies ermöglicht dem Modell, die Ränge von gemeinsamen und Expertenkomponenten gemeinsam zu optimieren, indem es mehr Kapazität für diverse Aufgaben und weniger für ähnliche Aufgaben zuweist, ohne Zugriff auf die ursprünglichen Trainingsdaten zu haben.
Datenfreie Verfeinerung: Nach Bestimmung der optimalen Ränge werden die getrunkenen niedrigrangigen Parameter mittels eines datenfreien Optimierungsschritts verfeinert. Niedrigrangige LoRA-artige Module ( $A, B$ ) werden aus der getrunkenen SVD initialisiert und aktualisiert, um den Rekonstruktionsverlust gegenüber den gespeicherten Aufgabenvektoren zu minimieren und während der Trunkierung verlorengegangene Leistung wiederherzustellen.

Hauptbeiträge

Identifikation von Fehlermodi: Die Arbeit charakterisiert bestehende dynamische Merging-Methoden als leiden unter „schweren Shared"- oder „schweren Expert"-Allokationsextremen, die beide zu suboptimalen Trade-offs zwischen Genauigkeit und Effizienz führen.
Differenzierbare Rangallokation: DiDi-Merging führt einen Mechanismus ein, um gemeinsame und aufgabenspezifische Expertenränge über ein differenzierbares SVD-Trunkierungsziel gemeinsam zu optimieren, wodurch die Notwendigkeit manueller Rangabstimmung oder Datenzugriff entfällt.
Schlankes dynamisches Merging: Das Framework erreicht nahezu verlustfreie Leistung bei deutlich reduziertem Speicherbedarf. Es entspricht früheren dynamischen Baselines bei 1,24 $\times$ der Parameterzahl eines einzelnen feinabgestimmten Modells und übertrifft diese bei 1,4 $\times$ , wodurch es Methoden, die $\ge 2\times$ Speicher erfordern, deutlich übertrifft.

Experimentelle Ergebnisse
DiDi-Merging wurde im Bereich Vision, Large Language Models (LLMs) und Multimodal Large Language Models (MLLMs) evaluiert:

Vision: Auf einem 8-Aufgaben-ViT-B/32-Benchmark entsprach DiDi-Merging-S (1,24 $\times$ Budget) der stärksten dynamischen Baseline (TSV-C bei 2,08 $\times$ ) mit 89,3 % Genauigkeit gegenüber 89,5 %, bei weniger als 60 % des Speicherbedarfs. Bei 1,4 $\times$ erreichte es die höchste Gesamtpunktzahl (89,8 %).
LLMs: Beim Merging von Llama-3.1-8B-Instruct und Qwen-2.5-7B-Instruct über vier Domänen hinweg übertraf DiDi-Merging-L (2,0 $\times$ Budget) frühere dynamische Methoden im Durchschnitt um +5,4 % bei Llama-3.1-8B, mit signifikanten Gewinnen bei Benchmarks zur Befolgung von Anweisungen wie AlpacaEval-2.
MLLMs: In multimodalen Settings (Vision, Audio, Video, Punktwolke) übertraf DiDi-Merging konsistent datenfreie dynamische Baselines (NaiveMC, MMER) bei gleichzeitiger Aufrechterhaltung eines schlanken Parameter-Fußabdrucks. Bemerkenswerterweise erreichte es bei bestimmten Aufgaben eine Leistungsretention von über 100 %, indem es geteiltes cross-modales Wissen nutzte.
Effizienz: Die Methode erfordert moderate Rechenressourcen (ca. 1,1 GB GPU-Speicher) und läuft für die Optimierungsstufe auf ViT-B/32 in etwa 14 Minuten.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass DiDi-Merging einen bedeutenden Schritt vorwärts darstellt, um dynamisches Modell-Merging für den großskaligen Einsatz praktikabel zu machen. Durch die Abkehr von der Dichotomie „schwerer Shared" oder „schwerer Expert" erreicht es einen pareto-optimalen Trade-off zwischen Parameter-Effizienz und Genauigkeit. Die Autoren betonen, dass die Methode vollständig datenfrei ist und sich ausschließlich auf gespeicherte Aufgabenvektoren zur Verfeinerung stützt, was die Privatsphäre wahrt und die Eintrittsbarriere für das Merging spezialisierter Modelle senkt. Das Framework wird als allgemeine Lösung präsentiert, die auf Vision-, Sprach- und multimodale Domänen anwendbar ist und den Einsatz von Experten-Ensembles ohne den Speicher-Overhead der Aufrechterhaltung mehrerer Vollmodelle oder die Leistungsverschlechterung durch statisches Merging ermöglicht.

1. „Gemeinsames Wissen" vs. „Spezialisten-Tricks"

2. Der „intelligente Dimmer-Schalter" (Differentiable Rank Allocation)

3. Die „Politur" (datenfreie Verfeinerung)

Mehr davon