🤖 machine learning

Stay Unique, Stay Efficient: Preserving Model Personality in Multi-Task Merging

Dieses Paper schlägt Decomposition, Thresholding und Scaling (DTS) vor, ein hocheffizientes Framework zur personalisierten Modellverschmelzung, das durch die Nutzung von singulärer Wertzerlegung und semantischer Ähnlichkeit die aufgabenspezifische Leistung bewahrt und auf ungesehene Aufgaben generalisiert, wobei lediglich 1 % zusätzlicher Speicher pro Aufgabe benötigt wird.

Ursprüngliche Autoren: Kuangpu Guo, Aijing Yu, Jian Liang, Yuhe Ding, Zilei Wang, Ran He, Tieniu Tan

Veröffentlicht 2026-06-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kuangpu Guo, Aijing Yu, Jian Liang, Yuhe Ding, Zilei Wang, Ran He, Tieniu Tan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „Smoothie“-Effekt

Stellen Sie sich vor, Sie haben einen Chefkoch, der ein Experte für acht verschiedene Küchen ist: italienisch, japanisch, mexikanisch, indisch und so weiter. Um Platz in der Küche zu sparen, beschließen Sie, all seine Rezepte in einem einzigen riesigen „Super-Chef“-Kochbuch zu mischen.

Sie versuchen, die Rezepte zu mischen, indem Sie sie einfach im Durchschnitt zusammenführen. Das Ergebnis? Eine Katastrophe. Der „Super-Chef“ kann keinen perfekten Pizza backen, weil die japanischen Gewürze den Teig ruinieren und die mexikanische Salsa mit dem indischen Curry kollidiert. Genau das passiert bei KI, wenn wir versuchen, verschiedene Modelle zu verschmelzen: Die spezifische „Persönlichkeit“ oder das Wissen jeder Aufgabe geht in der Mischung verloren, was zu einer schlechten Leistung führt.

Die aktuelle Lösung: Der „schwere Rucksack“

Einige jüngere Lösungen versuchten, dies zu beheben, indem sie dem Super-Chef einen Rucksack gaben. Für jede neue Küche trägt der Koch einen separaten, schweren Beutel mit spezifischen Zutaten (aufgabenspezifische Parameter). Das funktioniert großartig – der Koch kann sowohl perfekte Pizza als auch perfektes Sushi zubereiten.

Aber es gibt einen Haken: Die Rucksäcke sind zu schwer. Wenn Sie 100 Aufgaben haben, brauchen Sie 100 schwere Rucksäcke. Das macht den Zweck, Platz und Ressourcen zu sparen, zunichte.

Die Lösung: DTS (Decomposition, Thresholding, and Scaling)

Die Autoren schlagen eine neue Methode namens DTS vor. Betrachten Sie DTS als eine „intelligente Komprimierungstechnik“, die es dem Koch ermöglicht, seine einzigartige Persönlichkeit zu behalten, ohne einen schweren Rucksack zu benötigen. Es funktioniert in drei klugen Schritten:

1. Decomposition (Der „Highlight-Reel“)

Anstatt das gesamte Rezeptbuch für eine bestimmte Aufgabe zu behalten, nutzt DTS einen mathematischen Trick (genannt Singular Value Decomposition), um die wichtigsten „Highlights“ dieses Rezeptes zu finden.

Analogie: Stellen Sie sich vor, Sie haben einen 3-stündigen Film. Anstatt den ganzen Film zu speichern, extrahieren Sie nur die 10 kritischsten Szenen, die die Handlung definieren. Sie werfen den langweiligen Füllmaterial weg. DTS behält nur die „obersten 10 %“ der wichtigsten Zahlen, die die Aufgabe einzigartig machen.

2. Thresholding (Das „Gruppierspiel“)

Jetzt haben wir die Highlights, aber sie sind immer noch zu detailliert, um effizient gespeichert zu werden. DTS betrachtet diese Zahlen und gruppiert sie in vier einfache Kategorien:

Große positive Zahlen
Kleine positive Zahlen
Große negative Zahlen
Kleine negative Zahlen
Analogie: Anstatt die exakte Körpergröße jeder einzelnen Person in einer Menge aufzuschreiben (z. B. 1,78 m, 1,79 m, 1,80 m), sortieren Sie sie einfach in vier Körbe ein: „Groß“, „Mittel“, „Klein“ und „Sehr klein“. Sie verlieren ein winziges Stück an Präzision, aber Sie sparen eine enorme Menge an Platz.

3. Scaling (Der „Lautstärkeregler“)

Um sicherzustellen, dass die „Körbe“ immer noch wie die ursprüngliche Menge klingen, weist DTS jeder Gruppe einen einfachen „Lautstärkeregler“ (einen Skalierungsfaktor) zu.

Analogie: Wenn der „Groß“-Korb zu leise ist, drehen Sie den Lautstärkeregler für diese Gruppe etwas höher. Dies ermöglicht es dem System, den ursprünglichen „Geschmack“ der Aufgabe sehr genau zu rekonstruieren, indem nur wenige Bits an Daten verwendet werden.

Das Ergebnis: Dieser Prozess komprimiert die aufgabenspezifischen Informationen so stark, dass er nur 1 % zusätzlichen Platz pro Aufgabe beansprucht. Es ist, als würde man einen schweren Rucksack auf die Größe eines einzelnen Schlüssels schrumpfen.

Der magische Trick: Neue Aufgaben erraten (Generalisierung)

Normalerweise müssten Sie den Koch trainieren oder ihm ein neues Rezept geben, wenn er eine neue Küche kochen soll (wie etwa die äthiopische Küche), die er noch nie gesehen hat.

DTS hat einen speziellen „Data-Free“-Modus. Es betrachtet die Namen oder Beschreibungen der Aufgaben.

Analogie: Wenn der Koch „Italienisch“ und „Spanisch“ gemeistert hat und Sie ihn bitten, „Portugiesisch“ zu kochen, schaut DTS auf die Namen. Es weiß, dass „Portugiesisch“ linguistisch ähnlich wie „Spanisch“ ist. Also mischt es die „spanischen“ und „italienischen“ Aromen in den richtigen Proportionen, um das portugiesische Rezept zu erraten.
Dies geschieht ohne neue Daten oder Training. Es nutzt lediglich die „semantische Ähnlichkeit“ (wie sehr die Aufgabennamen einander ähneln), um die vorhandenen, komprimierten Erinnerungen zu vermischen.

Warum das wichtig ist

Die Arbeit zeigt, dass DTS das Beste aus beiden Welten bietet:

Leistung: Es hält die „Persönlichkeit“ des Modells intakt und erbringt eine fast ebenso gute Leistung, als wäre das Modell separat für jede Aufgabe trainiert worden.
Effizienz: Es benötigt nur 1 % zusätzlichen Speicherplatz pro Aufgabe, während andere Methoden vielleicht 10 % bis 100 % mehr Platz benötigen.
Vielseitigkeit: Es funktioniert sowohl bei Bildern (wie dem Erkennen von Autos oder handgeschriebenen Zahlen) als auch bei Text (wie dem Verstehen von Sätzen oder dem Schreiben von Geschichten).

Kurz gesagt: DTS ermöglicht es uns, viele KI-Modelle zu einem einzigen zu verschmelzen, ohne dass diese ihre individuellen Fähigkeiten verlieren, und das, indem es die „Erinnerung“ an diese Fähigkeiten unglaublich klein und leichtgewichtig hält.

Technisches Resümee: Stay Unique, Stay Efficient (DTS)

Problemstellung

Das Zusammenführen von Modellen (Model Merging) bietet ein datenfreies und optimierungsfreies Paradigma, um mehrere aufgabenspezifische Modelle zu einer einzigen Repräsentation zu vereinigen, wodurch die prohibitiven Kosten des Fine-Tunings und der Speicherung separater Modelle vermieden werden. Herkömmliche grundlegende Merging-Methoden (z. B. Weight-Averaging, Task-Arithmetic) leiden jedoch unter schweren Parameterkonflikten, was zu einer signifikanten Leistungsdegradierung führt, selbst wenn Modelle zusammengeführt werden, die auf semantisch ähnlichen Aufgaben trainiert wurden.

Während jüngste Frameworks für das personalisierte Modell-Merging versuchen, aufgabenspezifische Informationen zu bewahren, um diese Konflikte abzumildern, verursachen sie typischerweise einen prohibitiven Speicher-Overhead. Methoden, die dichte Expertenkomponenten, vollständige Modellparameter oder komplexe Routing-Netzwerke speichern, machen den primären Effizienzvorteil des Model Merging zunichte und begrenzen deren Einsatz in ressourcenbeschränkten Umgebungen. Die zentrale Herausforderung besteht darin, essenzielle aufgabenspezifische Informationen zu bewahren, um die Leistung aufrechtzuerhalten, während der zusätzliche Speicherbedarf pro Aufgabe minimiert wird.

Methodik: Decomposition, Thresholding, and Scaling (DTS)

Die Autoren schlagen DTS vor, ein approximationsbasiertes personalisiertes Merging-Framework, das darauf ausgelegt ist, aufgabenspezifische Informationen effizient zu komprimieren. Die Methode operiert in zwei Hauptphasen: einer Approximationsphase und einer Inferenzphase.

1. Repräsentation aufgabenspezifischer Informationen

Das Framework definiert aufgabenspezifische Informationen in zwei Formen:

Task Vectors ( $\tau_n$ ): Die Differenz zwischen den feinabgestimmten Gewichten ( $\theta_n$ ) und den vortrainierten Gewichten ( $\theta_0$ ), d. h. $\tau_n = \theta_n - \theta_0$ .
Difference Vectors ( $d_n$ ): Eine neuartige Repräsentation, definiert als die Differenz zwischen den feinabgestimmten Gewichten und einem grob zusammengeführten Baseline-Modell ( $\theta_m$ ), d. h. $d_n = \theta_n - \theta_m$ . Diese Variante ist besonders nützlich, wenn die ursprünglichen vortrainierten Gewichte nicht zugänglich sind, und erfasst das personalisierte Residuum relativ zu einer gemeinsamen Baseline.

2. Die DTS-Kompressionspipeline

Um diese Vektoren effizient zu speichern, wendet DTS drei sequentielle Operationen an:

Decomposition (SVD): Die Zielmatrix (Task Vector oder Difference Vector) durchläuft eine trunkierte Singulärwertzerlegung (Sated SVD). Es werden nur die Top- $r$ Singulärwerte und die entsprechenden Vektoren beibehalten, wodurch unstrukturierter Parameterrauschen basierend auf dem Eckart-Young-Mirsky-Theorem herausgefiltert wird.
Thresholding: Anstatt eine einfache binäre Maske zu verwenden (die feingranulare Informationen verwirft), führt DTS eine neuartige Thresholding-Strategie ein. Es unterteilt die Elemente jedes Singulärvektors in vier Gruppen:
1. Positive "große" Werte
2. Positive "kleine" Werte
3. Negative "große" Werte
4. Negative "kleine" Werte
  Dies wird erreicht, indem zuerst das Vorzeichen (1 Bit) kodiert wird und anschließend positive/negative Werte gegen ihre jeweiligen Mediane verglichen werden, um die Magnituden-Level zu bestimmen.
Scaling: Für jede der vier Gruppen wird ein einzelner Skalierungsfaktor berechnet. Dieser Faktor repräsentiert den arithmetischen Mittelwert (berechnet via L1-Norm zur Effizienzsteigerung) der Absolutwerte innerhalb dieser Gruppe.

3. Rekonstruktion und Speichereffizienz

Während der Inferenz wird die aufgabenspezifische Information durch Kombination der approximierten Singulärvektoren und der Skalierungsfaktoren rekonstruiert. Die resultierende Repräsentation benötigt nur 2 Bits pro Element (1 Bit für das Vorzeichen, 1 Bit für das Magnituden-Level), was eine 16-fache Kompressionsrate erzielt. Dies führt zu einem zusätzlichen Speicher-Overhead von etwa 1 % pro Aufgabe.

4. Generalisierung auf ungesehene Aufgaben (Data-Free Adaptation)

Um ungesehene Aufgaben ohne zusätzliches Training oder gelabelte Beispiele zu handhaben, schlagen die Autoren eine Variante vor, die aufgabenspezifische Informationen basierend auf semantischer Ähnlichkeit fusioniert.

Aufgabencharakteristika (z. B. Klassennamen für Klassifikation, Instruktionen für Generierung) werden mittels eines vortrainierten Text-Encoders kodiert, um semantische Embeddings zu generieren.
Die Merging-Gewichte für eine ungesehene Aufgabe werden dynamisch basierend auf der Cosinus-Ähnlichkeit zwischen dem Embedding der ungesehenen Aufgabe und den Embeddings der gesehenen Aufgaben berechnet.
Dieser Ansatz ist vollständig datenfrei und erfordert kein Online-Training oder Backpropagation.

Zentrale Beiträge

DTS-Framework: Eine leichtgewichtige, approximationsbasierte personalisierte Merging-Methode, die durch SVD, neuartiges 4-Gruppen-Thresholding und Scaling aufgabenspezifische Informationen bewahrt und gleichzeitig den Speicher-Overhead minimiert.
DTS-T und DTS-D Varianten: Die Einführung zweier spezifischer Implementierungen: eine, die auf Standard-Task-Vektoren operiert, und eine andere auf Difference-Vektoren (relativ zu einer gemergten Baseline), was Flexibilität für verschiedene Deployment-Szenarien bietet.
Data-Free Generalization: Eine Variante, die in der Lage ist, sich an ungesehene Aufgaben anzupassen, indem sie die semantische Ähnlichkeit von Aufgabencharakteristika nutzt, wodurch die Notwendigkeit von Zielbereichsdaten oder trainierbaren Routern entfällt.
Effizienz-Leistungs-Trade-off: Die Methode erreicht State-of-the-Art-Performance mit nur $\approx$ 1 % zusätzlichem Speicher pro Aufgabe und übertrifft damit signifikant bestehende personalisierte Methoden, die oft 10–100 % zusätzlichen Speicher benötigen.

Experimentelle Ergebnisse

Die Autoren evaluierten DTS bei visuellen Klassifikationsaufgaben (ViT-B/32, ViT-L/14, ViT-B/16), natürlichen Sprachverarbeitungsaufgaben (RoBERTa, GPT-2) und natürlichen Sprachgenerierungsaufgaben (Qwen-14B).

Standard Multi-Task Merging: DTS übertrifft konsistent State-of-the-Art-Baselines (einschließlich T-Switch, FREE-Merging und WEMOE) in Standard-Benchmarks.
- Bei ViT-B/32 erreichte DTS-D eine durchschnittliche Genauigkeit von 90,40 % und übertraf damit die beste Baseline (T-Switch mit 90,15 %), während es nur 3,68 % zusätzlichen Speicher benötigte (im Vergleich zu 6,25 % bei T-Switch und 49,95 % bei WEMOE).
- Bei RoBERTa erreichte DTS-D eine durchschnittliche Genauigkeit von 84,98 % bei nur 3,81 % zusätzlichem Speicher und stellte 99,06 % der Leistung der einzeln feinabgestimmten Modelle wieder her.
- Die Autoren merken an, dass sie durch adaptive Anpassung des Sparsitätskoeffizienten ( $r$ ) den zusätzlichen Speicherbedarf auf <1 % senken können (z. B. DTS-D* mit 0,98 % für ViT-B/32) bei minimalem Leistungsverlust.
Generalisierung auf ungesehene Aufgaben: In Zero-Shot-Szenarien, in denen feinabgestimmte Modelle für ungesehene Aufgaben während des Mergings nicht verfügbar waren:
- DTS-Varianten übertrafen alle konkurrierenden personalisierten Methoden signifikant. Beispielsweise erreichte DTS-D bei ungesehenen Aufgaben auf ViT-B/32 eine durchschnittliche Genauigkeit von 55,41 %, während andere personalisierte Baselines (wie WEMOE und T-Switch) in den Bereich von 40–50 % fielen und oft schlechter abschnitten als einfache Merging-Methoden wie Ties-Merging.
- Dies zeigt, dass die semantische Ähnlichkeits-basierte Fusion effektiv aufgabenspezifisches Wissen überträgt, ohne auf die gesehenen Aufgaben zu überoptimieren.

Bedeutung und Ansprüche

Das Paper behauptet, dass DTS den fundamentalen Trade-off beim Model Merging zwischen Leistungserhaltung und Speichereffizienz adressiert. Durch den Nachweis, dass aufgabenspezifische Informationen ohne signifikanten Verlust an Fidelität auf eine 2-Bit-Repräsentation komprimiert werden können, argumentieren die Autoren, dass personalisiertes Merging in ressourcenbeschränkten Umgebungen eingesetzt werden kann, die zuvor für solche Methoden unzugänglich waren.

Darüber hinaus hebt die Arbeit hervor, dass personalisierte Merging-Methoden oft bei ungesehenen Aufgaben scheitern, weil sie zu stark auf spezifische, gesehene Aufgaben optimiert sind. Die vorgeschlagene datenfreie, semantisch-ähnlichkeitsbasierte Anpassung bietet eine skalierbare Lösung für "Cold-Start"-Multi-Task-Szenarien und ermöglicht es Modellen, neue Aufgaben ohne zusätzliches Training oder Rechenaufwand zu bewältigen. Die Autoren positionieren DTS als ein praktisches, effizientes und effektives Paradigma für das Multi-Task-Deployment der nächsten Generation.