🤖 machine learning

Stay Unique, Stay Efficient: Preserving Model Personality in Multi-Task Merging

Dit artikel stelt Decomposition, Thresholding, and Scaling (DTS) voor, een zeer opslagefficiënt framework voor het samenvoegen van gepersonaliseerde modellen dat taakspecifieke prestaties behoudt en generaliseert naar onbekende taken door slechts 1% extra opslag per taak te gebruiken via het benutten van singularwaardeontbinding en semantische gelijkenis.

Oorspronkelijke auteurs: Kuangpu Guo, Aijing Yu, Jian Liang, Yuhe Ding, Zilei Wang, Ran He, Tieniu Tan

Gepubliceerd 2026-06-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kuangpu Guo, Aijing Yu, Jian Liang, Yuhe Ding, Zilei Wang, Ran He, Tieniu Tan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Het "Smoothie"-effect

Stel je voor dat je een meesterkok hebt die een expert is in acht verschillende keukens: de Italiaanse, Japanse, Mexicaanse, Indiase, enzovoort. Om ruimte te besparen in de keuken, besluit je al hun recepten te mengen tot één gigantisch "Superchef"-kookboek.

Je probeert de recepten te mengen door ze simpelweg te middelen. Het resultaat? Een ramp. De "Superchef" kan geen perfecte pizza maken omdat de Japanse kruiden het deeg verpesten, en de Mexicaanse salsa botst met de Indiase curry. Dit is wat er gebeurt in AI wanneer we verschillende modellen proberen te samenvoegen: de specifieke "persoonlijkheid" of kennis van elke taak gaat verloren in de mix, wat leidt tot slechte prestaties.

De Huidige Oplossing: De "Zware Rugzak"

Sommige recente oplossingen probeerden dit op te lossen door de Superchef een rugzak te geven. Voor elke nieuwe keuken draagt de chef een aparte, zware tas met specifieke ingrediënten (taakspecifieke parameters). Dit werkt geweldig—de chef kan perfecte pizza én perfecte sushi maken.

Maar er is een addertje onder het gras: de rugzakken zijn te zwaar. Als je 100 taken hebt, heb je 100 zware rugzakken nodig. Dit doet het doel van het besparen van ruimte en middelen volledig teniet.

De Oplossing: DTS (Decompositie, Drempelwaarde en Schaling)

De auteurs stellen een nieuwe methode voor genaamd DTS. Zie DTS als een "Slimme Compressie"-techniek waarmee de chef zijn unieke persoonlijkheid kan behouden zonder een zware rugzak nodig te hebben. Het werkt in drie slimme stappen:

1. Decompositie (De "Highlight Reel")

In plaats van het volledige receptenboek voor een specifieke taak te bewaren, gebruikt DTS een wiskundige truc (genaamd Singular Value Decomposition) om de belangrijkste "hoogtepunten" van dat recept te vinden.

Analogie: Stel je voor dat je een film van 3 uur hebt. In plaats van de hele film op te slaan, extraheer je alleen de 10 meest cruciale scènes die het plot definiëren. Je gooit de saaie opvulling weg. DTS bewaart alleen de "top 10%" van de belangrijkste getallen die de taak uniek maken.

2. Drempelwaarde (Het "Groeperingsspel")

Nu we de hoogtepunten hebben, zijn ze nog steeds te gedetailleerd om efficiënt op te slaan. DTS kijkt naar deze getallen en groepeert ze in vier eenvoudige categorieën:

Grote positieve getallen
Kleine positieve getallen
Grote negatieve getallen
Kleine negatieve getallen
Analogie: In plaats van de exacte lengte van elke persoon in een menigte op te schrijven (bijv. 1,78 m, 1,79 m, 1,80 m), deel je ze gewoon in in vier bakken: "Lang", "Gemiddeld", "Kort" en "Zeer Kort". Je verliest een klein beetje precisie, maar je bespaart een enorme hoeveelheid ruimte.

3. Schaling (De "Volumeknop")

Om ervoor te zorgen dat de "bakken" nog steeds klinken als de oorspronkelijke menigte, wijst DTS een eenvoudige "volumeknop" (een schalfactor) toe aan elke groep.

Analogie: Als de "Lange" bak te zacht klinkt, draai je de volumeknop voor die groep omhoog. Hierdoor kan het systeem de oorspronkelijke "smaak" van de taak zeer nauwkeurig reconstrueren met slechts een paar bits aan data.

Het Resultaat: Dit proces comprimeert de taakspecifieke informatie zo sterk dat het slechts 1% extra ruimte per taak inneemt. Het is alsof je een zware rugzak krimpt tot de grootte van een enkele sleutel.

De Magische Truc: Nieuwe Taken Raden (Generalisatie)

Normaal gesproken, als je wilt dat de chef een nieuwe keuken kookt die hij nog nooit heeft gezien (zoals de Ethiopische keuken), moet je hem trainen of een nieuw recept geven.

DTS heeft een speciale "Data-Free" modus. Het kijkt naar de namen of beschrijvingen van de taken.

Analogie: Als de chef "Italiaans" en "Spaans" heeft beheerst, en je vraagt hem om "Portugees" te koken, kijkt DTS naar de namen. Het weet dat "Portugees" taalkundig lijkt op "Spaans". Dus mengt het automatisch de "Spaanse" en "Italiaanse" smaken in de juiste verhoudingen om het Portugese recept te raden.
Dit doet het zonder nieuwe data of training nodig te hebben. Het gebruikt simpelweg de "semantische gelijkenis" (hoeveel de taaknamen op elkaar lijken) om de bestaande gecomprimeerde herinneringen te mengen.

Waarom dit ertoe doet

Het paper laat zien dat DTS het beste van beide werelden biedt:

Prestaties: Het houdt de "persoonlijkheid" van het model intact, waarbij het bijna net zo goed presteert als wanneer het model afzonderlijk voor elke taak zou zijn getraind.
Efficiëntie: Het vereist slechts 1% extra opslagruimte per taak, terwijl andere methoden misschien 10% tot 100% extra ruimte nodig hebben.
Veelzijdigheid: Het werkt op afbeeldingen (zoals het herkennen van auto's of handgeschreven cijfers) en tekst (zoals het begrijpen van zinnen of het schrijven van verhalen).

Kortom, DTS stelt ons in staat om veel AI-modellen samen te voegen in één model zonder dat ze hun individuele vaardigheden verliezen, en dat doet het door de "herinnering" aan die vaardigheden ongelooflijk klein en lichtgewicht te houden.

Technische Samenvatting: Stay Unique, Stay Efficient (DTS)

Probleemstelling

Modelmerging biedt een data-vrij en optimalisatie-vrij paradigma om meerdere taakspecifieke modellen te verenigen in één enkele representatie, waardoor de prohibitieve kosten van het finetunen en het opslaan van afzonderlijke modellen worden vermeden. Traditionele basis-mergingmethoden (bijv. Weight-Averaging, Task-Arithmetic) lijden echter aan ernstige parameterconflicten, wat leidt tot significante prestatievermindering, zelfs wanneer modellen zijn getraind op semantisch vergelijkbare taken.

Hoewel recente frameworks voor gepersonaliseerde modelmerging proberen taakspecifieke informatie te behouden om deze conflicten te mitigeren, brengen zij doorgaans een prohibitieve opslagoverhead met zich mee. Methoden die dichte expertcomponenten, volledige modelparameters of complexe routeringsnetwerken opslaan, tenietdoen het primaire efficiëntievoordeel van modelmerging en beperken hun inzetbaarheid in omgevingen met beperkte middelen. De kernuitdaging is het behoud van essentiële taakspecifieke informatie om de prestaties te handhaven, terwijl de extra benodigde opslag per taak wordt geminimaliseerd.

Methodologie: Decomposition, Thresholding, and Scaling (DTS)

De auteurs stellen DTS voor, een op benadering gebaseerd framework voor gepersonaliseerde merging dat ontworpen is om taakspecifieke informatie efficiënt te comprimeren. De methode werkt in twee hoofdfasen: een benaderingsfase en een inferentiefase.

1. Representatie van Taakspecifieke Informatie

Het framework definieert taakspecifieke informatie in twee vormen:

Taakvectoren ( $\tau_n$ ): Het verschil tussen de gefinetunede gewichten ( $\theta_n$ ) en de pre-trained gewichten ( $\theta_0$ ), oftewel $\tau_n = \theta_n - \theta_0$ .
Verschilvectoren ( $d_n$ ): Een nieuwe representatie gedefinieerd als het verschil tussen de gefinetunede gewichten en een grofweg samengevoegde baseline ( $\theta_m$ ), oftewel $d_n = \theta_n - \theta_m$ . Deze variant is bijzonder nuttig wanneer de originele pre-trained gewichten niet toegankelijk zijn en legt de gepersonaliseerde residu vast relatief aan een gedeelde baseline.

2. De DTS Compressie-pipeline

Om deze vectoren efficiënt op te slaan, past DTS drie opeenvolgende operaties toe:

Decompositie (SVD): De doelmatrix (taakvector of verschilvector) ondergaat een afgekapte Singular Value Decomposition (SVD). Alleen de top- $r$ singuliere waarden en hun bijbehorende vectoren worden behouden, waarbij ongestructureerde parameterruis wordt weggefilterd op basis van de Eckart-Young-Mirsky stelling.
Thresholding (Drempelwaarde): In plaats van een eenvoudige binaire maskering (die fijnmazige informatie weggooit), introduceert DTS een nieuwe thresholding-strategie. Het verdeelt de elementen van elke singuliere vector in vier groepen:
1. Positieve "Grote" waarden
2. Positieve "Kleine" waarden
3. Negatieve "Grote" waarden
4. Negatieve "Kleine" waarden
  Dit wordt bereikt door eerst het teken te coderen (1 bit) en vervolgens positieve/negatieve waarden te vergelijken met hun respectievelijke medianen om het magnitudeniveau te bepalen.
Scaling (Schaling): Voor elke van de vier groepen wordt een enkele schaleringsfactor berekend. Deze factor vertegenwoordigt het rekenkundig gemiddelde (berekend via de L1-norm voor efficiëntie) van de absolute waarden binnen die groep.

3. Reconstructie en Opslagefficiëntie

Tijdens de inferentie wordt de taakspecifieke informatie gereconstrueerd door de benaderde singuliere vectoren en de schaleringsfactoren te combineren. De resulterende representatie vereist slechts 2 bits per element (1 bit voor het teken, 1 bit voor het magnitudeniveau), wat een 16 $\times$ compressieverhouding oplevert. Dit resulteert in een extra opslagoverhead van ongeveer 1% per taak.

4. Generalisatie naar Ongeziene Taken (Data-Free Adaptatie)

Om ongeziene taken te behandelen zonder aanvullende trainingsdata of gelabelde voorbeelden, stellen de auteurs een variant voor die taakspecifieke informatie fuseert op basis van semantische gelijkenis.

Taakkenmerken (bijv. klassenamen voor classificatie, instructies voor generatie) worden gecodeerd met behulp van een pre-trained tekstencoder om semantische embeddings te generen.
De merge-gewichten voor een ongeziene taak worden dynamisch berekend op basis van de cosinus-gelijkenis tussen de embedding van de ongeziene taak en de embeddings van geziene taken.
Deze aanpak is volledig data-vrij en vereist geen online training of backpropagation.

Belangrijkste Bijdragen

DTS Framework: Een lichtgewicht, op benadering gebaseerde gepersonaliseerde merging-methode die taakspecifieke informatie behoudt terwijl de opslagoverhead wordt geminimaliseerd door middel van SVD, een nieuwe 4-groep thresholding en schaling.
DTS-T en DTS-D Varianten: De introductie van twee specifieke implementaties: één werkend op standaard taakvectoren en een andere op verschilvectoren (relatief aan een samengevoegde baseline), wat flexibiliteit biedt voor verschillende deployment-scenario's.
Data-Free Generalisatie: Een variant die in staat is om zich aan te passen aan ongeziene taken door gebruik te maken van de semantische gelijkenis van taakkenmerken, waardoor de noodzaak voor doeldomein-data of trainbare routers vervalt.
Efficiëntie-Prestatie Afweging: De methode bereikt state-of-the-art prestaties met slechts $\approx$ 1% extra opslag per taak, waarmee het bestaande gepersonaliseerde methoden die vaak 10–100% extra opslag vereisen, aanzienlijk overtreft.

Experimentele Resultaten

De auteurs evalueerden DTS op visuele classificatie (ViT-B/32, ViT-L/14, ViT-B/16), natuurlijke taalverwerking (RoBERTa, GPT-2) en natuurlijke taalgeneratie (Qwen-14B) taken.

Standaard Multi-Task Merging: DTS presteert consistent beter dan state-of-the-art baselines (inclusief T-Switch, FREE-Merging en WEMOE) op standaard benchmarks.
- Op ViT-B/32 behaalde DTS-D een gemiddelde nauwkeurigheid van 90,40%, waarmee het de beste baseline (T-Switch op 90,15%) versloeg terwijl het slechts 3,68% extra geheugen vereiste (vergeleken met de 6,25% van T-Switch en 49,95% van WEMOE).
- Op RoBERTa behaalde DTS-D 84,98% gemiddelde nauwkeurigheid met slechts 3,81% extra geheugen, waarbij 99,06% van de prestaties van individueel gefinetunede modellen werd hersteld.
- De auteurs merken op dat zij door de sparsity-coëfficiënt ( $r$ ) adaptief aan te passen, de extra geheugenratio kunnen verlagen naar <1% (bijv. DTS-D* op 0,98% voor ViT-B/32) met minimale prestatieverlies.
Generalisatie naar Ongeziene Taken: In zero-shot scenario's waar gefinetunede modellen voor ongeziene taken niet beschikbaar waren tijdens het mergen:
- DTS-varianten presteerden aanzienlijk beter dan alle concurrerende gepersonaliseerde methoden. Zo behaalde DTS-D op ongeziene taken van ViT-B/32 een gemiddelde nauwkeurigheid van 55,41%, terwijl andere gepersonaliseerde baselines (zoals WEMOE en T-Switch) zakten naar de 40–50% range, en vaak slechter presteerden dan basis-merging methoden zoals Ties-Merging.
- Dit demonstreert dat de op semantische gelijkenis gebaseerde fusie effectief taakspecifieke kennis kan overdragen zonder te overfitten op geziene taken.

Betekenis en Claims

Het papier claimt dat DTS de fundamentele afruil in modelmerging tussen prestatiebehoud en opslagefficiëntie aanpakt. Door aan te tonen dat taakspecifieke informatie kan worden gecomprimeerd tot een 2-bit representatie zonder significant verlies van getrouwheid, betogen de auteurs dat gepersonaliseerde merging kan worden ingezet in omgevingen met beperkte middelen die voorheen ontoegankelijk waren voor dergelijke methoden.

Verder benadrukt het werk dat gepersonaliseerde merging-methoden vaak falen in het generaliseren naar ongeziene taken omdat ze te veel optimaliseren voor specifieke geziene taken. De voorgestelde data-vrije, op semantische gelijkenis gebaseerde adaptatie biedt een schaalbare oplossing voor "cold-start" multi-task scenario's, waardoor modellen nieuwe taken kunnen afhandelen zonder extra trainingdata of computationele overhead. De auteurs positioneren DTS als een praktisch, efficiënt en effectief paradigma voor de volgende generatie multi-task deployment.