🤖 AI

AdaRank: Adaptive Rank Pruning for Enhanced Model Merging

AdaRank is een nieuw model-merging framework dat adaptief de meest gunstige singuliere richtingen van taakvectoren selecteert door tijdens de testtijd rangen te verwijderen via entropieminimalisatie, waardoor kruisende taakinterferentie wordt verminderd en state-of-the-art prestaties worden bereikt met een prestatieverschil met fijngefineerde modellen van bijna 1%.

Oorspronkelijke auteurs: Chanhyuk Lee, Jiho Choi, Chanryeol Lee, Donggyun Kim, Seunghoon Hong

Gepubliceerd 2026-03-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Chanhyuk Lee, Jiho Choi, Chanryeol Lee, Donggyun Kim, Seunghoon Hong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

AdaRank: De Slimme Chef die Koffie en Thee Perfect Mengt

Stel je voor dat je een superkok hebt die de beste koffie ter wereld kan zetten, en een andere kok die de perfecte thee brouwt. Nu wil je een nieuwe kok die beide drankjes even goed kan maken, zonder dat je twee aparte keukens nodig hebt.

In de wereld van kunstmatige intelligentie (AI) noemen we dit modelmerging. Je neemt twee of meer gespecialiseerde AI-modellen (zoals de koffie- en theekok) en probeert ze in één groot model te smeden.

Het probleem? Als je ze simpelweg door elkaar gooit, krijg je vaak een rotte mix. De koffie smaakt naar thee, en de thee naar koffie. De "smaken" (de kennis) van de ene taak verstoren de andere. Dit noemen onderzoekers inter-task interference (storing tussen taken).

Het oude probleem: De "Top-K" Heuristiek

Tot nu toe probeerden wetenschappers dit op te lossen door te kijken naar de "sterkste" onderdelen van de modellen. Ze dachten: "Laten we alleen de 10% belangrijkste onderdelen van elke kok behouden en de rest weggooien."

Maar de auteurs van dit paper (AdaRank) ontdekten twee grote fouten in deze aanpak:

De sterkste onderdelen zijn niet altijd de beste: Soms is het belangrijkste onderdeel van de koffie-kok juist het onderdeel dat de theekok volledig in de war brengt. Door alleen naar de "top" te kijken, maak je de storing erger.
Een vaste maat past niet: Sommige taken zijn complex en hebben veel onderdelen nodig (een grote pan), andere zijn simpel en hebben maar een klein lepeltje nodig. Een vaste regel (bijv. "houd altijd 10% vast") werkt niet voor alles.

De Oplossing: AdaRank (Adaptieve Rang-Pruning)

AdaRank is als een slimme chef die niet blindelings volgt wat er op het recept staat, maar proeft terwijl hij kookt.

Hier is hoe het werkt, vertaald naar een alledaags verhaal:

1. De "Maskers" (De Keuzes)
Stel je voor dat elke AI-taak (koffie, thee, koekjes) bestaat uit duizenden kleine ingrediënten. AdaRank geeft aan elk ingrediënt een masker: een klein vlaggetje dat zegt: "Bewaar dit!" of "Gooi dit weg!".
In plaats van te zeggen "houd de top 10% vast", kijkt AdaRank naar elk ingrediënt individueel. Misschien is het 50e ingrediënt van de koffie-kok heel belangrijk, maar het 2e ingrediënt juist schadelijk voor de theekok. AdaRank kan dat 2e weggooien en het 50e houden.

2. Testen zonder te proeven (Entropie-minimalisatie)
Normaal gesproken zou je de nieuwe kok moeten laten koken met echte klanten om te zien of het goed is. Maar dat kost tijd en geld. AdaRank is slim: het gebruikt een trucje.
Het kijkt naar de onzekerheid van het model. Als het model ergens heel zeker van is (bijvoorbeeld: "Dit is zeker koffie"), is de "entropie" (onzekerheid) laag. Als het twijfelt ("Is dit koffie of thee?"), is de entropie hoog.
AdaRank past de maskers aan terwijl het naar onbenoemde testdata kijkt, met als doel de twijfel (entropie) zo laag mogelijk te houden. Het is alsof de chef de smaaktest doet zonder de klanten erbij te hebben: "Als ik dit ingrediënt weglaat, wordt de koffie minder zeker? Dan doe ik het terug. Als de thee er beter van wordt, gooi ik het weg."

3. Het Resultaat: Een Perfecte Mix
Door deze aanpak slaat AdaRank de "storing" tussen de taken weg. Het houdt precies de juiste onderdelen van elke taak vast, ongeacht of ze in de top 10% zitten of niet.

Waarom is dit geweldig?

Geen extra ruimte nodig: Andere methodes proberen een "router" te bouwen die beslist welke kok je moet gebruiken. Dat is als een extra assistent die je moet betalen en ruimte kost. AdaRank maakt één enkel, compact model dat net zo groot is als één origineel model.
Werkt overal: Of je nu praat over het herkennen van gezichten, vertalen van talen of het analyseren van medische scans, AdaRank werkt beter dan de oude methodes.
Slimmer dan de regels: Het leert zelf welke onderdelen belangrijk zijn, in plaats van te vertrouwen op een starre regel.

Kortom:
AdaRank is de slimme kok die niet blindelings de recepten volgt, maar proeft, aanpast en precies weet welke ingrediënten hij moet behouden en welke hij moet weggooien, zodat je aan het einde van de dag één perfecte kok hebt die zowel koffie als thee (en alles daartussenin) fantastisch maakt.

Titel: AdaRank: Adaptieve Rang-Pruning voor Verbeterde Modelsamenvoeging

Auteurs: Chanhyuk Lee, Jiho Choi, Chanryeol Lee, Donggyun Kim en Seunghoon Hong (KAIST)
Publicatie: ICLR 2026

1. Het Probleem

Modelsamenvoeging (model merging) is een veelbelovende techniek om onafhankelijk fijngetuneerde modellen te combineren tot één geïntegreerd framework, wat de rekenkracht-efficiëntie bij multi-task learning aanzienlijk verbetert. Bestaande methoden, zoals Task Arithmetic, combineren "task vectors" (het verschil tussen de gewichten van een fijngetuned model en het pre-trained model).

Recente vooruitgang heeft gebruikgemaakt van Singular Value Decomposition (SVD) om de laag-rang (low-rank) structuur van deze task vectors te exploiteren. Hoewel dit beter presteert dan element-voor-element pruning, lijden SVD-gebaseerde methoden nog steeds aan twee fundamentele beperkingen:

Inter-task interferentie: Het naïef selecteren van alleen de top- $k$ singuliere componenten (die de grootste singuliere waarden hebben) kan leiden tot significante interferentie tussen taken. Componenten die nuttig zijn voor taak A, kunnen de prestaties van taak B juist verstoren.
Vaste rang (Fixed Rank): Bestaande methoden gebruiken een vaste $k$ (het aantal te behouden componenten) voor alle taken en alle lagen van het netwerk. Dit is suboptimaal omdat de complexiteit van taken en de intrinsieke rang van de task vectors sterk variëren per taak en per laag. Een vaste truncatie kan belangrijke informatie verwijderen of onnodige, storende componenten behouden.

2. Methodologie: AdaRank

De auteurs introduceren AdaRank (Adaptive Rank Pruning), een framework dat de rigide top- $k$ heuristiek vervangt door een dynamische, adaptieve selectie van singuliere componenten.

Kerncomponenten:

Binair Masker per Component: In plaats van een vaste rang $k$ , definieert AdaRank een binaire masker $B$ voor elke singuliere component van elke task vector. Een waarde van 1 betekent behoud, 0 betekent pruning. Dit stelt het model in staat om willekeurige combinaties van componenten te selecteren, niet alleen de bovenste $k$ .
Test-Time Adaptation (TTA): Omdat er geen toegang is tot gelabelde trainingsdata tijdens het samenvoegen, optimaliseert AdaRank de maskers $B$ tijdens de inferentie (test-time) op ongelabelde testdata.
Doelfunctie (Entropy Minimization): Het optimalisatieproces minimaliseert de som van de Shannon-entropie van de modeluitvoer over alle taken. Dit is een onbewaakte proxy-doelstelling die sterk correleert met het minimaliseren van de multi-task verliesfunctie.
Straight-Through Estimator (STE): Omdat de maskers binair zijn (niet differentieerbaar), wordt de STE gebruikt. Tijdens de forward pass worden de waarden afgerond naar 0 of 1, maar tijdens de backward pass worden de gradiënten doorgegeven via de continue, gesigmoidiseerde waarden.

Het Proces:

Bereid task vectors voor (verschil tussen fijngetuned en pre-trained gewichten).
Voer SVD uit op de task vectors.
Initialiseer de maskers $B$ (vaak startend met een top- $k$ configuratie).
Voer TTA uit op ongelabelde testdata om de maskers $B$ te optimaliseren via entropieminimalisatie.
Construeer het finale gemerged model door alleen de geselecteerde singuliere componenten te gebruiken.

3. Belangrijkste Bijdragen

Empirische Analyse: De auteurs tonen aan dat top-singuliere componenten vaak schadelijk zijn voor andere taken (interferentie) en dat de benodigde rang sterk varieert per laag en taak.
Adaptieve Selectie: AdaRank introduceert een methode om specifieke singuliere componenten te selecteren of te verwijderen op basis van hun bijdrage aan de totale multi-task prestatie, zonder extra parameters toe te voegen aan het finale model.
Universele Toepasbaarheid: De methode is modulair en kan worden toegepast op verschillende bestaande samenvoegingsstrategieën (zoals Task Arithmetic, CART, TSV-M) en werkt zowel voor visuele (Vision Transformers) als taalkundige modellen (RoBERTa, GPT-2).
Efficiëntie: In tegenstelling tot router-gebaseerde methoden (zoals MoErging) die de modelgrootte laten groeien met het aantal taken, behoudt AdaRank de grootte van een enkel fijngetuned model.

4. Resultaten

De experimenten tonen overtuigend aan dat AdaRank de prestaties van bestaande methoden verbetert:

Visuele Taken (ViT-B/32 en ViT-L/14):
- AdaRank verhoogde de gemiddelde nauwkeurigheid aanzienlijk ten opzichte van statische methoden. Bijvoorbeeld, op ViT-B/32 met 8 taken steeg de prestatie van Task Arithmetic (69.2%) naar 87.9% met AdaRank.
- Het presteerde consistent beter dan adaptieve methoden zoals AdaMerging, wat aantoont dat het selecteren van de juiste singuliere componenten effectiever is dan alleen het aanpassen van schaalcoëfficiënten.
- Het presteerde vergelijkbaar met of beter dan router-gebaseerde methoden (zoals Twin-Merging en WEMoE), maar met een veel kleinere modelgrootte (geen extra parameters per taak).
Taalmodellen (RoBERTa en GPT-2):
- Op 7 NLP-taken (GLUE benchmark) toonde AdaRank consistente verbeteringen. Bijvoorbeeld, op RoBERTa steeg de gemiddelde score van TSV-M (0.6693) naar 0.7309 met AdaRank.
Ablatie Studies:
- Onderste componenten: Het bleek dat het selecteren van componenten buiten de top- $k$ (de "bottom" componenten) vaak waardevol is voor specifieke taken met minder interferentie.
- Rang-variabiliteit: De geleerde maskers tonen aan dat AdaRank automatisch de intrinsieke rang van elke taak en laag aanpast, wat overeenkomt met de complexiteit van de taak.
- Robuustheid: De methode werkt goed zelfs met zeer weinig testdata (tot 1%), wat het geschikt maakt voor real-world scenario's.

5. Betekenis en Conclusie

AdaRank lost een cruciaal probleem op in het veld van modelsamenvoeging: de inefficiëntie van statische, op heuristieken gebaseerde rang-truncatie. Door adaptief te leren welke singuliere componenten behouden moeten worden via test-time entropieminimalisatie, bereikt AdaRank prestaties die dicht in de buurt komen van individueel fijngetuned modellen, maar dan binnen één enkel, compact model.

De studie benadrukt dat kwaliteit van selectie belangrijker is dan kwantiteit (het aantal componenten). AdaRank biedt een schaalbare, parameter-efficiënte oplossing voor multi-task learning die de kloof tussen samengevoegde modellen en individuele experts aanzienlijk verkleint, zonder de complexiteit van router-architecturen.