Signature-Guided Capacity Occupancy for Dense Expert Merging

Technische Samenvatting: SigMerge (Signature-Guided Capacity Occupancy)

Probleemstelling
Dense expert merging beoogt meerdere domeinspecifieke taalmodellen te combineren tot een enkel checkpoint zonder verdere training, typisch door te opereren op taakvectoren in de gewichtsruimte. Echter, bestaande methoden kampen met een fundamentele beperking: een enkele set gedeelde parameters moet vaardigheden coderen die in isolatie zijn verworven, wat leidt tot "expert-interferentie", waarbij updates voor het ene domein de capaciteiten die door een ander domein zijn geleerd, uitwissen.

Hoewel bestaande strategieën dit gedeeltelijk aanpakken, beantwoorden ze niet drie kritieke vragen met betrekking tot de toelating van taakvector-ondersteuning:

1. Waar: In welke lagen moet capaciteit worden geopend, en hoeveel?
2. Wie: Welke domeinen moeten die capaciteit bezetten op basis van de vraag?
3. Hoe: Hoe moet ondersteuning worden toegelaten zonder te vertrouwen op kostbare zoekopdrachten naar merge-recepten?

Empirische analyse laat zien dat dense merges een aanzienlijke "residuele expert-kloof" achterlaten (gemiddeld 12,13 procentpunt over diverse instellingen), wat aangeeft dat specialistische capaciteiten niet volledig behouden blijven. Huidige methoden passen vaak uniforme regels toe of vertrouwen op zoekgebaseerde proxies die mogelijk de werkelijke specialistische prestaties niet vangen, waardoor ze er niet in slagen capaciteit te routeren naar de domeinen die het er het meest bij kunnen gebruiken.

Methodologie: SigMerge
De auteurs stellen SigMerge voor, een training-vrije operator die specialistische vermogens herstelt door een begrensd aantal taakvector-coördinaten over lagen en domeinen te alloceren. De methode werkt bovenop een dense base merge (de "anchor") en bestaat uit drie kerncomponenten:

1. Conflict-to-Capacity (Waar):
   SigMerge bepaalt de capaciteit van elke laag ($C_i$) op basis van cross-expert onenigheid. Het aggregeert drie complementaire visies op conflict per laag:

   • Hidden-state geometrie: Gemeten via Centered Kernel Alignment (CKA) van gepoolde verborgen toestanden.
   • Taakvector richting: Gemeten via cosinus-gelijkenis tussen expert-updates.
   • Gezignaleerde coördinaat-vraag: Gemeten door de frequentie van tegengestelde tekens op individuele gewichten.
     Deze signalen worden genormaliseerd en gemiddeld om een conflictscore ($\bar{S}_i$) te vormen. De laagcapaciteit wordt vervolgens lineair afgeleid: lagen met een hoog conflict ontvangen minder capaciteit (om interferentie te voorkomen), terwijl lagen met een laag conflict meer capaciteit ontvangen.

2. Deficit-to-Allocation (Wie):
   De methode verdeelt de geopende capaciteit onder de domeinen op basis van "residuele expert-tekorten". Voor elk domein $d$ wordt het tekort $g_d$ gedefinieerd als het prestatieverschil tussen het base gemerkte model en de beste expert in de pool voor dat specifieke domein. Het aandeel van de capaciteit ($\rho_d$) toegewezen aan elk domein is evenredig aan zijn tekort. Domeinen die de base merge al perfect evenaren, ontvangen nul capaciteit, waardoor het herstel zich alleen richt op ontbrekende capaciteiten.

3. Sequential Occupancy (Hoe):
   Om het laag-domein budget te vullen zonder zoekopdrachten, gebruikt SigMerge een sequentiële claimregel. Domeinen worden gerangschikt op basis van de grootte van hun tekort (grootste tekort eerst). Elk domein claimt zijn toegewezen quotum aan coördinaten uit de set van nog niet geclaimde coördinaten binnen een laag, waarbij de coördinaten met de grootste magnitude in zijn taakvector ($\Delta_{d,i}$) worden geselecteerd. Dit voorkomt dat meerdere domeinen strijden om dezelfde hoog-magnitude coördinaten en zorgt ervoor dat de meest onderbediende domeinen prioriteit krijgen bij de toegang tot de meest impactvolle updates.

Het uiteindelijke gemerkte model wordt geconstrueerd als $\hat{\theta} = \theta_{base} + \sum_d V_d$, waarbij $V_d$ de begrensde increment vertegenwoordigt die door de sequential occupancy regel wordt toegelaten.

Belangrijkste Bijdragen

1. Empirische Karakterisering: De auteurs tonen aan dat de tekorten van specialisten in dense merging groot en heterogeen zijn over modellen, domeinen en merge-families, en beargumenteren dat herstel vereist dat coördinaat-allocatie in plaats van slechts betere gemiddelde-regels.
2. Training-vrij Framework: SigMerge lost de drie uitdagingen van capaciteitsassignatie (waar, wie, hoe) op zonder training of zoekopdrachten. Het gebruikt meetbare signalen (conflict-signatures en prestatie-tekorten) om een rank-one budgetmatrix ($B = C\rho^\top$) te construeren.
3. Theoretische en Algoritmische Garanties: Het artikel biedt een bewijs (Theorem 1) dat de sequential occupancy regel stagewise optimaal is voor het maximaliseren van de toegelaten taakvector-massa gegeven vaste quota en een precedentie-volgorde.
4. Uitgebreide Evaluatie: De methode wordt geëvalueerd over 21 gekoppelde instellingen (7 anchors $\times$ 3 model pools) en vergeleken met zes baselines, inclus[ief] conflict-bewuste, laag-gewijze en zoekgebaseerde methoden.

Resultaten

• Prestatieverbetering: SigMerge verbetert elke een van de 21 gekoppelde instellingen en bereikt een gemiddelde relatieve verbetering van 15,0% in Macro-5 scores.
• Kloofvermindering: De gemiddelde residuele expert-kloof wordt verminderd van 12,13 naar 5,77 procentpunt.
• Rangschikking: SigMerge behaalt de beste gemiddelde rang (1,67) onder zes merging methoden, waarmee het alle baselines verslaat in drie categorieën (conflict-bewust, laag-gewijs en zoekgebaseerd).
• Ablatie-studies: Het verwijderen van ofwel de uit conflict afgeleide capaciteit of de op tekorten gebaseerde allocatie veroorzaakt significante prestatiedalingen (vergelijkbaar met de totale winst), wat bevestigt dat beide signalen essentieel zijn. De specifieke keuze van coördinaten (sequential occupancy) is verantwoordelijk voor ongeveer 80% van de winst bij een vast budget.
• Efficiëntie: De methode voegt ongeveer 0,6 GPU-uren toe aan de kosten van de anchor, waardoor het tot de zoek-vrije baselines behoort en aanzienlijk sneller is dan zoekgebaseerde methoden zoals MERGE3 (die ~26,8 uur duurt).

Betekenis en Claims
Het artikel claimt dat SigMerge een geprincipeerde, training-vrije benadering biedt voor dense expert merging die expliciet rekening houdt met de heterogeniteit van domein-tekorten en laag-gewijze conflicten. Door beslissingen over capaciteit te funderen in meetbare signalen in plaats van zoekopdrachten of uniforme heuristieken, herstelt SigMerge effectief de specialistische vermogens die verloren gaan in standaard dense merges.

De auteurs merken bescheiden op dat de methode niet de anchor of de expert pool bepaalt; het opereert binnen het interval dat door hen wordt gedefinieerd. Bovendien is de huidige evaluatie beperkt tot vijf domeinen, en blijft de schaalbaarheid naar grotere pools of de noodzaak van hogere-rang budgetmatrices een open vraag. De resultaten suggereren echter dat het meten en routeren op basis van werkelijke prestatie-tekorten een effectievere strategie is dan het vertrouwen op louter taakvector-geometrie of dure zoekprocedures.