Signature-Guided Capacity Occupancy for Dense Expert Merging

Technisches Resümee: SigMerge (Signature-Guided Capacity Occupancy)

Problemstellung
Das Zusammenführen dichter Experten (Dense Expert Merging) zielt darauf ab, mehrere domänenspezialisierte Sprachmodelle ohne weiteres Training zu einem einzigen Checkpoint zu kombinieren, typischerweise durch Operationen auf Task-Vektoren im Gewichtsraum. Bestehende Methoden stehen jedoch vor einer fundamentalen Einschränkung: Ein einzster Satz gemeinsamer Parameter muss Fähigkeiten kodieren, die isoliert erworben wurden, was zu „Experten-Interferenz“ führt, bei der Updates für eine Domäne die von einer anderen Domäne erlernten Fähigkeiten überschreiben.

Obwohl bestehende Strategien dies teilweise adressieren, bleiben sie drei kritischen Fragen bezüglich der Zulassung von Task-Vektor-Unterstützung unbeantwortet:

1. Wo: In welchen Schichten sollte Kapazität geöffnet werden und in welchem Umfang?
2. Wer: Welche Domänen sollten diese Kapazität basierend auf ihrem Bedarf besetzen?
3. Wie: Wie sollte Unterstützung zugelassen werden, ohne sich auf eine kostspielige Suche über Merge-Rezepte zu verlassen?

Die empirische Analyse zeigt, dass dichte Merges eine signifikante „residuale Expertenlücke“ hinterlassen (im Durchschnitt 12,13 Prozentpunkte über verschiedene Einstellungen hinweg), was darauf hindeutet, dass spezialisierte Fähigkeiten nicht vollständig erhalten bleiben. Aktuelle Methoden wenden oft einheitliche Regeln an oder verlassen sich auf suchbasierte Proxys, die die wahre Spezialistenleistung möglicherweise nicht erfassen, wodurch die Kapazität nicht dorthin geleitet wird, wo sie von den Domänen am dringendsten benötigt wird.

Methodik: SigMerge
Die Autoren schlagen SigMerge vor, einen trainingsfreien Operator, der die Spezialistenfähigkeit wiederherstellt, indem er eine begrenzte Anzahl von Task-Vektor-Koordinaten über Schichten und Domänen hinweg alloziert. Die Methode operiert auf Basis eines dichten Basismix (dem „Anchor“) und besteht aus drei Kernkomponenten:

1. Conflict-to-Capacity (Wo):
   SigMerge bestimmt die Kapazität jeder Schicht ($C_i$) basierend auf der Diskrepanz zwischen den Experten (Cross-Expert Disagreement). Es aggregiert drei komplementäre Ansichten des Konflikts pro Schicht:

• Geometrie der Hidden-States: Gemessen via Centered Kernel Alignment (CKA) der gepoolten Hidden States.
• Task-Vektor-Richtung: Gemessen via Kosinus-Ähnlichkeit zwischen Experten-Updates.
• Signierte Koordinaten-Nachfrage: Gemessen an der Häufigkeit entgegengesetzter Vorzeichen bei einzelnen Gewichten.
  Diese Signale werden normalisiert und gemittelt, um einen Konflikt-Score ($\bar{S}_i$) zu bilden. Die Schichtkapazität wird daraufhin linear abgeleitet: Schichten mit hohem Konflikt erhalten weniger Kapazität (um Interferenz zu vermeiden), während Schichten mit geringem Konflikt mehr Kapazität erhalten.

2. Deficit-to-Allocation (Wer):
   Die Methode alloziert die geöffnete Kapazität unter den Domänen basierend auf „residualen Experten-Defiziten“. Für jede Domäne $d$ ist das Defizit $g_d$ als die Performance-Lücke zwischen dem basalen gemergten Modell und dem besten Experten im Pool für diese spezifische Domäne definiert. Der Anteil der Kapazität ($\rho_d$), der jeder Domäne zugewiesen wird, ist proportional zu ihrem Defizit. Domänen, die das Basis-Merge bereits perfekt abbilden, erhalten eine Kapazität von Null, wodurch sichergestellt wird, dass die Reparatur nur fehlende Fähigkeiten adressiert.

3. Sequential Occupancy (Wie):
   Um das Schicht-Domänen-Budget ohne Suche zu füllen, verwendet SigMerge eine sequentielle Beanspruchungsregel. Die Domänen werden nach der Größe ihres Defizits geordnet (größtes Defizit zuerst). Jede Domäne beansprucht ihr zugewiesenes Kontingent an Koordinaten aus dem Satz der noch nicht beanspruchten Koordinaten innerhalb einer Schicht, wobei sie jene mit der größten Magnitude in ihrem Task-Vektor ($\Delta_{d,i}$) auswählt. Dies verhindert, dass mehrere Domänen um dieselben hoch-magnitudenhaften Koordinaten konkurrieren, und stellt sicher, dass die am stärksten unterversorgten Domänen vorrangigen Zugriff auf die wirkungsvollsten Updates erhalten.

Das finale gemergte Modell wird konstruiert als $\hat{\theta} = \theta_{base} + \sum_d V_d$, wobei $V_d$ das durch die sequentielle Belegungsregel zugelassene begrenzte Inkrement darstellt.

Wesentliche Beiträge

1. Empirische Charakterisierung: Die Autoren zeigen, dass die Defizite von Spezialisten beim dichten Mergen groß und heterogen über Modelle, Domänen und Merge-Familien hinweg sind, und argumentieren, dass eine Reparatur eine Koordinaten-Allokation statt nur besserer Mittelwertbildungsregeln erfordert.
2. Trainingsfreier Framework: SigMerge löst die drei Herausforderungen der Kapazitätszuweisung (wo, wer, wie) ohne Training oder Suche. Es nutzt messbare Signale (Konflikt-Signaturen und Performance-Defizite), um eine Rang-1-Budgetmatrix ($B = C\rho^\top$) zu konstruieren.
3. Theoretische und algorithmische Garantien: Das Paper liefert einen Beweis (Theorem 1), dass die sequentielle Belegungsregel (Sequential Occupancy Rule) stageweise optimal ist, um die zugelassene Task-Vektor-Masse bei festen Kontingenten und einer Präzedenzordnung zu maximieren.
4. Umfassende Evaluierung: Die Methode wird über 21 Paarungen (7 Anchors $\times$ 3 Modell-Pools) evaluiert und gegen sechs Baselines verglichen, einschließlich konfliktbewusster, schichtweiser und suchbasierter Methoden.

Ergebnisse

• Performance-Verbesserung: SigMerge verbessert jede der 21 Paarungen und erreicht eine durchschnittliche relative Verbesserung von 15,0 % in den Macro-5 Scores.
• Reduktion der Lücke: Die durchschnittliche residuale Expertenlücke wird von 12,13 auf 5,77 Prozentpunkte reduziert.
• Ranking: SigMerge erreicht den besten Durchschnittsrang (1,67) unter sechs Merging-Methoden und übertrifft alle Baselines in drei Kategorien (konfliktbewusst, schichtweise und suchbasiert).
• Ablationsstudien: Das Entfernen entweder der konfliktbasierten Kapazität oder der defizitgesteuerten Allokation führt zu signifikanten Performance-Einbußen (vergleichbar mit dem Gesamtzuwachs), was bestätigt, dass beide Signale essenziell sind. Die spezifische Wahl der Koordinaten (Sequential Occupancy) macht etwa 80 % des Gewinns bei einem festen Budget aus.
• Effizienz: Die Methode fügt dem Anchor etwa 0,6 GPU-Stunden hinzu, was sie unter den suchfreien Baselines positioniert und sie signifikant schneller macht als suchbasierte Methoden wie MERGE3 (welches ca. 26,8 Stunden benötigt).

Bedeutung und Ansprüche
Das Paper behauptet, dass SigMerge einen prinzipienbasierten, trainingsfreien Ansatz für das dichte Experten-Merging bietet, der die Heterogenität von Domänen-Defiziten und Schicht-Konflikten explizit adressiert. Durch die Fundierung von Kapazitätsentscheidungen in messbaren Signalen anstelle von Suche oder einheitlichen Heuristiken stellt SigMerge effektiv die spezialisierten Fähigkeiten wieder her, die in Standard-Dichte-Merges verloren gehen.

Die Autoren merken bescheiden an, dass die Methode nicht den Anchor oder den Experten-Pool bestimmt; sie operiert innerhalb des von ihnen definierten Intervalls. Des Weiteren ist die aktuelle Evaluierung auf fünf Domänen beschränkt, und die Skalierbarkeit auf größere Pools oder die Notwendigkeit höherrangiger Budgetmatrizen bleibt eine offene Frage. Die Ergebnisse legen jedoch nahe, dass das Messen und Routen basierend auf tatsächlichen Performance-Defiziten eine effektivere Strategie ist als das bloße Vertrauen auf die Geometrie der Task-Vektoren oder auf teure Suchverfahren.