Access Sets Matter: Budgeting Expert Reads for Scalable Weight-Space Model Merging

Technische Samenvatting: Toegangssets zijn cruciaal: Budgetteringsexpert leest voor schaalbaar gewichtsruimte-modelsamenvoeging

1. Probleemstelling

Naarmate de ontwikkeling van Large Language Models (LLM) steeds meer afhankelijk wordt van families van checkpoints – inclusief basismodellen, instructie-geoptimaliseerde varianten, domeinspecialisten en delta-updates – is de taak om deze te consolideren tot een enkel inzetbaar model via samenvoeging in de gewichtsruimte kritiek geworden. Waar bestaand onderzoek zich richt op hoe gewichten moeten worden gecombineerd (bijvoorbeeld via middeling, TIES of DARE), is er op grote schaal een aanzienlijke uitvoeringsknelpunt ontstaan: de kosten van het lezen van expertparameters.

In naïeve samenvoegingsscripts behandelt het systeem checkpoints als ondeurzichtige bestanden en scant het alle expertparameters, ongeacht hun werkelijke bijdrage aan de uiteindelijke samenvoeging. Naarmate het aantal experts ($K$) groeit, schaalt de I/O voor het lezen van experts bijna lineair, waardoor het samenvoegingsproces I/O-beperkt wordt in plaats van rekenkracht-beperkt. Dit beperkt de schaalbaarheid van iteratieve samenvoegingswerkstromen, vooral bij het omgaan met grote pools van experts op schijfgebaseerde opslag.

2. Methodologie: MergePipe

De auteurs introduceren MergePipe, een budgetbewuste uitvoeringslaag die modelsamenvoeging herformuleert als een expert-toegangsset-probleem. In plaats van de samenvoegingsregel als primaire beperking te behandelen, ontkoppelt MergePipe de logische combinatie van gewichten van de fysieke toegang tot die gewichten.

Kernabstractie:
MergePipe werkt onder de aanname dat experts zijn uitgelijnd in een gedeeld gewichtscoördinatenstelsel (bijvoorbeeld fijngefineerd vanuit een gedeelde basis). Het introduceert een toegangsmasker ($A$) dat bepaalt welke expert-deltablokken fysiek worden gelezen.

• Volledig-lezen samenvoeging: $A = 1$ (alle experts worden gelezen).
• Gebudgetteerde samenvoeging: Selecteer een masker $A$ zodat de kosten voor het lezen van experts $C_{expert}(A) \leq B$, waarbij $B$ een door de gebruiker gedefinieerd I/O-budget is.
• Uitvoering: Het systeem voert een masker-bewuste operator $\Psi_{op}$ uit. Omgerekende vermeldingen worden vertegenwoordigd door het masker zelf en triggeren geen opslaglezingen.

Systeemcomponenten:

1. Catalogus: Stelt checkpoints bloot als blokgestructureerde data in plaats van ondeurzichtige bestanden. Het slaat metadata op (grootte, indeling, hashes, schetsen, dekkingssuggesties) om kostenschatting mogelijk te maken zonder volledige checkpoints te scannen.
2. Planner: Construeert een deterministisch toegangsmasker $A$ dat voldoet aan de budgetbeperking. Het rangschikt kandidaat-expertdeltas met behulp van catalogusstatisistieken (bijvoorbeeld normen, schetsen) en hanteert hebberige of score-per-byte-heuristieken om blokken te selecteren. Het verandert de logica van de samenvoegingsoperator niet, maar beslist welke deltas worden gerealiseerd.
3. Uitvoerder: Streamt basisblokken en gebruikt een DeltaIterator om alleen de geselecteerde expertdeltas te realiseren. Het past de masker-bewuste operator toe en registreert een herhaalbaar manifest dat het toegangsmasker, planhash en afstamming bevat.

Theoretische garanties:

• Budgetzekerheid: De uitvoeringstrace is door constructie gegarandeerd binnen het gespecificeerde budget $B$ te blijven.
• Volledig-budget consistentie: Als het budget is ingesteld om alle experts te dekken ($A=1$), herstelt het systeem exact de standaard volledige-lezen samenvoeging.
• Foutgrenzen: Voor additieve operators met vaste coëfficiënten is de fout door weggelaten updates begrensd door de norm van de weggelaten deltas. Voor niet-additieve operators (zoals TIES of DARE) biedt het systeem dezelfde abstractie, waarbij de fideliteit empirisch wordt geëvalueerd.

3. Belangrijkste bijdragen

1. Expert-toegangssets als gebudgetteerd object: Het paper stelt voor om experttoegang te behandelen als een eerstegraads, gebudgetteerd hulpbron, waarbij het "welke" (toegang) wordt gescheiden van het "hoe" (combinatie).
2. Theoretische analyse: De auteurs bewijzen budgetzekerheid en volledige-budget consistentie, en leiden een grens voor weggelaten updates af voor additieve samenvoegingen, wat het gebruik van op normen gebaseerde toegangsscores rechtvaardigt.
3. MergePipe-implementatie: Een concreet systeem dat deze abstractie implementeert, wat leidt tot verminderingen van de expert-lees-I/O met een orde van grootte en aanzienlijke snelheidswinsten, zonder dat er wijzigingen nodig zijn in de onderliggende samenvoegingsoperators.

4. Experimentele resultaten

De auteurs hebben MergePipe geëvalueerd op Qwen- en Llama-checkpointfamilies (variërend van 0,6B tot 8B parameters) met tot wel 25 experts.

• I/O en snelheid: MergePipe vermindert de expert-lees-I/O met tot een orde van grootte. In specifieke scenario's (bijvoorbeeld TIES-samenvoeging met 20 experts) bereikt het tot 11× snelheidswinst in vergelijking met naïeve volledige-lees-baselines.
• Schaalbaarheid: Waar naïeve samenvoeging een bijna lineaire groei toont in I/O en wandtijd naarmate het aantal experts toeneemt, houdt MergePipe de expertlezingen bijna vlak door het budgetplafond af te dwingen.
• Operatorgeneraliteit: De aanpak is compatibel met diverse operators (AVG, TIES, DARE). Sparse methoden zoals TIES profiteren het meest, met een daling van de I/O van ~174GB naar ~3,5GB in scenario's met veel experts.
• Fideliteit:
  • Parameterafwijking: Bij 50% van het volledige-lees-budget blijft de relatieve $\ell_2$-afwijking van de volledige-lees samenvoeging in de orde van $O(10^{-3})$.
  • Downstream prestaties: Benchmarks (HumanEval, IFEval, DROP) tonen geen monotoon verval. In sommige gevallen fluctueert de prestatie zelfs licht boven de volledige-lees-baseline, wat wijst op een gunstige snelheid-fideliteitsgrens.
• Overhead: Systeemoverhead is minimaal; de planningsduur staat voor ongeveer 1% van de uitvoeringstijd, en metadataopslag is een klein deel van de totale I/O.

5. Betekenis en claims

Het paper beweert dat voor LLM-schaal checkpointfamilies de beperkende hulpbron bij samenvoeging vaak de set expertgewichten is die moet worden gelezen, en niet de rekenkracht die nodig is om ze te combineren.

• Paradigmaverschuiving: De auteurs betogen dat LLM-schaal samenvoeging een gewichts-toegangsabstractie vereist, niet alleen betere samenvoegingsregels. Door gewichten te behandelen als gestructureerde, gebudgetteerde data in plaats van ondeurzichtige bestanden, onthult MergePipe een praktische snelheid-fideliteitsgrens.
• Complementariteit: MergePipe wordt gepresenteerd als complementair aan bestaande methoden voor symmetrie- of permutatie-uitlijning. Zodra gewichten zijn uitgelijnd, optimaliseert MergePipe de fysieke uitvoering.
• Toekomstige implicatie: Naarmate modelfamilies blijven groeien, suggereren de auteurs dat methoden in de gewichtsruimte moeten worden gekoppeld aan uitvoeringslagen die parameter-I/O-patronen expliciet beheren om schaalbaar te blijven.

Het werk claimt niet nieuwe samenvoegingsalgoritmen te hebben uitgevonden, maar biedt eerder de noodzakelijke uitvoeringsinfrastructuur om bestaande samenvoegingsalgoritmen schaalbaar te maken in het tijdperk van enorme expertpools.