Access Sets Matter: Budgeting Expert Reads for Scalable Weight-Space Model Merging

Riepilogo Tecnico: Gli Insiemi di Accesso Contano: Letture Esperte di Budgeting per l'Unione Scalabile di Modelli nello Spazio dei Pesi

1. Enunciato del Problema

Con lo sviluppo dei Modelli Linguistici su Grande Scala (LLM) che si basa sempre più su famiglie di checkpoint — inclusi modelli base, varianti addestrate su istruzioni, esperti di dominio e aggiornamenti delta — il compito di consolidare questi elementi in un singolo modello distribuibile tramite unione nello spazio dei pesi è diventato critico. Mentre la ricerca esistente si concentra su come combinare i pesi (ad esempio, tramite media, TIES o DARE), è emerso un significativo collo di bottiglia nell'esecuzione su larga scala: il costo della lettura dei parametri degli esperti.

Negli script di unione ingenui, il sistema tratta i checkpoint come file opachi, scansionando tutti i parametri degli esperti indipendentemente dal loro effettivo contributo all'unione finale. Man mano che il numero di esperti ($K$) cresce, l'I/O di lettura degli esperti scala quasi linearmente, rendendo il processo di unione limitato dall'I/O piuttosto che dal calcolo. Ciò limita la scalabilità dei flussi di lavoro di unione iterativa, in particolare quando si gestiscono grandi pool di esperti su storage residente su disco.

2. Metodologia: MergePipe

Gli autori introducono MergePipe, un livello di esecuzione consapevole del budget che riformula l'unione dei modelli come un problema di insieme di accesso agli esperti. Invece di considerare la regola di unione come il vincolo primario, MergePipe disaccoppia la combinazione logica dei pesi dall'accesso fisico di tali pesi.

Astrazione Principale:
MergePipe opera sotto l'assunzione che gli esperti siano allineati in un comune sistema di coordinate dei pesi (ad esempio, fine-tunati da una base condivisa). Introduce una maschera di accesso ($A$) che determina quali blocchi delta degli esperti vengono fisicamente letti.

• Unione a Lettura Completa: $A = 1$ (tutti gli esperti letti).
• Unione con Budget: Selezionare una maschera $A$ tale che il costo di lettura degli esperti $C_{expert}(A) \leq B$, dove $B$ è un budget I/O definito dall'utente.
• Esecuzione: Il sistema esegue un operatore consapevole della maschera $\Psi_{op}$. Le voci omesse sono rappresentate dalla maschera stessa e non attivano letture di archiviazione.

Componenti del Sistema:

1. Catalogo: Espone i checkpoint come dati strutturati a blocchi invece che come file opachi. Memorizza metadati (dimensione, layout, hash, schizzi, suggerimenti di copertura) per consentire la stima dei costi senza scansionare i checkpoint completi.
2. Pianificatore: Costruisce una maschera di accesso deterministica $A$ che soddisfa il vincolo di budget. Classifica i delta candidati degli esperti utilizzando le statistiche del catalogo (ad esempio, norme, schizzi) e impiega euristiche greedy o per-punteggio-per-byte per selezionare i blocchi. Non altera la logica dell'operatore di unione, ma decide quali delta vengono materializzati.
3. Esecutore: Trasmette in streaming i blocchi base e utilizza un DeltaIterator per materializzare solo i delta degli esperti selezionati. Applica l'operatore consapevole della maschera e registra un manifesto riproducibile contenente la maschera di accesso, l'hash del piano e la genealogia.

Garanzie Teoriche:

• Correttezza del Budget: La traccia di esecuzione è garantita per rimanere entro il budget specificato $B$ per costruzione.
• Coerenza del Budget Completo: Se il budget è impostato per coprire tutti gli esperti ($A=1$), il sistema recupera esattamente l'unione standard a lettura completa.
• Limiti di Errore: Per operatori additivi a coefficienti fissi, l'errore di aggiornamento omesso è limitato dalla norma dei delta omessi. Per operatori non additivi (come TIES o DARE), il sistema fornisce la stessa astrazione, con la fedeltà valutata empiricamente.

3. Contributi Chiave

1. Insiemi di Accesso agli Esperti come Oggetto con Budget: Il documento propone di trattare l'accesso agli esperti come una risorsa di primo piano con budget, separando il "quale" (accesso) dal "come" (combinazione).
2. Analisi Teorica: Gli autori dimostrano la correttezza del budget, la coerenza del budget completo e derivano un limite di aggiornamento omesso per le unioni additive, giustificando l'uso di punteggi di accesso basati sulla norma.
3. Implementazione MergePipe: Un sistema concreto che implementa questa astrazione, ottenendo riduzioni di un ordine di grandezza nell'I/O di lettura degli esperti e significativi aumenti di velocità senza richiedere modifiche agli operatori di unione sottostanti.

4. Risultati Sperimentali

Gli autori hanno valutato MergePipe su famiglie di checkpoint Qwen e Llama (da 0,6B a 8B di parametri) con fino a 25 esperti.

• I/O e Velocità: MergePipe riduce l'I/O di lettura degli esperti fino a un ordine di grandezza. In scenari specifici (ad esempio, unione TIES con 20 esperti), raggiunge fino a 11× di accelerazione rispetto alle baseline ingenua a lettura completa.
• Scalabilità: Mentre l'unione ingenua mostra una crescita quasi lineare nell'I/O e nel tempo reale all'aumentare del numero di esperti, MergePipe mantiene le letture degli esperti quasi piatte imponendo il limite di budget.
• Generalità dell'Operatore: L'approccio è compatibile con vari operatori (AVG, TIES, DARE). I metodi sparsi come TIES beneficiano maggiormente, con l'I/O che scende da ~174GB a ~3,5GB in scenari ad alto numero di esperti.
• Fedeltà:
  • Deviazione dei Parametri: Al 50% del budget di lettura completa, la deviazione relativa $\ell_2$ rispetto all'unione a lettura completa rimane dell'ordine di $O(10^{-3})$.
  • Prestazioni a Valle: I benchmark (HumanEval, IFEval, DROP) mostrano nessun degrado monotono. In alcuni casi, le prestazioni fluttuano leggermente al di sopra della baseline a lettura completa, indicando un fronte favorevole velocità-fedeltà.
• Sovraccarico: Il sovraccarico del sistema è minimo; il tempo di pianificazione rappresenta circa l'1% del tempo di esecuzione e l'archiviazione dei metadati è una piccola frazione dell'I/O totale.

5. Significato e Affermazioni

Il documento afferma che per le famiglie di checkpoint su scala LLM, la risorsa limitante nell'unione è spesso l'insieme dei pesi degli esperti che devono essere letti, non il calcolo richiesto per combinarli.

• Cambio di Paradigma: Gli autori sostengono che l'unione su scala LLM richieda un'astrazione di accesso ai pesi, non solo regole di unione migliori. Trattando i pesi come dati strutturati e con budget invece che come file opachi, MergePipe espone un fronte pratico velocità-fideltà.
• Complementarità: MergePipe è presentato come complementare ai metodi esistenti di allineamento per simmetria o permutazione. Una volta allineati i pesi, MergePipe ottimizza l'esecuzione fisica.
• Implicazione Futura: Man mano che le famiglie di modelli continuano a crescere, gli autori suggeriscono che i metodi nello spazio dei pesi devono essere affiancati da livelli di esecuzione che gestiscono esplicitamente i pattern di I/O dei parametri per rimanere scalabili.

Il lavoro non afferma di inventare nuovi algoritmi di unione, ma fornisce piuttosto l'infrastruttura di esecuzione necessaria per rendere gli algoritmi di unione esistenti scalabili nell'era dei massicci pool di esperti.