Access Sets Matter: Budgeting Expert Reads for Scalable Weight-Space Model Merging

Resumo Técnico: Conjuntos de Acesso Importam: Leituras de Especialistas em Orçamento para Modelos de Fusão em Espaço de Pesos Escaláveis

1. Declaração do Problema

À medida que o desenvolvimento de Modelos de Linguagem de Grande Porte (LLMs) passa a depender cada vez mais de famílias de checkpoints — incluindo modelos base, variantes ajustadas a instruções, especialistas de domínio e atualizações delta —, a tarefa de consolidá-los em um único modelo implantável por meio de fusão no espaço de pesos tornou-se crítica. Embora a pesquisa existente se concentre em como combinar pesos (por exemplo, por meio de média, TIES ou DARE), um gargalo significativo de execução emergiu em escala: o custo de leitura dos parâmetros dos especialistas.

Em scripts de fusão ingênuos, o sistema trata checkpoints como arquivos opacos, varrendo todos os parâmetros dos especialistas independentemente de sua contribuição real para a fusão final. À medida que o número de especialistas ($K$) cresce, a E/S de leitura dos especialistas escala quase linearmente, tornando o processo de fusão limitado pela E/S em vez de limitado pelo processamento. Isso limita a escalabilidade de fluxos de trabalho de fusão iterativa, particularmente ao lidar com grandes pools de especialistas em armazenamento residente em disco.

2. Metodologia: MergePipe

Os autores introduzem o MergePipe, uma camada de execução consciente de orçamento que reformula a fusão de modelos como um problema de conjunto de acesso a especialistas. Em vez de tratar a regra de fusão como a restrição primária, o MergePipe desacopla a combinação lógica dos pesos do acesso físico a esses pesos.

Abstração Central:
O MergePipe opera sob a premissa de que os especialistas estão alinhados em um sistema de coordenadas de pesos compartilhado (por exemplo, ajustados a partir de uma base compartilhada). Ele introduz uma máscara de acesso ($A$) que determina quais blocos delta dos especialistas são fisicamente lidos.

• Fusão de Leitura Completa: $A = 1$ (todos os especialistas lidos).
• Fusão Orçamentada: Selecione uma máscara $A$ tal que o custo de leitura dos especialistas $C_{expert}(A) \leq B$, onde $B$ é um orçamento de E/S definido pelo usuário.
• Execução: O sistema executa um operador sensível à máscara $\Psi_{op}$. Entradas omitidas são representadas pela própria máscara e não acionam leituras de armazenamento.

Componentes do Sistema:

1. Catálogo: Expõe checkpoints como dados estruturados em blocos, em vez de arquivos opacos. Armazena metadados (tamanho, layout, hashes, esboços, dicas de cobertura) para permitir estimativa de custos sem varrer checkpoints completos.
2. Planejador: Constrói uma máscara de acesso determinística $A$ que satisfaz a restrição de orçamento. Classifica deltas candidatos de especialistas usando estatísticas do catálogo (por exemplo, normas, esboços) e emprega heurísticas gananciosas ou de pontuação por byte para selecionar blocos. Não altera a lógica do operador de fusão, mas decide quais deltas são materializados.
3. Executor: Transmite blocos base e usa um DeltaIterator para materializar apenas os deltas de especialistas selecionados. Aplica o operador sensível à máscara e registra um manifesto reproduzível contendo a máscara de acesso, hash do plano e linhagem.

Garantias Teóricas:

• Correção Orçamentada: A trilha de execução é garantida para permanecer dentro do orçamento especificado $B$ por construção.
• Consistência de Orçamento Total: Se o orçamento for definido para cobrir todos os especialistas ($A=1$), o sistema recupera exatamente a fusão de leitura completa padrão.
• Limites de Erro: Para operadores aditivos de coeficientes fixos, o erro de atualização omitida é limitado pela norma dos deltas omitidos. Para operadores não aditivos (como TIES ou DARE), o sistema fornece a mesma abstração, com fidelidade avaliada empiricamente.

3. Contribuições Principais

1. Conjuntos de Acesso a Especialistas como Objeto Orçamentado: O artigo propõe tratar o acesso a especialistas como um recurso de primeira classe e orçamentado, separando o "qual" (acesso) do "como" (combinação).
2. Análise Teórica: Os autores provam a correção orçamentada, a consistência de orçamento total e derivam um limite de atualização omitida para fusões aditivas, justificando o uso de pontuações de acesso baseadas em normas.
3. Implementação do MergePipe: Um sistema concreto que implementa essa abstração, alcançando reduções de ordem de grandeza na E/S de leitura de especialistas e acelerações significativas sem exigir alterações nos operadores de fusão subjacentes.

4. Resultados Experimentais

Os autores avaliaram o MergePipe em famílias de checkpoints Qwen e Llama (variando de 0,6B a 8B parâmetros) com até 25 especialistas.

• E/S e Velocidade: O MergePipe reduz a E/S de leitura de especialistas em até uma ordem de grandeza. Em cenários específicos (por exemplo, fusão TIES com 20 especialistas), alcança até 11× de aceleração em comparação com baselines de leitura completa ingênuas.
• Escalabilidade: Enquanto a fusão ingênua mostra crescimento quase linear na E/S e no tempo de parede à medida que o número de especialistas aumenta, o MergePipe mantém as leituras de especialistas quase planas, aplicando o limite de orçamento.
• Generalidade do Operador: A abordagem é compatível com vários operadores (AVG, TIES, DARE). Métodos esparsos como TIES beneficiam-se mais, com a E/S caindo de ~174GB para ~3,5GB em cenários de alto número de especialistas.
• Fidelidade:
  • Desvio de Parâmetros: Com 50% do orçamento de leitura completa, o desvio relativo $\ell_2$ em relação à fusão de leitura completa permanece na ordem de $O(10^{-3})$.
  • Desempenho a jusante: Benchmarks (HumanEval, IFEval, DROP) não mostram degradação monótona. Em alguns casos, o desempenho flutua ligeiramente acima da baseline de leitura completa, indicando uma fronteira favorável de velocidade-fidelidade.
• Sobrecarga: A sobrecarga do sistema é mínima; o tempo de planejamento representa ~1% do tempo de execução, e o armazenamento de metadados é uma pequena fração da E/S total.

5. Significado e Afirmações

O artigo afirma que, para famílias de checkpoints em escala de LLM, o recurso limitante na fusão é frequentemente o conjunto de pesos de especialistas que devem ser lidos, e não o processamento necessário para combiná-los.

• Mudança de Paradigma: Os autores argumentam que a fusão em escala de LLM requer uma abstração de acesso a pesos, e não apenas melhores regras de fusão. Ao tratar pesos como dados estruturados e orçamentados, em vez de arquivos opacos, o MergePipe expõe uma fronteira prática de velocidade-fidelidade.
• Complementaridade: O MergePipe é apresentado como complementar aos métodos existentes de alinhamento de simetria ou permutação. Uma vez que os pesos estão alinhados, o MergePipe otimiza a execução física.
• Implicação Futura: À medida que as famílias de modelos continuam a crescer, os autores sugerem que os métodos no espaço de pesos devem ser acompanhados por camadas de execução que gerenciem explicitamente os padrões de E/S de parâmetros para permanecerem escaláveis.

O trabalho não afirma inventar novos algoritmos de fusão, mas sim fornecer a infraestrutura de execução necessária para tornar os algoritmos de fusão existentes escaláveis na era de grandes pools de especialistas.