Signature-Guided Capacity Occupancy for Dense Expert Merging

Resumo Técnico: SigMerge (Ocupação de Capacidade Guiada por Assinatura)

Definição do Problema
A fusão densa de especialistas visa combinar múltiplos modelos de linguagem especializados em domínios em um único checkpoint sem treinamento adicional, operando tipicamente sobre vetores de tarefa no espaço de pesos. No entanto, os métodos existentes enfrentam uma limitação fundamental: um único conjunto de parâmetros compartilhados deve codificar habilidades adquiridas isoladamente, o que leva à "interferência de especialistas", onde atualizações para um domínio apagam capacidades aprendidas por outro.

Embora as estratégias existentes abordem isso parcialmente, elas falham em responder três questões críticas sobre a admissão de suporte ao vetor de tarefa:

1. Onde: Em quais camadas a capacidade deve ser aberta e quanto?
2. Quem: Quais domínios devem ocupar essa capacidade com base na demanda?
3. Como: Como o suporte deve ser admitido sem depender de buscas custosas sobre receitas de fusão?

A análise empírica revela que as fusões densas deixam um "gap de especialista residual" significativo (uma média de 12,13 pontos percentuais em vários cenários), indicando que as capacidades especializadas não são totalmente retidas. Os métodos atuais frequentemente aplicam regras uniformes ou dependem de proxies baseados em busca que podem não capturar o desempenho real do especialista, falhando em rotear a capacidade para os domínios que mais precisam dela.

Metodologia: SigMerge
Os autores propõem o SigMerge, um operador livre de treinamento que recupera a habilidade do especialista ao alocar um número limitado de coordenadas de vetores de tarefa entre camadas e domínios. O método opera sobre uma fusão de base densa (o "âncoras") e consiste em três componentes principais:

1. Conflito-para-Capacidade (Onde):
   O SigMerge determina a capacidade de cada camada ($C_i$) com base no desacordo entre especialistas. Ele agrega três visões complementares de conflito em cada camada:

   • Geometria do estado oculto: Medida via Alinhamento de Kernel Centrado (CKA) de estados ocultos agrupados.
   • Direção do vetor de tarefa: Medida via similaridade de cosseno entre atualizações de especialistas.
   • Demanda de coordenada com sinal: Medida pela frequência de sinais opostos em pesos individuais.
     Esses sinais são normalizados e calculados pela média para formar um escore de conflito ($\bar{S}_i$). A capacidade da camada é então derivada linearmente: camadas com alto conflito recebem menos capacidade (para evitar interferência), enquanto camadas com baixo conflito recebem mais.

2. Déficit-para-Alocação (Quem):
   O método aloca a capacidade aberta entre os domínios com base nos "déficits de especialistas residuais". Para cada domínio $d$, o déficit $g_d$ é definido como a lacuna de desempenho entre o modelo fundido de base e o melhor especialista no pool para aquele domínio específico. A parcela de capacidade ($\rho_d$) atribuída a cada domínio é proporcional ao seu déficit. Domínios que o merge de base já iguala perfeitamente recebem zero de capacidade, garantindo que o reparo foque apenas nas capacidades ausentes.

3. Ocupação Sequencial (Como):
   Para preencher o orçamento de camada-domínio sem busca, o SigMerge emprega uma regra de reivindicação sequencial. Os domínios são ordenados por sua magnitude de déficit (maior déficit primeiro). Cada domínio reivindica sua cota alocada de coordenadas do conjunto de coordenadas ainda não reivindicadas dentro de uma camada, selecionando aquelas com maior magnitude em seu vetor de tarefa ($\Delta_{d,i}$). Isso evita que múltiplos domínios compitam pelas mesmas coordenadas de alta magnitude e garante que os domínios mais subatendidos tenham acesso prioritário às atualizações mais impactantes.

O modelo final fundido é construído como $\hat{\theta} = \theta_{base} + \sum_d V_d$, onde $V_d$ representa o incremento limitado admitido pela regra de ocupação sequencial.

Principais Contribuições

1. Caracterização Empírica: Os autores demonstram que os déficits de especialistas em fusões densas são grandes e heterogêneos entre modelos, domínios e famílias de fusão, argumentando que o reparo requer alocação de coordenadas em vez de apenas melhores regras de média.
2. Framework Livre de Treinamento: O SigMerge resolve os três desafios da atribuição de capacidade (onde, quem, como) sem treinamento ou busca. Ele utiliza sinais mensuráveis (assinaturas de conflito e déficits de desempenho) para construir uma matriz de orçamento de posto-um ($B = C\rho^\top$).
3. Garantias Teóricas e Algorítmicas: O artigo fornece uma prova (Teorema 1) de que a regra de ocupação sequencial é estavelmente ótima para maximizar a massa de vetor de tarefa admitida, dados os quotas fixos e uma ordem de precedência.
4. Avaliação Abrangente: O método é avaliado em 21 configurações pareadas (7 âncoras $\times$ 3 pools de modelos) e comparado contra seis baselines, incluindo métodos conscientes de conflito, por camada e baseados em busca.

Resultados

• Melhoria de Desempenho: O SigMerge melhora cada uma das 21 configurações pareadas, alcançando uma melhoria relativa média de 15,0% nos scores Macro-5.
• Redução de Gap: O gap de especialista residual médio é reduzido de 12,13 para 5,77 pontos percentuais.
• Ranking: O SigMerge alcança o melhor ranking médio (1,67) entre seis métodos de fusão, superando todos os baselines em três categorias (conscientes de conflito, por camada e baseados em busca).
• Estudos de Ablação: Remover tanto a capacidade derivada de conflito quanto a alocação impulsionada por déficit causa quedas significativas de desempenho (comparáveis ao ganho total), confirmando que ambos os sinais são essenciais. A escolha específica de coordenadas (ocupação sequencial) responde por aproximadamente 80% do ganho em um orçamento fixo.
• Eficiência: O método adiciona aproximadamente 0,6 horas de GPU ao custo da âncora, colocando-o entre os baselines livres de busca e sendo significativamente mais rápido que métodos baseados em busca como o MERGE3 (que leva ~26,8 horas).

Significância e Alegações
O artigo alega que o SigMerge oferece uma abordagem principista e livre de treinamento para a fusão densa de especialistas que aborda explicitamente a heterogeneidade dos déficits de domínio e os conflitos por camada. Ao fundamentar as decisões de capacidade em sinais mensuráveis em vez de busca ou heurísticas uniformes, o SigMerge recupera efetivamente as capacidades de especialista perdidas em fusões densas padrão.

Os autores observam modestamente que o método não determina a âncora ou o pool de especialistas; ele opera dentro do intervalo definido por eles. Além disso, a avaliação atual é limitada a cinco domínios, e a escalabilidade para pools maiores ou a necessidade de matrizes de orçamento de posto superior permanece uma questão aberta. No entanto, os resultados sugerem que medir e rotear com base em déficits de desempenho reais é uma estratégia mais eficaz do que confiar apenas na geometria do vetor de tarefa ou em procedimentos de busca dispendiosos.