Resumo Técnico: Poda e Destilação de Mistura de Especialistas em Modelos de Linguagem Densos

Declaração do Problema

As arquiteturas de Mistura de Especialistas (MoE) tornaram-se o paradigma dominante para modelos de linguagem grandes (LLMs) de ponta devido à sua capacidade de escalar o número total de parâmetros enquanto mantêm a eficiência no treinamento e na inferência. No entanto, persiste uma limitação fundamental: apesar de ativarem apenas uma fração dos parâmetros por token, os modelos MoE exigem que todos os parâmetros dos especialistas sejam carregados na memória. Essa pegada de memória torna-os inadequados para cenários de implantação com restrições de memória, como inferência em dispositivos ou atendimento em uma única GPU.

As soluções atuais envolvem a liberação de modelos densos pequenos separados, treinados do zero ou por meio de poda em cascata de grandes professores densos. Essas abordagens são computacionalmente caras e não aproveitam as ricas capacidades já presentes no modelo MoE treinado. Os métodos existentes de compressão de MoE (por exemplo, MC-SMoE, HC-SMoE) reduzem o número de especialistas, mas mantêm a estrutura MoE esparsa, preservando a ineficiência de memória. Há uma falta de frameworks sistemáticos para converter um modelo MoE treinado em uma arquitetura totalmente densa padrão.

Metodologia

Os autores apresentam o primeiro framework sistemático para converter um modelo de linguagem MoE treinado em uma arquitetura totalmente densa por meio de um pipeline de três etapas: Avaliação e Seleção de Especialistas, Agrupamento e Concatenação, e Destilação de Conhecimento.

1. Avaliação e Seleção de Especialistas

O núcleo do método envolve avaliar todos os $E$ especialistas em uma camada para selecionar um subconjunto de tamanho $K$ ($K \ge k$, onde $k$ é o número de especialistas ativos por token). O artigo avalia sete métodos de avaliação:

• Baseados em Frequência: Frequência de Seleção (SF), Probabilidade de Pré-seleção (PP), Probabilidade de Pós-seleção (PS). Estes favorecem especialistas generalistas.
• Probabilidade Condicional (CP): Foca na confiança do roteamento, favorecendo especialistas.
• CP Ponderada por Ativação (ACP): Combina a confiança do roteamento com a magnitude da saída.
• Seleção D-Otimizada (DO): Um critério inovador que maximiza conjuntamente a importância do especialista e a diversidade mútua. Seleciona um subconjunto $S$ para maximizar o log-determinante de uma matriz Gram ponderada por importância:
  $$S^* = \arg \max_{|S|=K} \log \det(\mathcal{K}_S + \lambda_{reg} I)$$
  onde $\mathcal{K}_{ij} = \sqrt{I_i I_j} \cdot \mathbb{E}_t[\langle f_i(t), f_j(t) \rangle]$. Isso é resolvido de forma gulosa. Os autores propõem DO-ACP (Seleção D-Otimizada baseada em escores ACP) como a estratégia ótima.

2. Agrupamento e Concatenação

Os especialistas selecionados são atribuídos a $k$ grupos.

• Poda Pura ($K=k$): Cada grupo contém exatamente um especialista; nenhuma média de pesos ocorre.
• Fusão ($K>k$): Especialistas em um grupo são fundidos por meio de média ponderada por escore de seus parâmetros.
  Os $k$ grupos resultantes são concatenados em uma única Rede Feed-Forward (FFN) densa com dimensão intermediária $d_{dense} = k \times d_{expert}$. As matrizes de projeção descendente são escalonadas por fatores $\alpha_g$ (uniforme ou proporcional) para aproximar o comportamento de roteamento médio do MoE original.

3. Destilação de Conhecimento

O modelo denso inicializado é refinado por meio de destilação de conhecimento a partir do professor MoE. O objetivo minimiza a divergência KL direta entre as distribuições de saída do professor e do aluno. Os autores também exploram expandir o roteamento do professor durante a destilação (ativando $k' > k$ especialistas) para expor o aluno a conhecimento de especialistas não selecionados.

Contribuições Principais

1. Primeiro Framework MoE-para-Denso: O artigo introduz o primeiro sistema ponta a ponta para converter um MoE treinado em uma arquitetura totalmente densa, superando a limitação de produzir modelos MoE esparsos menores.
2. Seleção de Especialistas Consciente da Diversidade: Os autores introduzem um critério de seleção D-otimizado (DO-ACP) que maximiza o log-determinante de uma matriz Gram ponderada por importância. Este método penaliza explicitamente a redundância, selecionando especialistas que são tanto importantes quanto diversos.
3. Avaliação Abrangente: O estudo avalia 350 configurações (7 avaliações $\times$ 5 agrupamentos $\times$ 2 escalonamentos $\times$ 5 valores de $K$) em Qwen3-30B-A3B e valida as descobertas em DeepSeek-V2-Lite e GPT-OSS-20B.

Resultados

Desempenho em Qwen3-30B-A3B

• Domínio da Avaliação: A escolha do método de avaliação é o fator mais impactante, criando uma lacuna de 5,7 pontos percentuais (pp) na precisão média de tarefas downstream entre os melhores e piores métodos. Estratégias de agrupamento contribuem apenas com $\sim$1 pp.
• Superioridade do DO-ACP: O método DO-ACP supera consistentemente todas as outras configurações. Em $K=8$ (poda pura), alcança 43,41% de precisão média em benchmarks downstream (Winogrande, HellaSwag, ARC-E/C, MMLU).
• Poda Pura vs. Fusão: Para avaliação consciente da diversidade (DO-ACP, ACP), a poda pura ($K=k$) supera a fusão ($K>k$). Métodos baseados em frequência (SF) beneficiam-se da fusão, mas os especialistas DO-ACP são individualmente fortes o suficiente para atuar sozinhos.
• Comparação com Baselines:
  • vs. Compressão MoE: Supera métricas de compressão MoE reaproveitadas (por exemplo, MC-SMoE, HC-SMoE) em 5,9–7,1 pp.
  • vs. Poda Densa-para-Densa (D2D): Em uma comparação controlada com um professor denso de parâmetros correspondentes (Qwen3-32B $\to$ aluno de 3,4B), MoE-para-denso (DO-ACP) supera a poda D2D em +6,3 pp (58,10% vs. 51,84%) após $\sim$4B tokens de destilação.
  • vs. Inicialização Aleatória: Supera a inicialização aleatória de FFN em +12,7 pp, demonstrando que a estrutura de especialistas fornece uma inicialização poderosa.

Treinamento Estendido e Validação Cruzada entre Modelos

• Escalonamento: A vantagem de desempenho do DO-ACP persiste e se amplia com treinamento estendido ($\sim$4B tokens).
• Generalização: As descobertas generalizam-se para DeepSeek-V2-Lite (64 especialistas) e GPT-OSS-20B (32 especialistas). Embora a lacuna absoluta entre os métodos de avaliação diminua à medida que o tamanho do conjunto de especialistas diminui, o DO-ACP permanece o melhor desempenho.
• Eficiência: A destilação MoE-para-denso é 1,6$\times$ mais rápida em tempo de relógio do que a poda D2D porque o professor MoE ativa menos parâmetros por token durante a fase de destilação.

Análise Qualitativa

A análise de erros em tarefas de cadeia de pensamento do MMLU revela que os modelos DO-ACP apresentam as menores taxas de falhas catastróficas (incoerência, loops repetitivos) e erros de conhecimento em comparação com métodos D2D e baseados em frequência. A seleção consciente da diversidade parece preservar o conhecimento factual e cultural de forma mais eficaz, particularmente em humanidades e ciências sociais.

Significado e Alegações

O artigo afirma fornecer uma receita simples e eficaz para implantar capacidades MoE em ambientes com restrições de memória: Avalie com DO-ACP, retenha exatamente os top-$k$ especialistas por camada (poda pura) e destile com KL direta.

Os autores enfatizam que essa abordagem transforma a "ineficiência de memória" do MoE em uma "eficiência densa" sem sacrificar os ganhos de desempenho derivados da estrutura especializada de especialistas do MoE. Eles afirmam que os modelos MoE fornecem um ponto de partida mais forte para destilação do que professores densos de contagem de parâmetros correspondente, desafiando a necessidade de treinar modelos densos do zero ou podar professores densos. O trabalho estabelece que a diversidade de especialistas, e não apenas a frequência ou magnitude, é o fator crítico na compressão de modelos MoE em arquiteturas densas.