Resumo Técnico: HodgeCover

Declaração do Problema

Camadas de Misto de Especialistas (MoE) esparsas roteiam tokens através de um pequeno subconjunto de especialistas, criando redundância paramétrica significativa que pode ser comprimida sem retreinamento. Métodos de compressão livres de aprendizado existentes (por exemplo, REAP, REAM, STUN) dependem de sinais pareados para classificar e fundir especialistas. No entanto, esses métodos sofrem de uma lacuna estrutural fundamental: três especialistas podem ser pareadamente compatíveis (baixas barreiras de fusão entre A-B, B-C e C-A) e, ainda assim, coletivamente formar um ciclo irredutível onde fundir os três incorre em uma barreira alta e imprevisível.

Abordagens atuais que tentam usar informações de tripletos (por exemplo, cortes espectrais de hipergrafos, penalidades de perda de tripletos) tipicamente agregam esses sinais em um substituto de soma de pares ou um veto binário. Elas falham em isolar o resíduo topológico específico que surge quando as compatibilidades pareadas não somam a uma fusibilidade global coerente. Este artigo identifica esse resíduo como o núcleo harmônico do Laplaciano simplicial em um 2-complexo construído a partir da camada MoE.

Metodologia: HodgeCover

Os autores propõem o HodgeCover, um objetivo de seleção de especialistas livre de aprendizado que visa explicitamente essa obstrução de ordem superior.

1. O Complexo de Fusibilidade

Para uma camada com $n$ especialistas, os autores constroem um 2-complexo simplicial abstrato $K = (V, E, T)$:

• Vértices ($V$): Os $n$ especialistas.
• Arestas ($E$): Todas as combinações pareadas, carregando um sinal $b_{ij}$ definido como a divergência KL (barreira de fusão) entre a camada original e a camada onde os especialistas $i$ e $j$ são fundidos.
• Faces ($T$): Um conjunto curado de triângulos (tripletos), carregando um sinal $b_{ijk}$ definido analogamente para a fusão de três especialistas.

2. Decomposição de Hodge

O sinal de barreira pareada $b \in C_1(K)$ é decomposto usando a Decomposição Discreta de Hodge via o Laplaciano de Hodge 1 $L_1 = \partial_1^\top \partial_1 + \partial_2 \partial_2^\top$:
$$b = b_{\text{grad}} + b_{\text{curl}} + b_{\text{harm}}$$

• Gradiente ($b_{\text{grad}}$): Representa o potencial no nível do especialista (o especialista $i$ é amplamente fundível?). Este é o único componente capturado pelos métodos pareados existentes.
• Curl ($b_{\text{curl}}$): Representa ciclos coerentes ao redor de triângulos (correções de fronteira de triângulo).
• Harmônico ($b_{\text{harm}}$): O resíduo irredutível. Ele reside no núcleo de $L_1$ e representa barreiras de fusão que não podem ser explicadas por qualquer combinação de potenciais de vértice ou fronteiras de triângulo. Este componente captura a obstrução do "ciclo irredutível".

3. Objetivo de Seleção

O HodgeCover seleciona um conjunto sobrevivente $S$ de tamanho $k$ maximizando gananciosamente um objetivo submodular $\Phi(S)$ que cobre as características topológicas mais críticas:
$$\Phi(S) = \sum_{i \in S} \text{sal}(i) + \lambda_e \frac{|C_E(S)|}{|E^*|} + \lambda_t \frac{|C_T(S)|}{|T^*|}$$

• Salência: Uma pontuação padrão por especialista (adaptada do REAP).
• Cobertura de Aresta-Harmônica: Cobre as top-$p\%$ arestas com maior massa harmônica ($|b_{\text{harm}, e}|$).
• Cobertura de Triângulo-Tripleto: Cobre os top-$q_T\%$ triângulos com as maiores barreiras de fusão conjuntas.
• Redirecionamento de Roteador: Os não sobreviventes são redirecionados para o sobrevivente mais próximo, com uma penalidade aplicada se o caminho envolver uma aresta carregando massa harmônica significativa, impedindo a reintrodução da obstrução.

4. Variante Híbrida (HodgeCover+Wanda)

Para alcançar compressão agressiva, os autores combinam o HodgeCover (Etapa 1: redução da contagem de especialistas) com o Wanda (Etapa 2: poda de pesos não estruturada) nos especialistas sobreviventes. Isso compõe dois eixos de compressão ortogonais dentro de um único pipeline livre de aprendizado.

Contribuições Principais

1. Identificação de Obstrução de Ordem Superior: O artigo define formalmente o complexo simplicial de fusibilidade e prova que o componente harmônico da decomposição de Hodge é o objeto algébrico-linear único que captura ciclos de fusibilidade irredutíveis que os métodos pareados perdem.
2. Validação Empírica da Não-Trivialidade: Diagnósticos em três famílias de MoE de produção (OLMoE, Qwen 3.5-35B, Qwen 3.5-122B) mostram que a fração de energia harmônica é não trivial (29–62% da energia de barreira por camada), confirmando que essa obstrução é uma propriedade estrutural significativa de MoEs aprendidos.
3. Algoritmo HodgeCover: Um objetivo de seleção prático e livre de aprendizado que cobre gananciosamente arestas críticas harmônicas e triângulos críticos de tripletos, alcançando uma garantia de aproximação $(1 - 1/e)$ via otimização submodular.
4. Desempenho State-of-the-Art: O método híbrido HodgeCover+Wanda alcança a melhor perplexidade e precisão downstream em regimes de compressão agressiva (66% de redução de especialistas) em comparação com as bases existentes.

Resultados Experimentais

O método foi avaliado em três backbones MoE esparsos de pesos abertos com taxas de redução de especialistas de 33% e 66%:

• OLMoE-1B-7B (64 especialistas/camada)
• Qwen 3.5-35B-A3B (256 especialistas/camada)
• Qwen 3.5-122B-A10B (256 especialistas/camada)

Principais Descobertas:

• Compressão Agressiva (66%): HodgeCover+Wanda supera consistentemente a base mais forte (STUN+Wanda). No Qwen 3.5-35B com 66% de redução, ele melhora a média de tarefas downstream (DS-Avg) em +12,6 pontos percentuais (74,6% vs. 62,0%), impulsionado principalmente por ganhos no GSM8K (85,5% vs. 22,1%).
• Perplexidade: Alcança a melhor perplexidade C4 em cada célula de modelo/taxa e a melhor perplexidade WikiText com 66% de redução.
• Estudos de Ablação:
  • Remover a decomposição de Hodge (substituindo por uma penalidade suave de triploto) custa -5,74 pp no DS-Avg no Qwen 3.5-35B com 66% de compressão.
  • Remover o termo de triângulo inteiramente custa -11,5 pp.
  • Usar um veto binário de triploto (restrição rígida) causa um colapso de -30,5 pp, destacando a necessidade da formulação suave baseada em cobertura.
• Análise de Mecanismo: Ao contrário de outros métodos que trocam a retenção de massa harmônica por massa de curl/triploto (ou vice-versa), o HodgeCover mantém uma retenção equilibrada de todos os quatro componentes de Hodge (harmônico, gradiente, curl, barreira de triploto), correspondendo estreitamente à decomposição pré-compressão do modelo original.

Significado e Alegações

O artigo alega que expor o núcleo harmônico de uma estrutura MoE aprendida muda fundamentalmente o cenário da compressão. Ao ir além dos sinais pareados para abordar obstruções topológicas de ordem superior, o HodgeCover permite uma nova fronteira de compressão agressiva e livre de aprendizado que preserva a capacidade do modelo onde métodos anteriores falham.

Os autores enfatizam que essa abordagem:

• Não requer retreinamento: Opera inteiramente em um pequeno corpus de calibração sem ajuste fino, destilação de conhecimento ou LoRA.
• É motivada estruturalmente: Trata a paisagem de fusibilidade como um objeto topológico em vez de um problema simples de classificação.
• Equilibra a retenção: Equilibra de forma única a retenção de massa em todos os componentes de Hodge, evitando os vieses estruturais introduzidos por métodos que otimizam apenas para somas pareadas ou de tripletos.

O trabalho posiciona o núcleo harmônico não apenas como uma ferramenta de diagnóstico, mas como um critério de engenharia prático para selecionar parâmetros em modelos de grande escala.