Resumo Técnico: Mixture of Channel Experts (MoCE)

Problema

O artigo aborda o custo computacional das convoluções pontuais (1×1) em backbones de visão modernos, que servem como operadores de mistura de canais em gargalos (bottlenecks) de ResNet, gargalos invertidos e Vision Transformers. Essas operações escalam quadraticamente com a largura de canais ($C_{in} \times C_{out}$), tornando-as um alvo principal para esparsidade estruturada.

Os autores identificam um modo de falha crítico ao aplicar diretamente os princípios de Mixture-of-Experts (MoE) a redes convolucionais. No MoE padrão, um dado de entrada é roteado para um subconjunto de operadores duplicados. No entanto, quando especialistas convolucionais paralelos compartilham os mesmos canais de entrada e supervisão, eles aprendem filtros quase idênticos (observou-se uma similaridade de cosseno média de 0,88), falhando em produzir uma especialização útil. Isso sugere que duplicar operadores é um caminho ineficiente para a especialização quando a representação de entrada é compartilhada.

Metodologia: Mixture of Channel Experts (MoCE)

Para resolver a redundância da duplicação de operadores, os autores propõem a Mixture of Channel Experts (MoCE), que desloca o eixo de especialização da duplicação de operadores para a seleção esparsa de canais.

Arquitetura Central

O MoCE substitui uma projeção pontual densa por uma camada esparsa estruturada composta por:

1. Especialistas Roteados: Em vez de filtros convolucionais completos, cada "especialista" corresponde a um único canal de saída. Ele opera em um subconjunto aprendido e estático de $k$ canais de entrada (onde $k \ll C$).
2. Suportes Esparsos Estáticos: A seleção de canais de entrada para cada especialista é determinada por logits de roteamento. Durante o treinamento, esses logits são otimizados; na inferência, os índices top-$k$ são pré-computados e fixos. Isso permite padrões de acesso à memória fixos e execução empacotada sem ramificação dependente de dados.
3. Mistura Adaptativa à Entrada: Embora o conjunto de canais selecionados seja estático, o peso desses canais é dinâmico. Um portão (gate) leve prevê um parâmetro de temperatura $\tau$ por especialista e exemplo de entrada. Esta temperatura modula a concentração do softmax dos coeficientes de mistura:
   • $\tau$ Baixo: Concentra a massa no canal de maior peso (tipo max).
   • $\tau$ Alto: Aproxima-se de uma média uniforme (tipo média).
   • Isso permite que o especialista adapte sua estratégia de agregação sem alterar o suporte selecionado ou exigir um roteador completo para pontuar todos os $C$ canais.
4. Cobertura Residual: Um especialista residual agrega todos os canais de entrada não selecionados por nenhum especialista roteado (o conjunto $U$). Isso garante que nenhum canal de entrada seja completamente ignorado, mantendo o fluxo de informação.
5. Balanceamento de Carga: Um termo de regularização ($L_{cov}$) incentiva o uso agregado uniforme de todos os canais de entrada entre os especialistas, evitando que o modelo colapse para um pequeno subconjunto de canais.

Racional de Design: Estático vs. Dinâmico

O artigo investiga se a dependência da entrada é melhor gasta em escolher quais canais ler (suporte dinâmico) ou em escolher como combiná-los (mistura adaptativa).

• Suporte Dinâmico: Um roteador que pontua todos os $C$ canais por entrada para selecionar $k$ é altamente expressivo, mas incorre em alto overhead de acesso à memória e latência (observado 7,13× mais lento em experimentos) com ganhos de precisão negligenciáveis (+0,03%).
• Mistura Adaptativa: Um portão que apenas lê os $k$ descritores já selecionados para prever um escalar de temperatura é computacionalmente barato. Remover este portão resultou em uma queda significativa de precisão (-1,19%).
• Conclusão: Os autores concluem que, para projeções pontuais, a dependência da entrada é mais eficaz quando aplicada à estratégia de agregação (mistura) do que à seleção de membros (suporte), permitindo que o MoCE permaneça estaticamente agendável.

Principais Contribuições

1. Insight Estrutural: Demonstrar que a duplicação de operadores falha em MoE convolucional de entrada compartilhada devido ao alinhamento de filtros, necessitando de uma mudança para esparsidade baseada em seleção de canais.
2. Camada MoCE: Uma nova camada de mistura de canais esparsa que substitui projeções densas por suportes estáticos aprendidos e mistura adaptativa à entrada.
3. Análise de Eficiência: Mostrar que, embora o MoCE reduza significativamente os MACs, o ganho de velocidade end-to-end é frequentemente limitado pela largura de banda da memória (tráfego de ativação), e não pela intensidade aritmética, já que o pooling e os caminhos residuais ainda leem o tensor de entrada completo.
4. Validação Empírica: Fornecer uma avaliação abrangente em backbones ResNet, EfficientViT e vários regimes de treinamento (ImageNet, CIFAR, transferência de aprendizado).

Resultados Experimentais

Os autores avaliaram o MoCE no ImageNet-1K e CIFAR-100 usando backbones ResNet-50/101/152 e EfficientViT.

• Precisão vs. Eficiência:
  • ResNet-50 (ImageNet): O MoCE alcançou 76,71% de precisão Top-1 (vs. 75,98% do baseline denso) com uma redução de 16,7% nos MACs e uma redução de 16,8% nos parâmetros implantados.
  • ResNet-152: A precisão aumentou para 78,24% (vs. 77,78%) com uma redução de 20,8% nos MACs.
  • Transfer Learning: O suporte aprendido do MoCE no ImageNet permaneceu eficaz quando transferido para o CIFAR-100 sem reaprender os suportes, indicando papéis de canais estáveis.
  • EfficientViT: O MoCE reduziu os MACs em 18–22% preservando a precisão.
• Comparação com Baselines:
  • O MoCE superou o SE (Squeeze-and-Excitation) e o CondConv em eficiência, igualando a precisão do SE com significativamente menos parâmetros e MACs.
  • Comparado ao Pick-or-Mix (um método de seleção de canais dinâmico), o MoCE alcançou maior precisão com latência comparável.
• Estudos de Ablação:
  • Design de Suporte: Suportes fixos aleatórios degradaram o desempenho significativamente (61,30%), enquanto suportes cíclicos determinísticos quase igualaram o baseline denso (78,27% vs. 78,44%). Suportes aprendidos forneceram o melhor desempenho, confirmando a necessidade de aprender a estrutura de suporte.
  • Sparsidade ($k$): O $k$ ideal foi encontrado como 8, bem abaixo do ponto de equilíbrio computacional ($k^* \approx 63$ para $C=256$), indicando que a restrição é representacional, não computacional.
  • Latência: O MoCE reduziu a latência end-to-end em ~4,6% (menor que a redução de 16,7% nos MACs) devido aos gargalos de largura de banda de memória. No entanto, em projeções largas (ex: 2048→512), o ganho de velocidade atingiu 3,0×.

Significância e Alegações

O artigo afirma que o MoCE oferece uma alternativa prática e eficiente em termos de hardware às projeções pontuais densas, aproveitando suportes esparsos estáticos combinados com mistura mínima adaptativa à entrada.

• Eficiência: Alcança um ponto operacional conjunto de maior (ou preservada) precisão com redução de computação, contagem de parâmetros e tempo de execução.
• Princípio de Design: O trabalho estabelece que, em camadas de mistura de canais, o "sinal de entrada" é melhor utilizado para modular como um conjunto fixo de canais é agregado (via temperatura) do que para selecionar dinamicamente quais canais são lidos. Essa distinção permite que o modelo retenha os benefícios da adaptabilidade enquanto mantém a eficiência de execução de um agendamento estático.
• Redundância: Os resultados sugerem que as projeções pontuais densas contêm redundância substancial, pois uma mistura convexa de apenas 8 canais por saída pode igualar ou exceder o desempenho de uma projeção densa sobre centenas de canais.

Os autores mantêm uma postura modesta, observando que o ganho de velocidade é limitado pelo tráfego de memória, não pela aritmética, e que o principal ganho vem da redução da intensidade aritmética da camada de projeção enquanto mantém o fluxo de informação através de conexões residuais.