Resumo Técnico: ExPLoRe (Expert Patch-Level Loss Routing for Multi-Objective Masked Image Modeling)

Declaração do Problema

O Modelagem de Imagem Mascarada (MIM) multi-objetivo visa aprender representações visuais robustas combinando sinais de aprendizado complementares, como destilação ao nível de token, alinhamento global de CLS e reconstrução ao nível de pixel. Embora os métodos existentes integrem esses objetivos com sucesso, eles tipicamente os equilibram usando pesos escalares globais aplicados uniformemente em todas as localizações espaciais.

Esta abordagem ignora a heterogeneidade espacial: diferentes regiões da imagem beneficiam-se de diferentes sinais de aprendizado. Patches de primeiro plano (foreground) semanticamente ricos são melhor servidos pela destilação do professor, enquanto regiões de fundo (background) ricas em textura beneficiam-se mais da reconstrução de pixels. Métodos de equilíbrio global (ex: GradNorm, ponderação de incerteza) falham em capturar essa variação e podem até levar a uma degradação catastrófica de desempenho quando os objetivos possuem heterogeneidade espacial de importância. Até o momento, nenhum trabalho prévio abordou a ponderação de perda adaptativa por patch para modelagem de imagem mascarada.

Metodologia: ExPLoRe

Os autores propõem o ExPLoRe (Expert Patch-Level Loss Routing), um framework que reaproveita os pesos de despacho (dispatch weights) do Soft Mixture of Experts (Soft-MoE) para servir como coeficientes de perda aprendidos por patch.

Mecanismo Central: Acoplamento de Perda (Loss-Coupling)

Ao contrário das aplicações tradicionais de MoE que usam o roteamento para escala de capacidade ou atribuição de especialistas por tarefa, o ExPLoRe introduz o acoplamento de perda:

1. Pesos de Despacho como Coeficientes de Perda: O framework utiliza os pesos de despacho ($D$) gerados pelo roteador Soft-MoE. Esses pesos, que determinam quanto cada patch contribui para cada especialista, são usados para escalar a perda para aquele patch específico.
2. Fluxo de Gradiente: Crucialmente, os gradientes dos objetivos de perda fluem de volta através desses pesos de despacho para os parâmetros do roteador. Isso permite que o roteador aprenda uma especialização dependente do conteúdo, ajustando dinamicamente a ênfase em diferentes objetivos (ex: destilação vs. reconstrução) para cada patch com base em seu conteúdo.
3. Estratégia de Normalização: Os autores utilizam pesos de despacho (normalizados sobre patches por especialista) em vez de pesos de combinação (normalizados sobre especialistas por patch). Esta escolha evita um problema de degenerescência onde o roteador poderia minimizar a perda zerando os pesos para patches difíceis. A normalização por imagem garante que o roteador deva distribuir a atenção entre os patches em vez de colapsar a perda.

Arquitetura e Treinamento

• Framework: O codificador estudante (ViT-Base) processa patches visíveis (codificação esparsa) enquanto um professor CLIP congelado fornece alvos semânticos.
• Objetivos: O sistema combina Destilação ao Nível de Token (Huber loss), Alinhamento Global de CLS (similaridade de cosseno) e Reconstrução de Pixel (MSE).
• Regularização de Entropia: Para evitar o colapso de especialistas (onde um especialista lida com todos os patches), um termo de regularização de entropia é aplicado aos pesos de despacho. O peso ideal para esta regularização é encontrado como dependente da contagem de especialistas (ex: $\lambda=0.5$ para 2 especialistas, $\lambda=5.0$ para 64 especialistas).
• Posicionamento: Camadas Soft-MoE substituem MLPs em blocos alternados (1, 3, 5, 7, 9, 11) do ViT-Base, com o acoplamento de perda aplicado no bloco MoE final (Bloco 11).

Receitas de Transferência Downstream

Para enfrentar o desafio de transferir modelos MoE para tarefas downstream sem sobrescrever os padrões de roteamento aprendidos, os autores propõem três estratégias de adaptação complementares:

1. Freeze Routing (FR): Congela os parâmetros do roteador ($\Phi, s$) para preservar as atribuições de patch-especialista pré-treinadas.
2. Freeze Attention (FA): Congela os pesos de atenção para preservar estruturas visuais transferíveis.
3. Expert Dropout (ExD): Aplica dropout às saídas dos especialistas para evitar a dependência excessiva de especialistas dominantes.
   A combinação de FR + FA + ExD mostra-se essencial para fechar a lacuna de desempenho entre modelos MoE e não-MoE em tarefas de predição densa.

Contribuições Principais

1. Ponderação de Perda por Peso de Despacho: A introdução de um mecanismo que reaproveita os pesos de despacho do Soft-MoE como coeficientes de perda por patch, permitindo especialização dependente do conteúdo através de múltiplos objetivos.
2. Validação do Acoplamento de Perda: Demonstração empírica de que o fluxo de gradientes através dos pesos de despacho é o mecanismo central que impulsiona a especialização. Uma ablação de "detach" (bloqueio de gradientes) degrada o desempenho em 1,6%, e variantes de MoE sem ponderação apresentam desempenho inferior aos baselines não-MoE.
3. Análise da Dinâmica de Roteamento: Caracterização do comportamento de roteamento, revelando uma transição abrupta entre roteamento estável e colapso catastrófico governado pela regularização de entropia. O estudo identifica que a regularização ideal é dependente do número de especialistas.
4. Receitas de Adaptação Downstream: Desenvolvimento de uma estratégia composta (Freeze Routing, Freeze Attention, Expert Dropout) que permite aos modelos MoE igualar ou exceder os baselines não-MoE tanto em classificação quanto em segmentação semântica.

Resultados Experimentais

Avaliado no ImageNet-1K com ViT-Base e professores CLIP congelados:

• Desempenho de Classificação:
  • Token+CLS: ExPLoRe alcança 80,6% de acurácia de linear probe (64 especialistas) e 85,3% de acurácia de fine-tuning, competitivo com métodos estado da arte como CAE v2 e BEiT v2.
  • Token+Pixel: Alcança 73,7% de acurácia k-NN com 32 especialistas, um aumento de +2,2% sobre o baseline não-MoE.
  • Isolamento de Mecanismo: O próprio mecanismo de ponderação de perda contribui com +1,3% (2 especialistas) e +0,9% (64 especialistas) sobre as variantes de MoE sem ponderação, confirmando o valor do mecanismo de roteamento além da mera escala de parâmetros.
• Predição Densa (ADE20K):
  • Sem as receitas de adaptação, modelos MoE apresentam desempenho inferior aos baselines não-MoE em 2,5–2,9 mIoU.
  • Com a receita completa FR+FA+ExD, os modelos MoE fecham essa lacuna, atingindo 52,8 mIoU (Token+Pixel) e 51,1 mIoU (Token+CLS), igualando ou superando ligeiramente os baselines não-MoE.
• Eficiência: Apesar de possuir até 1,86B de parâmetros (64 especialistas), o Soft-MoE desacopla a contagem de parâmetros do custo de inferência. Configurações ExPLoRe exigem menos GFLOPs (11,93–13,86) do que comparadores padrão ViT-B/16 (17,45), oferecendo uma relação custo-qualidade favorável.

Significância e Alegações

O artigo afirma que o ExPLoRe aborda uma lacuna fundamental no aprendizado multitarefa para visão: a incapacidade da ponderação de perda global em lidar com a heterogeneidade espacial. Ao demonstrar que o acoplamento de perda é o motor essencial da especialização, o trabalho estabelece que mecanismos de roteamento podem ser reaproveitados não apenas para capacidade, mas para modulação dinâmica de perda.

Os autores enfatizam que, embora os ganhos absolutos de k-NN sejam modestos, as melhorias significativas na acurácia de linear probe sugerem que o roteamento com acoplamento de perda remodela o espaço de características de formas não totalmente capturadas pela avaliação de vizinhos mais próximos. Além disso, o trabalho destaca que modelos MoE não são inerentemente superiores para transferência downstream; eles requerem receitas de adaptação específicas (Freeze Routing, etc.) para realizar seu potencial, particularmente em tarefas de predição densa onde o fine-tuning padrão frequentemente falha.

O estudo conclui que o ExPLoRe fornece uma ênfase de perda por patch dependente do conteúdo que métodos anteriores carecem, alcançando resultados competitivos em classificação e predição densa sem sacrificar a qualidade da representação, oferecendo simultaneamente um perfil de inferência mais eficiente em comparação com a escala de parâmetros densa.