💻 computer science

Sparse Mixture-of-Experts Routing in Visual Diffusion Transformers:Diagnosis, Boundary Calibration and Evolutionary Roadmap from Routing Collapse to Selective Deadlock

Este artigo diagnostica sistematicamente cinco modos distintos de falha no treinamento de Mixture-of-Experts esparsos baseados em escolha de tokens em Transformers de Difusão para vídeo, propõe uma "Hipótese de Redundância Funcional" para explicar o deadlock seletivo observado e oferece uma solução completa de engenharia juntamente com um roteiro evolutivo para escalar essas arquiteturas.

Autores originais: Haiying Sha

Publicado 2026-05-20

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Haiying Sha

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Visão Geral: Tentando Atualizar um Gerador de Vídeo

Imagine que você tem um editor de vídeo muito talentoso, de uma só pessoa (um "Modelo Denso"), que consegue fazer tudo: editar clipes, adicionar texto, mudar cores e seguir instruções. Eles são ótimos, mas são lentos e caros para executar.

Os pesquisadores queriam atualizar esse editor para uma equipe de Mistura de Especialistas (MoE). Pense nisso como contratar uma equipe de especialistas:

O Gerente (Roteador): Decide qual tarefa vai para quem.
Os Especialistas (Especialistas Roteados): Dois clones do editor original, prontos para fazer trabalhos específicos.
O Estagiário (Especialista Compartilhado): Uma nova contratação que aprende conhecimento geral para ajudar a todos.

O objetivo era tornar o gerador de vídeo mais inteligente e rápido, fazendo com que o Gerente enviasse partes diferentes de um vídeo para Especialistas diferentes. No entanto, os pesquisadores descobriram que essa atualização não funcionou suavemente. Em vez de uma equipe feliz, encontraram um sistema que frequentemente "congelava" ou entrava em colapso.

As Três Regras da Atualização (As "Três Leis")

Antes dos experimentos, os pesquisadores perceberam que precisavam seguir três regras estritas para sequer começar, ou tudo entraria em colapso:

Não Mude os Uniformes (Consistência Estrutural): Os Especialistas devem ser construídos exatamente como o editor original. Se o original usava um tipo específico de matemática (GELU), os Especialistas devem usar o mesmo. Se você tentar substituir por um estilo diferente (como SwiGLU), os pesos não se encaixam e o modelo quebra imediatamente.
Não Reduza o Sinal (Clonagem 1:1): Ao copiar o cérebro do editor original para os Especialistas, você deve copiá-lo exatamente. Não tente "reduzir a escala" dos números para fazê-los se encaixar melhor. Se você reduzir o sinal, a saída do vídeo desaparece até ficar preta porque o sinal se perde camada por camada.
O Estagiário de "Micro-Ruído" (Inicialização do Especialista Compartilhado): Esta é a parte mais complicada. O "Estagiário" (Especialista Compartilhado) começa com quase zero conhecimento.
- A Armadilha: Se você iniciar o Estagiário com pesos perfeitamente zero, a matemática do computador (especificamente a precisão bfloat16) é tão grosseira que arredonda as atualizações minúsculas para zero. O Estagiário nunca acorda.
- A Correção: Você deve dar ao Estagiário uma faísca minúscula, quase invisível, de ruído (como um pequeno choque estático) para começar. Isso é suficiente para acordá-lo sem alterar a saída do vídeo, mas permite que ele comece a aprender.

O Que Deu Errado: O Diagnóstico do Fracasso

Os pesquisadores executaram o sistema por 5.000 passos e observaram como o "Gerente" (Roteador) atribuía tarefas. Eles encontraram uma hierarquia de falhas:

1. O Roteador Linear: O Problema da "Linha Reta"

A Configuração: Eles usaram um Gerente simples, de linha reta.
O Resultado: O Gerente ficou confuso. Não conseguia distinguir entre tarefas. Acabou enviando tudo para ambos os Especialistas igualmente, mas de uma forma que os tornava idênticos.
A Analogia: Imagine um gerente que só consegue desenhar uma linha reta em um mapa. Se o terreno for complexo (como um vídeo com muitas tarefas), uma linha reta não consegue separar as áreas. Os dois Especialistas tornaram-se clones um do outro (99% similares), e o sistema apenas adicionou custo extra sem adicionar nenhuma habilidade nova.

2. O Roteador MLP: O "Bloqueio Seletivo"

A Configuração: Eles atualizaram o Gerente para ser mais inteligente (não linear/MLP).
O Resultado: A confusão global parou, mas um novo problema sorrateiro apareceu, chamado Bloqueio Seletivo.
O Fenômeno: Cerca de um terço das camadas do vídeo parou de usar ambos os Especialistas. Em vez disso, escolheram um Especialista e ignoraram completamente o outro.
A Analogia: Imagine uma equipe de dois trabalhadores. O Gerente percebe: "Ei, o Trabalhador A está fazendo 90% do trabalho, e o Trabalhador B não está adicionando muito." Então, o Gerente para de enviar trabalho para o Trabalhador B. O Trabalhador B fica ocioso. Mesmo se você gritar com o Gerente (aumentar a penalidade por não equilibrar), ele não mudará porque o sistema convenceu a si mesmo de que um trabalhador é suficiente.
O Padrão: Isso não aconteceu aleatoriamente. Aconteceu em forma de U:
- Topo do U (Camadas Iniciais): Os "olhos" do modelo (processando pixels brutos) ficaram presos.
- Fundo do U (Camadas Profundas): O "cérebro" do modelo (processando significado complexo) ficou preso.
- Meio: As camadas do meio funcionaram bem.

3. O Roteador de Atenção Cruzada: A Tentativa de "Auto-Cura"

A Configuração: Eles deram ao Gerente um superpoder: a capacidade de ler as instruções de texto enquanto olhava para o vídeo (usando Atenção Cruzada).
O Resultado: Esta foi a melhor configuração. Algumas camadas que estavam "mortas" realmente acordaram e começaram a trabalhar novamente!
O Limite: Mesmo com esse superpoder, cerca de 9 camadas permaneceram teimosamente presas. O Gerente ainda não conseguia descobrir como usar ambos os Especialistas nessas camadas específicas.

A Teoria da "Redundância Funcional": Por Que Isso Aconteceu?

Os pesquisadores propuseram uma teoria para explicar por que os Especialistas ficaram presos. Eles chamam isso de Hipótese da Redundância Funcional.

A Metáfora: Imagine uma equipe de "Dois Mestres + Um Aprendiz".
- Os Mestres (Especialistas Roteados) são clones idênticos do especialista original.
- O Aprendiz (Especialista Compartilhado) começa com quase nenhuma habilidade (micro-ruído).
O Processo:
1. Início: O Aprendiz não faz nada. Os dois Mestres são idênticos. O Gerente (Portão) não vê razão para usar ambos os Mestres, então escolhe um e ignora o outro. O Mestre ignorado torna-se uma "reserva estratégica" (bloqueada).
2. Crescimento: O Aprendiz lentamente aprende habilidades gerais.
3. O Despertar: Uma vez que o Aprendiz é bom o suficiente para lidar com tarefas chatas e básicas, o Gerente percebe: "Posso dar as coisas básicas para o Aprendiz!" Isso libera o Mestre "morto" para aprender algo novo e diferente.
A Conclusão: As camadas "mortas" não estão quebradas; elas estão esperando. Elas estão esperando o Aprendiz (Especialista Compartilhado) crescer o suficiente para apoiá-las. Até que o Aprendiz seja forte, o sistema permanece em um "bloqueio" para economizar energia.

A Armadilha do "Bfloat16"

O artigo também encontrou uma armadilha técnica oculta. Ao treinar com um tipo específico de matemática de computador (bfloat16), se um número for muito pequeno (como o ruído minúsculo dado ao Estagiário), o computador arredonda as atualizações para zero. É como tentar medir o crescimento de uma semente com uma régua que só mede em metros. A semente cresce, mas a régua diz "0".

A Correção: Mantenha a "cópia mestre" dos pesos em alta precisão (float32) e use apenas a matemática mais grosseira para as etapas reais de geração de vídeo.

O Roteiro: Para Onde Isso Está Indo?

Com base nessas descobertas, os autores propõem um plano de três etapas para o futuro:

Curto Prazo: Corrigir a geração de texto. Atualmente, o modelo não consegue soletrar palavras bem. Eles planejam adicionar um "Especialista de Texto" específico à equipe que lida apenas com letras e formas.
Médio Prazo: Adicionar Som. Eles querem adicionar um "Especialista de Áudio" para que o modelo possa gerar vídeo e som juntos, em vez de fazê-los separadamente.
Longo Prazo: Construir um "Modelo de Mundo". Eles querem adicionar especialistas que entendam física (gravidade, colisões) para que a IA não apenas crie imagens bonitas, mas entenda como o mundo realmente funciona.

A Conclusão

O artigo conclui que, sob o atual sistema de "Escolha de Token" (onde os tokens escolhem especialistas), o bloqueio é um problema estrutural, não um bug. Você não pode corrigi-lo apenas ajustando números. Para acordar completamente todos os especialistas, você precisa ou começar com um "Estagiário" (Especialista Compartilhado) mais inteligente ou mudar toda a forma como a equipe é organizada. Este é um dos primeiros estudos detalhados mostrando exatamente por que essas atualizações de IA de vídeo frequentemente falham em funcionar como esperado.

Resumo Técnico: Diagnóstico de Roteamento Visual MoE

1. Declaração do Problema

Embora a Mistura de Especialistas (MoE) tenha escalado com sucesso modelos de linguagem, sua aplicação à geração de vídeo usando Transformadores de Difusão (DiTs) permanece incipiente e propensa a falhas. Tentativas existentes frequentemente resultam em benefícios limitados devido a diferenças fundamentais entre tokens visuais e linguísticos: tokens visuais exibem redundância espacial extrema, deriva de distribuição induzida por passos de tempo de difusão e sinais de roteamento conflitantes em configurações de múltiplas tarefas.

Este artigo aborda a falta de diagnóstico sistemático sobre a dinâmica de treinamento do MoE esparsa de Escolha de Token em DiTs de vídeo. Especificamente, investiga por que os mecanismos de roteamento falham, levando a um "impasse" onde camadas ou especialistas específicos deixam de funcionar efetivamente, e busca compreender as condições de fronteira do paradigma atual de Escolha de Token.

2. Metodologia

A pesquisa emprega uma configuração experimental rigorosa e minimalista projetada para eliminar efeitos de mascaramento de capacidades pré-treinadas:

Modelo Base: Um modelo pré-treinado denso de geração de vídeo (Kiwi-Edit, ~8B parâmetros, combinando Wan2.2-TI2V-5B e Qwen2.5-VL-3B) é convertido em uma arquitetura MoE.
Estratégia de Conversão (As "Três Leis"):
1. Consistência Estrutural: Especialistas roteados devem corresponder exatamente à estrutura original do FFN (por exemplo, ativação GELU, configurações de viés).
2. Clonagem de Pesos 1:1: Especialistas roteados são inicializados clonando exatamente os pesos do FFN denso sem escalonamento (diferentemente de estratégias padrão de inicialização aleatória).
3. Inicialização de Especialista Compartilhado: Especialistas compartilhados são inicializados com pesos todos zero para verificação arquitetônica (garantindo equivalência de saída com o modelo denso) e depois re-inicializados com ruído não-zero extremamente pequeno (por exemplo, $\sigma=10^{-4}$ ) para treinamento, a fim de quebrar a simetria e evitar truncamento de hardware.
Arquiteturas de Roteador: Três tipos de roteador são comparados: Linear (Softmax), MLP não linear e Atenção Cruzada (aproveitando instruções de texto multimodal).
Regime de Treinamento: Um conjunto de dados de geração de vídeo multi-tarefa 9-em-1 (20k amostras) é usado por 5.000 passos em uma única NVIDIA A100. O treinamento usa precisão mista bfloat16 com parâmetros treináveis (portões e especialistas compartilhados) mantidos em cópias mestras float32.
Monitoramento: Log detalhado da utilização de especialistas (fração de especialistas minoritários) através de 30 camadas Transformer e mais de 65 milhões de tokens.

3. Principais Descobertas e Resultados

3.1 Hierarquia de Falhas de Roteamento

O estudo identifica uma progressão de modos de falha:

Saturação Suave Global (Roteadores Lineares): Roteadores lineares sofrem de saturação suave global onde os gradientes do Softmax desaparecem, levando à homogeneização completa de especialistas (similaridade de cosseno >0,99). O MoE degenera em uma rede densa estruturalmente desigual sem ganho de capacidade.
Impasse Seletivo (Roteadores MLP): Roteadores MLP não lineares resolvem a saturação global, mas introduzem "impasse seletivo". Aproximadamente um terço das camadas degenera em um modo de especialista único. Aumentar a perda auxiliar (até 0,2) falha em prevenir isso, indicando um problema estrutural de nível de sistema, e não um simples problema de balanceamento de carga.
Auto-recuperação e Impasse Persistente (Roteadores de Atenção Cruzada): Roteadores de atenção cruzada exibem um fenômeno único de "auto-recuperação" onde algumas camadas travadas recuperam espontaneamente. No entanto, cerca de 9 camadas permanecem teimosamente travadas.

3.2 A Distribuição de Impasse em "U"

Camadas travadas não estão distribuídas aleatoriamente, mas seguem uma estrutura em U pronunciada:

Camadas Rasas (1–10): Fortemente concentradas devido à dificuldade de distinguir características visuais de baixo nível espacialmente redundantes.
Camadas Profundas (18–25): Fortemente concentradas devido a espaços de decisão comprimidos em camadas de integração semântica.
Camadas Intermediárias: Mantêm utilização quase uniforme.

3.3 A Armadilha de Precisão bfloat16

Uma armadilha numérica crítica foi identificada: sob precisão mista bfloat16, minúsculas atualizações de peso para especialistas compartilhados (inicializados próximos de zero) são truncadas para zero pelo hardware porque a magnitude da atualização cai abaixo da Unidade no Último Lugar (ULP).

Solução: O artigo documenta a necessidade de manter cópias mestras de parâmetros treináveis em float32 e inicializar especialistas compartilhados com micro-ruído ( $10^{-4}$ ) em vez de zero absoluto para garantir a acumulação de gradientes.

3.4 A Hipótese da Redundância Funcional

O artigo propõe a Hipótese da Redundância Funcional para explicar o impasse seletivo. Postula que o impasse é uma estratégia racional e faseada de alocação de recursos dentro de um tríade "portão, especialista compartilhado, especialistas roteados":

Inicialmente, o especialista compartilhado (aprendiz) tem capacidade próxima de zero. O sistema confia nos dois especialistas roteados (mestres), que são idênticos devido à clonagem de pesos.
O portão seleciona naturalmente um mestre para minimizar redundância, deixando o outro como uma "reserva estratégica" (travado).
À medida que o especialista compartilhado gradualmente aprende conhecimento comum, cria nova redundância funcional. Isso eventualmente permite que o sistema "libere" o especialista roteado travado para divisão especializada de trabalho.
A hipótese sugere que eliminar o impasse exige que o especialista compartilhado atinja um limiar crítico de capacidade antes que o sistema possa se reconfigurar.

4. Contribuições de Engenharia

Três Leis de Conversão Denso para MoE: Um protocolo verificado para converter modelos densos pré-treinados em MoE sem incompatibilidade arquitetônica ou colapso de sinal.
Mitigação de Armadilha de Precisão: Uma solução completa para o problema de truncamento de atualização bfloat16 no treinamento MoE.
Condicionamento em Contexto: Validação de concatenação de sequência (vs. adição) para fusão de características multimodais para evitar contaminação de características.
Solução de Renderização de Texto: Uma arquitetura baseada em MoE proposta para geração de texto envolvendo um "especialista de texto" dedicado e um codificador Glyph-ByT5 para resolver o colapso em nível de caractere.

5. Significado e Alegações

O artigo alega fornecer o primeiro diagnóstico empírico abrangente de falha de roteamento em implantações reais de MoE de geração de vídeo. Seu significado reside em:

Calibração de Fronteiras: Define precisamente a fronteira de capacidade do paradigma de Escolha de Token, concluindo que, sob condições atuais de GPU única e especialistas congelados, a eliminação completa de especialistas mortos é estruturalmente impossível, independentemente da complexidade do roteador.
Perspectiva Teórica: Oferece um novo quadro teórico (Redundância Funcional) fundamentado em biologia de sistemas para interpretar a dinâmica de treinamento MoE, indo além de métricas simples de balanceamento de carga.
Roteiro Evolutivo: Com base nessas descobertas, os autores traçam um caminho da "unificação visual" para um "motor de inteligência geral", sugerindo que o progresso futuro requer:
1. Melhoria na inicialização de especialistas compartilhados (conhecimento pré-treinado).
2. Design diferenciado de pesos de especialistas.
3. Migração potencial para paradigmas de Escolha de Especialista ou roteamento dinâmico.
4. Integração de priores físicos e raciocínio causal para modelagem de mundo.

O trabalho enfatiza que, embora o MoE atual de Escolha de Token enfrente impasse estrutural em domínios visuais, compreender esses modos de falha fornece a base necessária para a próxima geração de modelos generativos multimodais.