🤖 machine learning

MoECa: Aligning Feature Reuse with Expert Decomposition in Diffusion Transformers

O artigo propõe o MoECa, um framework de cache de granularidade fina que acelera Diffusion Transformers com Mixture-of-Experts ao realizar a reutilização de características no nível do ramo do especialista em vez do nível do token, alcançando até 2,93 $\times$ de aceleração enquanto preserva a qualidade da geração.

Autores originais: Maoliang Li, Haojing Chen, Jiayu Chen, Zihao Zheng, Xinhao Sun, Hailong Zou, Xiang Chen

Publicado 2026-08-05

📖 8 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Maoliang Li, Haojing Chen, Jiayu Chen, Zihao Zheng, Xinhao Sun, Hailong Zou, Xiang Chen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando pintar uma obra-prima, mas em vez de usar um único pincel, você tem uma equipe mágica de centenas de pequenos artistas, cada um especializado em um estilo diferente — alguns são mestres em textura, outros em cor e outros em iluminação. É assim que os geradores de imagens de IA modernos, conhecidos como Transformers de Difusão, funcionam. Eles começam com uma tela cheia de ruído estático e lentamente "removem o ruído" (denoise), passo a passo, até que uma imagem clara emerja. Para fazer com que essas imagens pareçam incríveis, a IA usa um truque inteligente chamado "Mistura de Especialistas" (Mixture-of-Experts - MoE). Pense nisso como um gerente inteligente que, para cada pequena parte da imagem, acorda apenas a equipe específica de artistas mais adequada para aquele trabalho, em vez de pedir que todos trabalhem ao mesmo tempo. Isso economiza energia e permite que a IA seja incrivelmente inteligente.

No entanto, há um problema. Criar uma imagem leva centenas desses "passos de denoising", e a IA tem que realizar uma quantidade massiva de cálculos para cada um desses passos. É como ter que repintar toda a tela do zero toda vez que você adiciona uma nova camada de detalhe. Para acelerar isso, cientistas tentaram uma técnica chamada "cache de características" (feature caching). Isso é como dizer: "Ei, esta parte da pintura não mudou muito desde o último passo, então vamos apenas reutilizar a tinta antiga em vez de misturar novas cores". O problema é que a forma antiga de fazer isso era muito desajeitada. Tratava todo o pequeno pedaço da imagem como uma única unidade. Se até um minúsculo detalhe naquele pedaço precisasse de uma nova camada de tinta, o método antigo forçava a IA a repintar o inteiro pedaço, desperdiçando tempo. Se fosse conservador demais, reutilizaria o pedaço inteiro mesmo quando partes dele haviam mudado, resultando em uma bagunça borrada.

É aqui que entra um novo estudo chamado MoECa. Os pesquisadores perceberam que, como a IA usa "especialistas" dedicados, a estratégia de cache precisa ser tão especializada quanto eles. Em vez de tratar um pedaço da imagem como um bloco único, o MoECa olha dentro do bloco e vê os especialistas individuais trabalhando nele. Eles descobriram que, enquanto um especialista pode estar ocupado mudando a textura de uma folha, outro especialista trabalhando no mesmo pedaço pode estar perfeitamente satisfeito em reutilizar seu trabalho anterior no céu. Ao decompor a imagem ao nível dessas ramificações individuais de especialistas, o MoECa pode decidir exatamente quais partes repintar e quais partes reutilizar.

O artigo mostra que essa abordagem de "grão fino" é um divisor de águas. Ao alinhar a estratégia de cache com a forma como os especialistas realmente trabalham, a IA pode pular cálculos redundantes sem perder qualidade. Em seus testes, o novo método tornou o processo de geração de imagens até 2,93 vezes mais rápido, mantendo as imagens tão nítidas e detalhadas quanto a versão lenta original. É como atualizar de uma equipe de construção que pinta a casa inteira toda vez que uma janela precisa de reparo, para uma equipe que pinta apenas a janela específica que precisa, deixando o resto da casa intocado e pronto para seguir em frente.

O Problema: O Erro do "Tudo ou Nada"

Para entender por que o MoECa é necessário, temos que observar como esses modelos de IA pensam. No passado, ao tentar acelerar a geração de imagens, pesquisadores usavam um método de cache de "nível de token". Imagine um token como um pequeno quadrado na sua tela. A regra antiga era simples: "Se este quadrado mudar nem que seja um pouquinho, repinte o quadrado inteiro. Se ele não mudou, deixe o quadrado inteiro quieto".

Mas em modelos com "Mistura de Especialistas", um único quadrado não é apenas uma coisa; é uma colaboração entre várias ramificações de "especialistas" diferentes. A análise do artigo revelou uma falha na regra antiga: esses especialistas não mudam todos ao mesmo tempo. Um especialista pode estar trabalhando na textura áspera da casca de uma árvore, que muda rapidamente conforme a imagem se forma. Outro especialista no mesmo quadrado pode estar trabalhando nas folhas verdes e lisas, que permanecem muito estáveis.

Se você usar a antiga regra do "tudo ou nada", enfrenta um dilema. Se decidir repintar o quadrado inteiro porque a casca mudou, você perde tempo repintando as folhas estáveis. Se decidir reutilizar o quadrado inteiro para economar tempo, acabará com folhas borradas e erradas porque a casca não foi atualizada. O artigo argumenta que esse descompasso entre o cache de "quadrado inteiro" e a realidade de "especialistas divididos" é a principal razão pela qual os métodos atuais de aceleração não estão funcionando tão bem quanto poderiam.

A Solução: A Estratégia de "Nível de Especialista" do MoECa

Os autores propõem o MoECa (Mixture-of-Experts Caching), um sistema que muda as regras do jogo. Em vez de perguntar: "Devemos repintar este quadrado inteiro?", o MoECa pergunta: "Devemos repintar o trabalho deste especialista específico neste quadrado?".

Veja como o MoECa funciona na prática:

Cache de Nível de Ramificação: Ele trata cada ramificação de especialista como sua própria pequena unidade. Ele lembra o resultado do "especialista da casca" e do "especialista da folha" separadamente.
Correspondência Inteligente: Quando a IA avança para o próximo passo, o MoECa verifica quais especialistas estão ativos. Se o "especialista da casca" ainda é o mesmo de antes, ele verifica se o trabalho dele mudou o suficiente para importar. Se o "especialista da folha" também for o mesmo, ele verifica esse também.
Controle Adaptativo: O sistema é inteligente o suficiente para saber que alguns especialistas são mais sensíveis que outros. Por exemplo, um especialista que foca em detalhes finos (como a borda de uma cafeteira) é muito sensível a mudanças. O MoECa dá a esses especialistas um "limiar de reutilização" mais baixo, o que significa que é mais provável que eles sejam repintados para garantir a qualidade. Um especialista trabalhando em um fundo borrado pode receber um limiar mais alto, permitindo que seja reutilizado com mais frequência.
Atualizações Sincronizadas: Uma parte crucial do MoECa é garantir que a parte de "atenção" da IA (que olha para a imagem inteira para entender o contexto) permaneça em sincronia com a parte dos "especialistas". Se os especialistas atualizarem, mas a parte de atenção não, a imagem fica confusa. O MoECa garante que eles atualizem juntos, evitando que a IA fique "embriagada" com informações antigas.

Os Resultados: Mais Rápido Sem o Borrão

Os pesquisadores testaram o MoECa em vários modelos de IA populares, incluindo a família DSMoE e o DiT-MoE. Os resultados foram impressionantes.

Velocidade: Nos melhores casos, o MoECa tornou a geração de imagens 2,93 vezes mais rápida (especificamente no modelo HiDream-I1 para tarefas de texto-para-imagem). Em outros modelos, alcançou acelerações de cerca de 2,14x a 2,83x.
Qualidade: Apesar do enorme aumento de velocidade, a qualidade das imagens permaneceu quase idêntica ao método original e lento. O artigo mediu isso usando métricas como FID (que mede o quão realistas as imagens parecem) e PSNR (que mede o quão próxima a imagem acelerada está da original). Por exemplo, no modelo DSMoE-L-E48, o MoECa alcançou uma aceleração de 2,83x mantendo o escore FID em 9,54, que é quase o mesmo que o 9,20 do modelo original.
Comparação: Quando comparado com outros métodos de aceleração como ToCa, DuCa e TeaCache, o MoECa produziu consistentemente os resultados mais rápidos com o menor custo computacional (FLOPs), tudo isso mantendo ou até melhorando a qualidade da imagem.

O artigo também analisou por que isso funciona tão bem. Eles descobriram que, em modelos com mais especialistas (como a configuração E48 com 48 especialistas), existem mais oportunidades para encontrar ramificações "estáveis" para reutilizar. É por isso que os modelos E48 viram acelerações ligeiramente maiores (até 2,83x) em comparação com modelos com menos especialistas. Quanto mais especializada for a equipe, mais você pode escolher quem trabalha e quem descansa.

O Que Isso Significa para o Futuro

O artigo conclui que a chave para acelerar esses poderosos modelos de IA não é apenas fazê-los trabalhar mais rápido em geral, mas entender como eles funcionam internamente. Ao perceber que os "especialistas" dentro da IA têm ritmos e necessidades diferentes, podemos construir sistemas de cache mais inteligentes que respeitem essas diferenças.

O MoECa não exige o retreinamento dos modelos de IA; ele trabalha com os modelos como eles são, simplesmente mudando a forma como processam a informação durante a criação da imagem. Embora o estudo atual foque na geração de imagens em computador único, os autores sugerem que essa abordagem de "grão fino" pode ser a chave para desbloquear a geração ainda mais rápida para vídeos e tarefas mais complexas no futuro. Por enquanto, ele prova que, às vezes, a maneira mais rápida de pintar uma obra-prima é deixar os artistas certos descansarem enquanto os outros continuam trabalhando.

Resumo Técnico: MoECa – Alinhando a Reutilização de Características com a Decomposição de Especialistas em Diffusion Transformers

1. Declaração do Problema

Os Diffusion Transformers (DiTs) tornaram-se o paradigma dominante para a geração visual, e a integração de arquiteturas Mixture-of-Experts (MoE) (DiT-MoE) aumentou ainda mais a capacidade do modelo por meio da ativação esparsa. No entanto, a eficiência de inferência continua sendo um gargalo devido ao processo iterativo de denoising. Embora o cache de características tenha surgido como uma estratégia primária de aceleração ao reutilizar características intermediárias entre timesteps, os métodos existentes operam primariamente ao nível de token.

Os autores identificam um desajuste estrutural fundamental ao aplicar o cache de nível de token em modelos DiT-MoE:

Decomposição Interna: Em um DiT-MoE, a atualização da característica de um único token é decomposta em múltiplas ramificações de especialistas roteadas.
Heterogeneidade: Diferentes ramificações de especialistas dentro do mesmo token exibem padrões de evolução temporal distintos. Algumas ramificações permanecem estáveis entre timesteps, enquanto outras mudam rapidamente.
Subotimalidade: Tratar o token inteiro como uma unidade de cache atômica força uma decisão de "tudo ou nada". Isso leva ou à recomputação desnecessária de ramificações estáveis (redundância) ou ao uso excessivo de ramificações que mudam rapidamente (degradação de qualidade).

Consequentemente, a granularidade dos mecanismos de cache existentes está desalinhada com a estrutura intrínseca de evolução de características dos modelos MoE.

2. Metodologia: MoECa

Para abordar esse desalinhamento, os autores propõem o MoECa, um framework de cache de grão fino, consciente de características e estrutura, que desloca a unidade de cache do nível de token para o nível de ramificação de especialista (expert-branch level).

2.1 Arquitetura de Cache de Especialista

O MoECa mantém um cache de estados intermediários para cada ramificação de especialista, em vez do token inteiro.

Definição de Estado: Para um token $i$ no timestep $t$ , o sistema rastreia o resultado de roteamento atual (especialistas selecionados e pesos) e o compara com o estado de referência em cache do último passo de atualização $t_0$ .
Particionamento: As ramificações atuais são particionadas em dois conjuntos:
1. Conjunto de Recomputação ( $R_i^t$ ): Ramificações que requerem computação fresca.
2. Conjunto de Reutilização: Ramificações que podem reutilizar características em cache com segurança.
Sincronização: Para evitar o desvio de representação (representation drift), o MoECa sincroniza as atualizações entre o caminho MoE e o caminho de Atenção. Se qualquer ramificação for recomputada, a saída da atenção também é atualizada no mesmo passo; caso contrário, ambos os caminhos reutilizam seus estados em cache.

2.2 Decisão de Reutilização ao Nível de Especialista

A decisão de reutilizar ou recomputar uma ramificação específica baseia-se em um mecanismo de pontuação por ramificação que avalia três sinais:

Peso de Roteamento ( $w$ ): A contribuição atual da ramificação para a representação do token.
Desvio Temporal ( $\Delta$ ): A mudança no peso de roteamento entre o passo atual e o passo em cache.
Contribuição Histórica ( $o$ ): A magnitude relativa da característica de saída da ramificação no estado em cache.

A pontuação de recomputação $s_{i,p}^t$ é calculada como:
$s_{i,p}^t = w_{i,p}^t + \lambda_1 \Delta_{i,p}^t + \lambda_2 o_{i,p}^{t_0}$
Ramificações que excedem um limiar $\tau$ são selecionadas para recomputação.

2.3 Controle Adaptativo Consciente do Especialista

Reconhecendo que diferentes especialistas exibem padrões de resposta espacial variados (especialização), o MoECa introduz um mecanismo de limiar adaptativo:

Entropia Espacial: O sistema estima a entropia de resposta espacial de cada especialista online usando uma Média Móvel Exponencial (EMA) das estatísticas de ativação.
Limiarização Adaptativa: Especialistas com baixa entropia (respostas concentradas, orientadas a detalhes) recebem limiares mais baixos, tornando-os mais propensos a serem recomputados para preservar detalhes locais. Especialistas com alta entropia (respostas amplas, de fundo) recebem limiares mais altos, favorecendo a reutilização.
Fórmula: $\tau_e^t = \tau_0 (1 + \alpha(2\bar{H}_e^t - 1))$ , onde $\bar{H}$ é a entropia normalizada.

3. Principais Contribuições

Análise Estrutural: O artigo fornece uma análise revelando que a redundância entre timesteps em DiT-MoE é melhor caracterizada no nível de ramificação de especialista do que no nível de token, destacando o desajuste estrutural do cache de nível de token existente.
Framework MoECa: A proposta de um framework de cache de grão fino que alinha a reutilização de características com a estrutura de decomposição MoE, permitindo decisões de reutilização independentes para diferentes ramificações dentro do mesmo token.
Controle Adaptativo: A introdução de um mecanismo de limiar adaptativo consciente do especialista que considera a heterogeneidade da especialização dos especialistas, equilibrando aceleração com qualidade de geração.
Validação Empírica: Avaliação abrangente em múltiplos modelos DiT-MoE (DSMoE, DiT-MoE, HiDream-I1) demonstrando trade-offs favoráveis entre velocidade e qualidade.

4. Resultados Experimentais

Os autores avaliaram o MoECa em geração condicional de classe (ImageNet) e geração de texto-para-imagem (DrawBench200) usando modelos variando de DSMoE-S-E16 a DSMoE-L-E48.

Aceleração: O MoECa alcança acelerações significativas em comparação com baselines densos e outros métodos de cache.
- No DSMoE-L-E48, ele alcança uma aceleração de latência de 2.14× e uma aceleração de FLOPs de 2.83× mantendo um FID de 9.54.
- No HiDream-I1 (1024px), ele alcança uma aceleração de FLOPs de 2.93× (5.61s de latência vs. 14.29s do baseline).
Preservação de Qualidade: O MoECa supera consistentemente ou iguala outros baselines de cache (ToCa, DuCa, TeaCache) em termos de FID, Inception Score, PSNR e SSIM.
- Em comparações qualitativas, o MoECa preserva melhor os detalhes de alta frequência (ex: texturas, bordas) do que os métodos de nível de token, que tendem a apresentar desfoque estrutural.
Eficiência: O método reduz FLOPs de forma mais eficaz do que estratégias de redução de passos (ex: 33% de passos) que frequentemente sofrem de degradação significativa de qualidade.
Overhead: A lógica de controle (pontuação, roteamento, atualizações de cache) adiciona um overhead mínimo, representando apenas 4.8% do tempo de inferência de ponta a ponta no DSMoE-S-E16. O overhead de memória é moderado, armazenando estados de ramificação sem exceder significativamente a pegada de memória de outros métodos de cache de nível de token.

5. Significância e Alegações

O artigo afirma que o MoECa representa uma evolução necessária nas estratégias de aceleração de difusão para arquiteturas MoE. Ao deslocar a granularidade do cache para alinhar-se com a decomposição de especialistas, o MoECa resolve a subotimalidade inerente à reutilização de nível de token.

Os autores enfatizam que sua abordagem é livre de treinamento (training-free), não exigindo modificação nos pesos pré-treinados ou no grafo de roteamento do modelo. A significância reside em demonstrar que a reutilização de grão fino e consciente da estrutura pode desbloquear economias computacionais substanciais (até 2.93×) sem comprometer a qualidade da geração, um trade-off que métodos de grão grosso (redução de passos) ou métodos de grão fino desalinhados (cache de nível de token) não conseguem alcançar simultaneamente.

O estudo conclui que, embora o trabalho atual se concentre na geração de imagens em GPU única, os princípios de alinhar a granularidade do cache com a decomposição interna do modelo são aplicáveis a contextos mais amplos, embora geração de vídeo e serving paralelo de especialistas permaneçam como trabalhos futuros.