💻 computer science

Rethinking Cross-Layer Information Routing in Diffusion Transformers

Este artigo apresenta o Roteamento Adaptativo por Difusão (DAR), um mecanismo residual adaptável ao passo de tempo e aprendível que substitui a adição residual tradicional em Transformers de Difusão para mitigar problemas de fluxo de informação, melhorando significativamente a qualidade da geração no ImageNet e a eficiência do treinamento, ao mesmo tempo em que preserva detalhes de alta frequência durante o ajuste fino.

Autores originais: Chao Xu, Maohua Li, Qirui Li, Yixuan Xu, Yanke Zhou, Yunhe Li, Cuifeng Shen, Hanlin Tang, Kan Liu, Tao Lan, Lin Qu, Shao-Qun Zhang

Publicado 2026-05-21

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Chao Xu, Maohua Li, Qirui Li, Yixuan Xu, Yanke Zhou, Yunhe Li, Cuifeng Shen, Hanlin Tang, Kan Liu, Tao Lan, Lin Qu, Shao-Qun Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um artista robô a pintar uma imagem do zero, começando com uma nuvem borrada e ruidosa de estática e refinando-a lentamente até obter uma imagem nítida e clara. É assim que funcionam os geradores modernos de imagens por IA (chamados Transformadores de Difusão).

Por muito tempo, o "cérebro" desse artista robô foi construído usando um projeto padrão herdado de modelos de linguagem (como os que escrevem ensaios). Esse projeto diz ao robô como passar informações de uma camada do seu cérebro para a próxima. É como uma corrida de revezamento onde cada corredor simplesmente adiciona sua própria mensagem ao bastão e o passa adiante.

Os autores deste artigo, Chao Xu e sua equipe, decidiram examinar mais de perto essa corrida de revezamento. Eles descobriram que a maneira padrão de passar o bastão está, na verdade, quebrada para a geração de imagens, e criaram uma nova e mais inteligente forma de fazê-lo, chamada DAR (Roteamento Adaptativo à Difusão).

Aqui está uma explicação simples de suas descobertas e solução:

1. O Problema: A "Corrida de Revezamento Ruidosa"

No design padrão, à medida que a imagem fica mais clara (movendo-se de alto ruído para baixo ruído), as informações que passam pelas camadas do cérebro do robô começam a agir de forma estranha. Os autores identificaram três "sintomas" específicos:

O Botão de Volume Fica Travado no Máximo (Inflação de Magnitude): Imagine os corredores na corrida de revezamento gritando suas mensagens cada vez mais alto a cada passo. Quando a mensagem chega à camada final, está tão alta (matematicamente enorme) que afoga tudo o mais. O robô precisa trabalhar incrivelmente duro apenas para manter o volume sob controle.
O Sinal Desaparece (Decaimento do Gradiente): Em uma corrida de revezamento, se o último corredor deixa cair o bastão, os primeiros corredores não sabem que cometeram um erro. Da mesma forma, no design padrão, o "feedback" que diz às camadas iniciais como melhorar fica tão fraco ao viajar de volta pela cadeia que as camadas iniciais param de aprender efetivamente.
Todos Dizem a Mesma Coisa (Redundância): Como a mensagem fica tão alta e distorcida, as diferentes camadas do cérebro começam a produzir saídas quase idênticas. É como ter 20 pessoas em uma reunião, mas todas apenas repetem a mesma frase uma e outra vez. Isso é um desperdício de poder cerebral.

Os autores também descobriram que essa corrida de revezamento padrão é "cega ao tempo". Ela trata a fase inicial e borrada da pintura da mesma maneira que trata a fase final e nítida. Mas, na realidade, um robô precisa focar em formas grandes quando a imagem está borrada e em detalhes minúsculos quando a imagem está nítida. O design antigo não conseguia mudar de marcha.

2. A Solução: O "Controlador de Tráfego Inteligente" (DAR)

A equipe propôs o DAR, que substitui o simples revezamento de "adicionar e passar" por um controlador de tráfego inteligente e adaptativo.

Em vez de adicionar cegamente cada mensagem anterior à atual, o novo sistema pergunta: "Dado que estamos nesta etapa específica do processo de pintura (o 'timestep'), quais mensagens anteriores são realmente úteis agora?"

É Consciente do Tempo: O controlador sabe se a imagem ainda é uma nuvem borrada ou se está quase pronta. Se estiver borrada, ele foca nas camadas da "grande imagem". Se estiver nítida, ele foca nas camadas de "detalhes finos".
É Seletivo: Ele não adiciona tudo. Usa um mecanismo de "atenção suave" (como um holofote) para escolher as melhores informações anteriores e ignorar o resto.
É Flexível: Ele não força as camadas a serem diferentes; apenas muda como elas conversam entre si. Isso significa que pode ser inserido em modelos existentes sem quebrá-los.

3. Os Resultados: Arte Mais Rápida e Melhor

A equipe testou esse novo sistema em um conjunto de dados de imagem padrão (ImageNet). Os resultados foram impressionantes:

Melhor Qualidade: As imagens geradas foram significativamente mais nítidas e realistas (medidas por uma pontuação chamada FID, onde menor é melhor). Eles melhoraram a pontuação em uma margem grande em comparação com o modelo padrão.
Treinamento Muito Mais Rápido: O modelo alcançou a mesma alta qualidade do modelo antigo em 8,75 vezes menos etapas. É como aprender a pintar uma obra-prima em um dia em vez de oito.
Funciona com Outras Atualizações: Eles testaram o DAR junto com outro método popular chamado REPA (que ajuda o robô a aprender com a arte existente). Os dois métodos funcionaram perfeitamente juntos, tornando o treinamento ainda mais rápido (aceleração de 2x) sem conflitos.

4. Um Bônus: Mantendo os Detalhes Nítidos

O artigo também mostrou que, quando usaram esse novo sistema para "destilar" (comprimir) um modelo enorme em um menor e mais rápido, o novo sistema foi muito melhor em manter detalhes de alta frequência.

Pense nisso como fazer uma fotocópia de um documento. O método antigo borraria o texto fino e as bordas nítidas. O novo método DAR manteve o texto nítido e as bordas afiadas, mesmo após a compressão.

Resumo

Em resumo, o artigo argumenta que a maneira como os geradores de imagens por IA passam informações entre suas camadas cerebrais estava ultrapassada. Era muito alta, muito fraca em feedback e muito repetitiva. Ao introduzir um sistema de roteamento inteligente e consciente do tempo (DAR) que escolhe a informação certa no momento certo, eles fizeram a IA aprender mais rápido e produzir imagens melhores, mantendo ao mesmo tempo a arquitetura subjacente simples e compatível com outras atualizações modernas.

Resumo Técnico: Repensando o Roteamento de Informações entre Camadas em Transformadores de Difusão

Declaração do Problema
Transformadores de Difusão (DiTs) consolidaram-se como a espinha dorsal da geração visual moderna, com pesquisas extensas revisitando tokenização, mecanismos de atenção, condicionamento e objetivos. No entanto, o fluxo residual—o mecanismo que governa como a informação se acumula entre as camadas—permaneceu largamente inalterado desde o design original do Transformer. Os autores identificam que essa adição residual pré-normalizada padrão, herdada de práticas de Processamento de Linguagem Natural (PLN), é inadequada para as dinâmicas variantes no tempo do processo de difusão.

Através de uma análise empírica sistemática do fluxo de informações entre camadas, conjuntamente ao longo da profundidade e do passo de tempo de remoção de ruído, o artigo diagnostica três sintomas concretos do roteamento residual tradicional em DiTs:

Inflação Monotônica da Magnitude Adiante: As magnitudes dos estados ocultos crescem aproximadamente 100× do primeiro ao último bloco, forçando blocos mais profundos a produzir saídas brutas cada vez maiores para manter influência, ecoando o fenômeno de "diluição PreNorm" observado em Modelos de Linguagem de Grande Escala (LLMs).
Decaimento Acentuado do Gradiente para Trás: Os gradientes decaem significativamente após os primeiros blocos, deixando camadas mais profundas com sinais de otimização substancialmente mais fracos.
Redundância Pronunciada por Bloco: Blocos adjacentes do transformer produzem representações altamente similares (similaridade de cosseno > 0,9), indicando que o roteamento padrão falha em diversificar características ao longo da profundidade.

Além disso, a análise revela que as fontes ótimas de informação para uma dada camada mudam sistematicamente com o passo de tempo de remoção de ruído (de características de estrutura grosseira em alto ruído para características de detalhe fino em baixo ruído). Conexões residuais padrão, que aplicam pesos uniformes e alheios ao tempo, falham em adaptar-se a essas necessidades em mudança.

Metodologia: Roteamento Adaptativo à Difusão (DAR)
Para abordar essas questões, os autores propõem o Roteamento Adaptativo à Difusão (DAR), uma substituição direta para a conexão residual padrão. Diferentemente da recursão aditiva fixa, o DAR realiza agregação aprendível, adaptativa ao passo de tempo e não incremental sobre o histórico de saídas de subcamadas.

Componentes-chave do design incluem:

Atenção Softmax sobre Profundidade: Em vez de somar saídas anteriores com pesos unitários, o DAR computa uma agregação ponderada por softmax das saídas de subcamadas precedentes ( $v_i$ ). Os pesos de agregação são determinados por uma consulta ( $q_l$ ) derivada do estado oculto atual e chaves ( $k_i$ ) derivadas das saídas anteriores normalizadas.
Consciência do Passo de Tempo: Reconhecendo que o passo de tempo de remoção de ruído $t$ $t$ é um sinal de controle crítico, a parametrização da consulta é projetada para ser consciente de $t$ $t$ . Os autores exploram três variantes:
- Estática: Um vetor aprendível por camada (independente do tempo).
- Dinâmica: A consulta é uma projeção da saída da subcamada anterior, herdando implicitamente informações do passo de tempo codificadas no estado oculto.
- Injeção Explícita: Aumentando a consulta estática com o embedding do passo de tempo $e(t)$ .
  Experimentos indicam que a consciência do passo de tempo é crucial, com as variantes dinâmica e explícita superando a linha de base estática cega ao tempo.
Agregação em Blocos: Para gerenciar o custo computacional de atender a todas as $L$ camadas anteriores, o DAR suporta uma variante em blocos. As subcamadas são particionadas em blocos, e o roteador atende a resumos de blocos anteriores mais as saídas brutas dentro do bloco atual. A análise teórica sugere que existe um tamanho de bloco ótimo (encontrado empiricamente como $S=4$ para SiT-XL/2) que equilibra precisão de roteamento e custo de compressão.
Compatibilidade: O DAR opera puramente ao longo da dimensão de profundidade, preservando a pilha isotrópica e homogênea do Transformer. É projetado para ser compatível com outras melhorias modernas, como REPA (Alinhamento de Representação), sem exigir emparelhamento manual de camadas ou alterar o objetivo de treinamento.

Resultados Principais
Avaliado no ImageNet 256 × 256 usando a arquitetura SiT-XL/2:

Melhoria de Qualidade: A variante estática do DAR alcança um FID de 7,56 (sem orientação livre de classificador), uma melhoria de 2,11 pontos sobre a linha de base SiT-XL/2 (9,67 FID).
Velocidade de Convergência: O DAR iguala a qualidade convergida da linha de base em aproximadamente 8,75× menos iterações de treinamento.
Sinergia com REPA: Quando empilhado sobre o REPA, o DAR produz uma aceleração de treinamento de 2× nos estágios iniciais, demonstrando que melhorias no roteamento entre camadas são ortogonais a objetivos de alinhamento de representação.
Comparação com Pulos U-Net: O DAR supera modelos usando conexões de pulso do tipo U-Net projetadas manualmente (por exemplo, U-DiT-L) enquanto mantém os benefícios de escalabilidade de uma pilha homogênea de Transformer.
Distilação: Em pós-treinamento T2I em grande escala (Distilação de Correspondência de Distribuição em Qwen-Image), o DAR ajuda a preservar detalhes de alta frequência (bordas nítidas, texturas finas) que são frequentemente perdidos em distilação agressiva de poucos passos.

Significado e Alegações
O artigo postula que o roteamento de informações entre camadas é um eixo de design subexplorado na modelagem de difusão que opera ortogonalmente a objetivos existentes de alinhamento de representação e escalabilidade arquitetônica. Ao diagnosticar as patologias espaço-temporais específicas do fluxo residual padrão em DiTs, os autores demonstram que substituir a adição fixa por agregação adaptativa e condicionada ao passo de tempo melhora significativamente tanto a velocidade de convergência quanto a qualidade final de geração.

O trabalho eleva o roteamento entre camadas de uma convenção herdada para uma dimensão de design explícita. Sugere que a rigidez dos resíduos padrão é um fator limitante para modelos de difusão e que mecanismos de roteamento adaptativo como o DAR são essenciais para desbloquear o potencial total de arquiteturas profundas de DiT, particularmente à medida que escalam para pilhas mais profundas e regimes de pós-treinamento mais complexos.