Resumo Técnico: Despertando Transformers de Difusão via Modulação Massiva de Ativação

1. Declaração do Problema

Os Transformers de Difusão (DiTs) tornaram-se a arquitetura dominante para geração visual de alta qualidade (ex: SD3, Flux, Wan) e estão sendo cada vez mais reaproveitados como extratores de características para tarefas de compreensão visual densa (ex: correspondência semântica, segmentação). No entanto, os componentes internos de ativação que regem essas capacidades duais permanecem insuficientemente compreendidos.

Um fenômeno específico e pouco explorado nos DiTs é a presença de Ativações Massivas (MAs): ativações ocultas com magnitudes significativamente maiores que o restante, concentradas em um pequeno subconjunto de dimensões de características. Embora as MAs tenham sido estudadas em Large Language Models (conhecimento contextual) e Vision Transformers (semântica global/tokens de fundo), seu papel nos DiTs é distinto. Os DiTs realizam a denoização iterativa sobre uma grade espacial onde cada token participa da reconstrução local. O artigo postula que a estrutura e o papel funcional das MAs neste contexto generativo denso não estão totalmente caracterizados, levando a dois problemas específicos:

1. Geração: Não está claro como as MAs influenciam a síntese de detalhes finos versus semântica global.
2. Compreensão: Quando usados como extratores de características, as direções de alta magnitude compartilhadas pelas MAs através dos tokens espaciais podem enviesar as representações, fazendo com que os descritores locais se tornem excessivamente similares e enfraquecendo a discriminação espacial para tarefas de percepção densa.

2. Metodologia: Elicitação de Ativação Massiva (EMA)

Os autores propõem o EMA, um framework unificado, livre de treinamento, que modula as MAs para melhorar tanto as capacidades generativas quanto as representacionais. O framework consiste em dois módulos específicos para a tarefa:

A. Análise de Ativações Massivas

Antes de propor soluções, o artigo estabelece as propriedades estruturais das MAs nos DiTs:

• Distribuição Espacial e Concentração de Canais: As MAs estão distribuídas por todos os tokens de imagem espaciais, mas concentradas em um pequeno conjunto de dimensões de características fixas (ex: dimensão 810 no SD3).
• Alinhamento AdaLN: As dimensões que abrigam as MAs alinham-se estreitamente com os fatores de escala residual ($\alpha_k$) produzidos pela Normalização de Camada Adaptativa (AdaLN).
• Modulação de Timestep: As magnitudes das MAs são moldadas primariamente pelo timestep de denoização (nível de ruído) em vez de condições de texto. Elas aumentam conforme o processo se move de timesteps de alto ruído para baixo ruído.
• Dualidade Funcional:
  • Geração: A interrupção das MAs degrada severamente os detalhes finos (texturas, olhos, cabelo), enquanto preserva a semântica global (layout, identidade do objeto).
  • Compreensão: A direção de alta magnitude compartilhada das MAs torna as características do DiT espacialmente indiscriminativas sob similaridade de cosseno, dificultando o pareamento denso.

B. Módulo 1: Orientação de Detalhes (DG) baseada em MA para Geração

Para melhorar a geração visual, o EMA introduz a Orientação de Detalhes (DG), uma estratégia de auto-orientação que constrói um ramo contrafactual "deficiente em detalhes" para guiar a amostragem.

• Mecanismo: A DG suprime adaptativamente as dimensões de MA identificadas nos estados ocultos de um bloco intermediário do DiT.
• Supressão Adaptativa: Como os detalhes se formam principalmente nos estágios finais de denoização, a supressão é aplicada via um coeficiente de retenção dependente do timestep ($\rho_t$). As MAs são preservadas nos estágios iniciais (para estrutura global) e fortemente atenuadas nos estágios finais (para remover a síntese de detalhes).
• Formulação de Orientação: A predição final é guiada para longe do ramo deficiente em detalhes:
  $$\hat{D}_\theta(z_t, c) = D_\theta(z_t, c) + w (D_\theta(z_t, c) - D_\theta(\hat{z}_t, c))$$
  onde $\hat{z}_t$ é o estado com as MAs suprimidas.
• Eficiência e Flexibilidade:
  • Inferência de Forward Parcial: Como o ramo contrafactual compartilha computação com o ramo original até o bloco de intervenção, a DG requer apenas o recálculo do sufixo da rede, reduzendo a latência em comparação com o CFG padrão.
  • DG Local: A supressão pode ser aplicada apenas a tokens espaciais específicos (ex: uma caixa delimitadora), permitindo o refinamento direcionado de regiões com detalhes fracos.
  • Compatibilidade: A DG é complementar ao Classifier-Free Guidance (CFG). Enquanto o CFG fortalece o alinhamento semântico, a DG melhora a fidelidade do detalhe fino.

C. Módulo 2: Extração de Representação Modulada por MA (MREP) para Compreensão

Para melhorar a compreensão visual densa, o EMA introduz o MREP, que mitiga o domínio direcional das MAs enquanto preserva sua estrutura espacial útil.

• Modulação AdaLN: O MREP reutiliza os pesos de canal ($\gamma_k, \beta_k$) pré-treinados do AdaLN para modular os estados ocultos. Isso reduz o domínio dos canais de MA sem descartá-los.
• Normalização Espacial: Como os mapas espaciais das MAs ainda codificam padrões de resposta significativos, o MREP extrai esses mapas, normaliza-os espacialmente para remover o viés de magnitude e os concatena com as características moduladas.
• Resultado: Isso produz representações que são menos dominadas pelas direções globais das MAs, mas retêm pistas espaciais informativas, melhorando a discriminabilidade para tarefas densas.

3. Principais Contribuições

1. Análise Sistemática: O artigo fornece o primeiro estudo sistemático das MAs nos DiTs, caracterizando-as como componentes distribuídos espacialmente, concentrados em canais, relacionados ao AdaLN e modulados por timestep.
2. Revelação do Papel Dual: Revela a natureza dual das MAs: críticas para a síntese de detalhes finos na geração, porém prejudiciais à discriminação espacial no aprendizado de representação devido às direções de alta magnitude compartilhadas.
3. Framework EMA: Introdução de um framework livre de treinamento com dois módulos:
   • DG: Melhora o detalhe da geração de imagem/vídeo e permite o refinamento local.
   • MREP: Melhora a compreensão visual densa (correspondência, segmentação, profundidade) através da modulação da extração de características.
4. Ferramenta Unificada: Demonstra que a modulação de MA serve como um mecanismo unificado para elicitar capacidades mais fortes de DiTs pré-treinados tanto em tarefas generativas quanto discriminativas.

4. Resultados Experimentais

Os autores avaliaram o EMA em uma ampla gama de modelos (SD3, SD3.5, Flux1/2, Wan1.3B/14B, DiT-XL/2) e tarefas:

• Geração de Imagem:
  • A DG melhorou consistentemente a qualidade dos detalhes finos (pontuações estéticas, HPSv2.1) em todos os modelos, mantendo o alinhamento com o prompt.
  • No SD3.5, a DG melhorou as pontuações estéticas de 5.94 para 6.16 (Cond) e de 6.01 para 6.18 (CFG).
  • A DG superou outros métodos de orientação (CFG++, APG, S2-Guidance) em métricas de qualidade de detalhe.
  • A DG combinada com CFG alcançou o melhor desempenho geral, validando sua natureza complementar.
• Geração de Vídeo:
  • Aplicada aos modelos Wan, a DG melhorou as pontuações gerais, a qualidade e a fidelidade da aparência. DG+CFG alcançou as maiores pontuações totais no Wan14B.
• Geração Condicional de Classe:
  • No ImageNet (DiT-XL/2), a DG reduziu o FID de 9.52 para 5.77 e aumentou o IS de 122.79 para 179.26 sob condicionamento de classe.
• Compreensão Visual:
  • Correspondência Semântica: O MREP melhorou significativamente as pontuações PCK em SPair-71k, AP-10K e PF-Pascal em comparação com as características brutas do DiTF.
  • Segmentação Semântica: No ADE20K, o MREP alcançou 54.9 mIoU (escala única), superando o DiTF bruto (53.6) e competindo com baselines fortes.
  • Estimativa de Profundidade: No NYUv2, o MREP reduziu o RMSE para 0.220 e o REL para 0.060, superando as características brutas e outros baselines baseados em difusão.
• Eficiência:
  • O forward parcial da DG reduziu a latência de inferência (ex: de 15.7s para 10.6s no SD3.5) em comparação com a reavaliação total do CFG, enquanto melhorou a qualidade.
• Generalização:
  • A DG foi eficaz em arquiteturas DiT não padronizadas (PixArt-$\alpha$, SANA) e configurações condicionadas por classe, indicando que captura um mecanismo geral em vez de artefatos específicos de arquitetura.

5. Significância e Alegações

O artigo afirma que as Ativações Massivas não são outliers numéricos incidentais, mas componentes estruturados e dependentes de estágio que moldam fundamentalmente como os DiTs processam informações visuais. Ao tratar as MAs como um sinal de modulação unificado, os autores demonstram que:

• Para Geração: A supressão das MAs cria um ramo naturalmente "deficiente em detalhes", permitindo a extração de um sinal de orientação que visa especificamente a síntese de detalhes finos sem interromper a semântica global.
• Para Compreensão: O "ruído" introduzido pelas MAs na percepção densa pode ser mitigado através da modulação baseada em AdaLN e normalização espacial, convertendo backbones generativos em extratores de características mais discriminativos.

O trabalho estabelece a modulação de MA como uma ferramenta versátil e livre de treinamento para desbloquear o potencial latente dos DiTs pré-treinados, melhorando tanto a fidelidade do conteúdo gerado quanto a utilidade de suas representações internas para tarefas de percepção downstream. Os autores concluem que esta abordagem incentiva a exploração adicional das estruturas de ativação interna como sinais controláveis em grandes modelos generativos visuais.