Resumo Técnico: ResilPhase

Declaração do Problema

Os Diffusion Transformers (DiTs) estabeleceram-se como o padrão ouro para geração visual de alta fidelidade devido à sua arquitetidade escalável. No entanto, sua dependia de processos de denoising iterativos cria um gargalo significativo de latência de inferência, muitas vezes exigindo dezenas a centenas de passos sequenciais que não podem ser paralelizados. Esforços recentes de aceleração sem treinamento deslocaram-se de paradigmas passivos de "cache-e-reuso" para esquemas de "cache-e-previsão", que utilizam polinômios para prever trajetórias de características.

Apesar desses avanços, os métodos existentes sofrem de uma severa degradação de qualidade em altas taxas de aceleração. Os autores identificam três causas raízes para essa falha:

1. Instabilidade Espacial: A maioria dos métodos depende de previsão camada por camada, ajustando polinômios a micro-características altamente erráticas dentro dos blocos Transformer. Isso faz com que os erros de previsão cascateiem exponencialmente através da profundidade da rede e incorra em um enorme overhead de memória.
2. Instabilidade Temporal (Falácia da Derivada): Os atuais métodos de previsão dependem de aproximações baseadas em derivadas (ex: série de Taylor, polinômios de Hermite). Embora a trajetória macro do processo de difusão seja suave, suas derivadas temporais de ordem superior são intrinsecamente caóticas. Estimar estas via diferenças finitas amplifica exponencialmente o ruído, levando a previsões divergentes.
3. Instabilidade Numérica (Fenômeno de Runge): Realizar extrapolação polinomial sobre passos de tempo discretos e uniformes desencadeia o fenômeno de Runge, causando oscilações de borda incontroláveis e uma degradação catastrófica de qualidade em taxas de aceleração agressivas.

Metodologia: ResilPhase

Os autores propõem o ResilPhase, um framework de aceleração plug-and-play, resiliente ao ruído, que reformula a inferência acelerada como uma extrapolação de trajetória macro estável no espaço de Equações Diferenciais Ordinárias (ODE). O framework aborda os gargalos identificados através de três componentes principais:

1. Direcionamento de Trajetória Macro Alinhado à ODE (Global Drift)

Em vez de prever características intermediárias camada por camada, o ResilPhase desloca o alvo de previsão para o Global Drift (GD). O GD é definido como o deslocamento de estado de ponta a ponta entre a entrada inicial do modelo e sua saída final ($D(x_t) = G(x_t) - x_t$).

• Mecanismo: Um macro-preditor único prevê o GD para os passos pulados, e a saída final é reconstruída adicionando este drift à entrada.
• Benefício: Esta abordagem alinha o extrapolador com a ODE de fluxo de probabilidade contíno, cortando estritamente a acumulação de erro de cascata espacial inerente aos métodos camada por camada. Reduz o limite de erro de ser dependente da profundidade da rede ($O((1+L_f)^L)$ para uma constante ($O(1)$) e elimina o overhead de memória de cache de características de blocos.

2. Extrapolador de Lagrange Baricêntrico Livre de Derivadas

Para contornar a "falácia da derivada" onde as derivadas de ordem superior são ruidosas, o ResilPhase emprega uma abordagem puramente livre de derivadas.

• Mecanismo: O framework utiliza Interpolação de Lagrange Baricêntrica. Ao contrário da interpolação de Lagrange padrão, que possui complexidade $O(m^2)$, a forma baricêntrica permite que os pesos sejam pré-computados e armazenados em cache, reduzindo a complexidade para $O(m)$.
• Benefício: Ao evitar aproximações de derivadas por diferenças finitas, o método contorna completamente a amplificação do ruído de gradiente e das derivadas caóticas de ordem superior, resultando em erros de previsão significativamente menores e mais estáveis através de intervalos de extrapolação variáveis.

3. Mapeamento de Fase Plug-and-Play

Para suprimir a instabilidade numérica causada pelo fenômeno de Runge em passos de tempo uniformes, os autores introduzem um mecanismo de Mapeamento de Fase.

• Mecanismo: Esta técnica projeta não linearmente os passos de tempo discretos ($t$) em um domínio de fase limitado ($s$). Dois mapeamentos específicos são propostos:
  • Mapeamento de Chebyshev: Utiliza nós de Chebyshev para projetar os passos de tempo, sendo ideal para geração condicional de classe.
  • Mapeamento Balanceado: Uma estratégia adaptativa baseada em dados usando uma função tangente hiperbólica para confinar dinamicamente as coordenadas mapeadas com base na dispersão dos passos de tempo recentes. É adaptado para tarefas complexas de texto-para-imagem e texto-para-vídeo.
• Benefício: Ao remapear o domínio de extrapolação, o método minimiza o termo de erro dependente do nó no limite de erro de interpolação de Lagrange, transformando efetivamente um problema numérico divergente em uma previsão estável.

Principais Contribuições

1. Direcionamento de Global Drift: Uma mudança da previsão de características camada por camada para a previsão de Global Drift de ponta a ponta, que elimina erros de cascata espacial e overhead de memória enquanto se alinha com a ODE contínua.
2. Extrapolação Livre de Derivadas: A introdução de um extrapolador de Lagrange Baricêntrico $O(N)$ resiliente ao ruído que evita o ruído inerente e as derivadas caóticas das aproximações de diferença finita.
3. Mecanismo de Mapeamento de Fase: Uma técnica plug-and-play, fundamentada teoricamente, que regulariza o domínio de extrapolação via Mapeamento de Chebyshev ou Balanceado, minimizando estritamente o limite de erro de extrapolação polinomial e suprimindo o crescimento oscilatório.
4. Estabilizador Plug-and-Play: A demonstração de que o Mapeamento de Fase pode ser integrado em aceleradores existentes baseados em derivadas (ex: TaylorSeer, HiCache) para melhorar sua estabilidade e performance.

Resultados Experimentais

Os autores avaliaram o ResilPhase no FLUX.1-dev (texto-para-imagem), HunyuanVideo (texto-para-vídeo) e DiT-XL/2 (geração de ImageNet condicionada a classe).

• Texto-para-Imagem (FLUX.1-dev): O ResilPhase alcançou aproximadamente 4.97× de aceleração de velocidade mantendo um ImageReward de 1.0258, superando o principal baseline TaylorSeer (0.6241) em mais de 60%. Também demonstrou um score LPIPS 52% menor comparado ao TaylorSeer. Resultados qualitativos mostraram que o ResilPhase preservou estruturas detalhadas e precisão de cores onde os baselines sofreram com artefatos severos.
• Texto-para-Vídeo (HunyuanVideo): Com uma aceleração de ~5×, o ResilPhase alcançou um score VBench de 79.78 e um LPIPS 10% menor comparado ao SOTA TeaCache. Ele manteve a coerência temporal e a precisão semântica, enquanto os competidores exibiram desfoque de objeto e distorção de movimento.
• Geração Condicionada a Classe (ImageNet): No DiT-XL/2, o ResilPhase alcançou uma aceleração de 2.78× com um FID de 2.347, superando o baseline completo de 50 passos do DDIM (FID 2.367). Em uma aceleração mais agressiva de 4.41×, manteve um FID de 2.832, superando significativamente competidores como SpeCa (FID 6.866) e ClusCa (FID 3.251).
• Estudos de Ablação: Experimentos confirmaram que o direcionamento de Global Drift supera a previsão camada por camada e que o Mapeamento Balanceado é superior ao Mapeamento de Chebyshev para tarefas condicionadas por texto. A integração do Mapeamento de Fase em outros aceleradores melhorou consistentemente seu ImageReward e reduziu os limites de erro de extrapolação.

Significância e Alegações

O artigo afirma que o ResilPhase estabelece um novo estado da arte no equilíbrio entre aceleração de inferência e excepcional qualidade de geração. Ao abordar as limitações espaciais, temporais e numéricas dos paradigmas existentes, ele permite taxas de aceleração agressivas (até ~5×) sem a severa degradação de qualidade observada anteriormente.

Os autores posicionam o ResilPhase não apenas como um acelerador de alto desempenho independente, mas também como um estabilizador robusto e plug-and-play que pode mitigar erros de extrapolação em aceleradores existentes baseados em derivadas. O trabalho fornece um framework teórico e prático para a extrapolação estável de trajetória macro, oferecendo um caminho viável para a implantação em tempo real e em larga escala de Diffusion Transformers.