GF-DiT: Scheduling Parallelism for Diffusion Transformer Serving

Resumo Técnico: GF-DiT: Agendamento de Paralelismo para o Atendimento de Diffusion Transformers

Declaração do Problema

Os Diffusion Transformers (DiTs) tornaram-se a arquitetura dominante para a IA generativa moderna, mas os sistemas de atendimento existentes lutam para lidar eficientemente com suas cargas de trabalho heterogêneas. Os sistemas atuais (ex: vLLM-Omni, SGLang Diffusion) dependem de paralelismo estático, atribuindo a cada requisição uma configuração de GPU fixa (ex: um grau específico de paralelismo de sequência) durante todo o seu tempo de vida. Essa abordagem falha em abordar três fontes críticas de heterogeneidade:

1. Heterogeneidade de Requisição: Resoluções de saída, durações de vídeo e contagens de passos de denoising variam significamente, causando diferenças de ordens de magnitude na demanda computacional.
2. Heterogeneidade de Estágio: Diferentes estágios do pipeline de DiT (encoder, denoising, decoder) exibem comportamentos de escalonamento fundamentalmente distintos. Por exemplo, o denoising beneficia-se de grandes grupos de paralelismo de sequência, enquanto encoders e decoders são frequentemente leves e eficientes em rank único.
3. Heterogeneidade de Sistema: A dinâmica da carga de trabalho (taxas de chegada, condições de fila) e os objetivos de serviço (latência vs. throughput vs. SLO) mudam ao longo do tempo. Uma configuração ótima no momento da admissão pode se tornar ineficiente conforme as condições evoluem.

O paralelismo estático leva ao bloqueio de Head-of-Line (HoL), onde requisições de longa duração atrasam as mais curtas, e ao baixo aproveitamento de recursos, onde estágios leves desperdiçam recursos de GPU ou tarefas de denoising grandes são subprovisionadas. O problema central é que os sistemas existentes tratam o paralelismo como uma decisão de implantação fixa, em vez de um recurso agendável e dinâmico.

Metodologia

O artigo propõe o GF-DiT, um runtime programável por políticas que trata o paralelismo de GPU como um recurso agendável de primeira classe. O sistema adapta dinamicamente o paralelismo das requisições em execução com base nas demandas de carga de trabalho e nos objetivos de serviço. O GF-DiT é construído sobre três pilares técnicos fundamentais:

1. Execução Assíncrona e Tarefas de Trajetória Reagendáveis

O GF-DiT decompõe uma requisição de DiT em um grafo de tarefas de trajetória (encoding, passos individuais de denoising e decoding).

• Limites de Reagendamento: Ao contrário dos LLMs autorregressivos, onde a geração de tokens fornece limites finos, as requisições de DiT expõem pontos naturais de agendamento nos limites de estágio e de passo de denoising. A conclusão de um passo produz um estado latente semanticamente completo, permitindo que o runtime reatribua recursos com segurança.
• Previsibilidade: As estruturas de execução de DiT são amplamente determinísticas antes do início da execução (resolução, passos e trajetória conhecidos). Isso permite que o runtime estime custos de execução e demandas futuras de recursos com precisão, permitindo a adaptação online sem necessidade de suposições.
• Modelo Assíncrono: O runtime separa o plano de controle (agendamento, rastreamento de dependências) do plano de execução (trabalhadores de GPU). A conclusão do despacho é desacoplada da conclusão do dispositivo, permitindo que o agendamento e o planejamento de migração no lado da CPU ocorram em paralelo com a execução na GPU.

2. Coletivos Livres de Grupo (Group-Free Collectives - GFC)

Para tornar o paralelismo dinâmico prático, o sistema deve suportar a criação e reconfiguração rápida de grupos de execução sem incorrer no alto overhead das bibliotecas de comunicação tradicionais.

• O Desafio: Bibliotecas convencionais (ex: NCCL) exigem a construção de objetos process_group para cada subgrupo. Isso envolve custos de coordenação e inicialização no lado do host (centenas de milissegundos) e um overhead de memória significativo, o que é proibitivo para reconfigurações finas e online.
• A Solução: O GFC elimina a construção explícita de comunicadores.
  • Configuração de Nível Mundial: Uma única configuração de comunicação de nível mundial é realizada na inicialização do servidor, alocando buffers de comunicação simétricos.
  • Descritores Lógicos: Subgrupos dinâmicos são representados por descritores lógicos leves (IDs de rank e ordenação) em vez de objetos de comunicador pesados.
  • Ordenação Consistente por Par: Para garantir a correção em grupos sobrepostos, o GFC garante que qualquer par de ranks observe instâncias coletivas na mesma ordem. Ele utiliza um mecanismo de sinalização de buffer duplo anexado às arestas dos ranks (em vez de grupos) para gerenciar tokens de sincronização, evitando a explosão de estados combinatórios.
  • Estagiamento: A movimentação de dados é tratada via buffers de estagiamento, permitindo que o runtime realize o pipeline de cópias locais com transferências remotas e selecione os backends ideais (kernels CUDA, engines de cópia, TMA) com base no tamanho da mensagem.

3. Runtime Programável por Políticas

O GF-DiT expõe uma interface unificada onde políticas de agendamento podem controlar conjuntamente a ordenação de tarefas, o posicionamento e o paralelismo.

• Interface de Política: As políticas observam tarefas prontas, disponibilidade de recursos e estimativas de custo, e então retornam decisões de despacho especificando a tarefa e seu layout de execução (grupo lógico + especificação paralela).
• Flexibilidade: Isso permite que diversas estratégias (ex: FCFS, Shortest Remaining Trajectory First, Earliest Deadline First) sejam implementadas e avaliadas sem a necessidade de reescrever a lógica do runtime ou do modelo subjacente.
• Simulação: Um simulador utiliza o mesmo grafo de tarefas e interface de política, mas substitui a execução na GPU por previsões de modelos de custo, permitindo a exploração e seleção de políticas offline.

Principais Contribuições

1. Nova Abstração: O artigo introduz o conceito de tratar o paralelismo de GPU como um recurso agendável de primeira classe, mudando o paradigma de implantação estática para gerenciamento de runtime dinâmico.
2. Runtime GF-DiT: Um sistema programável por políticas que permite a realocação online de GPU através de execução assíncrona e tarefas de trajetória reagendáveis.
3. Coletivos Livres de Grupo (Group-Free Collectives): Uma abstração de comunicação leve que reduz o overhead de formação de grupos dinâmicos de centenas de milissegundos para aproximadamente 60 µs, tornando o paralelismo elástico prático.
4. Implementação e Avaliação: Uma implementação completa no vLLM-Omni demonstrando ganhos significativos de desempenho sobre a execução de pipeline fixo.

Resultados

Avaliado em cargas de trabalho de difusão de imagem (Qwen-Image) e vídeo (Wan2.2) em GPUs H20 e A100, o GF-DiT demonstra melhorias substanciais sobre os baselines de paralelismo estático:

• Throughput: Melhoria de até 6,01×.
• Latência: Redução da latência média em até 95%.
• Violações de SLO: Redução das taxas de violação de SLO em até 90%.
• Overhead de Comunicação: Redução do overhead de configuração de grupo de comunicação de 778 ms para aproximadamente 60 µs.
• Efetividade da Política: A política EDF (Earliest Deadline First) alcançou o maior cumprimento de SLO (ex: melhorando de 7,5% para 88,8% em cargas de trabalho de vídeo com rajadas), enquanto o SRTF (Shortest Remaining Trajectory First) minimizou a latência média em cenários específicos. Os resultados confirmam que nenhuma configuração estática única é ideal; a adaptação dinâmica é necessária.

Significância e Alegações

O artigo argumenta que a natureza estática do paralelismo nos atuais sistemas de atendimento de DiT é um gargalo fundamental. Ao tratar o paralelismo como um recurso agendável, o GF-DiT permite que os sistemas reajam à dinâmica de carga de trabalho e aos objetivos de serviço em tempo real.

Os autores afirmam que o GF-DiT torna o paralelismo elástico prático para o atendimento de IA generativa no mundo real. A significância não reside na proposta de novos kernels paralelos, mas no fornecimento de um substrato programável que permite que layouts de execução existentes sejam selecionados e reconfigurados dinamicamente. Isso permite uma mudança de "agendar requisições" para "agendar paralelismo", garantindo que os recursos de GPU fluam continuamente para onde proporcionam o maior benefício, aumentando simultaneamente o throughput, a latência e o cumprimento de SLO. O trabalho sugere que os futuros sistemas de atendimento de IA generativa devem abraçar o paralelismo gerenciado pelo runtime como uma abstração fundamental de sistema.