DOPD: A Dynamic PD-Disaggregation Architecture for Maximizing Goodput in LLM Inference Serving

Each language version is independently generated for its own context, not a direct translation.

Imagine que você tem uma cafeteria muito famosa que usa robôs para fazer café. O processo de fazer um café tem duas etapas bem diferentes:

A Preparação (Prefill): O robô pega os ingredientes, mede o pó, espreme o café. Isso exige muita força bruta (como um atleta levantando peso), mas é rápido.
A Entrega (Decoding): O robô coloca o café na xícara e o entrega ao cliente. Isso exige muita precisão e memória (lembrar quem pediu o que), mas é menos cansativo fisicamente.

O Problema: A Cafeteria Desbalanceada

Antes deste novo sistema (chamado DOPD), as cafeterias modernas tentavam separar esses robôs. Eles tinham uma equipe só de "Preparadores" e outra só de "Entregadores".

O problema é que os clientes são imprevisíveis!

Às vezes, todo mundo pede um café simples (pouca preparação, muita entrega rápida).
Às vezes, todo mundo pede um "café especial" gigante (muita preparação, entrega demorada).

Se você tiver 10 Preparadores e 2 Entregadores, e todos pedirem cafés simples, os Entregadores ficam sobrecarregados e os Preparadores ficam parados, olhando para o nada. Se você inverter e tiver 2 Preparadores e 10 Entregadores, e todos pedirem cafés especiais, os Preparadores ficam atolados e os Entregadores ficam esperando café pronto.

Isso é ineficiência: você gasta dinheiro com robôs (GPUs) que não estão trabalhando, e os clientes ficam esperando muito tempo.

A Solução: O Sistema DOPD (O Maestro Inteligente)

Os autores criaram o DOPD, que é como um Maestro de Orquestra ou um Gerente de Tráfego superinteligente para essa cafeteria.

O DOPD faz três coisas mágicas:

1. O Oráculo que Adivinha o Futuro (Previsão de Carga)

O DOPD não espera o caos acontecer. Ele olha para o histórico de pedidos e usa uma "bola de cristal matemática" (chamada ARIMA) para prever o que vai acontecer nos próximos minutos.

Analogia: É como um gerente de trânsito que vê no radar que vai chover e, antes da chuva começar, já manda abrir faixas extras e desviar carros, em vez de esperar o engarrafamento se formar.

2. O Equilíbrio Perfeito (Cálculo da Proporção Ideal)

Com base na previsão, o DOPD calcula exatamente quantos robôs de Preparação e quantos de Entrega são necessários agora.

Se a previsão é de muitos pedidos simples, ele ativa mais Entregadores e desliga alguns Preparadores.
Se a previsão é de pedidos complexos, ele faz o inverso.
Analogia: É como um restaurante que, ao ver uma fila de pessoas pedendo apenas sobremesas, manda cozinheiros para a área de doces e tira alguns da área de carnes, garantindo que nada fique parado.

3. O Organizador de Filas (Agendamento Inteligente)

Às vezes, chegam pedidos muito curtos (um café expresso) e pedidos muito longos (um café com 50 ingredientes). Se misturá-los na mesma fila, o pedido longo trava o pedido curto.
O DOPD é esperto: ele separa os pedidos curtos e os agrupa em "lotes" rápidos, enquanto os pedidos longos vão direto para a frente. Ele também decide quando é melhor fazer o pedido inteiro na mesma máquina (para não perder tempo trocando dados) e quando separar.

Analogia: Imagine uma fila de banco. O DOPD cria uma fila "Expressa" para quem só quer sacar dinheiro (pedidos curtos) e uma fila normal para quem precisa de empréstimo (pedidos longos), evitando que a fila rápida fique parada esperando o cliente lento.

Os Resultados: Por que isso é incrível?

O artigo mostra que, ao usar o DOPD:

Mais Clientes Atendidos: A cafeteria consegue atender até 1,5 vezes mais pessoas com o mesmo número de robôs.
Menos Espera: O tempo para o primeiro gole de café chegar à mesa caiu drasticamente (até 67% mais rápido).
Garantia de Qualidade: Quase 100% dos clientes recebem seu café no tempo prometido, mesmo em dias de muita gente.

Resumo Final

O DOPD é um sistema que transforma a inteligência artificial (LLMs) em algo muito mais eficiente. Em vez de ter robôs parados ou sobrecarregados por causa de pedidos imprevisíveis, ele ajusta a equipe em tempo real, como um maestro que muda a música e o número de músicos conforme o ritmo da plateia.

Isso significa que as empresas gastam menos energia e dinheiro com computadores caros, e você, como usuário, recebe respostas mais rápidas e confiáveis da Inteligência Artificial.

Each language version is independently generated for its own context, not a direct translation.

Resumo Técnico: DOPD

1. O Problema

A inferência de Grandes Modelos de Linguagem (LLMs) enfrenta desafios críticos de eficiência e custo, especialmente com o crescimento do número de parâmetros. Para mitigar os gargalos distintos das fases de Prefill (intensiva em computação) e Decoding (intensiva em memória), arquiteturas modernas adotam a PD-Disaggregation (Desagregação Prefill-Decoding), separando essas etapas em instâncias de GPU distintas (P-instances e D-instances).

No entanto, as arquiteturas de PD-Disaggregation existentes enfrentam três problemas principais:

Desequilíbrio Produtor-Consumidor: A heterogeneidade das cargas de trabalho de LLMs (comprimentos de entrada e saída variáveis) causa um desequilíbrio entre a capacidade de produção das instâncias P e o consumo das instâncias D. Uma configuração estática (razão P/D fixa) frequentemente leva ao over-provisioning (GPU ociosa) ou under-provisioning (violação de SLOs).
Ineficiência em Cargas Mistas: Requests com comprimentos muito diferentes (curtos vs. longos) misturados em uma única configuração global de razão P/D resultam em alocação subótima. Requests ultra-curtos sofrem com a latência de transferência de KV-cache entre GPUs, enquanto requests longos podem sobrecarregar a fase de prefill.
Falta de Adaptabilidade Dinâmica: A maioria das soluções atuais não ajusta dinamicamente o número de instâncias P e D em tempo real com base em previsões de carga, levando a desperdício de recursos ou degradação de desempenho durante picos de tráfego.

2. Metodologia: A Arquitetura DOPD

O DOPD (Dynamic Optimal Prefill/Decoding) é um sistema de inferência inteligente e dinâmico projetado para resolver esses problemas através de três pilares principais:

A. Cálculo da Razão P/D Ótima
O sistema modela a alocação de recursos como um problema de otimização. Utilizando dados históricos e perfis de desempenho (TTFT e TPOT), o DOPD calcula analiticamente a razão ideal entre instâncias de Prefill e Decoding para uma dada carga de trabalho.

Considera restrições de capacidade de memória e largura de banda da GPU.
Determina o número máximo de concorrentes que uma instância D pode suportar ( $c_{cd}$ ) e a capacidade de produção de uma instância P.
A fórmula derivada garante que ambas as instâncias operem com tempo ocioso próximo de zero, maximizando o goodput.

B. Previsão de Carga e Escalonamento Proativo
Para lidar com a não estacionariedade das cargas de trabalho:

Utiliza um modelo ARIMA (AutoRegressive Integrated Moving Average) baseado em telemetria histórica para prever a média futura do comprimento de entrada/saída e a concorrência.
Aplica fatores de correção multiplicativos para ajustar previsões com base em medições recentes, reduzindo o viés sistemático.
Realiza o redimensionamento elástico (escalonamento) das instâncias P e D proativamente, antes que ocorram gargalos ou ociosidade excessiva.

C. Agendamento Inteligente de Requests (Length-Aware Scheduling)
Para mitigar os efeitos de requests de comprimentos variados:

Scheduling de Prefill: Implementa uma política que agrupa requests curtos em lotes (batching) até atingir um limite de comprimento ou tempo de espera, enquanto envia requests longos imediatamente para evitar atrasos.
Aggregation para Ultra-curtos: Requests extremamente curtos (onde o tempo de prefill é insignificante) podem ser executados localmente nas instâncias D (agregação), evitando a latência de transferência de KV-cache entre GPUs.
Roteamento: O roteador direciona requests para instâncias D com maior probabilidade de cache hit e menor carga.

3. Contribuições Principais

Framework DOPD: Um sistema de inferência LLM dinâmico que ajusta continuamente o número e a configuração das instâncias P e D.
Modelo de Cálculo Ótimo: Uma metodologia analítica para determinar a razão P/D ótima baseada em estatísticas de carga de curto prazo e perfis de hardware.
Algoritmo de Agendamento: Um algoritmo de agendamento de requests consciente do comprimento (length-aware) que mitiga o desajuste de recursos causado por cargas mistas.
Validação Experimental: Demonstração extensiva de que o DOPD supera abordagens estáticas e dinâmicas existentes em cenários de produção realistas.

4. Resultados Experimentais

Os experimentos foram realizados em um cluster com 8 GPUs NVIDIA H100, utilizando modelos como LLaMa-3.3-70B, OPT-30B e QWen2.5-72B, com traços de carga do Microsoft Azure e BurstGPT.

Goodput: O DOPD aumentou o goodput geral do sistema em até 1,5x em comparação com o vLLM (agregação) e o DistServe (desagregação estática).
Latência (TTFT): Redução de até 67,5% no P90 Time-to-First-Token (TTFT).
Latência (TPOT): Redução de até 22,8% no P90 Time-per-Output-Token (TPOT).
Atendimento de SLO: O sistema alcançou uma taxa de atendimento de SLO (Service-Level Objective) superior a 99% (subindo de 80,8% para 99,4% em comparação com o DYN-SLA do Dynamo), utilizando menos recursos adicionais.
Eficiência de Recursos: Em configurações estáticas, o DOPD conseguiu atingir desempenho comparável a um sistema agregado com 8 GPUs utilizando apenas 6 GPUs, graças ao balanceamento ótimo P/D.

5. Significado e Impacto

O DOPD representa um avanço significativo na infraestrutura de inferência de LLMs ao resolver o dilema fundamental da PD-Disaggregation: como manter o equilíbrio entre produtores e consumidores em um ambiente de carga altamente variável.

Viabilidade Econômica: Permite que provedores de serviços LLM atendam à demanda de usuários com custos de GPU substancialmente menores.
Robustez Operacional: A capacidade de prever picos de carga e reconfigurar o sistema proativamente garante uma experiência de usuário consistente, mesmo sob condições de tráfego imprevisíveis.
Futuro da Infraestrutura: O trabalho estabelece uma base para a gestão dinâmica de recursos em arquiteturas desagregadas, sendo crucial para a escalabilidade industrial de modelos de linguagem cada vez maiores e mais complexos.

Em suma, o DOPD transforma a PD-Disaggregation de uma arquitetura estática e propensa a ineficiências em um sistema elástico, eficiente e orientado a SLOs, pronto para a produção em larga escala.