Resumo Técnico: AFlex – Servimento de LLM com Eficiência Energética via Atenção–FFN Desagregada e Escalonamento de Frequência Flexível

1. Declaração do Problema

O servimento de Grandes Modelos de Linguagem (LLMs) em datacenters modernos enfrenta um compromisso crítico entre atender aos rigorosos Objetivos de Nível de Serviço (SLOs) — especificamente o Tempo para o Primeiro Token (TTFT) e o Tempo por Token de Saída (TPOT) — e minimizar o consumo de energia. Embora o Escalonamento Dinâmico de Tensão e Frequência (DVFS) ofereça um mecanismo para trocar desempenho por economia de energia, as abordagens atuais de gestão de energia sofrem de duas limitações primárias:

1. Controle de Frequência de Grão Grosso: Os sistemas atuais aplicam o escalonamento de frequência ao nível da requisição, ao nível da fase de inferência (prefill vs. decode) ou ao nível da instância. Eles falham em considerar a heterogeneidade ao nível do operador. Especificamente, os dois operadores dominantes na inferência de LLM, Atenção e Redes Feed-Forward (FFN), exibem características distintas de computação e memória. A Atenção é frequentemente limitada por memória (sensível ao acesso ao cache KV), enquanto a FFN é tipicamente limitada por computação. Consequentemente, suas frequências ideais para eficiência energética diferem significamente e variam dinamicamente com base na carga de trabalho, tamanho do lote (batch size) e configurações de paralelismo de tensor (TP).
2. Ineficiência do Servimento Desagregado: Embora o servimento de Fase-Desagregada (P/D) separe o prefill do decode para reduzir a interferência, ele ainda trata cada fase como um domínio de frequência único. Além disso, o servimento Operador-Desagregado (A/F), que separa a execução de Atenção e FFN, introduz desafios:
   • Complexidade do Espaço de Busca: Otimizar conjuntamente o provisionamento de recursos (graus de TP, contagem de instâncias) e frequências independentes para quatro pools de operadores (Prefill-Attention, Prefill-FFN, Decode-Attention, Decode-FFN) cria um enorme espaço de busca combinatória.
   • Overhead: A desagregação A/F requer transferências de estados ocultos entre operadores. A reconfiguração dinâmica de recursos e a troca frequente de frequência introduzem custos de comunicação e transição que podem anular a economia de energia se não forem cuidadosamente gerenciados.

2. Metodologia: O Framework AFlex

Para enfrentar esses desafios, os autores apresentam o AFlex, um framework que otimiza conjuntamente o provisionamento de recursos e o escalonamento de frequência de GPU para o servimento A/F desagregado. O AFlex é construído sobre quatro princípios de design: consciência de operador, otimização conjunta consciente de SLO, separação do planejamento de recursos do controle em tempo de execução e reconfiguração consciente de overhead.

A. Arquitetura

O AFlex emprega um plano de controle de dois níveis e um plano de dados em pipeline:

1. Agendador Global (Plano de Controle):
   • Perfilamento e Predição: Utiliza perfilamento offline para treinar modelos de regressão leves (Gradient-Boosted Decision Trees) que predizem a latência do operador e o consumo de energia com base na frequência da GPU, tamanho do lote, comprimento da sequência e grau de TP.
   • Orquestrador de Recursos: Resolve periodicamente um Problema de Programação Linear Inteira (ILP) para determinar o número ideal de pares A/F, graus de TP e frequências base. O ILP minimiza a energia total sujeito a restrições de memória de GPU, requisitos de vazão (throughput) e SLOs de TTFT/TPOT por camada.
   • Mecanismo de Reconfiguração em Tempo de Execução: Aplica novas configurações incrementalmente. Ele reutiliza fragmentos de pesos residentes e busca fragmentos ausentes de forma assíncrona para minimizar a interrupção, distinguindo entre reconfiguração pesada de TP e ajustes leves de frequência.
2. Controlador DVFS Local (Plano de Controle):
   • Refina o plano global com granularidade de milissegundos.
   • Prefill: Seleciona um par de frequência PA/PF fixo antes do lançamento do lote com base no orçamento de TTFT restante.
   • Decode: Utiliza um algoritmo baseado em janela para amortizar os custos de troca de frequência. Ele ajusta as frequências DA/DF apenas quando o tamanho do lote muda significativamente ou quando o SLO de TPOT está em risco, evitando trocas proibitivamente caras a cada iteração.
3. Plano de Dados AFD:
   • Pipeline Intercalado: Lança o próximo operador de Atenção assim que o operador FFN da camada atual é concluído, sobrepondo transferências de estados ocultos com a computação.
   • Microbatching Dinâmico e Batching Adaptativo: Seleciona dinamicamente a profundidade do microbatch ($M$) e os tamanhos de lote de requisição para equilibrar a execução A/F. Por exemplo, sob baixa carga, pode usar $M=1$ para evitar a divisão de pequenos lotes; sob alta carga, aumenta $M$ para maximizar a sobreposição e reduzir bolhas de pipeline.
   • Transferência Consciente de Posicionamento: Otimiza as transferências de estados ocultos através de grupos heterogêneos de TP usando agrupamento afim ao NIC para paralelizar transferências sem exigir a replicação total de ativações.

B. Insights Técnicos Chave

O design é fundamentado em observações empíricas:

• Ótimos Energéticos Heterogêneos: Os operadores de Atenção e FFN atingem seus mínimos de energia em frequências diferentes (lacuna média de 429 MHz). Uma única frequência é suboptimal para ambos.
• Sensibilidade Dinâmica: A sensibilidade do operador a mudanças de frequência varia com o tamanho do lote e o grau de TP, necessitando de adaptação em tempo de execução em vez de configurações fixas.
• Custos de Desequilíbrio: O provisionamento homogêneo leva a bolhas de pipeline significativas (19,7–75,7% do tempo de passo), causando desperdício substancial de energia.

3. Principais Contribuições

O artigo reivindica as seguintes contribuições:

1. Caracterização da Heterogeneidade ao Nível do Operador: Uma análise sistemática revelando que os operadores A/F possuem distintas sensibilidades de frequência e ótimos de energia que variam entre fases, cargas de trabalho e configurações de sistema.
2. Plano de Controle de Dois Níveis: Uma arquitetura inovadora que combina o provisionamento de recursos A/F global (via ILP) com a adaptação DVFS local por operador para minimizar a energia sob restrições estritas.
3. Plano de Dados A/F Intercalado: Um design de pipeline que sobrepõe comunicação com computação e ajusta dinamicamente a profundidade do microbatch e o batching de requisições para eliminar bolhas de pipeline.
4. Avaliação Abrangente: Implementação e avaliação em um cluster de GPUs de múltiplos nós usando traços de produção, demonstrando reduções substanciais de energia em comparação com sistemas de ponta.

4. Resultados Experimentais

Os autores implementaram o AFlex sobre o SGLang e o avaliaram em GPUs NVIDIA A800 utilizando os modelos Qwen3-32B (denso) e Mixtral-8×7B (MoE). As cargas de trabalho incluíram traços de produção (Conversação, Codificação) e cargas sintéticas controladas (QA, RAG, Chatbot, Sumarização).

Métricas de Desempenho:

• Eficiência Energética: O AFlex reduz a energia por token em até 49% em comparação com o servimento desagregado de ponta (DistServe) e 48% em comparação com sistemas de escalonamento de frequência (DynamoLLM).
• Conformidade de SLO: O AFlex satisfaz consistentemente os SLOs de P90 TTFT e TPOT em todas as cargas testadas, enquanto alguns baselines ou violam os SLOs ou exigem frequências mais altas para atendê-los, aumentando o consumo de energia.
• Escalabilidade: A vantagem de economia de energia persiste ao escalar de 1 para 4 nós. O AFlex mantém pelo menos 20,2% de melhoria sobre o melhor baseline através dos tamanhos de cluster.
• Suporte a MoE: O AFlex lida efetivamente com modelos Mixture-of-Experts, abordando desequilíbrios A/F intra-fase que a desagregação P/D sozinha não consegue resolver, alcancendo até 41,4% de redução de energia sobre os baselines.
• Overhead: O solver ILP global adiciona um overhead desprezível (<0,2% da janela de agendamento de 5 minutos). A reconfiguração incremental reduz os tempos de transição de TP em 52–72% em comparação com os métodos base.

5. Significância e Alegações

O artigo posiciona o AFlex como o primeiro framework de servimento de LLM que combina a execução desagregada de Atenção-FFN com o escalonamento de frequência independente e flexível por operador.

• Complementaridade: Os autores argumentam que a desagregação de grão fino (AFD) e o DVFS de grão fino são complementares. Enquanto a AFD expõe a heterogeneidade de recursos, o DVFS explora a "folga" resultante para baixar as frequências em operadores menos sensíveis (ex: diminuindo a frequência da FFN quando a Atenção é o gargalo).
• Praticidade: Ao desacoplar a reconfiguração lenta de recursos do caminho crítico de inferência e amortizar os custos de troca via controle baseado em janela, o AFlex demonstra que o escalonamento de energia de grão fino é viável sem sacrificar os SLOs de latência.
• Impacto: Os resultados sugerem que ir além do controle por fase ou por instância para o controle por operador é essencial para a próxima geração de servimento de LLM energeticamente eficiente, particularmente à medida que as cargas de trabalho se tornam mais diversas e as restrições de hardware se tornam mais rígidas.

Os autores concluem que o AFlex fornece uma solução robusta e escalável para reduzir a pegada de carbono da inferência de LLM, mantendo a responsividade necessária para aplicações interativas.