Resumo Técnico: Provisionamento Analítico para Servidor de LLMs com Desagregação de Atenção–FFN sob Cargas de Trabalho Estocásticas

Declaração do Problema

O atendimento de Modelos de Linguagem de Grande Escala (LLMs) enfrenta desafios significativos de eficiência à medida que os tamanhos dos modelos aumentam. Embora a Desagregação de Atenção–FFN (AFD) tenha surgido como uma arquitetura promissora para desacoplar as camadas de Atenção limitadas por memória (com estado, dominadas por cache KV) das camadas FFN limitadas por computação (sem estado), determinar a proporção ótima de provisionamento de recursos permanece um problema em aberto.

Em uma topologia AFD (denotada como $r$A–1F, onde $r$ instâncias de Atenção alimentam uma instância FFN), o desempenho do sistema é altamente sensível à razão $r$.

• Se $r$ for muito pequeno, o servidor FFN fica sem entrada, levando a recursos de computação ociosos.
• Se $r$ for muito grande, as instâncias de Atenção ficam bloqueadas aguardando o servidor FFN compartilhado, causando bloqueio em nível de etapa e bolhas no pipeline.

Sistemas existentes normalmente determinam $r$ por meio de busca empírica ou aproximações determinísticas ingênuas que ignoram a estocasticidade da carga de trabalho. A dificuldade central reside na natureza dinâmica da carga de trabalho de Atenção: ao contrário do cálculo FFN, que depende apenas do tamanho do lote, a latência de Atenção evolui continuamente à medida que os caches KV crescem e as solicitações são repostas com comprimentos aleatórios de prompt e decodificação. Além disso, a execução sincronizada de múltiplos trabalhadores de Atenção introduz um efeito de "atraso" governado pelo trabalhador mais lento, criando uma barreira de sincronização difícil de modelar analiticamente.

Metodologia

Os autores desenvolvem um quadro probabilístico rigoroso para derivar uma regra de provisionamento de forma fechada para a razão A/F ótima ($r^*$) sob cargas de trabalho estocásticas. A metodologia aborda duas fontes primárias de aleatoriedade:

1. Evolução da Carga de Trabalho por Slot: Os autores modelam a carga de tokens por slot usando uma análise de renovação-recompensa em tempo discreto. Eles identificam uma única estatística de carga de trabalho, $\theta$ (a carga de tokens estacionária esperada por slot), que governa o provisionamento. Essa estatística conta com o efeito de "viés de comprimento", onde solicitações mais longas são amostradas com mais frequência em etapas de decodificação aleatórias. Crucialmente, $\theta$ e sua variância $\nu^2$ podem ser estimados de forma não paramétrica a partir de rastros de solicitações, sem assumir famílias distribucionais específicas.
2. Sincronização entre Trabalhadores: Para abordar o efeito de barreira onde o sistema aguarda o mais lento dos $r$ trabalhadores, os autores aplicam uma correção de estatística de ordem Gaussiana. Eles modelam a carga total nos $r$ trabalhadores como uma soma de variáveis aleatórias independentes e identicamente distribuídas (i.i.d.) e aproximam a carga máxima usando o valor esperado do máximo de $r$ variáveis normais padrão ($\kappa_r$).

A análise produz duas regras de provisionamento:

• Regra de Campo Médio ($r^*_{mf}$): Uma solução de forma fechada derivada ignorando a barreira de sincronização (assumindo balanceamento de carga perfeito). Esta regra se decompõe em três regimes: gargalo de Atenção, gargalo de comunicação e gargalo de FFN.
• Refinamento Consciente da Barreira ($r^*_G$): Uma otimização refinada que incorpora o termo de sobrecarga de sincronização ($\sqrt{B}\nu\kappa_r$) na aproximação do tempo de ciclo. Isso é resolvido por meio de uma otimização analítica unidimensional combinada com uma busca discreta.

Principais Contribuições

1. Modelo de Carga de Trabalho Probabilístico: O artigo estabelece um quadro analítico que captura as dinâmicas estocásticas do atendimento AFD com agrupamento contínuo. Ele identifica $\theta$ como a estatística governante para o provisionamento, válida sob distribuições arbitrárias de comprimento de prompt e decodificação, e fornece um estimador não paramétrico para $\theta$ e $\nu^2$ a partir de rastros.
2. Regra de Provisionamento de Forma Fechada: Os autores derivam uma razão ótima de campo médio que equilibra explicitamente os gargalos de Atenção, comunicação e FFN. Eles fornecem ainda um refinamento consciente da barreira que quantifica a sobrecarga de sincronização introduzida por trabalhadores atrasados, mostrando que essa sobrecarga cresce sub-logaritmicamente com $r$.
3. Validação Calibrada por Rastros: A equipe desenvolveu um simulador AFD calibrado com rastros do mundo real e parâmetros de hardware (especificamente NPUs Huawei Ascend 910C). Eles validaram o quadro em diversas cargas de trabalho e configurações de hardware.

Resultados

A validação experimental demonstra alta precisão na previsão do comportamento do sistema:

• Precisão da Razão Ótima: A razão ótima prevista ($r^*_{mf} \approx 9,3$) corresponde estreitamente à razão ótima de simulação. A curva teórica de throughput acompanha bem os resultados da simulação em todas as configurações testadas ($r \in \{1, 2, 4, 8, 16, 24, 32\}$).
• Margens de Erro: A razão ótima prevista corresponde à ótima de simulação dentro de 10%.
• Impacto do Atraso: Uma lacuna residual de até ~15% na previsão de throughput entre o modelo de campo médio e a simulação foi observada em $r$ grandes. A análise consciente da barreira explica essa discrepância, atribuindo-a à sobrecarga de sincronização, que atinge ~11% em $r=24$.
• Sensibilidade aos Parâmetros: Estudos de ablação mostram que a $r^*$ ótima aumenta com tamanhos de micro-lote ($B$) maiores e comprimentos de contexto total mais longos (tanto prefill $\mu_P$ quanto decodificação $\mu_D$), pois esses fatores aumentam a pressão computacional no lado da Atenção.

Significado e Afirmações

O artigo afirma fornecer a primeira fundação analítica principial para o provisionamento de sistemas AFD, indo além da busca empírica. Ao oferecer uma conta compacta e calibrável de como a estrutura da carga de trabalho estocástica determina o provisionamento, o quadro permite que designers de sistema:

• Determinem a razão A/F ótima sem construção extensiva de sistemas ou tentativa e erro.
• Compreendam as compensações entre a escalabilidade de memória (Atenção) e a escalabilidade de computação (FFN) sob cargas de trabalho realistas e estocásticas.
• Quantifiquem o custo das barreiras de sincronização em arquiteturas desagregadas.

Os autores observam que, embora a validação em sistemas reais seja deixada para trabalhos futuros à medida que as implementações AFD amadureçam, a validação atual baseada em simulação (usando rastros de distribuições semelhantes à produção) fornece confirmação empírica forte da teoria. O trabalho é apresentado como um pré-impresso (arXiv:2601.21351v2), indicando que é uma contribuição fundamental para o campo emergente do atendimento de LLMs desagregados.