Resumo Técnico: Observação, Não Predição – Escalonamento Desagregado em Nível de Conversa para Atendimento Agêntico

1. Declaração do Problema

Os sistemas existentes de atendimento de Grandes Modelos de Linguagem (LLMs) são projetados em torno da "requisição" como a unidade atômica de escalonamento, um modelo adequado para inferência de disparo único (single-shot), onde um prompt é pré-preenchido (prefilled) e decodificado de uma só vez. No entanto, cargas de trabalho agênticas quebram esse contrato. A tarefa de um agente é resolvida através de uma sequência de chamadas de inferência dependentes intercaladas com uso de ferramentas, feedback do ambiente e acumulação de estado.

Essa mudança cria um descompasso entre escalonamento e valor:

• Visão do Sistema: Otimiza a latência por turno (Tempo até o Primeiro Token, TTFT) para cada turno intermediário, muitos dos quais são chamadas de ferramentas internas invisíveis ao usuário.
• Visão do Usuário: Espera pela saída final da conversa, que seja externamente significativa. A métrica relevante é o Tempo até o Primeiro Token Efetivo (TTFET) — a latência até o primeiro token de progresso genuinamente visível para o usuário.

Os sistemas multitorno atuais tentam otimizar isso decidindo, turno a turno, se desagregam a fase de prefill (limitada por computação) da fase de decode (limitada por memória). Para tomar essa decisão, os escalonadores devem prever quantidades não observáveis: quantos tokens um turno irá decodificar, se ele chamará uma ferramenta e quanto o cache KV crescerá. Essa dependência de predição introduz fragilidade estrutural; qualquer erro de predição leva a roteamento suboptimal, atrasos de fila e eficiência energética degradada.

2. Metodologia: ConServe

O artigo apresenta o ConServe, um sistema que eleva a unidade de escalonamento do turno para a conversa. O insight central é que, embora as conversas agênticas exibam irregularidade no nível do turno, elas possuem uma estrutura de duas fases estável no nível da conversa:

1. Fase 1 (Limitada por Computação): Um único prefill pesado da descrição inicial da tarefa longa (turno 1).
2. Fase 2 (Limitada por Memória): Uma cauda longa consistindo no primeiro decode e todos os turnos subsequentes, que envolvem append-prefills curtos e decodificação sobre um cache KV acumulado.

Princípios de Design Chave

• Observação em vez de Predição: O ConServe elimina a necessidade de prever resultados de nível de turno (ex: comprimentos de decode futuros ou comportamentos de ferramentas). As decisões de posicionamento baseiam-se inteiramente em estado diretamente observável:
  • A contagem de tokens de entrada do prompt do primeiro turno (determina a carga de prefill).
  • A ocupação atual do cache KV das réplicas de decoder (determina a carga limitada por memória).
• Fixação em Nível de Conversa (Conversation-Level Pinning):
  • O prefill do primeiro turno é roteado para um nó de prefiller dedicado e de alto rendimento.
  • O cache KV resultante é transferido exatamente uma vez para uma réplica de decoder selecionada.
  • A conversa é fixada a esse decoder específico durante toda a sua vida útil. Todos os turnos subsequentes (append-prefills e decodes) executam localmente nesse decoder, reutilizando o cache KV sem novas transferências de rede.
• Escalonamento Reativo: O escalonador admite novas conversas com base na capacidade atual do sistema (taxa de entrada de prefill vs. rendimento do prefiller; ocupação total de KV vs. capacidade do pool de decoders). Ele não migra conversas uma vez posicionadas.
• Mapeamento Heterogêneo: A estrutura de duas fases mapeia naturalmente para camadas heterogêneas de GPU. O prefill do primeiro turno, limitado por computação, roda em GPUs de alta potência, enquanto a cauda limitada por memória roda em GPUs de menor potência com largura de banda de memória suficiente, já que o desempenho da cauda é limitado pela memória, não pelo poder bruto de computação.

3. Principais Contribuições

1. Paradigma de Escalonamento em Nível de Conversa: O artigo identifica que o turno é a fonte de fragilidade no atendimento agêntico. Ao mudar para a conversa, o sistema substitui a predição pelo estado observável, eliminando a necessidade de modelos de custo aprendidos ou preditores complexos.
2. Sistema ConServe: Uma instanciação mínima deste princípio que roteia os prefills do primeiro turno para GPUs de alta potência, transfere o estado KV uma única vez e fixa a conversa a um único decoder. Ele otimiza o TTFET e a eficiência energética sem modelos aprendidos.
3. Demonstração Empírica de Fragilidade Estrutural: Os autores mostram que o escalonamento por turno (como em baselines como o AMPD) sofre linearmente com erros de predição. À medida que a taxa de erro aumenta, as violações de SLO e a ineficiência energética degradam linearmente. Em contraste, o desempenho do ConServe permanece constante por construção, pois ele não faz decisões de roteamento por turno.
4. Eficiência Energética via Heterogeneidade: O artigo demonstra que a divisão de fases em nível de conversa permite a alocação de GPUs heterogêneas sem maquinário adicional, melhorando significativamente a eficiência energética (tokens por Joule) enquanto mantém o desempenho de latência.

4. Resultados Experimentais

Avaliado em traços agênticos (SWE-bench) usando um modelo Qwen3-0.6B em um cluster NVIDIA A40, o ConServe foi comparado contra baselines colocalizados, totalmente desagregados e baseados em predição por turno (AMPD).

• Latência (TTFET): O ConServe reduz o p95 do TTFET em 51,08% em comparação com o baseline de predição por turno (AMPD). Ele alcança isso evitando os atrasos de fila causados por turnos mal roteados no prefiller.
• Aderência ao SLO: O ConServe sustenta zero violações de SLO em todas as taxas de requisição testadas, incluindo pontos de saturação. Os baselines falham na saturação: sistemas colocalizados sofrem com a contenção entre prefill e decode, e sistemas por turno acumulam erros de roteamento.
• Eficiência Energética:
  • Em configurações homogêneas, o ConServe melhora a eficiência energética em 7,51% sobre o baseline por turno.
  • Em configurações heterogêneas (prefiller de 300W, decoders de 200W), o ConServe alcança um ganho adicional de 22,75% em eficiência energética (tokens por Joule) enquanto mantém o desempenho de latência. Isso ocorre porque a cauda limitada por memória é insensível à redução do poder de computação das GPUs limitadas.
• Robustez: Diferente do AMPD, cujo desempenho degrada linearmente com taxas de erro de predição (ex: 10% de erro leva a violações significativas de SLO), o ConServe é imune a tais erros, pois baseia-se em estado observável.

5. Significância e Alegações

O artigo alega que a abstração fundamental para o atendimento agêntico é a conversa, não o turno. Ao reconhecer a estrutura estável de duas fases das cargas de trabalho agênticas, o ConServe demonstra que:

• O posicionamento deve ser reativo, não preditivo. Confiar no estado observável (comprimento de entrada, ocupação de KV) é suficiente e mais robusto do que prever comportamentos futuros de turno.
• A granularidade do escalonamento dita a estabilidade do sistema. A fragilidade dos sistemas multitorno atuais não é uma propriedade inerente da carga de trabalho, mas uma consequência de escalonar no nível do turno.
• A eficiência energética é um corolário natural. A divisão de fases em nível de conversa permite o mapeamento heterogêneo eficiente sem orquestração complexa, gastando computação de alta potência apenas onde necessário (o prefill inicial) e utilizando hardware de menor potência para a cauda limitada por memória.

Os autores apresentam o ConServe não como um sistema aprendido complexo, mas como uma "instanciação mínima" de um paradigma principista que alinha a otimização do sistema com o valor real para o usuário (conclusão da conversa) em vez de métricas intermediárias do sistema (latência por turno).