Resumo Técnico: AGENTSERVESIM

Declaração do Problema

As implantações modernas de Large Language Models (LLMs) estão mudando de consultas de chat sem estado e de turno único para sistemas agentes multi-turno. Diferente do serviço tradicional, onde cada par de prompt-completude é uma requisição independente, os sistemas agentes executam programas com estado que intercalam chamadas de LLM com invocações de ferramentas externas (ex: execução de código, busca na web). Essas invocações de ferramentas introduzem lacunas de duração variável, variando de milissegundos a minutos.

Essa mudança altera fundamentalmente os requisitos de serviço:

1. Execução com Estado: A latência percebida pelo usuário é o Tempo de Conclusão do Trabalho (JCT - Job Completion Time) de todo o programa, não a latência de turnos individuais.
2. Dependências entre Turnos: Turnos posteriores frequentemente estendem a mesma conversa, tornando a reutilização de prefixos entre turnos sistemática.
3. Dinâmica do Cache KV: O estado do cache KV deve sobreviver às lacunas induzidas por ferramentas para evitar o custoso re-prefill, mas manter o estado durante longas lacunas desperdiça memória escassa.
4. Complexidade de Roteamento: Em implantações de múltiplas instâncias, o roteamento deve preservar a afinidade de sessão para manter a localidade de cache, em vez de apenas realizar o balanceamento de carga.

Avaliar políticas de escalonamento, roteamento e gerenciamento de cache KV para essas cargas de trabalho em hardware real é proibitivamente caro. Cada ponto de design exige tempo dedicado de aceleradores, e o espaço de configuração (taxas de chegada, escalas de modelos, hierarquias de memória) é vasto demais para varreduras exaustivas no mundo real. Simuladores existentes (ex: Vidur, APEX, LLMServingSim) visam cargas de trabalho sem estado e falham em capturar a identidade do programa, lacunas de ferramentas ou residência de KV entre turnos.

Metodologia

Os autores apresentam o AGENTSERVESIM, um simulador consciente de hardware projetado especificamente para o serviço de agentes de LLM multi-turno. O simulador trata o programa agente como a unidade de execução, em vez de chamadas de LLM individuais. Ele é construído sobre uma arquitetura modular composta por cinco componentes principais:

1. Orquestrador de Programa: Mantém uma máquina de estados por programa, rastreando a ordem dos turnos e os estados de ferramentas pendentes. Garante que o turno $t+1$ só seja liberado após o turno $t$ e sua respectiva lacuna de ferramenta terem transcorrido no tempo simulado, preservando a identidade e as dependências do programa.
2. Simulador de Ferramentas: Materializa as lacunas induzidas pelas ferramentas. Opera em dois modos:
   • Modo de Replay: Utiliza durações de tempo real capturadas de traços reais para validação.
   • Modo Generativo: Amostra durações de distribuições ajustadas para exploração contrafactual.
3. Roteador Consciente de Sessão: Gerencia a implantação de múltiplas instâncias. Mantém uma tabela de afinidade programa-instância para rotear turnos subsequentes para o mesmo motor "residente", preservando a localidade do cache de prefixo. Se o motor residente estiver acima da capacidade, calcula o custo de migração ou re-prefill.
4. Escalonador de Lote Consciente de Programa: Estende o escalonador para chaves de fila baseadas na identidade do programa. Expõe o estado em nível de programa (ex: serviço alcançado) para ganchos de política plugáveis, permitindo FCFS de nível de programa ou priorização de serviço alcançado, mantendo a lógica padrão de admissão e continuous-batching.
5. Modelo de Residência de KV: Rastreia o posicionamento do cache KV através de camadas de memória (HBM, Host DRAM, CXL). Atribui prazos definidos por política aos blocos de KV com base na duração da lacuna da ferramenta e custos de recomputação. Modela explicitamente a expulsão, a troca para a memória host e decisões de retenção durante as lacunas de ferramentas.

O simulador integra esses módulos com um motor de execução de grafo de operadores (baseado em LLMServingSim 2.0 e ASTRA-sim) para modelar hardware heterogêneo, interconexões e acesso a memória de múltiplos níveis.

Contribuições Principais

1. Arquitetura de Simulação Centrada em Programas: Um framework inovador que abstrai o programa agente como a unidade de execução, permitindo o estudo de dependências de turnos, intervalos ociosos induzidos por ferramentas e residência de KV entre turnos dentro de um único framework consciente de hardware.
2. Validação Contra Implantações Reais: Os autores validaram o AGENTSERVESIM contra execuções de sistemas reais em três plataformas de hardware (RTX 3090, H100-SXM, B200) usando a carga de trabalho SWE-Bench Verified. O simulador reproduz o comportamento do sistema real com menos de 6% de erro em métricas chave (JCT e throughput) enquanto roda inteiramente em CPUs comuns.
3. Análise de Espaço de Design Consciente de Hardware: O artigo utiliza o simulador para estudar sistematicamente a interação de cache de prefixo, escalonamento, roteamento e gerenciamento de KV. Identifica condições específicas sob as quais políticas conscientes de agente fornecem benefícios, como o impacto das taxas de reutilização de prefixo e distribuições de latência de ferramentas.

Resultados

• Precisão: Em 80 células de configuração (variando hardware, tamanho de modelo e políticas), o AGENTSERVESIM igualou o JCT do sistema real com um erro relativo médio de <5%. Os erros de throughput foram similarmente baixos (<2%).
• Impacto do Roteamento: Em clusters de múltiplas instâncias, o roteamento consciente de sessão preservou as taxas de acerto do cache de prefixo próximas ao teto de instância única (96,26%), enquanto o roteamento round-robin e least-loaded reduziu as taxas de acerto em 3,3–3,6 pontos percentuais, aumentando significativamente o JCT.
• Sensibilidade de Política: O benefício do escalonamento consciente de agente (ex: Autellix, InferCept) sobre as linhas de base de nível de requisição (vLLM-FCFS) depende fortemente da taxa de reutilização de prefixo ($\eta$). Quando $\eta < 0,3$, os custos de recomputação dominam e as diferenças de política são negligenciáveis. Quando $\eta \ge 0,5$, escolher a política errada pode resultar em um aumento multiplicativo no JCT.
• Latência de Ferramenta: À medida que a latência da ferramenta escala, as políticas conscientes de agente (especificamente aquelas com retenção adaptativa ou de TTL estático) superam significativamente o FCFS. Para traços de ferramentas bimodais, uma regra de retenção de limiar estático foi frequentemente suficiente para capturar a maioria dos ganhos.
• Tiering de Memória: Adicionar uma segunda camada de memória (CPU DRAM ou CXL) mitiga o colapso de desempenho dos sistemas apenas com HBM sob alta carga. A largura de banda do CXL fornece um benefício mensurável (até ~10% de redução no JCT) em pontos específicos de saturação, beneficiando principalmente a latência de cauda.

Significância

O artigo afirma que o AGENTSERVESIM permite a exploração controlada e repetível de políticas de serviço de agentes sem a necessidade de implantação exaustiva em aceleradores caros. Ao modelar fielmente a natureza com estado da execução de agentes, o simulador permite que pesquisadores:

• Avaliem as interações de políticas (escalonamento, roteamento, gerenciamento de KV) que são fortemente acopladas e difíceis de isolar em sistemas reais.
• Explorem configurações que não estão disponíveis ou são caras demais para testar fisicamente (ex: clusters maiores, camadas de memória hipotéticas como CXL ou distribuições específicas de latência de ferramenta).
• Vão além das métricas de nível de requisição para otimizar objetivos de nível de programa, como o Tempo de Conclusão do Trabalho.

Este trabalho estabelece uma fundação para o design de próximas gerações de stacks de serviço de LLM capazes de lidar com as cargas de trabalho complexas e com estado da IA de agentes moderna.