MARS: Efficient, Adaptive Co-Scheduling for Heterogeneous Agentic Systems

1. Declaração do Problema

O artigo identifica uma mudança fundamental nos paradigmas de serviço de Modelos de Linguagem de Grande Porte (LLMs) causada pelo surgimento de agentes autônomos. Diferente dos chatbots tradicionais que realizam inferência de turno único, os agentes executam fluxos de trabalho iterativos envolvendo loops de múltiplos turnos de geração, invocação de ferramentas e atualizações de estado. Essa mudança introduz dois desafios críticos que os motores de serviço de LLM existentes (por exemplo, vLLM, TGI) não conseguem abordar:

• Mudança Temporal (Turno Único $\to$ Múltiplos Turnos): As sessões deixam de ser operações contínuas de GPU. Elas pausam para execução de ferramentas (limitadas por CPU) e retomam posteriormente. Os sistemas existentes lutam para decidir se mantêm o cache KV residente (para retomada "quente" rápida) ou o expulsam (para economizar memória), levando a escassez de memória ou recomputação cara de prefixos.
• Mudança Espacial (Apenas GPU $\to$ GPU-CPU Co-localizados): Cargas de trabalho agênticas exigem execução acoplada tanto em GPUs (inferência) quanto em CPUs hospedeiras (execução de ferramentas). Os sistemas existentes otimizam a vazão de tokens da GPU isoladamente, ignorando gargalos de CPU. Isso leva ao bloqueio de Cabeça de Linha (HoL), onde solicitações longas de prefill bloqueiam continuações interativas curtas, e ao agendamento acoplado, onde a capacidade da GPU fica ociosa enquanto aguarda a execução de ferramentas na CPU.

O problema central é a falta de um sistema capaz de visibilidade holística e agendamento co-adaptativo através de recursos heterogêneos de GPU e CPU para otimizar a conclusão do fluxo de trabalho de ponta a ponta, em vez de apenas a vazão bruta de tokens.

2. Metodologia: Arquitetura MARS

O MARS (Agendador Adaptativo de Recursos de Múltiplos Turnos) é um sistema de agendamento co-adaptativo projetado para preencher a lacuna entre a inferência da GPU e a execução de ferramentas na CPU. É construído sobre três pilares fundamentais:

A. Fluxo de Informação Unificado

Para eliminar o "ponto cego" entre os estados da GPU e da CPU, o MARS introduz um caminho de telemetria de baixa sobrecarga que exporta eventos estruturados de fronteira.

• Plano GPU: Relata a disponibilidade de blocos KV, atrasos de lançamento de prefill e demanda projetada de KV.
• Plano CPU: Rastreia invocações de ferramentas ativas e durações de execução para quantificar o congestionamento no lado do host.
• Função: Este fluxo fornece telemetria de dupla pressão em tempo real, permitindo que o sistema tome decisões informadas com base na contenção real de recursos, em vez de heurísticas estáticas.

B. Plano de Controle Externo (Controle de Admissão)

Este componente desacopla a admissão da execução para evitar a superoferta de recursos.

• Balanceador de Carga Global: Reordena a fila de espera com base na pressão atual de recursos. Por exemplo, sob alta carga de CPU, prioriza sessões pesadas em GPU para evitar injetar mais chamadas de ferramentas; sob pressão de KV, prioriza sessões menores.
• Controlador de Admissão Adaptativo: Utiliza um loop de controle AIMD (Aumento Aditivo, Diminuição Multiplicativa) impulsionado pelo Fluxo de Informação Unificado. Ajusta dinamicamente a janela de admissão ($W_{adm}$) com base na pressão real de CPU e KV, garantindo que as solicitações entrem no plano de dados apenas quando os recursos globais forem suficientes.

C. Agendador Interno Centrado no Agente (Plano de Dados)

Uma vez admitidas, o agendador gerencia a ordem de execução e a residência do KV para minimizar o caminho crítico de ponta a ponta.

• Coordenador Sensível à Prioridade: Substitui o Primeiro a Chegar, Primeiro a Ser Atendido (FCFS) por uma Fila de Feedback Multinível. Prioriza solicitações com base em:
  1. Pegada inicial de KV (menor = maior prioridade).
  2. Serviço acumulado (para evitar inanição).
  3. Tempo de espera.
     Isso impede que tarefas longas de prefill bloqueiem continuações curtas e sensíveis à latência.
• Agendador Co-Oportunista: Lida com restrições de recursos dinamicamente.
  • Encolhimento de Blocos: Se um prefill completo não couber na memória, reduz o tamanho do bloco de tokens para permitir progresso parcial em vez de bloqueio.
  • Retenção Inteligente de KV: Decide se mantém um cache KV residente durante a execução de ferramentas. Mantém o estado apenas se o benefício da "retomada quente" superar o custo de oportunidade da memória, evitando o abandono de memória.

3. Contribuições Principais

1. Caracterização de Carga de Trabalho: O artigo identifica formalmente as mudanças temporais e espaciais nas cargas de trabalho agênticas e demonstra como elas criam demandas dinamicamente desalinhadas através da computação da GPU, capacidade do cache KV e recursos da CPU hospedeira.
2. Telemetria Unificada: Introdução do Fluxo de Informação Unificado, que torna explícita a pressão de recursos heterogêneos exportando eventos de fronteira de execução de ambos os planos GPU e CPU.
3. Arquitetura de Controle Acoplado: Um design inovador que combina um Plano de Controle Externo (para admissão) e um Agendador Interno Centrado no Agente (para execução), que otimizam conjuntamente a admissão, o agendamento e a residência do KV.
4. Implementação e Integração: O MARS é implementado sobre o vLLM e integrado ao framework de agente de codificação OpenHands, demonstrando aplicabilidade prática.

4. Resultados Experimentais

Os autores avaliaram o MARS em GPUs H100 e H200 usando modelos como Qwen3-Coder-30B e GPT-OSS-120B, em benchmarks incluindo SWE-bench, GitTaskBench e RepoBench.

• Redução de Latência: O MARS reduz a latência média de ponta a ponta em até 5,94× em comparação com as melhores linhas de base (incluindo FCFS, Autellix, Infercept e Continuum) sob carga pesada.
• Vazão e Boa Vazão: Ao manter uma vazão do sistema quase máxima, o MARS melhora significativamente a Boa Vazão Sensível a SLO Dinâmico (a taxa de solicitações que concluem dentro de metas de latência). As linhas de base frequentemente colapsam em boa vazão sob carga, enquanto o MARS sustenta altas taxas de conclusão.
• Implantação no Mundo Real: Em uma implantação realista com OpenHands, o MARS acelerou o tempo de conclusão de tarefas de ponta a ponta em até 1,87×.
• Estudos de Ablação: A remoção do Coordenador Sensível à Prioridade causou um aumento de latência de 2×–5× devido ao bloqueio de HoL. A remoção do Plano de Controle Externo causou um desaceleração de 1,5×–3× devido ao acúmulo não gerenciado de filas.

5. Significado

O MARS representa uma mudança de paradigma na infraestrutura de serviço de LLMs. Ele se afasta dos modelos centrados em solicitação e otimizados para vazão do passado em direção à otimização de fluxo de trabalho de ponta a ponta, consciente de sessão.

• Impacto Sistêmico: Resolve o problema da "pressão acoplada" onde os recursos de GPU e CPU são interdependentes, um gargalo crítico para a próxima geração de agentes autônomos.
• Praticidade: Ao integrar-se com OpenHands e vLLM, prova que essas mudanças arquitetônicas podem ser implantadas em frameworks agênticos do mundo real sem reescrever toda a pilha.
• Direção Futura: O artigo destaca a necessidade de abstrações semelhantes a sistemas operacionais no serviço de LLMs para gerenciar contextos de múltiplos turnos com estado, abrindo caminho para sistemas agênticos mais robustos e eficientes.

Em resumo, o MARS fornece o plano de controle e a lógica de agendamento necessários para tornar os sistemas agênticos heterogêneos eficientes, escaláveis e responsivos, abordando a lacuna crítica entre a capacidade bruta de hardware e a conclusão real do fluxo de trabalho.