ThunderAgent: A Simple, Fast and Program-Aware Agentic Inference System

O artigo apresenta o ThunderAgent, um sistema de inferência ágil e consciente de programas que unifica o gerenciamento de recursos heterogêneos (como cache KV e ferramentas externas) para otimizar fluxos de trabalho de agentes LLM, resultando em ganhos significativos de throughput e economia de memória em comparação com sistemas existentes.

O essencial

Imagine que você tem um time de detetives de IA (os "Agentes") trabalhando para resolver problemas complexos, como escrever um código de software, fazer uma pesquisa científica ou navegar na internet.

Para resolver um caso, esses detetives não apenas "pensam" (usando o cérebro da IA, o LLM), mas também precisam "agir": abrir arquivos, rodar programas, consultar bancos de dados ou esperar respostas de outros sistemas.

O problema é que os sistemas atuais de IA são como escritórios de detetives mal organizados.

O Problema: O Escritório Caótico

Atualmente, quando um detetive precisa "agir" (por exemplo, esperar um programa de computador terminar de rodar), o sistema de IA faz uma coisa estranha:

1. Esquece o que foi pensado: Ele joga fora todo o "rascunho" da conversa (chamado de KV Cache) para liberar espaço na memória.
2. Espera tudo pronto: O detetive fica parado, olhando para a parede, esperando o computador terminar a tarefa antes de poder continuar pensando.
3. Desorganização: Se você tem 100 detetives trabalhando ao mesmo tempo, alguns ficam sem mesa (memória cheia), enquanto outras mesas ficam vazias, mas ninguém pode se mudar para elas.

Isso faz com que o sistema fique lento, caro e instável. É como se você tivesse que reescrever todo o livro de um detetive do zero cada vez que ele fosse tomar um café.

---

A Solução: ThunderAgent (O Gerente de Escritório Perfeito)

Os autores criaram o ThunderAgent. Pense nele não como um motor de carro, mas como um Gerente de Escritório Super Inteligente que entende o todo do trabalho, e não apenas cada frase dita.

Aqui está como ele funciona, usando analogias simples:

1. A Abstração de "Programa" (O Caderno de Missão)

Em vez de tratar cada frase do detetive como um pedido isolado, o ThunderAgent vê todo o caso como um "Programa" único.

• Analogia: Imagine que cada detetive tem um Caderno de Missão físico. O sistema sabe exatamente em qual página o detetive está, o que ele já fez e o que precisa fazer depois. O sistema não joga o caderno fora; ele apenas o coloca em uma estante segura enquanto o detetive vai fazer uma tarefa externa.

2. O Agendamento Inteligente (O Semáforo Mágico)

O sistema sabe quando um detetive está "pensando" (precisa de memória rápida) e quando está "agindo" (esperando um computador externo).

• A Mágica: Se a memória está cheia, o ThunderAgent não joga o caderno fora. Ele pausa os detetives que estão apenas esperando (e que ocupam espaço à toa) e libera espaço para os que estão pensando ativamente.
• O Truque: Ele usa uma "regra de tempo". Se um detetive está esperando há muito tempo, o sistema assume que ele pode demorar mais e libera o espaço dele para outro que está com pressa. Se o detetive voltar rápido, o sistema traz o caderno de volta instantaneamente. Isso evita ter que reescrever tudo do zero.

3. O Gerenciamento de Ferramentas (A Limpeza Automática)

Quando um detetive usa uma ferramenta (como abrir um Docker ou conectar a um servidor), ele ocupa espaço no disco e portas de rede.

• O Problema Atual: Os sistemas antigos esquecem de fechar essas ferramentas. É como se o detetive deixasse a porta do escritório aberta e as luzes acesas para sempre, até que o prédio fique sem energia.
• A Solução ThunderAgent: Assim que o "Programa" termina, o sistema limpa automaticamente todas as ferramentas usadas, liberando espaço e portas para o próximo caso. Além disso, ele prepara as ferramentas enquanto o detetive ainda está pensando, escondendo o tempo de espera.

---

Os Resultados: Por que isso importa?

O ThunderAgent transformou o caos em eficiência:

1. Velocidade (Throughput): O sistema processa 1,5 a 3,6 vezes mais casos ao mesmo tempo. É como se você pudesse atender 3 clientes no tempo que antes levava para atender 1.
2. Economia de Memória: Ele economiza até 4,2 vezes mais espaço no disco, evitando que o sistema "exploda" de arquivos inúteis.
3. Aprendizado de Máquina (RL): Para treinar essas IAs, o sistema é 1,8 a 3,9 vezes mais rápido, permitindo que as IAs aprendam muito mais rápido com menos hardware.

Resumo em uma Frase

O ThunderAgent é como um gerente de escritório que entende que o trabalho de um detetive é um processo contínuo. Ele não deixa o detetive esquecer o que pensou enquanto espera por uma ferramenta, e ele garante que ninguém fique sem mesa ou com a luz acesa à toa, tornando todo o sistema muito mais rápido, barato e inteligente.

Resumo técnico

Resumo Técnico: ThunderAgent

1. O Problema

Os modelos de linguagem grandes (LLMs) estão sendo cada vez mais utilizados para impulsionar fluxos de trabalho complexos de agentes autônomos (agentic workflows), que alternam entre raciocínio e execução de ferramentas externas (ex: compiladores, APIs, bancos de dados). No entanto, os sistemas de inferência atuais apresentam ineficiências críticas ao lidar com esses fluxos:

• Arquitetura Desconectada: Os sistemas existentes combinam de forma solta um motor de inferência de LLM (ex: vLLM) e um orquestrador de ferramentas (ex: Kubernetes). Eles tratam cada passo do agente como uma solicitação independente e sem estado, sem conhecimento end-to-end do fluxo de trabalho completo.
• Thrashing de KV Cache: Durante a execução de ferramentas (que pode ser longa e imprevisível), os sistemas atuais frequentemente expulsam o KV cache (memória de contexto) para liberar espaço para novas solicitações. Quando a ferramenta termina e o agente precisa continuar, o sistema é forçado a reexecutar o prefill de todo o histórico de interação, aumentando a latência em até 7,14x e degradando drasticamente o throughput.
• Desequilíbrio de Memória entre Nós: Em configurações distribuídas (multi-nó), as políticas de roteamento atuais (como "KV-aware routing") tendem a fixar todos os passos de um mesmo agente em um único nó para maximizar a localidade do cache. Isso causa desequilíbrio severo: alguns nós ficam sobrecarregados enquanto outros permanecem ociosos, limitando a escalabilidade.
• Ciclo de Vida Cego das Ferramentas: Os orquestradores não sincronizam o ciclo de vida dos ambientes de ferramentas (ex: containers Docker, portas de rede) com o estado do agente. Isso leva ao acúmulo de recursos não utilizados (vazamento de memória em disco e portas) e tempos de preparação de ambiente excessivos.

2. Metodologia e Abordagem

O ThunderAgent propõe uma mudança de paradigma: em vez de gerenciar solicitações individuais, ele gerencia Programas de Agente como unidades de primeira classe.

• Abstração de Programa de Agente (Agentic Program):

  • O fluxo de trabalho é abstraído como um "Programa" que persiste através de múltiplas invocações do modelo e execuções de ferramentas.
  • Cada programa carrega metadados semânticos: identificador global, fase de execução (Raciocínio vs. Agindo/Executando ferramenta), status de agendamento, tamanho do contexto (tokens) e recursos de ferramentas necessários.
  • Isso desacopla o agendamento dos backends de execução, permitindo uma visão unificada de recursos heterogêneos (KV cache, estado do sistema, disco, rede).

• Agendador Consciente do Programa (Program-Aware Scheduler):

  • Detecção Periódica de Thrashing: O sistema monitora o uso de memória em intervalos fixos ($\Delta t$). Se a demanda de memória exceder a capacidade, ele suspende seletivamente programas que estão na fase de "Agindo" (executando ferramentas), preservando a memória para programas na fase de "Raciocínio".
  • Política de Evicção "Shortest-First": Para minimizar o custo de re-computação (que escala quadraticamente com o tamanho do contexto), o sistema evicta (suspende) os programas com os contextos mais curtos primeiro.
  • Decaimento Temporal: Introduz uma função de decaimento temporal $f(t)$ para programas em execução de ferramentas. Se uma ferramenta demorar muito, a prioridade de manter seu KV cache diminui, permitindo que o sistema libere memória para evitar desperdício, equilibrando o custo de caching vs. re-computação.
  • Fila de Espera Global: Todos os nós de processamento (Data Parallel) compartilham uma única fila de espera global. Isso permite migrar programas pausados para qualquer nó com memória disponível, resolvendo o desequilíbrio de carga sem sacrificar a localidade do cache (já que o cache é recriado ao retomar).

• Gerenciamento de Recursos de Ferramentas:

  • Coleta de Lixo Baseada em Hooks: O sistema acopla estritamente a persistência de recursos de ferramentas (Docker, sockets) ao status de agendamento do programa. Quando um programa é finalizado, os recursos são imediatamente liberados.
  • Preparação Assíncrona de Ambiente: O sistema monitora a fila de espera e prepara ambientes de ferramentas (ex: baixar imagens Docker, instalar dependências) de forma assíncrona antes que a memória da GPU seja alocada, ocultando a latência de inicialização.

3. Principais Contribuições

1. Abstração de Programa: Introduz uma unidade de agendamento que persiste através de múltiplos passos, expondo o estado semântico ao runtime.
2. Agendador Consciente do Programa: Resolve o thrashing de KV cache e o desequilíbrio de memória através de pausas seletivas, migração dinâmica e uma política de evicção baseada no tamanho do contexto e no estado de execução.
3. Gerenciamento de Ciclo de Vida de Ferramentas: Implementa um coletor de lixo consciente do ciclo de vida e preparação assíncrona de ambientes, prevenindo vazamento de recursos e reduzindo a latência de setup.
4. Sistema de Alto Desempenho e Simples: Oferece uma camada de agendamento que pode ser integrada a motores existentes (como vLLM) com alterações mínimas na interface (apenas adicionando um ID de programa e sinais de liberação).

4. Resultados Experimentais

O ThunderAgent foi avaliado em diversos cenários (agentes de codificação, roteamento e descoberta científica) e em configurações de RL (Reinforcement Learning) com modelos como GLM-4.6 e Qwen-3.

• Throughput de Serviço (Serving):
  • Melhorias de 1,5x a 3,6x no throughput em comparação com sistemas de ponta (vLLM e Continuum) em cenários de alta concorrência.
  • Em tarefas de codificação (SWE-Agent), alcançou até 3,58x de melhoria.
• Rollout de RL:
  • Melhorias de 1,8x a 3,9x no throughput de rollout em clusters distribuídos, crucial para reduzir o policy lag no aprendizado por reforço.
• Eficiência de Recursos:
  • Redução de até 4,2x no uso de memória em disco devido à coleta de lixo eficiente de ambientes de ferramentas.
  • Manutenção de taxas de acerto de KV cache próximas a 100% em cenários com tempos de ferramenta previsíveis, e adaptação dinâmica em cenários estocásticos.
• Latência:
  • Redução significativa na latência ponta a ponta (E2E) e no tempo de preparação de ambiente, especialmente em cargas de trabalho intensivas em ferramentas.

5. Significado e Impacto

O ThunderAgent representa um avanço fundamental na infraestrutura de inferência para agentes autônomos. Ao mudar o foco de "solicitações sem estado" para "programas com estado", ele resolve gargalos sistêmicos que limitam a escalabilidade de agentes complexos.

• Viabilidade Econômica: O aumento no throughput reduz diretamente o custo de hardware por fluxo de trabalho concluído.
• Aceleração de RL: A maior eficiência no rollout permite que modelos de RL aprendam mais rápido com dados menos desatualizados, melhorando a qualidade final da política.
• Escalabilidade Robusta: O sistema lida automaticamente com a imprevisibilidade dos tempos de execução de ferramentas e com a heterogeneidade de cargas de trabalho, eliminando a necessidade de ajuste manual complexo de parâmetros para maximizar a utilização.

O código-fonte completo do sistema foi aberto para garantir reprodutibilidade e fomentar o desenvolvimento futuro na área.