Benchmarking LLM Serving Systems for Agentic AI Workloads with XPerf
Este artigo apresenta o XPerf, um framework de benchmarking que possibilita testes de carga reproduzíveis e perfilamento de desempenho detalhado de sistemas de serviço de LLM sob diversas cargas de trabalho de IA agêntica, utilizando uma abordagem de replay de traços de granularidade fina para superar os desafios de fluxos de controle não determinísticos.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Na rápida evolução do cenário da inteligência artificial, surgiu uma nova geração de software que faz mais do que simplesmente responder a perguntas; ela age. Esses programas, conhecidos como agentes, podem decompor tarefas complexas em etapas menores, usar ferramentas digitais para coletar informações e tomar decisões com base no que encontram. Diferente de um chatbot padrão que espera por um novo comando após cada resposta, um agente pode planejar um projeto de pesquisa, pesquisar dados na web, escrever código para analisar esses dados e, então, refinar sua abordagem com base nos resultados. Esse processo envolve um ciclo contínuo de pensamento e ação, onde o software recorre a um modelo de linguagem de grande escala muitas vezes em uma única sessão para guiar sua jornada.
Para que esses agentes sejam úteis no mundo real, os sistemas de computação que os alimentam devem ser incrivelmente rápidos e eficientes. Esses sistemas, chamados de mecanismos de serviço (serving engines), são responsáveis por processar os cálculos do modelo de linguagem. No entanto, testar o desempenho desses mecanismos é difícil porque o caminho que um agente percorre é imprevisível. Assim como um humano pode resolver um problema em cinco etapas um dia e em dez no outro, a jornada de um agente muda toda vez que ele é executado, mesmo quando recebe exatamente as mesmas instruções iniciais. Essa imprevisibilidade torna difícil para os engenheiros saberem se um sistema é verdadeiramente rápido ou se foi apenas sorte de um teste específico ter sido simples.
Para resolver esse problema, pesquisadores da Universidade de Illinois e da IBM Research desenvolveram uma nova ferramenta chamada XPerf. Este sistema permite que os engenheiros gravem o caminho exato que um agente percorre durante uma tarefa real e, em seguida, reproduzam esse mesmo caminho repetidamente para testar diferentes sistemas de computação. Ao capturar a sequência específica de decisões e ações, o XPerf remove o elemento do acaso. Ele garante que, quando um engenheiro testa uma nova atualização de software, esteja comparando-a contra a mesma carga de trabalho exata, em vez de adivinhar como o sistema lidaria com um conjunto diferente e aleatório de etapas. Essa precisão é crucial para identificar gargalos e entender por que um sistema pode ficar lento sob pressão.
Os pesquisadores usaram o XPerf para estudar oito tipos diferentes de aplicações de agentes, variando de ferramentas que escrevem código e depuram software a sistemas que realizam pesquisas profundas e respondem a questões complexas. Eles descobriram que essas aplicações se comportam de forma muito diferente dos chatbots padrão. Enquanto uma conversa típica pode envolver algumas trocas de mensagens, um agente pode disparar dezenas de chamadas internas ao modelo de linguagem para completar uma única solicitação do usuário. Em alguns casos, uma única solicitação a um agente de codificação resultou em uma média de dezessete chamadas separadas ao modelo de linguagem, com algumas solicitações disparando quase quarenta. Essa complexidade significa que o sistema deve gerenciar uma teia de tarefas dependentes, onde uma etapa não pode começar até que a anterior termine.
Uma descoberta importante de seus testes foi que o desempenho desses sistemas é altamente sensível à forma como as solicitações são gerenciadas. Os pesquisadores observaram que, quando muitos agentes rodam ao mesmo tempo, o sistema muitas vezes tem dificuldade em lembrar o contexto das etapas anteriores. Os modelos de linguagem dependem de uma forma de memória de curto prazo chamada cache para evitar a releitura de informações que já processaram. No entanto, quando o sistema está sob carga pesada, ele às vezes descarta informações antigas para abrir espaço para novas solicitações, mesmo que essa informação será necessária novamente um momento depois. Isso força o computador a recalcular tudo do zero, desperdiçando tempo e energia. O estudo mostrou que esse efeito de "thrashing" (agitação) pode fazer com o sistema desacelerar significativamente, com algumas aplicações vendo sua velocidade cair quase quarenta por cento quando o número de solicitações aumentou.
A equipe também testou o quão bem diferentes estratégias para gerenciar múltiplos processadores de computador funcionavam. Eles descobriram que simplesmente distribuir o trabalho uniformemente por todos os processadores disponíveis nem sempre levava aos melhores resultados. Na verdade, uma estratégia que mantivesse todas as etapas da jornada de um único agente no mesmo processador era muito mais eficiente. Essa abordagem permitia que o sistema mantivesse o contexto necessário na memória, evitando a necessidade de recalcular informações. Ao usar o XPerf para reproduzir a mesma carga de trabalho exata sob diferentes condições, os pesquisadores puderam ver claramente que essa abordagem direcionada melhorou a velocidade de processamento em mais de três vezes em comparação com o método padrão de distribuir o trabalho aleatoriamente.
Além de apenas medir a velocidade, o XPerf forneceu um olhar detalhado sobre o funcionamento interno do próprio hardware do computador. Os pesquisadores puderam ver exatamente quanta memória do computador estava sendo usada e o quanto os chips do processador estavam trabalhando. Eles descobriram que, quando o sistema era forçado a recalcular informações devido ao mau gerenciamento de memória, os processadores do computador trabalhavam intensamente, mas não produziam resultados úteis. Era um caso de alto esforço com baixa eficiência. Esse nível de detalhe ajuda os engenheiros a entender não apenas que um sistema está lento, mas exatamente por que está lento, permitindo que corrijam a parte específica do software que está causando o problema.
O estudo também destacou que a maneira como um agente é projetado importa tanto quanto o computador em que ele roda. Algumas aplicações foram encontras como sendo muito mais eficientes do que outras, não por serem mais inteligentes, mas porque foram projetadas para trabalhar melhor com a memória do computador. Por exemplo, uma ferramenta de pesquisa que adicionava um carimbo de data/hora (timestamp) variável a cada mensagem enviada acidentalmente destruía sua capacidade de reutilizar a memória, forçando o sistema a começar do zero a cada vez. Ao remover essa mudança desnecessária, os pesquisadores conseguiram melhorar significativamente a eficiência do sistema. Isso sugere que pequenas mudanças na forma como o software é escrito podem ter um impacto massivo no desempenho.
Fundamentalmente, o XPerf serve como um espelho confiável para o mundo dos agentes de inteligência artificial. Ele permite que os desenvolvedores vejam seus sistemas claramente, sem a distorção da variação aleatória. Ao fornecer uma maneira de testar, medir e compreender essas aplicações complexas, a ferramenta ajuda a garantir que a próxima geração de software de IA seja robusta, rápida e pronta para as demandas de uso no mundo real. Os pesquisadores disponibilizaram essa ferramenta ao público, esperando que ela acelere o desenvolvimento de melhores sistemas para todos.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.