Beyond Binary Priorities: Multi-Tier SLA Scheduling for Large Language Model Serving

No mundo da inteligência artificial moderna, os grandes modelos de linguagem atuam como motores poderosos que geram texto, código e ideias. No entanto, operar esses motores não é uma tarefa simples de ligar e desligar um interruptor. Quando um usuário envia uma solicitação, o sistema deve primeiro processar a entrada e, em seguida, gerar uma resposta palavra por palavra. Esse processo é imprevisível; uma pergunta curta pode levar uma fração de segundo, enquanto uma análise complexa pode se estender por minutos, consumindo vastas quantidades de memória de computador ao longo do caminho. Como essas solicitações chegam em surtos repentinos e variam drasticamente em comprimento, a infraestrutura que as suporta frequentemente tem dificuldade para acompanhar. Se o sistema tratar cada solicitação exatamente da mesma forma, uma tarefa massiva e lenta pode obstruir a linha, fazendo com que perguntas simples e urgentes esperem tempo demais. Este é o desafio central de servir inteligência artificial: como gerenciar um fluxo caótico de trabalho para que tarefas críticas recebam atenção imediata sem desperdiçar o caro poder computacional necessário para executá-las.

Pesquisadores da UC Berkeley enfrentaram esse problema reimaginando como esses sistemas de IA priorizam seu trabalho. Eles construíram sobre um sistema anterior chamado Llumnix, que foi projetado para mover tarefas entre diferentes servidores de computador para equilibrar a carga e evitar gargalos. A versão original deste sistema era eficaz, mas limitada, oferecendo apenas dois níveis de importância: alta prioridade para assuntos urgentes e prioridade normal para todo o resto. Essa escolha binária era muito rudimentar para negócios do mundo real, que muitas vezes precisam distinguir entre cinco ou mais níveis de serviço, como usuários platina, ouro, prata e gratuitos, cada um com diferentes garantias de velocidade. Os pesquisadores fizeram uma pergunta fundamental: qual é o número certo de níveis de prioridade para criar um sistema que seja ao mesmo tempo justo para todos os usuários e eficiente para a máquina?

Para encontrar a resposta, a equipe criou uma simulação sofisticada de um data center de IA de grande escala. Eles não realizaram isso em hardware físico, o que seria proibitivamente caro e lento para testar, mas em vez disso usaram um modelo digital de alta fidelidade que imita o comportamento de chips de computador reais. Dentro desse ambiente virtual, eles expandiram o sistema de prioridade para suportar de um a dez níveis distintos de importância. Eles também introduziram uma nova maneira de gerenciar a memória, onde cada nível de prioridade recebe uma quantidade específica de "espaço para respirar" para garantir que possa terminar seu trabalho sem ser sufocado. Esse espaço para respirar não é compartilhado igualmente; em vez disso, ele diminui exponencialmente à medida que a prioridade baixa, garantindo que as tarefas mais críticas sempre tenham o espaço necessário, enquanto as tarefas menos urgentes preenchem as lacunas.

A equipe testou este novo sistema contra vários métodos existentes, executando milhares de solicitações simuladas sob diferentes condições. Eles variaram a mistura de usuários, criando cenários onde solicitações de alta prioridade eram raras, comuns ou distribuídas uniformemente, e ajustaram o volume total de trabalho para ver como o sistema se comportava quando estava levemente carregado versus quando estava quase cheio. Os resultados revelaram um ponto ideal claro. Embora o sistema pudesse tecnicamente lidar com até dez níveis de prioridade sem colapsar, adicionar mais de quatro níveis não melhorou o desempenho. Na verdade, além de quatro níveis, o sistema começou a perder eficiência. A complexidade extra de gerenciar tantos níveis distintos começou a consumir mais recursos do que economizava, e os benefícios de separar as tarefas começaram a desaparecer.

A configuração ideal revelou-se ser de quatro níveis de prioridade. Em suas simulações, essa configuração permitiu que o sistema alcançasse melhorias significativas de velocidade para o desempenho geral do sistema. A latência P99 de ponta a ponta do sistema melhorou em até 3,13 vezes em comparação com os métodos padrão, e o custo por latência caiu tanto quanto 68 por cento. O sistema conseguiu manter os usuários mais importantes satisfeitos, dando a eles uma via dedicada, enquanto ainda permitia que o trabalho de fundo menos urgente procedesse eficientemente no espaço restante. Esse equilíbrio evitou o "efeito comboio", onde uma única tarefa lenta seguraria toda uma linha de tarefas mais rápidas, ao mover dinamicamente as tarefas entre servidores para manter todos em movimento.

Os pesquisadores também descobriram que os benefícios dessa priorização detalhada dependem fortemente de quão ocupado o sistema está. Quando o data center está moderadamente carregado, a capacidade de separar tarefas em diferentes faixas funciona maravilhosamente, permitindo que as solicitações de alta prioridade passem rapidamente enquanto as outras esperam. No entanto, quando o sistema torna-se completamente saturado, com cada servidor operando em capacidade máxima, a vantagem de ter muitos níveis de prioridade diminui. Nessas condições extremas, o sistema está tão cheio que não há espaço extra para mover as tarefas, e a distinção entre os níveis torna-se menos eficaz. Isso sugere que, embora um modelo de quatro níveis seja o design ideal para a maioria das situações, ele funciona melhor quando pareado com um sistema que possa adicionar automaticamente mais servidores antes que a carga se torne pesada demais para gerenciar.

Fundamentalmente, este trabalho fornece um roteiro prático para o futuro da infraestrutura de IA. Ele demonstra que uma hierarquia simples de quatro níveis é suficiente para capturar toda a gama de necessidades dos usuários, desde interações em tempo real críticas até o processamento em lote de fundo. Ao se afastar de um sistema rígido de dois níveis e evitar a armadilha de complicar demais o design com muitos níveis, os engenheiros podem construir serviços de IA que são tanto mais rápidos quanto mais econômicos. O estudo confirma que a chave para lidar com a natureza imprevisível da inteligência artificial não reside em tornar o sistema mais complexo, mas em encontrar o nível preciso de organização que permita que ele respire.