🤖 machine learning

ML Inference Scheduling with Predictable Latency

Este artigo identifica limitações críticas nas abordagens existentes de escalonamento de inferência de ML, especificamente sua previsão de interferência de granularidade grossa e dependência de modelos estáticos, o que leva a previsões de latência imprecisas e SLOs comprometidos sob cargas de trabalho dinâmicas.

Autores originais: Haidong Zhao, Nikolaos Georgantas

Publicado 2026-06-16

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Haidong Zhao, Nikolaos Georgantas

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Visão Geral: A Cozinha de um Restaurante Movimentado

Imagine a cozinha de um restaurante de luxo (a GPU) que é incrivelmente rápida, mas muito cara para operar. Para economizar dinheiro, o proprietário quer cozinhar o máximo de refeições possível ao mesmo tempo (melhorar a utilização).

Nesta cozinha, chegam pedidos de diferentes pratos (como modelos de Machine Learning). Para serem eficientes, os chefs agrupam pedidos semelhantes em um único "lote" (batch) para cozinhá-los todos de uma vez. Por exemplo, em vez de cozinhar um hambúrguer, depois duas porções de batata frita, depois outro hambúrguer, eles cozinham uma bandeja com cinco hambúrgueres ao mesmo tempo.

No entanto, a cozinha tem um problema: Interferência.
Se o chef tentar cozinhar uma bandeja enorme de hambúrgueres e uma bandeja de suflês delicados exatamente ao mesmo tempo no mesmo fogão, eles podem atrapalhar um ao outro. O calor pode ficar irregular ou o chef pode ter que trocar de utensílios com muita frequência. Isso atrasa tudo, fazendo com que a comida chegue atrasada.

No mundo da IA, "comida atrasada" significa latência. Se um carro autônomo ou uma chamada de vídeo receber uma resposta atrasada porque a cozinha estava muito cheia, isso é uma falha. O objetivo deste artigo é descobrir como agendar esses lotes de cozimento para que a cozinha permaneça ocupada sem fazer a comida chegar atrasada.

O Problema: Adivinhar é Perigoso

O artigo argumenta que os métodos atuais para prever quanta "aglomeração" (interferência) ocorrerá são falhos de duas maneiras principais:

1. O Problema da "Foto Estática" (Granularidade Grossa)

A Analogia: Imagine que você é um controlador de tráfego. Você olha para um mapa e vê um caminhão vermelho e um carro azul na rodovia no momento atual. Você prevê que eles dirigirão lado a lado durante toda a viagem.
A Realidade: Na cozinha, o caminhão vermelho (Lote 1) pode sair da rodovia após 10 segundos, e um caminhão de grande porte (Lote 3) pode entrar e permanecer por 5 minutos.
A Alegação do Artigo: Os agendadores de IA atuais são como esse controlador de tráf-ego. Eles olham para quem está na cozinha agora e assumem que permanecerão assim. Eles ignoram o fato de que os lotes chegam e saem em tempos diferentes.

Resultado: A previsão está errada. O sistema pensa que a cozinha estará calma, mas de repente chega um novo lote pesado, causando um congestionamento e entregas atrasadas.

2. O Problema do "Mapa Antigo" (Modelos Não Adaptativos/Estáticos)

A Analogia: Imagine que você treinou um robô chef para prever tempos de cozimento usando um cardápio do ano passado. No ano passado, todos pediam hambúrgueres. Este ano, todos estão pedindo frutos do mar complexos.
A Realidade: O robô chef ainda pensa: "Ah, são apenas hambúrgueres", e prevê que o tempo de cozimento será rápido. Mas, como o cardápio mudou, o robô está errado.
A Alegação do Artigo: Os modelos de IA atuais são "estáticos". Eles são treinados uma única vez com dados antigos e nunca são atualizados. Se os tipos de solicitações mudarem (por exemplo, novos modelos de IA são adicionados ou o número de pedidos muda), o modelo antigo torna-se impreciso.

Resultado: O sistema continua fazendo previsões ruins porque está usando um mapa desatualizado para um mundo em constante mudança.

O Que os Autores Fizeram (O Experimento)

Os autores montaram uma cozinha de teste (usando uma GPU NVIDIA) para ver o quão graves esses dois problemas realmente são.

Testando o problema da "Foto": Eles realizaram simulações onde os lotes chegavam e saíam em tempos diferentes. Descobriram que, se você ignorar essas mudanças, sua previsão de quanto tempo uma tarefa levará pode estar errada por uma margem enorme (às vezes com mais de 60% de erro). É como prever que uma viagem de 10 minutos levará 16 minutos porque você não sabia que um semáforo estava prestes a ficar vermelho.
Testando o problema do "Mapa Antigo": Eles treinaram um modelo com um conjunto de pratos e tentaram prever tempos para um conjunto de pratos completamente diferente. O modelo antigo falhou miseravelmente. No entanto, quando deixaram o modelo "aprender sobre o voo" (Aprendizado Online — atualizando suas previsões conforme via novos dados), ele melhorou muito ao lidar com as mudanças.

A Conclusão

O artigo conclui que, para operar uma cozinha de IA eficiente sem entregas atrasadas, precisamos parar de usar agendadores "burros" que:

Ignoram o fato de que a multidão na cozinha muda a cada segundo.
Recusam-se a aprender com novos tipos de pedidos.

Em vez disso, precisamos de um agendador inteligente que:

Observe a cozinha dinamicamente (rastreando quem chega e quem sai).
Aprenda e atualize suas previsões em tempo real conforme a carga de trabalho muda.

Ao fazer isso, podemos manter a GPU (a cozinha) ocupada e eficiente, garantindo ao mesmo tempo que cada pedido (cada solicitação de IA) receba sua resposta no prazo.

Resumo Técnico: Escalonamento de Inferência de ML com Latência Previsível

Declaração do Problema
Sistemas de serviço de inferência de aprendizado de máquina (ML) visam maximizar a utilização da GPU enquanto aderem a Objetivos de Nível de Serviço (SLOs) ou prazos rigorosos. Para melhorar a utilização, os sistemas frequentemente empregam batching dinâmico (consolidação de requisições) e execução de batch concorrente (execução de múltiplos batches simultaneamente em uma única GPU). No entanto, a execução concorrente introduz interferência, pois os batches competem por recursos limitados da GPU (ex: cache L2, DRAM, Tensor Cores). Essa interferência cria desvios imprevisíveis de latência, tornando difícil garantir os SLOs.

As abordagens existentes de previsão de interferência sofrem de duas limitações primárias:

Previsão de Grão Grosso: Elas frequentemente ignoram a dinâmica de co-localização em tempo de execução. Um batch pode se co-localizar com diferentes batches concorrentes por durações variadas durante sua execução. Modelos estáticos que assumem uma fonte de interferência única e constante falham em capturar essas mudanças temporais, levando a previsões imprecisas.
Modelos Não Adaptativos: As abordagens existentes dependem tipicamente de modelos estáticos treinados offline. Esses modelos degradam em precisão quando as características da carga de trabalho mudam (ex: novos modelos são implantados ou as taxas de chegada de requisições mudam), necessitando de retreinamento e redeploy custosos.

Metodologia
Os autores avaliam essas limitações através de uma série de simulações e experimentos conduzidos em uma GPU NVIDIA L4 utilizando o mecanismo de inferência TensorRT.

Configuração Experimental: O estudo utiliza um conjunto diversificado de modelos DNN (CNNs como ResNet-50, VGG-19, ConvNeXt-B; e Transformers como RoBERTa-B, ViT-B-16, YOLO-v8n). As cargas de trabalho seguem um processo de chegada de Poisson, variando de cargas leves a testes de estresse.
Abordagem de Baseline: A avaliação adota o método de previsão de interferência do gpulets [7], que utiliza um modelo de regressão linear ( $\hat{y} = w^T x + b$ ). Os atributos de entrada ( $x$ ) consistem em métricas de throughput de recursos médios (L2 cache, DRAM e throughput de SM) do batch interferido e de seu batch co-localizado, perfilados offline usando NVIDIA Nsight Compute.
Avaliação das Limitações de Grão Grosso: Os autores simulam cenários onde as dinâmicas de co-localização mudam (ex: o Batch 2 se co-localiza brevemente com o Batch 1, depois por uma longa duração com o Batch 3). Eles comparam:
- Estático: Ignorando as dinâmicas inteiramente (usando o estado inicial de tempo de execução).
- Dinâmica Parcial: Rastreando chegadas/partidas e suavizando o throughput usando uma Média Móvel Exponencialmente Ponderada (EWMA) com fatores de suavização ( $\alpha$ ) variados.
Avaliação das Limitações Não Adaptativas: Os autores comparam três estratégias de aprendizado entre diferentes conjuntos de teste (variando cargas, novos modelos e cargas de trabalho heterogêneas):
- Aprendizado Offline: Um modelo estático treinado uma única vez em um dataset específico.
- Aprendizado Online (SGD): Atualiza os pesos do modelo em tempo de execução usando Gradiente Descendente Estocástico.
- Aprendizado Online (RLS): Atualiza os pesos do modelo usando Mínimos Quadrados Recursivos.

Resultos Principais

Impacto das Dinâmicas de Co-Localização: Ignorar as dinâmicas de co-localização em tempo de execução leva a erros de previsão significativos. Mesmo ao considerar parcialmente as dinâmicas via EWMA, o modelo de previsão ainda exibe desvios perceptíveis. Na avaliação, embora mais de 50% das previsões tenham caído dentro de um erro relativo de 20%, uma parte significativa excedeu 60% de erro. Os autores atribuem isso ao uso de valores de throughput de recursos co-localizados estáticos e imprecisos como atributos de entrada, que falham em refletir a pressão real de recursos experimentada por um batch ao longo do tempo.
Impacto de Mudanças na Carga de Trabalho: Modelos estáticos sofrem degradação de desempenho sob mudanças de carga de trabalho.
- Quando testado em novos modelos implantados (Conjunto de Teste 2) não vistos durante o treinamento, o método de aprendizado offline mostrou um aumento massivo no Erro Quadrático Médio (MSE) de 0,0355 para 0,5480.
- Métodos de aprendizado online (tanto SGD quanto RLS) mitigaram significativamente essa degradação, mantendo MSEs muito menores (0,4311 para SGD e 0,3467 para RLS).
- RLS superou consistentemente o plain SGD, provavelmente devido à sua capacidade de explorar informações de curvatura para uma convergência mais rápida, embora com um custo computacional maior.

Principais Contribuições

Avaliação de Limitações de Previsão: O artigo fornece evidência empírica de que métodos de previsão de interferência de grão grosso, que ignoram as dinâmicas de co-localização temporal, levam a desvios substanciais de precisão.
Avaliação da Adaptabilidade do Modelo: O estudo demonstra que modelos de previsão estáticos degradam consideravelmente sob mudanças nas características da carga de trabalho (concept drift), enquanto abordagens de aprendizado online podem sustentar a precisão preditiva.
Baseline para Trabalhos Futuros: Ao testar rigorosamente a abordagem gpulets, os autores estabelecem um baseline mostrando os modos específicos de falha da previsão de interferência de estado da arte atual em ambientes de serviço de ML dinâmicos.

Significância e Alegações
Os autores alegam modestamente que seu trabalho destaca lacunas críticas nas estratégias atuais de previsão de interferência. Eles argumentam que, para o escalonamento de inferência de ML alcançar alta utilização de GPU enquanto atende aos SLOs, os mecanismos de previsão devem ser redesenhados para:

Considerar as dinâmicas de co-localização em tempo de execução em vez de depender de snapshots estáticos.
Incorporar capacidades de aprendizado online para se adaptar às evoluções das características de carga de trabalho sem exigir retreinamento total.

O artigo posiciona-se como uma avaliação fundamental ("Trabalho em Progresso") que identifica a necessidade de modelos de previsão mais sofisticados e adaptáveis e melhores métricas de recursos para permitir uma latência verdadeiramente previsível em sistemas de serviço de inferência de ML.