Strait: Perceiving Priority and Interference in ML Inference Serving

1. Declaração do Problema

Sistemas de serviço de inferência de Aprendizado de Máquina (ML) enfrentam desafios significativos quando implantados em cenários on-premises sob alta utilização de GPU, especificamente no que diz respeito à priorização de tarefas e ao atendimento de prazos.

• Priorização Insuficiente: Sistemas existentes (por exemplo, TensorFlow Serving, NVIDIA Triton) frequentemente carecem de suporte robusto para priorizar tarefas críticas (por exemplo, monitoramento de segurança, controle de qualidade) em detrimento de tarefas menos críticas. Embora possam suportar prioridades de fluxo CUDA, essas dicas de hardware são frequentemente ineficazes porque kernels concorrentes ainda disputam recursos compartilhados, potencialmente causando interferência severa em tarefas de alta prioridade (HP) ou fazendo com que elas percam prazos.
• Interferência Imprevisível: O agendamento atual frequentemente depende de compartilhamento temporal (execução sequencial) ou compartilhamento espacial estático (execução concorrente).
  • O compartilhamento temporal sofre com bloqueio de cabeça de linha (HOL) e subutilização.
  • O compartilhamento espacial melhora a utilização, mas introduz interferência durante a execução concorrente de kernels e transferências de dados. Essa interferência é não linear e difícil de estimar, levando a latências imprevisíveis e violações de prazos.
• Falta de Preempção: GPUs comerciais geralmente não suportam preempção verdadeira em nível de tarefa. Uma vez que um lote (batch) é despachado, ele não pode ser interrompido. Portanto, as decisões de agendamento devem ser tomadas proativamente para evitar violações de prazos, exigindo estimativas precisas de latência sob interferência.

2. Metodologia: O Sistema Strait

Strait é um sistema de serviço de inferência projetado para melhorar o atendimento de prazos para tráfego de dupla prioridade (Alta Prioridade e Baixa Prioridade) modelando e gerenciando explicitamente a interferência.

A. Arquitetura do Sistema

O Strait opera localmente em um nó com múltiplas GPUs. Ele consiste em:

1. Agendador Consciente de Prioridade: Gerencia filas de tarefas para diferentes modelos, atribuindo-lhes status de HP ou LP.
2. Motor de Previsão de Interferência: Um modelo global que estima atrasos de latência causados por interferência na transferência de dados e na execução de kernels.
3. Loop de Aprendizado Adaptativo: Atualiza continuamente o modelo de previsão com base no feedback de tempo de execução para lidar com desvios de carga de trabalho e variações de hardware.

B. Modelagem de Interferência

O Strait decompõe a latência de inferência ($T_{inf}$) em quatro componentes:
$$T_{inf} = T_{isol} + T_{data} + T_{kernel} + T_{queue}$$

1. Interferência de Transferência de Dados ($T_{data}$):

   • Modelada com base na observação de que transferências de dados PCIe com memória fixa (pinned memory) seguem um processo FIFO.
   • Os atrasos são calculados com base no tempo de conclusão do lote anterior no link PCIe.
   • A interferência de transferência a jusante é frequentemente negligenciável devido aos pequenos tamanhos de saída.

2. Interferência de Execução de Kernel ($T_{kernel}$):

   • Modelo de Previsão: Utiliza um modelo de crescimento exponencial adaptativo para estimar a desaceleração. A intuição é que a interferência aumenta lentamente sob baixa pressão de recursos, mas acelera superlinearmente à medida que a pressão aumenta (excedendo a capacidade da GPU de ocultar latência).
   • Entradas: O modelo utiliza médias ponderadas no tempo de métricas de throughput de recursos (por exemplo, cache L1/L2, DRAM, Tensor Cores, CUDA Cores) de lotes co-localizados.
   • Coeficiente de Prioridade: Inclui um parâmetro aprendível ($coeff_p$) para refletir que tarefas HP podem experimentar menos interferência do que tarefas LP sob pressão idêntica devido à priorização de fluxo CUDA.
   • Adaptação: O modelo utiliza otimização Adam e perda Huber para atualizar parâmetros online. Ele recalibra com base na discrepância entre a latência de execução do kernel prevista e a real, garantindo robustez contra desvio de conceito (por exemplo, mudanças em arquiteturas de modelos ou tipos de GPU).

C. Algoritmo de Agendamento Consciente de Prioridade

O agendador emprega uma busca binária para determinar o tamanho de lote ideal e a atribuição de GPU. Ele impõe duas restrições principais:

1. Sem Violação de Prioridade Superior/Igual: Um novo lote é agendado apenas se não causar que tarefas HP ou de prioridade igual em andamento percam seus prazos.
2. Viabilidade do Próprio Prazo: O novo lote deve ser capaz de atender ao seu próprio prazo, estimado conservadoramente (assumindo que ele roda a metade do throughput de tempo de execução da GPU).
3. Limitação de LP: Para proteger tarefas HP, o sistema limita dinamicamente o throughput agregado de tarefas LP ($C_{low}$) usando uma política Aditivo-Aumento Multiplicativo-Diminuição (AIMD). Se uma tarefa HP perder um prazo, $C_{low}$ é redefinido para uma linha de base conservadora.

3. Contribuições Principais

1. Agendamento Consciente de Interferência: O Strait é o primeiro sistema a integrar previsão explícita de interferência (tanto transferência de dados quanto execução de kernel) diretamente na decisão de agendamento para tráfego ML de dupla prioridade.
2. Modelo de Previsão Adaptativo: Propõe um modelo de regressão novo e autoadaptativo que aprende padrões de contenção de recursos dinamicamente, superando as limitações de modelos estáticos que falham quando cargas de trabalho ou hardware mudam.
3. Gerenciamento de Prioridade sem Preempção: Demonstra como alcançar priorização efetiva de tarefas em GPUs não preemptivas bloqueando ou limitando proativamente tarefas de baixa prioridade para proteger prazos de alta prioridade.
4. Avaliação Abrangente: Fornece uma avaliação rigorosa contra bases de comparação de última geração, incluindo compartilhamento temporal, compartilhamento espacial estático/reativo e preempção definida por software (XSched).

4. Resultados da Avaliação

Os experimentos foram conduzidos em GPUs NVIDIA L4 usando diversos modelos DNN (ResNet, ViT, YOLO, RoBERTa) sob traços estocásticos, uniformes e de produção.

• Atendimento de Prazos:
  • O Strait reduz as violações de prazo para tarefas de Alta Prioridade em 1,02 a 11,18 pontos percentuais em comparação com abordagens existentes de compartilhamento espacial e preempção.
  • Ele incorre em uma troca de desempenho aceitável para tarefas de Baixa Prioridade (pior degradação de apenas 0,61 ponto percentual).
• Comparação com Preempção (XSched):
  • Comparado ao XSched (um sistema de preempção em nível de kernel), o Strait atinge atendimento de prazo HP comparável, mas oferece desempenho mais equitativo para tarefas LP.
  • O XSched sofre com bloqueio de cabeça de linha (HOL) para tarefas LP quando as solicitações HP dominam, enquanto o agendamento proativo do Strait evita isso gerenciando a concorrência e os tamanhos de lote.
• Adaptabilidade:
  • O modelo de previsão adaptativa supera significativamente os modelos estáticos ao transitar entre diferentes conjuntos de modelos (CNN vs. Transformer) ou arquiteturas de GPU (Ada Lovelace vs. Ampere vs. Hopper), reduzindo erros de previsão p99 em 7,2 a 8 pontos percentuais.
• Sobrecarga:
  • A sobrecarga de agendamento é mínima (dezenas de microssegundos), tornando-a adequada para serviço em tempo real.

5. Significância

O Strait aborda uma lacuna crítica na infraestrutura ML on-premises onde latência determinística e priorização de tarefas são fundamentais (por exemplo, automação industrial, sistemas de segurança). Ao migrar de gerenciamento reativo de recursos para percepção proativa de interferência, o Strait permite:

• Maior Confiabilidade: Garantir que tarefas críticas atendam a prazos rigorosos mesmo sob carga pesada.
• Melhor Utilização de Recursos: Permitir compartilhamento espacial seguro sem a imprevisibilidade que geralmente força os sistemas a dependerem de compartilhamento temporal ineficiente.
• Escalabilidade: A abordagem é ortogonal ao autoescalamento em nível de cluster e pode ser integrada em pilhas de serviço existentes (como o Triton) para aprimorar suas capacidades de tratamento de prioridade sem exigir suporte de hardware especializado para preempção.

Em resumo, o Strait fornece uma estrutura robusta para gerenciar as complexas compensações entre concorrência, interferência e prioridade no serviço de inferência acelerado por GPU moderno.