Serving Compound Inference Systems on Datacenter GPUs

O artigo apresenta o JigsawServe, um novo framework de inferência que otimiza conjuntamente latência, precisão e custos de recursos em GPUs de datacenter para sistemas compostos, alcançando um aumento de 11,3 vezes na demanda atendida em comparação com trabalhos anteriores ao selecionar adaptativamente variantes de modelos e realizar alocação espacial de recursos.

O essencial

Imagine que você tem uma cozinha de restaurante muito movimentada (o Data Center) e precisa preparar pratos complexos para milhares de clientes por segundo.

No mundo antigo da Inteligência Artificial, cada prato era feito por um único chef gigante. Mas hoje, os pedidos são mais complexos (como em Realidade Aumentada ou assistentes de IA). Um único pedido não é mais "fazer um hambúrguer"; é um processo em cadeia:

1. Primeiro, você precisa identificar o que está na foto (um carro?).
2. Depois, precisa ler a placa desse carro.
3. Em seguida, precisa verificar se a placa é válida.
4. Por fim, precisa gerar um áudio explicando o resultado.

Isso é o que o artigo chama de Sistema de Inferência Composto: várias tarefas de IA trabalhando juntas em uma "linha de montagem" para atender um único pedido.

O problema é que as cozinhas (os servidores de GPU) estão cheias, mas mal utilizadas. Alguns chefs estão trabalhando muito, outros estão apenas olhando para as paredes, e a cozinha inteira fica lenta.

Aqui entra o JIGSAWSERVE (o herói da história). O nome vem de "quebra-cabeça" (jigsaw), porque ele é especialista em encaixar peças pequenas de forma perfeita.

Como o JIGSAWSERVE funciona? (A Analogia do Quebra-Cabeça)

O JIGSAWSERVE resolve três problemas principais usando uma abordagem inteligente:

1. Escolhendo o Chef Certo para a Tarefa (Escalonamento de Precisão)

Nem toda tarefa precisa de um chef Michelin.

• O Problema: Se você só precisa saber se há um carro na foto, não precisa usar o modelo de IA mais pesado e lento do mundo. Um modelo "leve" e rápido funciona bem e gasta menos energia.
• A Solução do JIGSAWSERVE: Ele olha para cada etapa da linha de montagem. Para as etapas críticas, ele usa chefs de elite (modelos precisos). Para as etapas menos importantes, ele usa ajudantes rápidos (modelos menores). Ele ajusta a "qualidade" de cada passo para que o prato final fique bom, mas sem desperdiçar tempo e energia.

2. Dividindo a Cozinha em Pequenos Espaços (Particionamento Espacial)

• O Problema: Antigamente, se um modelo de IA precisava de uma GPU (o "forno" da cozinha), ele tomava o forno inteiro, mesmo que fosse pequeno. Se você tivesse 4 fornos, mas só precisasse de 1/4 de cada um para 4 tarefas pequenas, você ficaria com 3 fornos vazios e 1 lotado.
• A Solução do JIGSAWSERVE: Ele usa uma tecnologia moderna (como o MIG da NVIDIA) que permite dividir um único forno grande em 7 fornos pequenos e isolados.
  • Imagine que você tem uma pizza gigante. Em vez de dar a pizza inteira para uma pessoa, você a corta em fatias. O JIGSAWSERVE corta a GPU em fatias e dá uma fatia para cada tarefa pequena. Assim, várias tarefas rodam ao mesmo tempo no mesmo hardware, sem se atrapalhar.

3. O Gerente que Vê o Mapa Completo (Orçamento Informado pelo Gráfico)

• O Problema: Muitos sistemas olham apenas para uma tarefa de cada vez. Eles dizem: "Esta tarefa precisa de 10 minutos". Mas não sabem que, se essa tarefa atrasar 1 segundo, ela vai atrasar a próxima tarefa em 10 segundos, quebrando o prazo total.
• A Solução do JIGSAWSERVE: Ele olha para o mapa inteiro (o gráfico de tarefas). Ele sabe que a etapa 1 é rápida, então pode gastar mais tempo na etapa 2. Ele distribui o "orçamento de tempo" e o "orçamento de energia" de forma inteligente ao longo de toda a cadeia, garantindo que o prato saia na hora certa.

O Resultado Mágico

O artigo mostra que, ao combinar essas três estratégias (escolher modelos leves, dividir a GPU em fatias e gerenciar o tempo global), o JIGSAWSERVE consegue:

• Atender 11,3 vezes mais pedidos do que os sistemas anteriores mais próximos, usando o mesmo número de GPUs.
• Usar apenas 43% da capacidade das GPUs disponíveis para fazer o mesmo trabalho que outros sistemas fazem com 100% de esforço.
• Manter a qualidade (precisão) e o tempo de resposta (latência) dentro das regras, quase nunca falhando.

Resumo em uma frase

O JIGSAWSERVE é como um gerente de cozinha genial que, em vez de usar um forno gigante para fazer um sanduíche, divide o forno em 7 partes, contrata ajudantes rápidos para tarefas simples e organiza a linha de montagem para que 11 vezes mais clientes sejam atendidos ao mesmo tempo, sem que o prato chegue frio ou errado.

Isso significa que as empresas podem rodar mais inteligências artificiais complexas gastando menos energia e dinheiro, tornando a tecnologia mais acessível e eficiente para todos.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Serving Compound Inference Systems on Datacenter GPUs", apresentado em português:

1. O Problema

Com o crescimento de aplicações em domínios emergentes como Realidade Estendida (XR) e sistemas multi-agentes, os sistemas de inferência de Machine Learning (ML) estão evoluindo de modelos monolíticos para sistemas de inferência compostos. Nestes sistemas, múltiplos modelos de ML são compostos em um grafo de tarefas (DAG) para atender a uma única solicitação.

O desafio principal reside na eficiência do atendimento (serving) desses sistemas em GPUs de datacenter. Existem duas questões críticas não resolvidas adequadamente pela literatura anterior:

1. Orçamentação de SLOs: Como dividir os orçamentos de latência e precisão (SLOs) de ponta a ponta entre as diferentes tarefas individuais do grafo?
2. Alocação de Recursos: Como alocar recursos de GPU de forma eficiente para modelos com requisitos heterogêneos, especialmente considerando que as GPUs modernas permitem particionamento espacial fino?

Sistemas existentes geralmente tratam tarefas isoladamente, não consideram o particionamento espacial de GPUs (como MIG e MPS da NVIDIA) ou não otimizam conjuntamente a escolha de variantes de modelos e a alocação de recursos.

2. Metodologia: JIGSAWSERVE

O artigo apresenta o JIGSAWSERVE, o primeiro framework de atendimento que otimiza conjuntamente latência, precisão e custo (em termos de recursos de GPU) para sistemas de inferência compostos.

A abordagem baseia-se na combinação de três pilares fundamentais:

1. Escalonamento de Precisão (Accuracy Scaling): Seleção adaptativa de variantes de modelos para cada tarefa (ex: ResNet-18 vs. ResNet-152), permitindo trade-offs entre precisão e latência.
2. Particionamento Espacial de GPU: Uso de mecanismos de hardware (MIG - Multi-Instance GPU e MPS - Multi-Process Service) para dividir uma GPU física em múltiplas instâncias isoladas ou compartilhar recursos, permitindo que várias tarefas rodem na mesma GPU sem interferência destrutiva.
3. Orçamentação Informada pelo Grafo de Tarefas: O sistema não trata tarefas isoladamente. Ele utiliza a estrutura do DAG para entender os fatores multiplicativos de demanda (uma tarefa pode gerar múltiplas chamadas para tarefas subsequentes) e distribuir os orçamentos de latência e precisão de forma global.

Arquitetura do Sistema:

• Registration Handler: Registra o grafo de tarefas, variantes de modelos e SLOs.
• Profiler: Realiza perfilagem offline para medir latência e throughput de todas as combinações de variantes, tamanhos de lote e segmentos de GPU.
• Controller: O componente central que formula o problema de otimização como um Programação Linear Mista Inteira (MILP). O MILP decide:
  • Quantas instâncias de cada variante de modelo usar.
  • Em qual tipo de segmento de GPU (tamanho MIG + concorrência MPS) rodar.
  • Qual o tamanho máximo do lote (batch size).
  • O objetivo é maximizar a precisão do sistema e minimizar o uso de recursos, sujeito a restrições de latência, precisão total e disponibilidade de "fatias" de GPU.
• Frontend: Gerencia as requisições dos clientes e o roteamento inicial.

3. Contribuições Principais

1. Novo Framework de Otimização Conjunta: O JIGSAWSERVE é a primeira solução a integrar escalonamento de precisão, particionamento espacial de GPU e orçamentação informada pelo grafo de tarefas.
2. Análise de Espaço de Configuração: O trabalho demonstra analiticamente que a combinação dos três recursos (A+S+T) supera significativamente qualquer subconjunto.
   • O particionamento espacial (S) sozinho oferece o maior ganho individual (5,25x em capacidade comparado a sistemas não otimizados).
   • A integração completa (JIGSAWSERVE) atinge 21,6x a capacidade de um sistema não otimizado.
3. Superioridade sobre o Estado da Arte: O sistema supera o trabalho mais próximo (Loki) em 11,3x na capacidade máxima de atendimento, demonstrando que a otimização conjunta de recursos de GPU e precisão é crítica.
4. Validação Empírica: Avaliação em um cluster de 4 GPUs NVIDIA H100 com três aplicações reais (Mídia Social, Análise de Tráfego e Assistente AR), mostrando eficiência superior em uma ampla gama de demandas.

4. Resultados

Os resultados empíricos e analíticos destacam a eficiência do JIGSAWSERVE:

• Capacidade de Atendimento: Em um cenário analítico com 120 GPUs, o JIGSAWSERVE atende a uma demanda máxima 21,6 vezes maior do que um sistema não otimizado e 11,3 vezes maior do que a melhor abordagem anterior (Loki/A+T).
• Eficiência de Recursos: Na avaliação empírica, o JIGSAWSERVE atende aos SLOs de precisão e latência utilizando apenas 43,3% dos recursos de GPU disponíveis em média.
• Violação de SLO: O sistema apresenta menos de 0,6% de violações de SLO de latência em média.
• Comparação com Baselines:
  • Sistemas sem particionamento espacial (A+T, A+S) ou sem orçamentação informada pelo grafo (S+T) falham em altas demandas, resultando em taxas de violação de SLO superiores a 10% e uso de recursos mais de 2x maior.
  • O uso de particionamento espacial (S) é identificado como o fator de maior impacto na eficiência.

5. Significado e Conclusão

O trabalho do JIGSAWSERVE é significativo porque estabelece um novo paradigma para o atendimento de inferência em datacenters:

• Eficiência de Custo: Permite atender a muito mais requisições com a mesma infraestrutura de hardware, reduzindo custos operacionais e consumo energético.
• Flexibilidade de Design: Demonstra que a comunidade de ML deve continuar a liberar múltiplas variantes de modelos para permitir flexibilidade de desempenho/precisão.
• Importância do Hardware: Reforça que os fabricantes de GPU devem priorizar e desenvolver mecanismos de particionamento espacial, pois eles são essenciais para a eficiência de cargas de trabalho compostas.

Em suma, o JIGSAWSERVE prova que a otimização conjunta da estrutura do grafo de tarefas, da seleção de modelos e da alocação física de recursos de GPU é a chave para a eficiência máxima em sistemas de inferência compostos modernos.