🤖 machine learning

Compass: SLO-aware Query Planner for Compound AI Serving at Scale

Compass é um planejador de consultas inovador consciente de SLO que permite a execução eficiente e em grande escala de serviços compostos de IA em diversos ambientes de implantação, decompondo problemas complexos de planejamento, utilizando perfilamento seletivo para estimativa de desempenho com custo-benefício e empregando correspondência bipartida para maximizar o bom rendimento do serviço enquanto reduz significativamente custos e latência de planejamento.

Autores originais: Banruo Liu, Wei-Yu Lin, Minghao Fang, Yihan Jiang, Fan Lai

Publicado 2026-05-19

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Banruo Liu, Wei-Yu Lin, Minghao Fang, Yihan Jiang, Fan Lai

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está gerenciando uma cozinha de restaurante massiva e de alta tecnologia. No passado, os chefs (modelos de IA) trabalhavam sozinhos em uma única cozinha grande (a nuvem). Mas agora, a "IA Composta" é como uma refeição complexa que exige uma equipe inteira: um sous-chef para picar vegetais, um mestre de grelha para cozinhar carnes, um especialista em molhos e um entregador, todos trabalhando juntos para servir um único prato a um cliente.

O problema? Você tem milhares de pedidos chegando ao mesmo tempo. Alguns clientes querem sua comida em 30 segundos (chat de vídeo ao vivo), enquanto outros estão dispostos a esperar um pouco mais, mas querem a opção mais barata possível (geração de código em lote). Além disso, sua cozinha não é apenas um cômodo; você tem uma cozinha principal sofisticada (Nuvem), uma cozinha satélite menor nas proximidades (Borda) e até mesmo alguns cozinheiros caseiros (dispositivos de Borda) que podem ajudar.

Compass é o novo Chef Executivo (Planejador de Consultas) superinteligente projetado para gerenciar esse caos. Veja como funciona, usando analogias simples:

1. O Problema: Muitas Opções, Tempo Insuficiente

Nos velhos tempos, se um novo pedido chegasse, o Chef Executivo tentaria descobrir a receita perfeita. Mas com a IA Composta, existem milhões de maneiras de preparar o prato:

Alocação: A picada deve acontecer na cozinha principal ou na satélite?
Configuração: Devemos usar uma faca gigante e cara (um modelo de IA enorme) ou uma pequena e rápida?
Recursos: Quantos cozinheiros devemos designar?

Tentar encontrar o plano perfeito para cada pedido individual leva horas. Até o momento em que o Chef descobre, o cliente já foi embora ou a comida esfriou. Os sistemas existentes eram ou muito lentos ou funcionavam apenas para pedidos simples de prato único.

2. A Solução: "Atalhos Inteligentes" do Compass

O Compass não tenta provar cada receita possível. Em vez disso, usa três truques inteligentes para encontrar uma receita ótima em segundos:

A. O Atalho de "Semelhança" (Otimizador de Busca)

Imagine que você já preparou um prato de "Tofu Apimentado" para um cliente antes. Agora, um novo cliente pede "Tofu Apimentado com um pouco menos de sal".
Em vez de começar do zero, o Compass examina seu histórico. Ele diz: "Ei, sei como ficou o último Tofu Apimentado. Posso usar esse conhecimento para adivinhar como este novo vai ficar."

A Metáfora: É como um chef que lembra que a "Receita A" e a "Receita B" são 90% semelhantes. Eles não precisam provar o prato inteiro novamente; apenas ajustam o sal. Isso economiza quantidades massivas de tempo e dinheiro (custos de GPU).

B. A Triagem de "Prova de Sabor" (Perfilador de SLO)

Para saber se uma receita é boa, geralmente você precisa cozinhar tudo e provar. Mas cozinhar um modelo de IA gigante é caro (custa dinheiro real para rodar em computadores potentes).
O Compass usa uma técnica de amostragem inteligente.

A Metáfora: Em vez de comer a pizza inteira para ver se está salgada o suficiente, o Compass dá uma pequena mordida. Se a primeira mordida estiver claramente salgada demais, ele para imediatamente e diz: "Não, descarte esta receita." Se a primeira mordida estiver claramente perfeita, ele para e diz: "Ótimo, mantenha esta." Ele só cozinha a pizza inteira se estiver em dúvida. Isso economiza quantidades enormes de dinheiro e tempo.

C. O "Plano de Assentos Global" (Planejador de Múltiplas Consultas)

Se você planejar cada pedido individualmente, pode acabar atribuindo acidentalmente todos os "Mestres de Grelha" à mesma mesa, deixando outras mesas vazias e famintas.
O Compass olha para todos os pedidos de uma vez. Ele cria um plano de assentos que equilibra a carga.

A Metáfora: É como um porteiro de um clube que não deixa as pessoas entrarem uma por uma. Ele olha para a multidão inteira e diz: "Ok, temos espaço na Mesa A para o grupo grande e na Mesa B para o grupo pequeno, então todos são atendidos sem esperar muito tempo." Isso garante que toda a cozinha funcione com eficiência, não apenas um prato.

3. Os Resultados: Mais Rápido, Mais Barato, Melhor

O artigo testou o Compass em cenários do mundo real, como chat de vídeo ao vivo com agentes de IA, fala para texto e geração de código. Veja o que aconteceu:

Velocidade: O Compass encontrou um bom plano em segundos (2,4 a 5,1 vezes mais rápido do que antes). Isso significa que os usuários não precisam esperar que sua IA "pense" sobre como começar.
Custo: Reduziu o custo de execução desses serviços em 3,8 a 4,5 vezes. É como obter a mesma refeição por uma fração do preço, usando os ingredientes certos e a cozinha certa.
Qualidade: Atendeu 2,4 a 5,1 vezes mais clientes com sucesso sem violar as regras (SLOs).

Resumo

Pense no Compass como o controlador de tráfego definitivo para uma cidade de robôs de IA. Em vez de deixar cada robô dirigir para onde quiser (causando engarrafamentos e atrasos), o Compass olha para todo o mapa, lembra de onde já esteve antes e direciona o tráfego para que todos cheguem ao seu destino rapidamente, de forma barata e segura. Ele transforma uma bagunça caótica e cara em uma operação suave e eficiente.

Resumo Técnico: Compass: Planejador de Consultas Consciente de SLO para Serviço de IA Composta em Escala

1. Declaração do Problema

O surgimento de sistemas de IA composta—que integram múltiplos operadores (por exemplo, amostradores de vídeo, codificadores de visão, LLMs, renderizadores de fala) em pipelines para aplicações como chat de vídeo ao vivo, direção autônoma e jogos imersivos—deslocou o serviço de ML do implantação monolítica de modelos para a orquestração complexa de pipelines. Essas cargas de trabalho frequentemente abrangem espaços de implantação diversos, variando de dispositivos de borda a clusters de borda próxima e tiers de nuvem.

A otimização desses sistemas requer o planejamento conjunto de três dimensões interdependentes para cada operador em um pipeline:

Alocação: Onde executar o operador (borda, borda próxima ou nuvem).
Configuração: Qual versão do modelo, precisão ou taxa de amostragem utilizar.
Alocação de Recursos: Quanto de computação (por exemplo, compartilhamento de GPU) e largura de banda provisionar.

O desafio central é maximizar o throughput de SLO (o número de consultas que atendem aos Objetivos de Nível de Serviço para latência, precisão e custo) sob contenção de recursos. Abordagens existentes falham em abordar isso em escala devido a:

Explosão Combinatória: Uma única consulta pode ter milhares de planos candidatos devido a configurações e alocações heterogêneas.
Heterogeneidade: Ambientes de tempo de execução variam (por exemplo, velocidades de borda versus nuvem), e as distribuições de dados de entrada diferem entre usuários, causando variância de desempenho mesmo para planos idênticos.
Latência de Planejamento: Planejadores existentes (por exemplo, Vulcan, VideoStorm) levam minutos a horas para encontrar um plano viável, tornando-os inviáveis para consultas em tempo real e de curta duração (por exemplo, reconhecimento de fala de 10 segundos).
Otimização Local vs. Global: Planejadores de consulta única ignoram a contenção de recursos entre consultas, levando a alocações globais subótimas (por exemplo, sobrecarregar a nuvem enquanto deixa recursos de borda ociosos).

2. Metodologia: O Sistema Compass

O Compass é o primeiro planejador de consultas consciente de SLO projetado para lidar com cargas de trabalho de IA composta em grande escala, multi-consulta e multi-tier. Ele emprega uma estrutura de planejamento em dois estágios para equilibrar eficiência e qualidade de decisão.

A. Arquitetura do Sistema

O Compass decompõe o problema de planejamento global intratável em:

Busca de Consulta Única: Identificar um conjunto de planos candidatos Pareto-ótimos para cada consulta individual.
Agendamento Multi-Consulta: Selecionar a melhor combinação de pares consulta-plano para maximizar o throughput global sob restrições de recursos.

B. Componentes Principais

1. Otimizador de Busca (Busca Multi-Objetivo Consciente de Custo)

Para navegar eficientemente no vasto espaço de busca, o Compass introduz a busca CAMO (Consciente de Custo Multi-Objetivo), uma melhoria sobre a Otimização Bayesiana (BO) padrão.

Surrogatos Decompostos: Em vez de um único objetivo, o CAMO mantém dois modelos de surrogate independentes: um para precisão ( $f_a$ ) e outro para latência ( $f_l$ ).
Função de Utilidade: Ele propõe novos planos maximizando uma função de aquisição $U(p)$ que equilibra a probabilidade de atender aos SLOs contra o custo de perfilamento (latência para executar a inferência):
$U(p) = \text{Pr}[f_a(p) \ge A_{slo}] \cdot \text{Pr}[f_l(p) \le L_{slo}] \times \frac{1}{C(f_l(p))}$
Inicialização Quente Inter-Consulta: Para acelerar a busca para novas consultas, o Compass aproveita similaridades latentes entre consultas. Ele mantém um "comitê" de modelos de surrogate históricos. Se uma nova consulta for semelhante às anteriores, o comitê vota no próximo plano candidato. À medida que o próprio modelo CAMO da nova consulta amadurece (o erro de previsão cai abaixo do do comitê), ele transita automaticamente para a autoconfiança.

2. Perfilador de SLO (Verificação Eficiente)

O perfilamento (executar planos para medir precisão/latência) é o principal gargalo. O Compass reduz esse custo via:

Perfilamento Adaptativo: Em vez de amostragem fixa, o Compass usa o teste t de Student para determinar o número mínimo de amostras necessárias para confirmar estatisticamente se um plano atende a um SLO. Se a lacuna entre a precisão estimada do plano e o SLO for grande, ele para antecipadamente; se a lacuna for pequena, ele amostra mais.
Perfilamento Compartilhado por Dependência: Ele armazena em cache saídas intermediárias para segmentos de pipeline compartilhados. Se um novo plano alterar apenas um operador a jusante, o perfilador pula a reexecução dos operadores a montante, reutilizando resultados em cache.
Redução de Recursos: A busca assume inicialmente recursos superprovisionados para garantir a viabilidade do SLO. O perfilador então realiza uma busca binária multidimensional para reduzir greedyamente os recursos (por exemplo, reduzindo o compartilhamento de GPU) até que o SLO de latência esteja à beira da violação, identificando a fronteira de custo Pareto-ótima.

3. Planejador Multi-Consulta (Agendamento Global)

Uma vez que cada consulta possui um conjunto de planos Pareto-ótimos, o Compass realiza correspondência bipartida entre o conjunto de consultas e seus candidatos de plano.

Objetivo: Maximizar o throughput de SLO (para cenários com restrições de recursos) ou minimizar o custo total de implantação (para cenários de nuvem elástica).
Algoritmo: Uma heurística gananciosa que classifica os planos pela sua razão benefício-recurso (ou razão benefício-custo). Ela aloca recursos iterativamente aos planos mais bem classificados até que a capacidade seja esgotada.
Garantia Teórica: Os autores provam que, para configurações apenas em nuvem, a abordagem gananciosa alcança pelo menos 50% do throughput ótimo. Para minimização de custos multi-tier, o custo está dentro de uma razão competitiva de 11/9 do ótimo, mais uma pequena constante dependente do número de tiers.

3. Contribuições Principais

Primeiro Planejador Genérico Consciente de SLO: O Compass é o primeiro sistema a suportar serviço de IA composta em espaços de implantação diversos (apenas nuvem, multi-tier, borda-nuvem) enquanto lida com interações contínuas e efêmeras.
Mecanismo de Busca Inovador: Introduz uma busca multi-objetivo consciente de custos (CAMO) que aproveita similaridades de planos (intra e inter-consulta) e perfilamento adaptativo para navegar eficientemente em espaços de busca de alta dimensão.
Qualidade de Decisão Global: Ao desacoplar a busca de consulta única do agendamento global, o Compass evita a explosão combinatória do planejamento conjunto, mantendo uma qualidade de decisão quase ótima através de conjuntos de candidatos Pareto-ótimos e correspondência gananciosa.
Implementação do Mundo Real: O sistema é implementado em ~2.800 linhas de Python, é compatível com API do Kubernetes e LangChain, e suporta stacks de ML existentes com alterações mínimas de código.

4. Resultados Experimentais

As avaliações foram conduzidas em cinco aplicações representativas de IA composta (Chat com Agente ao Vivo, Geração de Código Agente, Legendagem de Vídeo Denso, Rastreamento Visual, Reconhecimento de Fala) em infraestrutura multi-tier realista (Nuvem, Próximo à Nuvem, Próximo à Borda, Borda).

Throughput de Serviço: O Compass melhora o throughput de SLO em 2,4–5,1× em comparação com bases de referência do estado da arte (Vulcan, VideoStorm), mesmo em seus espaços de implantação nativos.
Redução de Custos: Reduz os custos de implantação em 3,8–4,5× otimizando a alocação de recursos e a alocação.
Velocidade de Planejamento: O Compass acelera o planejamento em 4,2–10,5×, identificando o primeiro plano em conformidade com SLO em <5 segundos (vs. minutos para bases de referência) e planos quase ótimos em <20 segundos.
Escalabilidade: O sistema escala para milhares de consultas concorrentes, alcançando desempenho próximo a um oráculo de busca exaustiva (ILP) enquanto mantém tempo de agendamento sublinear.
Responsividade: Permite adaptação em tempo real a dinâmicas de tempo de execução (por exemplo, flutuações de rede, mudanças de iluminação) em segundos.

5. Significado e Alegações

O artigo afirma que o Compass aborda um gargalo crítico na evolução do serviço de IA: a transição da inferência de modelo único para pipelines de IA composta. Os autores argumentam que, sem um planejador capaz de lidar com a complexidade combinatória de cenários multi-operador, multi-tier e multi-consulta, aplicações de IA composta em tempo real (como agentes de vídeo ao vivo) não podem ser implantadas de forma eficiente ou econômica.

O significado reside em:

Viabilidade: Tornar o serviço de IA composto em tempo real e garantido por SLO tratável, onde abordagens anteriores eram muito lentas ou imprecisas.
Eficiência: Reduzir drasticamente o "imposto de planejamento" (tempo e custo gastos na busca de configuração), que anteriormente dominava o tempo total de serviço.
Generalidade: Fornecer uma estrutura unificada que funciona em infraestrutura heterogênea, desde dispositivos de borda até clusters de nuvem em grande escala, sem exigir ajuste específico para a aplicação.

O artigo conclui que o Compass permite que provedores de serviços sustentem serviços de IA composta de alta qualidade e custo eficiente em escala, preenchendo a lacuna entre a otimização teórica de pipelines e a implantação prática em tempo real.