ParetoBandit: Budget-Paced Adaptive Routing for Non-Stationary LLM Serving

1. O Problema

O atendimento de Grandes Modelos de Linguagem (LLMs) em produção frequentemente depende de portfólios multi-modelo que abrangem uma faixa de custos de aproximadamente 530x. O desafio central é realizar o roteamento de solicitações para o modelo mais adequado, equilibrando a qualidade da resposta contra o custo, em um ambiente que é inerentemente não estacionário.

Os principais desafios identificados pelos autores são:

• Não Estacionariedade: Os provedores de modelos atualizam silenciosamente a qualidade dos modelos (regressão de qualidade), alteram preços (ex: cortes de 50% no preço do GPT-4o) e lançam novos modelos regularmente.
• Orçamento em Tempo Real: A maioria das soluções existentes define políticas fixas offline ou otimiza para conjuntos de prompts fixos. Elas falham em impor tetos de custo por solicitação (em dólares) em fluxos de tráfego contínuos e sem fim conhecido.
• Gestão de Portfólio Dinâmica: A necessidade de adicionar ou remover modelos em tempo de execução (runtime) sem downtime, lidando com o problema de "cold start" (início frio) para novos modelos.

2. Metodologia: ParetoBandit

O ParetoBandit é um sistema de roteamento adaptativo de código aberto baseado em Bandits Contextuais Conscientes de Custo. Ele integra três mecanismos principais para resolver os desafios acima:

A. Controle de Orçamento Autônomo (Pacer Primal-Dual Online)

• Mecanismo: Utiliza um multiplicador de Lagrange dual ($\lambda_t$) que é atualizado em tempo real com base no custo médio observado.
• Funcionamento:
  • Se o gasto médio excede o teto ($B$), $\lambda_t$ aumenta, penalizando modelos caros na função de pontuação.
  • Se o gasto está abaixo, $\lambda_t$ diminui, permitindo que o roteador explore modelos mais caros para ganhar qualidade.
  • Enforcement em Duas Camadas:
    1. Teto Duro (Hard Ceiling): Se $\lambda_t > 0$, modelos cujos custos excedem um limite dinâmico são excluídos imediatamente (segurança contra gastos catastróficos).
    2. Penalidade Suave (Soft Penalty): Um viés contínuo na pontuação UCB (Upper Confidence Bound) favorece modelos mais baratos proporcionalmente ao seu custo.

B. Resiliência à Não Estacionariedade (Esquecimento Geométrico)

• Mecanismo: Em vez de acumular todos os dados históricos (como no LinUCB padrão), o sistema aplica um fator de esquecimento geométrico ($\gamma < 1$) às estatísticas suficientes dos modelos.
• Objetivo: Isso dá ao algoritmo uma "memória efetiva" limitada. Dados antigos perdem peso exponencialmente, permitindo que o sistema se adapte rapidamente a mudanças de preço ou degradação de qualidade.
• Inflação de Variância por Estagnação: Se um modelo não foi selecionado por um tempo, sua variância de confiança é inflada artificialmente para forçar uma reexploração, garantindo que mudanças não sejam ignoradas.

C. Gestão de Portfólio em Tempo de Execução (Hot-Swap)

• Mecanismo: Suporta a adição e remoção de modelos sem reiniciar o roteador.
• Onboarding: Novos modelos começam com priores "offline" (se disponíveis) ou não informativos. Uma fase breve de exploração forçada (20 chamadas) é realizada para coletar dados iniciais, após o que a seleção UCB assume.
• Discriminação: O sistema não adota cegamente novos modelos; se um novo modelo for caro e de baixa qualidade, ele é rejeitado após a fase de exploração, mantendo a conformidade com o orçamento.

3. Contribuições Principais

1. Primeiro Roteador com Controle de Orçamento em Laço Fechado: É o primeiro sistema a impor tetos de custo por solicitação em fluxos de dados abertos e sem fim, adaptando-se automaticamente a mudanças de preço sem intervenção humana.
2. Adaptação a Mudanças Silenciosas: Demonstra a capacidade de detectar regressões de qualidade (quando a API responde normalmente mas a qualidade cai) e realocar o tráfego, mantendo o orçamento, algo que métodos sem controle de orçamento falham em fazer (podendo exceder o orçamento em até 6.9x).
3. Integração de Priors Offline e Online: Utiliza estatísticas suficientes de dados históricos para reduzir o arrependimento (regret) no início (cold start), mas permite que o esquecimento geométrico substitua esses priores conforme novos dados online se acumulam.
4. Protocolo de Otimização de Hiperparâmetros (Pareto Knee-Point): Introduz um método para calibrar conjuntamente a taxa de esquecimento e a exploração, equilibrando eficiência estacionária com a capacidade de recuperação rápida de falhas.

4. Resultados Experimentais

O sistema foi avaliado em 1.824 prompts de benchmark, utilizando um portfólio de 3 modelos (Llama-3.1-8B, Mistral-Large, Gemini-2.5-Pro) com uma faixa de custo de 530x.

• Conformidade com Orçamento: Em todos os cenários, o custo médio por solicitação nunca excedeu o alvo em mais de 0,4%. Mesmo sob mudanças de preço, o sistema recuperou a conformidade rapidamente.
• Adaptação a Mudanças de Preço: Quando o preço do modelo mais caro foi cortado pela metade, o sistema explorou automaticamente essa mudança, resultando em um aumento de qualidade de +0,071 sem violar o orçamento.
• Detecção de Regressão de Qualidade: Em um teste onde a qualidade de um modelo caiu 18% silenciosamente, o ParetoBandit detectou a queda, reduziu a alocação desse modelo e recuperou o desempenho, enquanto linhas de base sem controle de orçamento excederam o limite de custo em até 6.9x.
• Onboarding de Modelos Frios: Um novo modelo adicionado em tempo de execução alcançou adoção significativa em cerca de 142 passos sem violar o teto de custo.
• Latência: A latência de roteamento ponta a ponta é de 9,8 ms em CPU (menos de 0,4% do tempo de inferência típico de um LLM), com a decisão de roteamento em si levando apenas 22,5 µs.

5. Significado e Impacto

O ParetoBandit representa um avanço significativo na operação de LLMs em produção. Ele transforma o roteamento de uma escolha estática ou baseada em treinamento offline para um processo dinâmico, adaptativo e controlado por orçamento.

• Viabilidade Econômica: Permite que empresas operem portfólios de modelos complexos garantindo que os custos não saiam do controle, mesmo com flutuações de mercado.
• Resiliência Operacional: Oferece proteção contra falhas silenciosas de qualidade dos provedores de API, um risco crítico em ambientes de produção.
• Escalabilidade: A baixa latência e a capacidade de gerenciar portfólios em tempo real tornam a solução viável para sistemas de alta escala.

Em resumo, o trabalho demonstra que o uso de bandits contextuais com mecanismos de esquecimento e controle dual é essencial para a próxima geração de serviços de LLM que exigem eficiência de custos, alta qualidade e adaptabilidade contínua.