Resumo Técnico: Além da Acurácia e do Custo: Roteamento de Consultas de LLM Sensível à Latência para Cargas de Trabalho Dinâmicas

Declaração do Problema

Os roteadores modernos de consultas de linguagem otimizam o equilíbrio entre a qualidade da resposta (acurácia) e o custo monetário ao atribuir consultas a diferentes instâncias de Modelos de Linguagem de Grande Escala (LLM). No entanto, os roteadores existentes são amplamente agnósticos à latência. Eles selecionam modelos com base em preditores de acurácia e custo, mas ignoram a latência de geração que uma consulta experimentará em uma instância específica.

Na prática, a latência é determinada por políticas de balanceamento de carga do nível do sistema (ex: round-robin, join-the-shortest-queue) que não consideram a acurácia ou o custo de inferência do modelo. Por outro lado, a otimização de latência do nível do sistema assume uma atribuição fixa de consulta-para-modelo e ignora os equilíbrios de acurácia-custo. Isso cria uma lacuna: os roteadores atuais podem rotear consultas para instâncias sobrecarregadas, causando atrasos de fila prolongados e violando Objetivos de Nível de Serviço (SLOs), enquanto os otimizadores de nível de sistema não podem aproveitar as capacidades heterogêneas de acurácia-custo de um pool de modelos.

O desafio central é que a latência de geração é não-determinística e depende de:

1. Especificações de hardware e arquitetura do modelo.
2. A composição atual da carga de trabalho (estágios de prefill vs. decode) na instância.
3. As políticas de batching e escalonamento do framework de serviço (ex: vLLM, Sarathi-Serve).

Estimar com precisão o Tempo para o Primeiro Token (TTFT) para uma consulta entrante é difícil porque requer simular como o framework de serviço fará o batching da nova consulta com as sequências residentes existentes, considerando tanto a interferência de prefill (limitada por computação) quanto a de decode (limitada por memória).

Metodologia

Os autores propõem um framework de roteamento que otimiza conjuntamente acurácia, custo e latência. O sistema consiste em três componentes principais:

1. Objetivo de Roteamento

O roteador seleciona uma instância de modelo $m(i)$ para uma consulta $q_i$ para maximizar a utilidade de acurácia-custo ($\hat{U}_{i,j}$) enquanto satisfaz uma restrição de TTFT ($\tau_i$).

• Utilidade: $\hat{U}_{i,j}(\lambda) = \hat{acc}_{i,j} - \lambda \cdot \hat{cost}_{i,j}$, onde $\lambda$ equilibra qualidade e custo.
• Restrição: A instância selecionada deve satisfazer $\hat{L}^{ttft}_{i,j}(t) \leq \tau_i$. Se nenhuma instância satisfizer a restrição, o roteador seleciona aquela com a latência estimada mínima.
• Avaliação: O desempenho é medido via OnTimeUtility, que faz a média da utilidade das consultas que atendem às suas restrições de latência (atribuindo utilidade zero àquelas que as violam).

2. Estimador de Latência do Simulador de Framework de Serviço (SFS)

Para prever o TTFT com precisão sem execução em tempo real, os autores projetam um estimador leve que simula o comportamento do framework de serviço.

• Entrada: O estimador utiliza o estado atual da instância do modelo, incluindo o conjunto de requisições residentes ($R_j(t)$), seus tokens de prefill restantes e comprimentos de decode previstos.
• Processo de Simulação:
  1. Ele constrói uma carga de trabalho aumentada incluindo a nova consulta e todas as consultas residentes.
  2. Ele simula deterministicamente as políticas de batching contínuo e escalonamento do framework de serviço para formar lotes de tokens.
  3. Ele itera através desses lotes até que a nova consulta gere seu primeiro token de decode.
• Modelo de Tempo de Processamento de Token-Batch: Em vez de simular kernels de baixo nível, o estimador usa um modelo linear calibrado (Eq. 9) para prever o tempo para cada lote de tokens. Este modelo considera:
  • Overheads fixos.
  • Computação de camada densa por token (linear com o tamanho do batch).
  • Computação de atenção e leituras de KV-cache (linear com o comprimento do contexto para decode).
  • Custos de atenção de prefill (quadrático dentro do chunk de prefill).
• Saída: A soma dos tempos de processamento previstos para todos os lotes simulados até o primeiro token de decode resulta na estimativa de TTFT.

3. Estimativa de Caso Médio (Sem Dados em Tempo Real)

Em cenários onde snapshots de carga de trabalho em tempo real não estão disponíveis (ex: roteamento para nuvens de terceiros), os autores propõem uma abstração de teoria de filas usando um modelo de Processamento de Servidor Limitado (LPS). Isso modela a instância como um servidor compartilhando capacidade entre até $k$ consultas simultâneas, com outras esperando em uma fila FIFO. Isso permite estimar tempos de espera médios com base em taxas de chegada e capacidades de serviço.

Principais Contribuições

1. Framework de Otimização Conjunta: O artigo une o roteamento de acurácia-custo e a otimização de latência do sistema ao projetar um roteador que toma decisões de roteamento baseadas nessas três métricas simultaneamente.
2. Estimador SFS Leve: Os autores introduzem um estimador de latência inovador que simula o processamento de lotes de tokens autorregressivos. Ele captura a complexa interação entre cargas de trabalho de prefill e decode e as políticas de framework de serviço (como chunked prefills) sem exigir execução total.
3. Alta Acurácia e Baixo Overhead: O estimador SFS alcança um Erro Médio Absoluto Percentual (MAPE) de <5% nas previsões de TTFT com um overhead de tempo de teste de aproximadamente 0,14 ms (sub-milissegundo), tornando-o adequado para o caminho crítico de roteamento.
4. Robustez: O framework é avaliado sob chegadas Poisson padrão e chegadas estocásticas de Processo de Poisson Modulado por Markov (MMPP), demonstrando melhorias consistentes de desempenho.

Resultados Experimentais

Os autores avaliaram sua abordagem usando três modelos Qwen3 (0.6B, 8B, 32B) implantados em GPUs H100 com o framework de serviço vLLM. Eles compararam seu roteador baseado em SFS contra três baselines:

• Round Robin: Atribuição cíclica ignorando a carga de trabalho.
• Shortest Queue: Atribui à instância com o menor número de requisições (focado em latência, agnóstico à acurácia).
• Latência-Agnóstico: Maximiza a utilidade ignorando a latência.

Principais Descobertas:

• Melhoria de Utilidade: O método proposto gera até 40% de melhoria na utilidade de acurácia-custo em comparação com baselines padrão de balanceamento de carga (como Shortest Queue) mantendo as mesmas restrições de latência.
• OnTimeUtility: Em várias taxas de chegada de consultas, o roteador SFS alcançou uma AUC 33% maior para OnTimeUtility em comparação com o melhor baseline.
• Controle de Trade-off: Ao variar o parâmetro de penalidade de latência $\delta$ na relaxação de Lagrange, o roteador fornece uma curva de trade-off controlável entre utilidade e latência, superando baselines que não conseguem equilibrar essas métricas efetivamente.
• Desempenho do Estimador: O baseline baseado em throughput (que ignora interferência de decode) mostrou um MAPE de 85%, enquanto o estimador SFS reduziu isso para 5%, destacando a necessidade de simular a dinâmica completa do framework de serviço.

Significância e Alegações

O artigo afirma que a otimização conjunta de acurácia, custo e latência é essencial para o deploy eficiente de LLMs em cargas de trabalho dinâmicas. Os autores argumentam que os roteadores existentes falham porque tratam a latência como uma preocupação de nível de sistema separada da seleção de modelo, levando a uma utilização de recursos suboptimal e violações de SLO.

Ao integrar um estimador de latência baseado em simulação e leve diretamente na decisão de roteamento, o framework proposto evita instâncias sobrecarregadas enquanto preserva um forte desempenho de acurácia-custo. O trabalho demonstra que é possível alcançar ganhos significativos de utilidade (até 40%) sem sacrificar as restrições de latência, unificando efetivamente os objetivos anteriormente isolados de "roteamento inteligente" (acurácia/custo) e "balanceamento de carga" (latência). Os autores posicionam isso como uma solução prática para implantações do mundo real onde as cargas de trabalho de consultas são dinâmicas e os SLOs são rigorosos.