Resumo Técnico: PARS – Escalonador de Ranking Sensível ao Prompt para Atendimento de LLM de Baixa Latência

Declaração do Problema

A implantação de Grandes Modelos de Linguagem (LLMs), particularmente a geração emergente de modelos capazes de raciocínio (ex: DeepSeek R1, GPT-o1), enfrenta um desafio crítico no escalonamento de inferência: o bloqueio de Cabeça de Linha (Head-of-Line - HOL). Sistemas de atendimento tradicionais, como vLLM e Orca, baseiam-se predominantemente em políticas de Primeiro a Chegar, Primeiro a Ser Atendido (FCFS). No FCFS, tarefas de inferência de longa duração (frequentemente caracterizadas por traços de raciocínio de Cadeia de Pensamento altamente variáveis e extensos) bloqueiam tarefas mais curtas na fila, levando a picos significativos de latência e redução de vazão (throughput).

Embida que a política de Trabalho Mais Curto Primeiro (Shortest-Job-First - SJF) seja teoricamente ideal para minimizar a latência média, sua aplicação a LLMs é dificultada pela natureza estocástica e autorregressiva da geração de tokens. O comprimento exato da saída não pode ser conhecido antes da execução. Tentativas existentes de aproximar o SJF via predição de comprimento sofrem de três limitações principais:

1. Sensibilidade ao Ruído: Métodos de predição pontual (regressão) e de ranking de lista (listwise) lutam contra a variabilidade inerente das saídas de LLM, onde prompts similares podem gerar comprimentos flutuantes entre execuções, introduzindo sinais de treinamento ruidosos.
2. Complexidade de Raciocínio: Os preditores padrão muitas vezes falham em considerar toda a complexidade dos traços de raciocínio de múltiplos passos comuns em modelos modernos.
3. Falta de Generalização: Muitas abordagens exigem retreinamento específico para o modelo, tornando-as impraticáveis para implantações de modelos diversos ou proprietários.

Metodologia: Estrutura PARS

Os autores introduzem o PARS (Prompt-Aware Ranking Scheduler), uma estrutura leve projetada para mitigar o bloqueio HOL através da aproximação do escalonamento SJF via aprendizado de ranking pareado (pairwise learning-to-rank). O PARS consiste em dois componentes primários:

1. Preditor Treinado em Pares

Em vez de prever comprimentos absolutos de saída (pontual) ou classificar listas inteiras (listwise), o PARS foca em comparações pareadas usando um perda de ranking de margem (margin ranking loss).

• Objetivo de Treinamento: O modelo é treinado em pares de prompts $(A, B)$ com rótulos binários indicando qual prompt se espera que gere uma resposta mais longa.
• Filtragem de Ruído: Para lidar com a estocasticidade, os dados de treinamento são filtrados para incluir apenas pares de prompts com uma diferença significativa nos comprimentos de resposta reais (definida por um limiar de variância relativa $\delta = 0.2$). Isso garante que o modelo aprenda com pares "informativos" onde a ordenação relativa é robusta contra o ruído de amostragem, em vez de lutar com comparações de empate próximo.
• Arquitetura: O preditor utiliza um backbone leve BERT-base-uncased. Ele extrai o embedding do token [CLS] do prompt e o passa por uma camada linear para gerar um score escalar representando o custo esperado da resposta.
• Função de Perda: O modelo é otimizado usando perda de ranking de margem: $L(s_A, s_B, y) = \max(0, -y \cdot (s_A - s_B) + \text{margin})$, impondo uma margem de separação entre os scores de pares classificados corretamente.

2. Escalonador Guiado pelo Preditor

O preditor treinado é integrado ao sistema de atendimento vLLM para gerenciar a Fila de Espera (W) e a Fila de Execução (R).

• Lógica de Escalonamento: Ao chegar, as requisições são pontuadas pelo preditor. A fila de espera é ordenada por esses scores (ordem ascendente de comprimento esperado) para priorizar tarefas mais curtas, efetivamente aproximando o SJF.
• Prevenção de Inanição (Starvation): Para evitar que tarefas de longa duração sejam adiadas indefinidamente, um mecanismo aumenta a prioridade de qualquer requisição que tenha esperado além de um limiar configurável (padrão: 2 minutos).
• Implementação: O escalonador opera ao nível de iteração, é compatível com batching contínuo e não requer modificações nos backends C++/CUDA subjacentes do vLLM.

Principais Contribuições

1. Abordagem Pareada Inovadora: O artigo propõe um método de aprendizado de ranking pareado com perda de ranking de margem e filtragem de dados, que demonstra maior estabilidade contra a natureza estocástica da geração de LLM em comparação com as bases pontuais e de lista.
2. Design Consciente de Raciocínio: A estrutura inclui explicitamente traços de raciocínio completos (pensamentos intermediários e justificativas) na definição do comprimento da resposta, tornando-a adequada para os LLMs de raciocínio modernos.
3. Integração Fluida: O PARS é implementado como um módulo de código aberto dentro do vLLM (aproximadamente 1.000 linhas de código), sem exigir mudanças no motor de inferência principal.
4. Generalização entre Modelos: Os autores demonstram que um preditor treinado em um modelo (ex: GPT-4) pode escalar tarefas para outros modelos diversos (ex: Llama 3.1, DeepSeek-R1) sem retreinamento.

Resultados Experimentais

Avaliações extensas foram conduzidas em múltiplos conjuntos de dados (Alpaca, LMSYS-Chat-1M, MATH-plus, Evolved Codealpaca) e modelos (Llama 3.1, GPT-4, DeepSeek-R1).

• Precisão do Preditor: O PARS alcançou a maior precisão de ranking de Kendall's Tau ($\tau_b$) em todos os datasets, atingindo até 0.96 no dataset Alpaca. Superou significativamente as bases pontuais e de lista, particularmente em modelos de raciocínio (ex: uma melhoria de 5.5× sobre o SJF pontual no LMSYS-Chat-1M com DeepSeek-R1).
• Redução de Latência: Em cargas de trabalho do mundo real, o PARS reduziu a latência média por token em até 15.7× em comparação com o escalonador FCFS padrão do vLLM no Llama 3.1. Sob condições de carga intensa (2.000 requisições simultâneas), alcançou até 7.7× de aceleração no Llama e mais de 2× no DeepSeek-R1.
• Latência de Cauda (Tail Latency): O PARS melhorou significativamente a latência p90, reduzindo-a em até 12.3× em comparação ao FCFS, aproximando o desempenho do "Oracle SJF" idealizado (que utiliza comprimentos reais).
• Vazão e Overhead: O método manteve ou melhorou ligeiramente a vazão do sistema (requisições por segundo) ao aumentar a homogeneidade do batch. O overhead de tempo de execução para pontuação e ordenação foi insignificante (aprox. 0.08% do tempo total de atendimento), sem adicionar latência adicional à execução das requisições.
• Generalização: A variante "Cross-Model PARS", treinada exclusivamente em dados do GPT-4, escalou com sucesso tarefas para Llama e DeepSeek-R1, superando as bases pontuais específicas de modelo e igualando as abordagens de lista.

Significância e Alegações

O artigo postula que, à medida que os LLMs capazes de raciocínio se tornam prevalentes, a variabilidade nos tempos de inferência tornará o FCFS cada vez mais ineficiente. A significância do PARS reside em sua capacidade de fornecer uma alternativa prática, implantável e leve às soluções de escalonamento pesadas ou específicas de modelo.

Os autores alegam que:

• O ranking pareado é superior para o escalonamento de LLM porque foca em comparações relativas robustas em vez de predições absolutas instáveis.
• A generalização é alcançável sem retreinamento, permitindo que um único preditor gerencie frotas heterogêneas de LLMs.
• O overhead mínimo torna a abordagem viável para ambientes de produção onde a responsividade é crítica.

O trabalho conclui que, embora a magnitude dos ganhos dependa da variabilidade do comprimento da tarefa, o PARS oferece um mecanismo robusto para capturar custos de execução relativos, mitigando efetivamente o bloqueio HOL e permitindo o atendimento de baixa latência para a próxima geração de aplicações de IA. O software e os datasets foram liberados como código aberto para facilitar a adoção tanto em pesquisa quanto em implementações do mundo real.