Resumen Técnico: PARS – Programador de Clasificación Consciente del Prompt para el Servicio de LLM de Baja Latencia

Declaración del Problema

El despliegue de Modelos de Lenguaje Extensos (LLM), particularmente la generación emergente de modelos con capacidad de razonamiento (por ejemplo, DeepSeek R1, GPT-o1), enfrenta un desafío crítico en la programación de inferencia: el bloqueo de Cabecera de Línea (HOL - Head-of-Line). Los sistemas de servicio tradicionales, como vLLM y Orca, dependen predominantemente de políticas de Primero en Llegar, Primero en Ser Atendido (FCFS). En FCFS, las tareas de inferencia de larga duración (a menudo caracterizadas por trazas de razonamiento de Cadena de Pensamiento altamente variables y extensas) bloquean las tareas más cortas que se encuentran en cola detrás de ellas, lo que provoca picos significativos de latencia y una reducción del rendimiento (throughput).

Si bien la política de Tarea Más Corta Primero (SJF) es teóricamente óptima para minimizar la latencia promedio, su aplicación a los LLM se ve obstaculizada por la naturaleza estocástica y autorregresiva de la generación de tokens. No se pueden conocer con exactitud las longitudes de salida previas a la ejecución. Los intentos existentes para aproximar SJF mediante la predicción de longitud sufren tres limitaciones principales:

1. Sensibilidad al Ruido: Los métodos de regresión puntual (pointwise) y de clasificación de listas (listwise) luchan contra la variabilidad inherente de las salidas de los LLM, donde prompts similares pueden producir longitudes fluctuantes entre ejecuciones, introduciendo señales de entrenamiento ruidosas.
2. Complejidad de Razonamiento: Los predictores estándar suelen fallar al no contabilizar la complejidad total de las trazas de razonamiento de múltiples pasos comunes en los modelos modernos.
3. Falta de Generalización: Muchos enfoques requieren el reentrenamiento específico del modelo, lo que los hace poco prácticos para despliegues de modelos diversos o propietarios.

Metodología: Marco de Trabajo PARS

Los autores presentan PARS (Prompt-Aware Ranking Scheduler), un marco ligero diseñado para mitigar el bloqueo HOL mediante la aproximación de la programación SJF a través del aprendizaje de clasificación por pares (pairwise learning-to-rank). PARS consta de dos componentes principales:

1. Predictor Entrenado por Pares

En lugar de predecir longitudes de salida absolutas (pointwise) o clasificar listas completas (listwise), PARS se centra en comparaciones por pares utilizando una pérdida de clasificación por margen (margin ranking loss).

• Objetivo de Entrenamiento: El modelo se entrena con pares de prompts $(A, B)$ con etiquetas binarias que indican qué prompt se espera que genere una respuesta más larga.
• Filtrado de Ruido: Para abordar la estocasticidad, los datos de entrenamiento se filtran para incluir solo pares de prompts con una diferencia significativa en las longitudes de respuesta reales (definida por un umbral de varianza relativa $\delta = 0.2$). Esto asegura que el modelo aprenda de pares "informativos" donde el orden relativo es robusto frente al ruido de muestreo, en lugar de luchar con comparaciones de empate cercano.
• Arquitectura: El predictor utiliza un backbone ligero BERT-base-uncased. Extrae el embedding del token [CLS] del prompt y lo pasa a través de una capa lineal para generar una puntuación escalar que representa el costo esperado de la respuesta.
• Función de Pérdida: El modelo se optimiza mediante la pérdida de clasificación por margen: $L(s_A, s_B, y) = \max(0, -y \cdot (s_A - s_B) + \text{margin})$, imponiendo un margen de separación entre las puntuaciones de los pares correctamente clasificados.

2. Programador Guiado por el Predictor

El predictor entrenado se integra en el sistema de servicio vLLM para gestionar la Cola de Espera (W) y la Cola de Ejecución (R).

• Lógica de Programación: Tras la llegada, las solicitudes son puntuadas por el predictor. La cola de espera se ordena mediante estas puntuaciones (orden ascendente de longitud esperada) para priorizar las tareas más cortas, aproximando eficazmente SJF.
• Prevención de Inanición (Starvation): Para evitar que las tareas de larga duración sean postergadas indefinidamente, un mecanismo aumenta la prioridad de cualquier solicitud que haya esperado más allá de un umbral configurable (por defecto: 2 minutos).
• Implementación: El programador opera al nivel de iteración, es compatible con el procesamiento por lotes continuo (continuous batching) y no requiere modificaciones en los backends de C++/CUDA subyacentes de vLLM.

Principales Contribuciones

1. Nuevo Enfoque por Pares: El artículo propone un método de clasificación por pares con pérdida de clasificación por margen y filtrado de datos, que demuestra una mayor estabilidad contra la naturaleza estocástica de la generación de LLM en comparación con las bases de referencia pointwise y listwise.
2. Diseño Consciente del Razonamiento: El marco incluye explícitamente las trazas de razonamiento completas (pensamientos intermedios y justificaciones) en la definición de la longitud de la respuesta, lo que lo hace adecuado para los modelos de razonamiento modernos.
3. Integración Fluida: PARS se implementa como un módulo de código abierto dentro de vLLM (aproximadamente 1,000 líneas de código), sin requerir cambios en el motor de inferencia central.
4. Generalización entre Modelos: Los autores demuestran que un predictor entrenado en un modelo (por ejemplo, GPT-4) puede programar eficazmente tareas para otros modelos diversos (por ejemplo, Llama 3.1, DeepSeek-R1) sin reentrenamiento.

Resultados Experimentales

Se realizaron evaluaciones extensas en múltiples conjuntos de datos (Alpaca, LMSYS-Chat-1M, MATH-plus, Evolved Codealpaca) y modelos (Llama 3.1, GPT-4, DeepSeek-R1).

• Precisión del Predictor: PARS alcanzó la mayor precisión de clasificación de Kendall's Tau ($\tau_b$) en todos los conjuntos de datos, alcanzando hasta 0.96 en el conjunto de datos Alpaca. Superó significativamente a las bases de referencia pointwise y listwise, particularmente en modelos de razonamiento (por ejemplo, una mejora de 5.5× sobre el SJF pointwise en LMSYS-Chat-1M con DeepSeek-R1).
• Reducción de Latencia: En cargas de trabajo del mundo real, PARS redujo la latencia promedio por token hasta en 15.7× en comparación con el programador FCFS por defecto de vLLM en Llama 3.1. Bajo condiciones de carga explosiva (2,000 solicitudes simultáneas), logró una aceleración de hasta 7.7× en Llama y más de 2× en DeepSeek-R1.
• Latencia de Cola (Tail Latency): PARS mejoró significativamente la latencia p90, reduciéndola hasta en 12.3× en comparación con FCFS, acercando el rendimiento al "Oracle SJF" idealizado (que utiliza las longitudes reales).
• Rendimiento y Sobrecarga (Overhead): El método mantuvo o incluso mejoró ligeramente el rendimiento del sistema (solicitudes por segundo) al aumentar la homogeneidad de los lotes. La sobrecarga de tiempo de ejecución para la puntuación y el ordenamiento fue insignificante (aprox. 0.08% del tiempo total de servicio), sin añadir latencia adicional a la ejecución de las solicitudes.
• Generalización: La variante "Cross-Model PARS", entrenada únicamente con datos de GPT-4, programó con éxito tareas para Llama y DeepSeek-R1, superando a las bases de referencia pointwise específicas de cada modelo y equiparándose a los enfoques listwise.

Significado y Reivindicaciones

El artículo plantea que, a medida que los LLM con capacidad de razonamiento se vuelvan prevalentes, la variabilidad en los tiempos de inferencia hará que el FCFS sea cada vez más ineficiente. La importancia de PARS radica en su capacidad para proporcionar una alternativa práctica, desplegable y ligera a las soluciones de programación pesadas o específicas de un modelo.

Los autores afirman que:

• La clasificación por pares es superior para la programación de LLM porque se centra en comparaciones relativas robustas en lugar de predicciones absolas inestables.
• La generalización es alcanzable sin reentrenamiento, lo que permite que un único predictor gestione flotas heterogéneas de LLM.
• La sobrecarga mínima hace que el enfoque sea viable en entornos de producción donde la capacidad de respuesta es crítica.

El trabajo concluye que, si bien la magnitud de las ganancias depende de la variabilidad de la longitud de la tarea, PARS ofrece un mecanismo robusto para capturar costos de ejecución relativos, mitigando eficazmente el bloqueo HOL y permitiendo un servicio de baja latencia para la próxima generación de aplicaciones de IA. El software y los conjuntos de datos se liberan como código abierto para facilitar su adopción tanto en investigación como en despliegues del mundo real.