Resumen Técnico: Un Marco Teórico de Colas para el Análisis de Estabilidad de la Inferencia de LLM con Restricciones de Memoria de Caché KV

Enunciado del Problema

La adopción rápida de los Modelos de Lenguaje Grande (LLM) ha creado desafíos significativos para una inferencia eficiente a escala. A diferencia de las cargas de trabajo tradicionales, la inferencia de LLM está limitada por un doble cuello de botella: el rendimiento computacional y la sobrecarga de memoria de la caché de claves y valores (KV). Aunque la caché KV acelera la decodificación reutilizando representaciones de tokens generados previamente, consume una cantidad sustancial de memoria GPU, convirtiéndose a menudo en la principal restricción de capacidad.

Los modelos de colas existentes para la inferencia de LLM se centran típicamente en los límites computacionales o tratan la memoria como una restricción estática, fallando en capturar la interacción dinámica entre el cómputo y el crecimiento de la memoria durante el proceso de inferencia. Específicamente, a medida que una solicitud avanza a través de las fases de prompt (prellenado) y generación de tokens (decodificación), su huella de memoria evoluciona linealmente. Si la tasa de llegada de solicitudes excede la tasa de servicio efectiva del sistema, la cual está determinada conjuntamente por el cómputo de la GPU y la memoria de caché KV disponible, las colas crecen sin límite, lo que conduce a inestabilidad del sistema, latencia inaceptable y una experiencia de usuario degradada. Existe una falta de marcos teóricos rigurosos que incorporen explícitamente estas restricciones dinámicas de memoria para determinar condiciones de estabilidad y guiar el aprovisionamiento de GPU.

Metodología

Los autores proponen un nuevo marco teórico de colas que modela la inferencia de LLM como un sistema de colas de tiempo discreto, conservador de trabajo, sujeto a una restricción estricta de memoria de caché KV ($M$).

1. Modelo del Sistema

• Estructura de la Solicitud: Cada solicitud $i$ consiste en un prompt de tamaño $s_i$ y una respuesta de longitud $o_i$, muestreados de una distribución conjunta $F_{in-out}$.
• Fases de Procesamiento:
  • Fase de Prompt: Los prompts se procesan en fragmentos de tamaño fijo ($\hat{s}$). El uso de memoria para el $j$-ésimo fragmento de un prompt crece linealmente ($j \times \hat{s}$).
  • Fase de Decodificación: A medida que se generan tokens secuencialmente, el uso de memoria aumenta en la cantidad de caché KV de un token por paso. La memoria total para una solicitud alcanza $s_i + o_i$ al completarse.
• Restricción de Memoria: El sistema debe satisfacer $\sum_{i \in S(t)} (c_i^{(t)}\hat{s} + d_i^{(t)}) \le M$ en todo momento $t$, donde $S(t)$ es el conjunto de solicitudes activas, $c_i^{(t)}$ es el índice del fragmento de prompt procesado y $d_i^{(t)}$ es el índice del token de salida procesado.
• Programación: El marco asume agrupación continua y políticas conservadoras de trabajo (por ejemplo, Primero en Llegar, Primero en Servir), donde el servidor procesa el prompt de la siguiente prioridad siempre que la capacidad lo permita.

2. Derivación Teórica

Los autores definen el uso acumulado de memoria durante el ciclo de vida $g(s, o)$ para una sola solicitud, que representa el "área" total de memoria consumida durante todo el tiempo de servicio de la solicitud.
$$g(s, o) := \sum_{k=1}^{s/\hat{s}} k\hat{s} + \sum_{j=1}^{o} (s+j)$$
Basándose en esto, derivan la tasa de servicio estable máxima $\mu$:
$$\mu = \frac{M}{\bar{b} \mathbb{E}_{s,o \sim p(s,o)}[g(s, o)]}$$
donde $\bar{b}$ es el tiempo de procesamiento de lote normalizado.

3. Análisis de Estabilidad

Utilizando un argumento de deriva de Lyapunov adaptado a la dinámica de memoria lineal a trozos de los LLM, el artículo establece dos teoremas clave:

• Inestabilidad: Si la tasa de llegada $\lambda > \mu$, el sistema está sobrecargado y el número de solicitudes crece hasta el infinito.
• Estabilidad: Si $\lambda < \mu(1 - \delta)$, donde $\delta = \frac{\text{ess sup}(s+o)}{M} \ll 1$ representa la holgura de memoria requerida para acomodar el trabajo individual más grande, el sistema es estable (cadena de Markov recurrente positiva).

Contribuciones Clave

1. Modelado Novel: El artículo introduce el primer modelo de colas para la inferencia de LLM que integra explícitamente tanto la demanda computacional como las restricciones dinámicas de memoria de GPU gobernadas por la caché KV. Generaliza modelos anteriores al añadir conciencia de memoria y refinar configuraciones de programación con etapas de prellenado fragmentado.
2. Condiciones de Estabilidad Rigurosas: Los autores derivan condiciones de estabilidad e inestabilidad en forma cerrada. Estos resultados proporcionan una base fundamentada para determinar el rendimiento sostenible máximo de un sistema de servicio de LLM bajo cargas de trabajo estocásticas.
3. Validación Empírica: Las predicciones teóricas se validan mediante experimentos extensos en entornos de producción reales de GPU (NVIDIA A100), abarcando configuraciones de GPU única y multi-GPU (paralelismo de datos).

Resultados Experimentales

Los autores realizaron experimentos utilizando el modelo Meta-Llama-3-8B en un banco de pruebas de 8 GPUs con el motor de inferencia vLLM.

• Precisión: La tasa de servicio teórica $\mu_{theory}$ coincide estrechamente con la tasa medida empíricamente $\mu_{gpu}$. A través de diversas relaciones prompt-a-decodificación (P/D) (1:1, 2:1, 1:2) y un conjunto de datos del mundo real (LongBench v2), el error de predicción (Porcentaje Absoluto de Brecha) se mantuvo dentro del 10% (específicamente oscilando entre 2.25% y 8.38%).
• Escalabilidad Multi-GPU: En una configuración de clúster de 8 GPUs, el modelo teórico escaló linealmente, logrando una brecha de solo 3.38% entre las tasas predichas y observadas.
• Dinámicas de Estabilidad: Los experimentos confirmaron que cuando $\lambda < \mu$, las longitudes de la cola permanecieron acotadas (por ejemplo, $\le 5$ para GPU única), mientras que $\lambda > \mu$ resultó en un crecimiento lineal y sin límites de la cola.

Significado y Afirmaciones

El artículo afirma proporcionar una herramienta poderosa para el despliegue de sistemas y el aprovisionamiento de recursos. Al combinar una tasa de llegada de solicitudes estimada con la tasa de servicio estable derivada, los operadores pueden calcular el tamaño de clúster necesario para:

• Evitar la compra excesiva costosa (GPUs inactivas).
• Prevenir el aprovisionamiento insuficiente que viola el rendimiento (colas sin límites y picos de latencia).

Los autores enfatizan que su marco ofrece una "base fundamentada" para la planificación de capacidad, permitiendo a los profesionales equilibrar cuantitativamente la capacidad y la demanda. Señalan que, aunque su trabajo actual se centra en despliegues de paralelismo de datos, el marco puede extenderse al paralelismo tensorial ajustando los parámetros de memoria efectiva y tiempo de lote, aunque el paralelismo de tuberías y la desagregación requieren más estudio. Los resultados confirman que incorporar la dinámica de memoria en los modelos de colas es esencial para un análisis de estabilidad preciso en los modernos sistemas de servicio de LLM.