Resumen Técnico: DiLaServe

Planteamiento del Problema

Los Modelos de Lenguaje de Difusión (DLMs) han emergido como una alternativa prometedora a los modelos de lenguaje autorregresivos (LLMs), ofreciendo la capacidad de generar múltiples tokens en paralelo durante cada paso de eliminación de ruido (denoising). Esta paralelismo permite teóricamente un rendimiento de inferencia significativamente mayor en comparación con la generación secuencial de tokens de los modelos autorregresivos. Sin embargo, el despliegue de los DLMs en sistemas de servicio de producción presenta desafíos únicos que impiden la realización de estas ganancias de rendimiento mientras se cumplen estrictos Objetivos de Nivel de Servicio (SLOs) de latencia.

Los principales desafíos identificados son:

1. Compromiso Velocidad-Calidad: Los DLMs utilizan un proceso de eliminación de ruido basado en la confianza donde los tokens solo se desenmascaran si su confianza predicha supera un umbral. Reducir este umbral reduce el número de pasos de eliminación de ruido (mejorando la velocidad) pero conlleva el riesgo de desenmascarar tokens incorrectos (degradando la calidad). Los sistemas existentes carecen de mecanismos para ajustar dinámicamente este umbral por cada solicitud para equilibrar el cumplimiento de los SLO con la calidad de la generación.
2. Compromiso Latencia-Rendimiento a Nivel de Clúster: Los DLM son computacionalmente intensivos por paso y se benefician del Paralelismo de Tensores (TP). Sin embargo, aumentar el grado de TP reduce la latencia por paso pero reduce el número total de instancias de modelo que un clúster puede soportar, disminuyendo así el rendimiento agregado. Las configuraciones estáticas de clúster no logran adaptarse a las cargas de trabajo fluctuantes, lo que conduce a retrasos excesivos por cola bajo alta carga o a una latencia subóptima bajo baja carga.
3. Heterogeneidad del Cache de KV Aproximado: A diferencia de los modelos autorregresivos, los DLMs no pueden usar un cache de KV exacto debido a la atención bidireccional. Las técnicas recientes de cache de KV aproximado introducen costos computacionales no uniformes: los "pasos de cache" (reutilizar estados de KV) son económicos, mientras que los "pasos de recomputación" (refrescar estados de KV) son costosos. Los sistemas de servicio deben tener en cuenta esta heterogeneidad a nivel de paso para estimar con precisión la latencia y la carga.

Metodología

Los autores presentan DiLaServe, un sistema de servicio a nivel de clúster diseñado específicamente para DLMs. DiLaServe integra tres mecanismos principales para abordar los desafíos mencionados:

1. Ajuste Dinámico del Umbral de Confianza

DiLaServe trata el umbral de confianza como una perilla de control para cada solicitud.

• Selección Consciente de SLO: Para cada solicitud, el sistema predice el número restante de pasos de eliminación de ruido requerido bajo diferentes umbrales candidatos. Selecciona el umbral de confianza más alto que asegure que la latencia restante estimada encaje dentro del presupuesto de SLO restante de la solicitud.
• Control de Carga Adaptativo: Para evitar que la carga agregada exceda la capacidad del clúster (lo que causaría retrasos de cola y violaciones de SLO), el sistema limita el umbral de confianza máximo disponible para cada solicitud. Calcula la carga agregada del peor de los casos asumiendo que todas las solicitudes usan su umbral máximo permitido y asegura que esta suma permanezca dentro de la capacidad de procesamiento del clúster.
• Predicción de Pasos: Un modelo de gradient boosting ligero, entrenado fuera de línea, predice los pasos de eliminación de ruido restantes basándose en características de tiempo de ejecución (progreso de desenmascarado, estadísticas de confianza de tokens y longitud de salida). Estas predicciones se actualizan en línea a medida que la solicitud progresa, reduciendo significativamente el error de predicción en comparación con las estimaciones de un solo paso.

2. Programación de Grano Fino

DiLaServe programa las solicitudes a la granularidad de los pasos de eliminación de ruido individuales.

• Selección de Instancia: El programador asigna el siguiente paso de eliminación de ruido a la instancia de modelo con el menor tiempo de finalización de paso predicho, considerando tanto la carga actual de la instancia como su grado de Paralelismo de Tensores.
• Migración: Las solicitudes pueden migrarse entre instancias entre pasos. Dado que los pasos de eliminación de ruido son sin estado sin el cache de KV (o solo requieren el estado de KV en los pasos de recomputación), la migración es ligera. Esto permite un equilibrio de carga de grano fino y reduce la latencia de cola.

3. Reconfiguración del Clúster mediante Programación Lineal Entera (ILP)

Para adaptarse a los patrones cambiantes de carga de trabajo, DiLaServe resuelve periódicamente un ILP de dos etapas:

• Etapa 1 (Planificación de Capacidad): Determina el número óptimo de instancias de modelo en cada grado de TP para maximizar el umbral de confianza promedio (y, por lo tanto, la calidad) asegurando la suficiencia de capacidad en estado estacionario y la satisfacción de los SLO.
• Etapa 2 (Planificación de Reconfiguración): Calcula un plan de migración para transicionar de la configuración actual del clúster a la configuración objetivo con un overhead mínimo, priorizando la preservación de las instancias existentes para minimizar la interrupción del servicio.

4. Soporte para Cache de KV Aproximado

DiLaServe modela explícitamente la heterogeneidad introducida por el cache de KV aproximado. Distingue entre "pasos de cache" y "pasos de recomputación" al estimar la carga de la solicitud, la capacidad del clúster y la latencia restante. Crucialmente, restringe la migración de solicitudes para que ocurra solo en los pasos de recomputación para evitar el costo de reconstruir los caches de KV en la instancia de destino.

Contribuciones Clave

• Sistema DiLaServe: El primer sistema de servicio a nivel de clúster diseñado específicamente para Modelos de Lenguaje de Difusión, abordando los únicos compromisos de velocidad-calidad y latencia-rendimiento inherentes a la arquitectura.
• Optimización Conjunta: Un enfoque novedoso que optimiza conjuntamente los umbrales de confianza por solicitud, el control de carga en todo el clúster y la reconfiguración dinámica del clúster (asignación de grado de TP).
• Integración de Cache de KV Aproximado: Un marco que incorpora los costos no uniformes del cache de KV aproximado en las decisiones de programación y reconfiguración, permitiendo un servicio eficiente sin sacrificar los beneficios del cache.
• Predicción de Pasos: Un mecanismo de predicción de pasos en línea que aprovecha las características de tiempo de ejecución para estimar con precisión el trabajo restante, permitiendo una selección de umbral precisa y consciente de los SLO.

Resultados

Los autores evaluaron DiLaServe en clústeres de 16 GPUs utilizando trazas de servicio de LLM del mundo real (derivadas de ShareGPT y BurstGPT) y benchmarks de precisión estándar (GSM8K, MMLU-Pro, MBPP). El sistema fue probado contra baselines adaptados de sistemas de servicio existentes (INFaaS y Llumnix) que utilizan umbrales de confianza fijos.

• Cumplimiento de SLO: DiLaServe mejoró el cumplimiento de los SLO hasta en 56.6 puntos porcentuales en comparación con los baselines bajo alta carga. En las evaluaciones de trazas del mundo real, logró una mejora de 30.2 puntos porcentuales.
• Latencia: La latencia de solicitud de extremo a extremo se redujo hasta en un 46%.
• Calidad: Estos avances se lograron con una degradación de precisión mínima, típicamente inferior al 1% (por ejemplo, una caída de 0.9% en la precisión bajo alta carga, y una caída de 0.09 puntos en las puntuaciones de LLM-judge en datos conversacionales).
• Estudios de Ablación: Los autores demostraron que tanto el ajuste dinámico del umbral como el control de carga en todo el sistema son críticos; eliminar el control de carga redujo el cumplimiento de los SLO hasta en 42.4 puntos porcentuales en escenarios de alta carga. Del mismo modo, la reconfiguración mejoró significativamente el rendimiento a través de varios niveles de carga.

Significancia

El artículo afirma que DiLaServe demuestra la viabilidad de servir Modelos de Lenguaje de Difusión a escala cumpliendo con requisitos estrictos de latencia. Al modelar explícitamente las características únicas de los DLMs —específicamente el proceso de eliminación de ruido basado en la confianza y el cache de KV aproximado— DiLaServe desbloquea el potencial de rendimiento de estos modelos sin sacrificar la calidad de la generación o el cumplimiento de los SLO. El trabajo sugiere que los mecanismos de control dinámico y conscientes de la calidad son esenciales para la próxima generación de sistemas de servicio de modelos de lenguaje, yendo más allá de las configuraciones estáticas para adaptar el equilibrio entre velocidad, calidad y utilización de recursos.