SUN: Shared Use of Next-token Prediction for Efficient Multi-LLM Disaggregated Serving

El artículo presenta SUN, un enfoque pionero que optimiza el servicio de múltiples LLMs al permitir el uso compartido de módulos de decodificación congelados entre diferentes modelos, logrando así una mayor utilización de GPU y un rendimiento hasta dos veces superior sin sacrificar la precisión.

Lo esencial

Imagina que tienes un restaurante muy popular que ofrece muchos tipos de cocina diferentes: italiana, japonesa, mexicana y vegana.

El Problema: La Cocina Desconectada

En el mundo de las Inteligencias Artificiales (como los LLMs), los servidores funcionan de manera similar. Tienes muchos "modelos" diferentes (uno para matemáticas, otro para escribir código, otro para hablar de leyes).

Actualmente, la forma de servir estos modelos es como tener cocinas separadas para cada plato:

1. La fase de "Prefill" (Preparación): Es como leer la receta y preparar los ingredientes. Es rápido y requiere mucha fuerza bruta (cálculo).
2. La fase de "Decode" (Cocción): Es como cocinar el plato paso a paso, agregando un ingrediente a la vez. Esto es lento y requiere mucha memoria (espacio en la nevera).

El problema actual: En los sistemas tradicionales, cada modelo tiene su propia cocina de "cocción" (Decode) dedicada. Si el modelo de "Matemáticas" tiene mucha gente esperando, su cocina está llena. Pero si el modelo de "Leyes" no tiene clientes, su cocina está vacía, con los hornos apagados y la nevera llena de espacio inútil. Es un desperdicio enorme de dinero y energía.

La Solución: SUN (El Chef Compartido)

Los autores de este paper proponen algo llamado SUN (Shared Use of Next-token Prediction, o "Uso Compartido de la Predicción del Siguiente Token").

Imagina que en lugar de tener cocinas separadas, tienes un solo chef maestro (el módulo de Decode) que es experto en cocinar cualquier plato, y varios ayudantes de cocina (los módulos de Prefill) que se especializan en preparar los ingredientes específicos para cada tipo de comida.

¿Cómo funciona SUN?

1. El Chef Maestro se congela: El "chef maestro" (el modelo de Decode) se entrena una vez y se queda quieto. Es el mismo para todos. No lo cambiamos.
2. Los Ayudantes se adaptan: Solo entrenamos a los "ayudantes" (el módulo de Prefill) para que sepan cómo preparar los ingredientes exactos que el Chef Maestro necesita para cada tarea específica (matemáticas, código, etc.).
3. La Magia: Como el Chef Maestro es el mismo para todos, podemos mezclar las órdenes. Si el modelo de Matemáticas tiene 10 pedidos y el de Código tiene 2, el Chef Maestro cocina los 12 platos juntos en una sola olla grande, en lugar de tener 2 ollas pequeñas, una llena y otra vacía.

El resultado: Se aprovecha al máximo el espacio de la cocina (la memoria de la GPU). Se necesita menos personal (menos tarjetas gráficas) para servir la misma cantidad de comida, y todo sale más rápido.

El Toque Extra: QSUN (El Chef con Guantes de Goma)

A veces, el Chef Maestro es tan grande que ocupa toda la cocina. Para ahorrar espacio, los autores proponen QSUN.

Imagina que le ponemos al Chef Maestro guantes de goma (cuantización) para que ocupe menos espacio y sea más rápido moviéndose. Pero, ¡cuidado! Si le ponemos guantes a un chef que está acostumbrado a trabajar con ingredientes frescos (precisión alta), puede que no sepa cómo manejarlos y la comida salga mal.

La solución de QSUN:
En lugar de cambiar los guantes del chef, enseñamos a los ayudantes (Prefill) a preparar los ingredientes de una forma especial que el Chef con guantes pueda entender perfectamente.

• Los ingredientes se preparan con precisión total (sin guantes).
• El Chef los cocina con guantes (rápido y eficiente).
• El resultado: La comida sabe igual de rica (alta precisión) pero se cocina mucho más rápido y ocupa menos espacio.

En Resumen

• Antes: Cada modelo tenía su propia cocina vacía o llena, desperdiciando recursos.
• Con SUN: Todos comparten un solo chef experto. Los ayudantes se adaptan a lo que el chef necesita. Se ahorra dinero y se sirve más rápido.
• Con QSUN: El chef usa herramientas más ligeras (guantes), pero los ayudantes ajustan su trabajo para que la comida salga perfecta.

¿Por qué importa esto?
Porque hace que las aplicaciones de Inteligencia Artificial sean más baratas, más rápidas y más accesibles para todos, permitiendo que muchas IA especializadas trabajen juntas sin colapsar los servidores. Es como pasar de tener 10 restaurantes pequeños y medio vacíos a tener un solo "food truck" gigante y súper eficiente que sirve todo tipo de comida al mismo tiempo.

Resumen técnico

Resumen Técnico: SUN (Shared Use of Next-token Prediction)

1. El Problema: Aislamiento Inter-Modelo en el Servicio Multi-LLM

El servicio de Grandes Modelos de Lenguaje (LLM) está evolucionando hacia la ejecución simultánea de decenas o cientos de modelos especializados (por ejemplo, para razonamiento matemático, generación de código o agentes autónomos). Sin embargo, la infraestructura actual enfrenta dos desafíos principales:

• Interferencia Intra-Modelo: En el servicio tradicional, las fases de prefill (procesamiento del prompt) y decodificación (generación de tokens) compiten por recursos en la misma GPU, aumentando la latencia. La solución actual es el servicio desagregado (separar prefill y decodificación en dispositivos distintos), lo cual ha demostrado ser efectivo.
• Aislamiento Inter-Modelo (El problema central): En entornos multi-LLM, incluso con servicio desagregado, los trabajadores de decodificación (decode workers) suelen estar asignados de forma exclusiva a un modelo específico.
  • Dado que la decodificación es una tarea limitada por memoria (memory-bound) y no por cómputo, su utilización de GPU es inherentemente baja.
  • Cuando la carga de trabajo es desigual (sesgada), los modelos populares saturan sus trabajadores de decodificación, mientras que los modelos menos populares dejan sus GPUs subutilizadas.
  • El agrupamiento por lotes cruzado (cross-model batching) es imposible en este esquema, lo que resulta en una ineficiencia severa de recursos y un mayor Costo Total de Propiedad (TCO).

2. Metodología: SUN (Shared Use of Next-token Prediction)

Los autores proponen SUN, un algoritmo diseñado para eliminar el aislamiento inter-modelo permitiendo que múltiples modelos especializados compartan un único módulo de decodificación congelado.

Descomposición del Modelo:
SUN divide un Transformer solo-decodificador en dos módulos funcionales:

1. Módulo de Prefill: Genera las claves y valores (KV Cache) a partir del prompt de entrada.
2. Módulo de Decodificación: Utiliza el KV Cache para generar los siguientes tokens de forma autoregresiva.

Estrategia de Entrenamiento: Ajuste Solo de Prefill (Prefill-Only Tuning)
Para permitir el compartir el decodificador sin sacrificar la precisión, SUN emplea una estrategia de entrenamiento específica:

• Se entrena (fine-tune) solo el módulo de prefill específico para cada tarea (ej. matemáticas, código).
• El módulo de decodificación se mantiene congelado y compartido entre todos los modelos.
• Mecanismo: El módulo de prefill aprendido ajusta su salida para generar KV Caches que sean compatibles y "legibles" por el decodificador congelado. Esto resuelve el problema de incompatibilidad que surge si se intenta usar un decodificador base estándar con KV Caches generados por modelos ajustados de forma naive.

Enrutamiento Agnóstico al Modelo:

• Prefill: Las solicitudes se enrutan determinísticamente al módulo de prefill específico de la tarea.
• Decodificación: Las solicitudes de decodificación se envían a un pool compartido de trabajadores de decodificación, independientemente del modelo de origen. Esto permite el agrupamiento por lotes cruzado (cross-model batching), maximizando la utilización de las GPUs.

QSUN (Quantized SUN):
Para mejorar aún más la eficiencia, los autores proponen QSUN, que aplica cuantización de solo pesos (weight-only quantization) al módulo de decodificación compartido.

• Dado que la decodificación es limitada por memoria, la cuantización reduce significativamente el tráfico de datos y mejora la latencia.
• Para mitigar la pérdida de precisión por cuantización, se realiza un re-ajuste (re-tuning) solo del módulo de prefill. Esto permite que el prefill aprenda a generar KV Caches compatibles con el decodificador cuantizado, recuperando la precisión casi completa.

3. Contribuciones Clave

1. Compartición de Decodificación Robusta: SUN es el primer enfoque que elimina el aislamiento inter-modelo en el servicio desagregado mediante el uso de un decodificador congelado compartido, manteniendo la precisión de modelos ajustados completamente.
2. Enrutamiento para Alta Utilización: Logra un equilibrio de carga eficiente en un pool compartido de decodificadores, permitiendo reducir el número de GPUs de decodificación necesarias en un 50% sin degradar el rendimiento del sistema.
3. Decodificación Cuantizada que Preserva Precisión: QSUN demuestra que es posible cuantizar el decodificador compartido (4-bit) y recuperar la precisión mediante el re-ajuste del prefill, logrando aceleraciones significativas sin perder la capacidad de compartir recursos.

4. Resultados Experimentales

Los experimentos se realizaron en configuraciones de servicio desagregado basadas en vLLM con modelos como LLaMA3.1-8B y Qwen3.

• Precisión: SUN logra una precisión comparable al ajuste completo (Full Fine-Tuning) en diversas tareas (matemáticas, código, llamadas a herramientas), con desviaciones mínimas o incluso mejoras en ciertos benchmarks.
• Rendimiento del Sistema:
  • SUN mejora el rendimiento por GPU (throughput per GPU) hasta en 2.0x en comparación con la desagregación convencional, especialmente bajo cargas de trabajo sesgadas (distribución Zipf).
  • Mantiene el tiempo por token de salida (TPOT) dentro de un margen del 5% respecto a la configuración base.
• Eficiencia de QSUN:
  • QSUN logra una aceleración del 45% en TPOT en comparación con SUN (no cuantizado).
  • Supera a los métodos de cuantización estándar (como AWQ) tanto en precisión como en tiempo hasta el primer token (TTFT), ya que mantiene el prefill en precisión completa (evitando sobrecarga de descuantificación).
  • En escenarios de alta concurrencia y cargas sesgadas, QSUN mantiene una estabilidad superior, evitando cuellos de botella que afectan a los sistemas tradicionales.

5. Significado e Impacto

El trabajo SUN aborda un cuello de botella crítico en la infraestructura de IA moderna: la ineficiencia de recursos al servir múltiples modelos especializados.

• Reducción de Costos: Al permitir consolidar los recursos de decodificación en un pool compartido y altamente utilizado, SUN reduce drásticamente el número de GPUs necesarias, disminuyendo el TCO.
• Escalabilidad: Facilita la implementación de flujos de trabajo de agentes y sistemas multi-modelo complejos, donde la latencia y el costo son factores determinantes.
• Viabilidad de la Cuantización: Demuestra que la cuantización en entornos de servicio compartido es viable sin sacrificar la calidad del modelo, abriendo la puerta a implementaciones más eficientes energéticamente.

En resumen, SUN transforma la arquitectura de servicio de LLMs de un modelo de "recursos dedicados por modelo" a un modelo de "recursos compartidos dinámicos", resolviendo el problema de la fragmentación de capacidad en entornos de producción multi-LLM.