xLLM Technical Report

El informe técnico presenta xLLM, un marco de inferencia de modelos de lenguaje grande optimizado para entornos empresariales de alto rendimiento que, mediante una arquitectura desacoplada de servicio y motor con gestión inteligente de recursos y caché distribuida, logra un rendimiento y eficiencia significativamente superiores a soluciones existentes como MindIE y vLLM-Ascend.

Lo esencial

¡Claro que sí! Imagina que xLLM es como un sistema de gestión de tráfico aéreo de última generación diseñado para un aeropuerto gigante (que sería la empresa JD.com) donde miles de aviones (las peticiones de Inteligencia Artificial) deben despegar y aterrizar sin colisiones, retrasos ni gastar combustible de más.

Aquí tienes la explicación de este "manual técnico" traducido a un lenguaje cotidiano:

1. El Problema: El Aeropuerto Caótico

Hasta ahora, los sistemas para hacer funcionar modelos de IA (como los chatbots) eran como aeropuertos antiguos:

• Desperdicio de recursos: A veces los aviones (procesadores) estaban parados esperando instrucciones, como si un piloto esperara a que el controlador de tráfico le hablara antes de arrancar el motor.
• Falta de flexibilidad: Si llegaba una ráfaga de aviones de carga (tareas lentas) justo cuando llegaban aviones de pasajeros urgentes (chatbots en tiempo real), el sistema se bloqueaba o tardaba mucho en responder.
• Memoria llena: Los aviones necesitaban guardar sus mapas de vuelo (datos de memoria) en cajas muy pequeñas. Si el vuelo era largo, no cabían todos los datos y tenían que tirar cosas o ir muy lento.

2. La Solución: xLLM (El Nuevo Controlador de Tráfico)

xLLM divide el trabajo en dos grandes equipos que trabajan en perfecta sincronía, como si fueran el "Gerente de la Terminal" (Service) y el "Piloto de la Avión" (Engine).

A. El Gerente de la Terminal (xLLM-Service): La Inteligencia Organizativa

Este equipo se encarga de decidir qué avión va a qué pista y cuándo.

• Mezcla inteligente de vuelos: Imagina que tienes una pista de aterrizaje. Normalmente, solo se usa para aviones urgentes. xLLM permite que, cuando no hay aviones urgentes, aterricen aviones de carga (tareas lentas) para no dejar la pista vacía. Pero, ¡ojo! Si llega un avión urgente, el de carga se mueve instantáneamente para dejarle paso. ¡Nunca se pierde el tiempo!
• Desglose de tareas (PD y EPD):
  • En lugar de que un solo avión haga todo el viaje (leer el pedido, pensar la respuesta y escribirla), xLLM divide el trabajo. Un equipo se encarga de leer el pedido (Prefill) y otro de escribir la respuesta (Decode). Si hay muchos pedidos de lectura, se envían más aviones a esa pista; si hay muchos de escritura, se envían a la otra. ¡Es como tener carriles dinámicos en una autopista que se abren y cierran según el tráfico!
  • Para las imágenes y videos (multimodal), crea un tercer equipo especializado que prepara la imagen antes de que el equipo de texto empiece a hablar.
• Reserva de asientos (Memoria Global): En lugar de que cada avión lleve su propia maleta de memoria (que es pesada y pequeña), xLLM tiene un sistema de maletas compartidas en el aeropuerto. Si un avión necesita espacio, toma una maleta de la reserva global. Si otro la necesita, se la pasa rápidamente. Esto permite guardar muchísimos más datos sin que el avión se vuelva lento.

B. El Piloto de la Avión (xLLM-Engine): La Máquina de Alto Rendimiento

Este equipo se asegura de que el motor del avión vuele a la máxima velocidad posible.

• El "Efecto Dominó" (Pipelines): En lugar de esperar a que termine una tarea para empezar la siguiente, xLLM hace que todo ocurra al mismo tiempo. Mientras el motor está calculando la respuesta del pasajero actual, el cerebro (CPU) ya está preparando los datos para el siguiente pasajero. Es como un chef que mientras cocina el plato 1, ya tiene los ingredientes del plato 2 listos en la mesa.
• El "Plan de Vuelo" (Gráficos Adaptativos): Los aviones modernos a veces tardan en arrancar porque tienen que revisar el manual cada vez que despegan. xLLM crea un "plan de vuelo" pregrabado. Una vez que el avión despegó, sigue el plan sin tener que preguntar al controlador cada segundo. Esto ahorra muchísimo tiempo.
• Memoria Mágica (xTensor): Imagina que tienes un libro de cuentos. Si escribes una historia muy larga, normalmente necesitas un libro gigante. xLLM usa un sistema de "páginas sueltas": escribe la historia en hojas sueltas que se unen lógicamente en tu mente, pero físicamente están en diferentes estantes. Así, puedes escribir historias infinitas sin necesitar un libro físico gigante, y las hojas se reutilizan para la siguiente historia.
• Equilibrio de Equipas (Carga de Trabajo): Si tienes un equipo de expertos (como en los modelos MoE), a veces uno trabaja demasiado y otro no hace nada. xLLM vigila quién está cansado y redistribuye las tareas en tiempo real para que todos trabajen al mismo ritmo.

3. Los Resultados: ¿Qué gana la empresa?

Gracias a este sistema, JD.com (la empresa detrás del proyecto) ha logrado:

• Velocidad: Sus chatbots y sistemas de recomendación son hasta 2 veces más rápidos que los sistemas actuales más populares.
• Ahorro: Usan menos computadoras para hacer el mismo trabajo, lo que ahorra dinero y energía.
• Estabilidad: Si una computadora falla, el sistema la reemplaza en milisegundos sin que el usuario se dé cuenta (como si un avión tuviera un motor de repuesto que se enciende automáticamente).

En Resumen

xLLM es como transformar un aeropuerto antiguo y lento en un hub de transporte del futuro:

1. Organiza el tráfico para que nunca haya colas innecesarias.
2. Divide las tareas para que los especialistas hagan solo lo que saben hacer mejor.
3. Acelera los motores para que todo ocurra al mismo tiempo.
4. Reutiliza los recursos (como maletas y asientos) para no desperdiciar nada.

El resultado es una Inteligencia Artificial que responde más rápido, cuesta menos y nunca se queda sin "combustible" (memoria), incluso cuando miles de personas la usan a la vez.

Resumen técnico

Aquí presento un resumen técnico detallado del informe técnico de xLLM, traducido y adaptado al español, cubriendo los aspectos solicitados:

Resumen Técnico de xLLM: Un Marco de Inferencia Inteligente y Eficiente para LLMs

1. El Problema

Los marcos de inferencia actuales de Modelos de Lenguaje Grande (LLM) enfrentan desafíos críticos al escalar hacia entornos empresariales de alto rendimiento y gran escala:

• Desafíos de Servicio (Service Layer):
  • Cargas de trabajo híbridas y dinámicas: Las solicitudes en línea (latencia estricta) y fuera de línea (tolerancia a la latencia) coexisten, pero los sistemas actuales no logran maximizar la utilización del clúster sin violar los Acuerdos de Nivel de Servicio (SLO) de las tareas en línea.
  • Desagregación Prefill-Decode (PD) estática: Las arquitecturas existentes asumen una asignación de recursos estática entre las fases de prefill (generación inicial) y decode (generación iterativa). Esto no se adapta a las fluctuaciones dinámicas de la carga de trabajo (longitudes de entrada/salida variables), lo que provoca baja utilización de aceleradores y riesgos de violación de SLO.
  • Falta de soporte para multimodalidad: No existen estrategias eficientes para manejar solicitudes multimodales (imagen, voz, texto) que requieran paralelismo en la fase de codificación (encode) y asignación de recursos fina.
  • Recuperación de fallos: La detección y recuperación rápida de nodos o instancias es insuficiente en sistemas de inferencia de baja latencia.
• Desafíos del Motor de Inferencia (Engine Layer):
  • Subutilización de aceleradores: Las dependencias rígidas entre CPU y acelerador, así como la sobrecarga de comunicación All-to-All en arquitecturas MoE (Mezcla de Expertos), limitan el rendimiento.
  • Gestión de memoria: El crecimiento exponencial del KV Cache con ventanas de contexto grandes (ej. 128K tokens) satura la memoria de los dispositivos individuales.
  • Desbalance de carga: La asignación estática de datos en paralelismo de datos (DP) y expertos (EP) genera cuellos de botella y tiempos de espera inactivos.

2. Metodología

xLLM introduce una arquitectura desacoplada de Servicio-Motor diseñada para optimizar tanto la gestión de recursos a nivel de clúster como la ejecución a nivel de hardware.

A. xLLM-Service (Capa de Servicio)

• Programación Unificada Elástica: Implementa una política de co-localización de solicitudes en línea y fuera de línea. Las tareas en línea tienen prioridad y pueden preemptar (interrumpir) tareas fuera de línea, mientras que estas últimas aprovechan los recursos ociosos.
• Desagregación PD Dinámica y Adaptativa: Utiliza un planificador que ajusta dinámicamente la proporción de instancias Prefill y Decode basándose en métricas en tiempo real (TTFT, TPOT) y predicciones de carga. Las instancias son stateless (sin estado), permitiendo un cambio de rol instantáneo sin reinicios.
• Desagregación Híbrida EPD (Encode-Prefill-Decode): Para modelos multimodales, propone una estrategia que desacopla las fases de codificación de imagen, prefill y decode. Utiliza un perfilador para seleccionar la estrategia óptima (E-P-D, EP-D, o ED-P) según la carga, permitiendo paralelismo entre el modelo visual y el lingüístico.
• Gestión Global de KV Cache: Adopta una arquitectura de almacenamiento híbrida (HBM-DRAM-SSD) y un sistema de enrutamiento inteligente para mover el KV Cache entre instancias, aumentando la capacidad efectiva y la tasa de aciertos.
• Recuperación Rápida de Fallos: Detecta fallos y decide óptimamente entre recomputar o migrar el KV Cache de las solicitudes interrumpidas, minimizando el tiempo de inactividad.

B. xLLM-Engine (Capa de Motor)

• Motor de Ejecución de Pipeline Multi-nivel:
  • Nivel de Framework: Solapamiento asíncrono entre la programación de CPU y la ejecución del acelerador para eliminar "burbujas" de computación.
  • Nivel de Modelo: Uso de micro-batch en dos flujos paralelos (Cálculo y Comunicación) para solapar la comunicación All-to-All con la computación.
  • Nivel de Operador: Solapamiento fino entre unidades de cómputo de matriz y vector dentro del acelerador.
• Modo de Gráfico Adaptativo: Pre-compila secuencias de kernels en un único gráfico de cómputo para reducir la sobrecarga de lanzamiento. Maneja formas dinámicas (longitudes de secuencia variables) mediante parametrización de dimensiones y un modo de "Grafico Parcial" para operadores complejos.
• Gestión de Memoria xTensor: Implementa una estructura de almacenamiento "lógicamente contigua, físicamente discreta". Asigna páginas físicas bajo demanda a un espacio de direcciones virtuales contiguas, resolviendo el conflicto entre la necesidad de contigüidad para el rendimiento y la asignación dinámica para la eficiencia de memoria.
• Optimizaciones Algorítmicas:
  • Decodificación Especulativa Optimizada: Reduce el movimiento de datos y solapa la preparación de datos en CPU con la inferencia en NPU.
  • Balanceo de Carga Dinámico (EPLB y DP): Ajusta la ruta de expertos en MoE y migra cargas de trabajo entre grupos de datos (DP) de forma reactiva para evitar nodos lentos (stragglers).
• Optimización para Recomendación Generativa: Solapamiento específico de operaciones de host y dispositivo para tareas de búsqueda en haz (beam search) masivas.

3. Contribuciones Clave

1. Arquitectura Desacoplada: Separación clara entre la gestión de servicios (xLLM-Service) y la ejecución de inferencia (xLLM-Engine), permitiendo optimizaciones independientes y escalables.
2. Políticas de Programación Inteligentes:
   • Co-localización agresiva de cargas en línea/fuera de línea con preemption.
   • Desagregación PD dinámica adaptada a la carga en tiempo real.
   • Desagregación EPD híbrida para optimizar inferencia multimodal.
3. Optimizaciones de Hardware y Software Co-diseñadas:
   • Pipeline asíncrono de múltiples capas para maximizar la utilización de aceleradores.
   • Modo de Gráfico Adaptativo para reducir la latencia de lanzamiento de kernels.
   • Sistema de memoria xTensor que combina la eficiencia de la memoria contigua con la flexibilidad de la paginación.
4. Balanceo de Carga Jerárquico: Estrategias de tres niveles (consciente de KV Cache, migración inter-grupo y optimización de kernel intra-grupo) para el paralelismo de datos y expertos.
5. Implementación en Producción: xLLM ya está desplegado en JD.com para escenarios críticos como chatbots, recomendaciones y comprensión de productos.

4. Resultados

Las evaluaciones exhaustivas comparan xLLM con MindIE y vLLM-Ascend en aceleradores Ascend 910B/910C:

• Rendimiento General: xLLM logra un throughput (rendimiento) hasta 1.7 veces superior a MindIE y 2.2 veces superior a vLLM-Ascend en modelos de la serie Qwen, manteniendo restricciones estrictas de TPOT (Tiempo por Token de Salida).
• Modelos DeepSeek: Con modelos DeepSeek-R1, xLLM supera a MindIE en un promedio de 1.7x y a vLLM-Ascend en un 12x en ciertos escenarios.
• Escenarios de Negocio:
  • En el escenario de chatbot "JingYan", xLLM muestra una escalabilidad casi lineal, superando significativamente a las soluciones base.
  • En recomendación generativa, reduce la latencia de extremo a extremo en un 23% bajo cargas pesadas (ancho de haz de 128).
• Estudios de Ablación: Confirman que cada componente (programación dinámica, pipeline multi-nivel, modo de gráfico adaptativo) contribuye significativamente al rendimiento total. Por ejemplo, el modo de gráfico adaptativo mejora el throughput en un 27.4% para modelos más pequeños.

5. Significado e Impacto

xLLM representa un avance significativo en la infraestructura de inferencia de IA para empresas:

• Eficiencia de Costos: Al maximizar la utilización de hardware y permitir la co-localización de cargas de trabajo, reduce drásticamente el costo de inferencia por token.
• Escalabilidad Empresarial: Resuelve los problemas de estabilidad y SLO en entornos de producción con cargas de trabajo impredecibles y mixtas.
• Adaptabilidad: Su diseño desacoplado y optimizado para aceleradores específicos (como Ascend) lo posiciona como una solución robusta para ecosistemas de hardware heterogéneos, incluyendo chips domésticos.
• Open Source: Al publicar el código en GitHub, xLLM fomenta la innovación en la comunidad, ofreciendo una alternativa de alto rendimiento a soluciones propietarias y fomentando un ecosistema de modelos y hardware más diverso.

En resumen, xLLM no es solo un motor de inferencia más rápido, sino un sistema integral que reimagina cómo se gestionan, programan y ejecutan los LLMs a escala empresarial, equilibrando la eficiencia de recursos con la garantía de calidad de servicio.