Resumen Técnico: ROLLART

Planteamiento del Problema

El Aprendizaje por Refuerzo Agéntico (RL) entrena Modelos de Lenguaje Extensos (LLMs) mediante interacciones de múltiples turnos con entornos externos. Este paradigma introduce una carga de trabajo compleja y heterogénea que mezcla cuatro etapas distintas: rollout (generación de LLM), ejecución del entorno, evaluación de la recompensa y entrenamiento.

Los sistemas existentes no logran abordar la heterogeneidad de recursos fundamental inherente a estas etapas:

1. Heterogeneidad de Generación: La generación de LLM alterna entre el prefill (limitado por cómputo, dominante en tareas de contexto largo y múltiples turnos) y el decoding (limitado por ancho de banda, dominante en tareas de pensamiento de cadena de pensamiento larga y turnos cortos). Los sistemas actuales suelen asignar el rollout a un único tipo de GPU, ignorando que las GPUs optimizadas para cómputo (p. ej., H800) sobresalen en el prefill, mientras que las GPUs optimizadas para ancho de banda (p. ej., H20) sobresalen en el decoding.
2. Rezagados del Entorno (Environment Stragglers): Los entornos son procesos con estado, limitados por CPU, propensos a una latencia de cola larga debido a la inicialización de contenedores (Docker pulls), contención de red y turnos de interacción variables. En la ejecución por lotes (batching), los entornos lentos detienen todo el pipeline.
3. Subutilización de la Recompensa: El cómputo de la recompensa suele ser sin estado (stateless) y por ráfagas. Colocarlo junto al rollout en GPUs dedicadas conduce a una subutilización severa (tan baja como el 7.4%), mientras que acoplarlo con la generación crea contención de recursos.
4. Sobrecarga de Sincronización: El entrenamiento sincrónico tradicional obliga a los trabajadores de rollout a permanecer ociosos mientras esperan la sincronización de pesos a través de los clusters, creando "burbujas de dependencia" que desperdician costosos recursos de GPU.

Metodología: ROLLART

ROLLART es un sistema distribuido diseñado para el RL agéntico multitarea en infraestructura desagregada. Mapea cada etapa del pipeline al hardware más adecuado para sus características específicas y desacopla las etapas para eliminar los cuellos de botella de sincronización.

Requisitos de Diseño Centrales

El sistema está impulsado por cuatro requisitos derivados empíricamente:

• R1 (Mapeo de Afinidad de Hardware): Vincular tareas o subetapas específicas al hardware óptimo. Las tareas con mucho prefill se dirigen a GPUs optimizadas para cómputo; las tareas con mucho decoding a GPUs optimizadas para ancho de banda; los entornos se ejecutan en clusters de CPU; y las recompensas sin estado se ejecutan en infraestructura serverless.
• R2 (Asincronía a Nivel de Trayectoria): Desacoplar la generación, la interacción con el entorno y la puntuación de la recompensa a la granularidad de trayectorias individuales. Esto asegura que los entornos lentos o fallidos no bloqueen el progreso de otras trayectorias.
• R3 (Descarga Serverless): Descargar el cómputo de la recompensa sin estado a plataformas serverless (p. ej., Function Compute) para eliminar las GPUs dedicadas en espera activa y permitir el escalado elástico.
• R4 (Entrenamiento con Estancamiento Acotado): Ejecutar el entrenamiento y el rollout concurrentemente en clusters de GPU separados. Un protocolo de estancamiento acotado permite que el entrenamiento proceda con políticas ligeramente más antiguas mientras el rollout continúa, superponiendo la sincronización de pesos con la generación para ocultar la latencia.

Arquitectura del Sistema

ROLLART consta de tres planos:

1. Plano de Recursos: Un gestor de recursos rastrea pools de hardware heterogéneos (H800, H20, CPU, Serverless) y vincula a los trabajadores con los recursos basados en afinidades de hardware declaradas por el usuario mediante decoradores de Python.
2. Plano de Datos: Implementa el pipeline utilizando abstracciones de Worker y Cluster. Encapsula la lógica de ejecución (p. ej., vLLM para generación, Megatron para entrenamiento) y gestiona la descarga de tareas sin estado a endpoints serverless.
3. Plano de Control: Orquesta el flujo de trabajo sin intervención del usuario. Los componentes clave incluyen:
   • LLMProxy: Despacha solicitudes de generación por trayectoria, desacoplando a los clientes de los trabajadores de inferencia.
   • EnvManager: Gestiona los ciclos de vida de los entornos de forma independiente, permitiendo la progresión paralela.
   • SampleBuffer: Almacena trayectorias puntuadas para el entrenamiento.
   • Protocolo de Entrenamiento Asíncrono: Un proceso de sincronización de seis pasos (Obtener Lote → Suspender → Actualizar → Reanudar → Recomputar KV → Entrenar) que superpone el entrenamiento con el rollout. Incluye un límite de estancamiento ($\alpha$) para abortar trayectorias que sean demasiado antiguas, asegurando la estabilidad del entrenamiento.

Optimizaciones

• Rollouts de Entorno Redundantes: Lanza más entornos de los estrictamente necesarios para enmascarar fallos y rezagados; las trayectorias en curso se terminan una vez que se recolecta el lote objetivo.
• Desagregación de Prefill-Decoding (PD): Refina R1 al dirigir las fases de prefill y decoding del mismo request a diferentes tipos de hardware (optimizado para cómputo vs. ancho de banda).
• Transferencia de Pesos Asíncrona: Utiliza un almacén basado en Mooncake para empujar pesos de forma asíncrona. Los trabajadores de inferencia extraen pesos bajo demanda, ocultando la latencia de transferencia entre clusters detrás del rollout en curso.

Contribuciones Clave

1. Infraestructura Desagregada para RL Agéntico: ROLLART es el primer sistema que aborda conjuntamente la divergencia prefill/decode, los rezagados de entorno de cola larga, la subutilización de recompensas sin estado y la variabilidad de ancho de banda entre clusters a escala de producción.
2. Modelo de Programación Declarativa: Proporciona una interfaz unificada para que los usuarios declaren afinidades de hardware y descarguen tareas sin estado mediante decoradores, abstrayendo la complejidad de la gestión de recursos heterogéneos.
3. Desacoplamiento a Nivel de Trayectoria: Introduce un diseño donde las trayectorias individuales progresan de forma independiente a través de la generación, la interacción con el entorno y la recompensa, eliminando las barreras de sincronización a nivel de lote.
4. Validación a Escala de Producción: Desplegado con éxito en un cluster de Alibaba con más de 3,000 GPUs para entrenar un modelo de Mezcla de Expertos (MoE) de cientos de miles de millones de parámetros para el producto Qoder, funcionando continuamente durante una semana.

Resultados

• Mejora de Throughput: ROLLART logra un throughput 2.65–4.58× mayor en comparación con una base sincrónica fortalecida (Sync+).
• Reducción del Tiempo de Entrenamiento: Comparado con varias bases, ROLLART reduce el tiempo de entrenamiento:
  • 2.05× sobre una base sincrónica fortalecida (Sync+).
  • 1.35× sobre una base One-off.
  • 1.31× sobre AReaL.
• Eficiencia de Recursos: La descarga de la recompal a infraestructura serverless aumentó la utilización de la GPU de recompensa del 6% al 88% y redujo a la mitad el tiempo de rollout por paso.
• Escalabilidad: Demostró una eficiencia de escalado superior en Qwen3-14B, entregando un throughput 1.33–2.08× mayor que las bases a medida que el tamaño del cluster aumentó de 64 a 128 GPUs.
• Compromiso de Estancamiento (Staleness Trade-off): Se encontró que un límite de estancamiento de $\alpha=1$ equilibra eficazmente la velocidad de entrenamiento y la calidad de convergencia del modelo.

Significado

El artículo afirma que ROLLART aborda eficazmente el "problema de la heterogeneidad de recursos" que ha limitado el escalado del RL agéntico. Al alejarse de arquitecturas monolíticas o débilmente desacopladas, ROLLART demuestra que una desagregación fina y consciente de la afinidad de hardware es esencial para maximizar el throughput en el RL agéntico multitarea. La capacidad del sistema para mantener un alto throughput y tolerancia a fallos en un cluster de más de 3,000 GPUs valida su estabilidad para uso en producción, ofreciendo un plano para entrenar modelos agénticos de gran escala en infraestructura heterogénea.