Resumo Técnico: ROLLART

Declaração do Problema

O Aprendizado por Reforço Agêntico (RL) treina Grandes Modelos de Linguagem (LLMs) através de interações de múltiplos turnos com ambientes externos. Este paradigma introduz uma carga de trabalho complexa e heterogênea que mistura quatro estágios distintos: rollout (geração de LLM), execução do ambiente, avaliação de recompensa e treinamento.

Os sistemas existentes falham em abordar a heterogeneidade fundamental de recursos inerente a esses estágios:

1. Heterogeneidade de Geração: A geração de LLM alterna entre o prefill orientado a computação (dominante em tarefas de contexto longo e múltiplos turnos) e o decoding orientado a largura de banda (dominante em tarefas de raciocínio de cadeia longa e turnos curtos). Os sistemas atuais frequentemente atribuem o rollout a um único tipo de GPU, ignorando que GPUs otimizadas para computação (ex: H800) se destacam no prefill, enquanto GPUs otimizadas para largura de banda (ex: H20) se destacam no decoding.
2. Estragadores de Ambiente (Stragglers): Os ambientes são processos baseados em CPU e com estado (stateful), propensos a latências de cauda longa devido à inicialização de containers (Docker pulls), contenção de rede e turnos de interação variáveis. Em execuções em lote, ambientes lentos travam todo o pipeline.
3. Subutilização de Recompensa: O cálculo da recompensa é frequentemente sem estado (stateless) e intermitente (bursty). Colocar a recompensa junto ao rollout em GPUs dedicadas leva a uma subutilização severa (baixa de até 7,4%), enquanto acoplá-la à geração cria contenção de recursos.
4. Sobrecarga de Sincronização: O treinamento síncrono tradicional força os trabalhadores de rollout a ficarem ociosos enquanto aguardam a sincronização de pesos entre clusters, criando "bolhas de dependência" que desperdiçam recursos caros de GPU.

Metodologia: ROLLART

O ROLLART é um sistema distribuído projetado para RL agêntico multi-tarefa em infraestrutura desagregada. Ele mapeia cada estágio do pipeline para o hardware mais adequado às suas características específicas e desacopla os estágios para eliminar gargalos de sincronização.

Requisitos Principais de Design

O sistema é impulsionado por quatro requisitos derivados empiricamente:

• R1 (Mapeamento de Afinidade de Hardware): Vincular tarefas ou sub-estágios específicos ao melhor hardware. Tarefas pesadas em prefill são roteadas para GPUs otimizadas para computação; tarefas pesadas em decoding para GPUs otimizadas para largura de banda; ambientes rodam em clusters de CPU; e recompensas sem estado rodam em infraestrutura serverless.
• R2 (Assincronia ao Nível de Trajetória): Desacoplar a geração, a interação com o ambiente e a pontuação de recompensa na granularidade de trajetórias individuais. Isso garante que ambientes lentos ou que falharam não bloqueiem o progresso de outras trajetórias.
• R3 (Offloading Serverless): Descarregar o cálculo de recompensa sem estado para plataformas serverless (ex: Function Compute) para eliminar GPUs dedicadas em standby e permitir escalonamento elástico.
• R4 (Treinamento com Limite de Estagnação/Staleness): Executar o treinamento e o rollout concorrentemente em clusters de GPU separados. Um protocolo de estagnação limitada permite que o treinamento prossiga com políticas ligeiramente mais antigas enquanto o rollout continua, sobrepondo a sincronização de pesos à geração para ocultar a latência.

Arquitetura do Sistema

O ROLLART consiste em três planos:

1. Plano de Recursos: Um gerenciador de recursos rastreia pools de hardware heterogêneos (H800, H20, CPU, Serverless) e vincula trabalhadores aos recursos com base nas afinidades de hardware declaradas pelo usuário via decoradores Python.
2. Plano de Dados: Implementa o pipeline usando abstrações de Worker e Cluster. Ele encapsula a lógica de execução (ex: vLLM para geração, Megatron para treinamento) e lida com o offloading de tarefas sem estado para endpoints serverless.
3. Plano de Controle: Orquestra o fluxo de trabalho sem intervenção do usuário. Os componentes principais incluem:
   • LLMProxy: Despacha requisições de geração por trajetória, desacoplando clientes de trabalhadores de inferência.
   • EnvManager: Gerencia os ciclos de vida individuais dos ambientes de forma independente, permitindo a progressão paralela.
   • SampleBuffer: Armazena trajetórias pontuadas para treinamento.
   • Protocolo de Treinamento Assíncrono: Um processo de sincronização de seis etapas (Obter Lote → Suspender → Atualizar → Retomar → Recalcular KV → Treinar) que sobrepõe o treinamento ao rollout. Inclui um limite de estagnação ($\alpha$) para abortar trajetórias que sejam muito antigas, garantindo a estabilidade do treinamento.

Otimizações

• Rollouts de Ambiente Redundantes: Lança mais ambientes do que o estritamente necessário para mascarar falhas e stragglers; trajetórias em curso são terminadas assim que o lote alvo é coletado.
• Desagregação de Prefill-Decoding (PD): Refina o R1 ao rotear as fases de prefill e decoding da mesma requisição para tipos de hardware diferentes (otimizados para computação vs. largura de banda).
• Transferência de Pesos Assíncrona: Utiliza um armazenamento baseado em Mooncake para empurrar pesos assincronamente. Trabalhadores de inferência buscam pesos sob demanda, ocultando a latência de transferência entre clusters por trás do rollout em curso.

Principais Contribuições

1. Infraestrutura Desagregada para RL Agêntico: O ROLLART é o primeiro sistema a abordar conjuntamente a divergência prefill/decode, stragglers de ambiente de cauda longa, subutilização de recompensa sem estado e variabilidade de largura de banda entre clusters em escala de produção.
2. Modelo de Programação Declarativa: Fornece uma interface unificada para usuários declararem afinidades de hardware e realizarem offloading de tarefas sem estado via decoradores, abstraindo a complexidade do gerenciamento de recursos heterogêneos.
3. Desacoplamento ao Nível de Trajetória: Introduz um design onde trajetórias individuais progridem independentemente através da geração, interação com o ambiente e recompensa, eliminando barreiras de sincronização em nível de lote.
4. Validação em Escala de Produção: Implementado com sucesso em um cluster da Alibaba com mais de 3.000 GPUs para treinar um modelo Mixture-of-Experts (MoE) de centenas de bilhões de parâmetros para o produto Qoder, rodando continuamente por uma semana.

Resultados

• Melhoria de Throughput: O ROLLART alcança um throughput 2,65–4,58× maior comparado a uma baseline síncrona fortalecida (Sync+).
• Redução do Tempo de Treinamento: Comparado a várias baselines, o ROLLART reduz o tempo de treinamento em:
  • 2,05× sobre uma baseline síncrona fortalecida (Sync+).
  • 1,35× sobre uma baseline One-off.
  • 1,31× sobre AReaL.
• Eficiência de Recursos: O offloading da recomp para infraestrutura serverless aumentou a utilização de GPU de recomp de 6% para 88% e reduziu o tempo de rollout por passo pela metade.
• Escalabilidade: Demonstrou eficiência de escalonamento superior no Qwen3-14B, entregando um throughput 1,33–2,08× maior que as baselines conforme o tamanho do cluster aumentava de 64 para 128 GPUs.
• Trade-off de Estagnação (Staleness): Um limite de estagnação de $\alpha=1$ foi encontrado como ideal para equilibrar a velocidade de treinamento e a qualidade de convergência do modelo de forma eficaz.

Significância

O artigo afirma que o ROLLART aborda efetivamente o "problema da heterogeneidade de recursos" que tem limitado o escalonamento do RL agêntico. Ao se afastar de arquiteturas monolíticas ou grosseiramente desacopladas, o ROLLART demonstra que a desagregação fina, consciente da afinidade de hardware, é essencial para maximizar o throughput em RL agêntico multi-tarefa. A capacidade do sistema de sustentar alto throughput e tolerância a falhas em um cluster de mais de 3.000 GPUs valida sua estabilidade para uso em produção, oferecendo um modelo para o treinamento de modelos agênticos de grande escala em infraestrutura heterogênea.