Resumo Técnico: MARLAAS – Aprendizado por Reforço Assíncrono Multi-Inquilino como Serviço

1. Declaração do Problema

O Aprendizado por Reforço a partir de Recompensas Verificáveis (RLVR) aprimorou significativamente as capacidades de raciocínio dos Modelos de Linguagem de Grande Porte (LLMs), particularmente em configurações agênicas de múltiplas voltas envolvendo uso de ferramentas. No entanto, o ajuste fino desses modelos permanece proibitivamente caro devido a altos requisitos computacionais e de memória, limitando a acessibilidade.

O artigo identifica duas ineficiências primárias nos pipelines atuais de treinamento RLVR:

1. Ineficiência do Pipeline e Tempo Ocioso: O treinamento RLVR envolve três fases fortemente acopladas: (1) geração de trajetórias (rollout), (2) interação com o ambiente (por exemplo, chamadas de ferramentas, invocações de API) e (3) treinamento da política. Em sistemas síncronos existentes, essas fases executam sequencialmente, causando tempo ocioso significativo. Por exemplo, trabalhadores de trajetória aguardam novas políticas, aceleradores aguardam respostas de ambientes externos e recursos de treinamento permanecem ociosos durante a geração de tokens.
2. Sobrecarga Multi-Inquilino: Em configurações multi-inquilino, abordagens tradicionais ou replicam instâncias de modelo por tarefa (incorrendo em custos de memória proibitivos) ou executam tarefas sequencialmente (levando à subutilização). Além disso, tarefas heterogêneas (variando em complexidade de raciocínio e latência de ambiente) criam gargalos de sincronização onde tarefas mais rápidas devem aguardar as mais lentas, exacerbando bolhas de recursos.

Os autores observam que as cargas de trabalho RLVR são tipicamente limitadas por trajetória (rollout-bound), com a geração de trajetórias e interações com o ambiente dominando o tempo de execução (10–100× mais longas do que atualizações de treinamento), uma característica especialmente pronunciada em cenários agênicos.

2. Metodologia: MARLAAS

Os autores propõem o MARLAAS (Aprendizado por Reforço Assíncrono Multi-Inquilino como Serviço), um sistema projetado para maximizar a utilização de aceleradores de hardware ao treinar múltiplas tarefas no mesmo hardware enquanto sobrepõe suas fases RLVR. O sistema é construído sobre dois princípios centrais:

A. Modelo Base Compartilhado com Adaptadores Leves

O MARLAAS emprega uma arquitetura Multi-LoRA. Em vez de instanciar cópias completas do modelo para cada inquilino, o sistema compartilha um único modelo base congelado entre todas as tarefas. Cada tarefa utiliza um adaptador de Adaptação de Baixo Rank (LoRA) leve. Esta abordagem:

• Minimiza a sobrecarga de memória por tarefa.
• Permite o agrupamento (batching) de trajetórias entre tarefas, permitindo que o sistema lide com múltiplas tarefas concorrentes dentro de restrições fixas de hardware.

B. Arquitetura Assíncrona Desagregada

O sistema desacopla as três fases RLVR (geração de trajetória, interação com o ambiente e treinamento de política) em estágios agendados independentemente.

• Gerenciador de Múltiplas Tarefas: Um componente centralizado mantém parâmetros LoRA versionados, estados do otimizador e um buffer FIFO global para trajetórias de trajetória. Ele rastreia versões de política para cada tarefa para garantir consistência.
• Motor de Trajetória (Rollout Engine): Gera trajetórias usando a versão de política mais recente disponível para cada tarefa ativa. Utiliza agrupamento Multi-LoRA para maximizar a vazão durante a fase de trajetória.
• Motor de Treinamento: Amostra trajetórias do buffer e realiza atualizações de política. Crucialmente, as atualizações de treinamento são realizadas sequencialmente (uma tarefa de cada vez) por meio de uma fila centralizada, enquanto as trajetórias ocorrem em paralelo.

Insight de Design Chave: Assimetria

Diferentemente de sistemas assíncronos anteriores que introduzem "desatualização" (staleness) (usando trajetórias off-policy de versões anteriores, o que pode degradar a convergência), o MARLAAS mantém consistência estrita de política por tarefa. Cada tarefa treina apenas em trajetórias geradas a partir de sua versão de política mais recente comprometida.

• Fonte de Assincronia: O sistema alcança assincronia através da sobreposição de fases entre tarefas em vez de desatualização dentro da tarefa. Enquanto a Tarefa A está na fase de treinamento, a Tarefa B pode estar na fase de trajetória ou interação com o ambiente.
• Alocação de Recursos: O design aloca intencionalmente recursos para maximizar a vazão de trajetória (o gargalo) via agrupamento Multi-LoRA, mantendo as atualizações de treinamento leves e sequenciais para minimizar a latência e permitir transições de fase rápidas.

3. Contribuições Principais

O artigo delineia quatro contribuições primárias:

1. Design de Sistema: Introdução de um sistema de treinamento RLVR multi-inquilino (MARLAAS) que permite o treinamento eficiente de múltiplas tarefas usando recursos compartilhados via adaptadores LoRA.
2. Identificação de Assimetria: Identificação da assimetria trajetória-treinamento em cargas de trabalho RLVR, onde a geração de trajetória domina o tempo de execução. O artigo demonstra que esse gargalo pode ser aliviado através de concorrência de trajetória entre tarefas, uma abordagem ortogonal a métodos baseados em desatualização.
3. Agendamento Consciente de Fase: Design de um sistema de agendamento assíncrono que desacopla trajetória, interação com o ambiente e treinamento, permitindo progresso independente de tarefas com interferência mínima entre tarefas.
4. Validação Empírica: Demonstração de que o MARLAAS melhora a utilização de aceleradores e a vazão, mantendo o desempenho de recompensa comparável a baselines de tarefa única.

4. Resultados Experimentais

Os autores avaliaram o MARLAAS em um cluster Ascend de dois nós (64 NPUs no total) usando modelos Qwen (0.6B, 14B, 32B) e cargas de trabalho heterogêneas (GSM8K, AMC12 e uma tarefa de Busca Agênica envolvendo chamadas de API da Wikipedia).

Métricas de Desempenho:

• Vazão: O MARLAAS alcançou até 5,7× maior vazão de treinamento (passos por hora) em comparação com baselines.
• Utilização: A utilização de aceleradores melhorou em até 4,3×, com tempo ocioso reduzido em até 45% em comparação com baselines multi-LoRA síncronas e desagregadas de única tarefa.
• Tempo de Treinamento: O tempo de treinamento ponta a ponta foi reduzido em 85% em configurações multi-tarefa (até 32 tarefas concorrentes).
• Escalabilidade: O sistema manteve alta utilização e vazão à medida que a concorrência de tarefas aumentava de 1 para 32, enquanto baselines síncronas e de tarefa única exibiram retornos decrescentes e aumento do tempo ocioso.

Estudos de Ablação:

• Remover a execução assíncrona reduziu a vazão em ~66%, confirmando que o desacoplamento de trajetória e treinamento é o principal motor de eficiência.
• Desabilitar a trajetória Multi-LoRA reduziu a vazão em um adicional de ~13%, destacando a necessidade de concorrência entre tarefas para a utilização de hardware.

Latência Voltada ao Usuário:

• O MARLAAS reduziu significativamente o Tempo até o Primeiro Passo (TTFS) em comparação com baselines sequenciais, pois as tarefas podiam iniciar a execução imediatamente sem aguardar trabalhos anteriores.
• Embora a execução assíncrona tenha introduzido uma sobrecarga modesta de latência por passo em comparação com a execução isolada, ela melhorou substancialmente a responsabilidade geral em ambientes multi-inquilino.

5. Significado e Alegações

O artigo alega que o MARLAAS aborda as ineficiências estruturais dos sistemas RLVR atuais — especificamente sobrecarga de sincronização e replicação redundante de modelo — sem sacrificar o desempenho de aprendizado.

• Eficiência sobre Desatualização: Os autores enfatizam que sua abordagem melhora a eficiência através da sobreposição de recursos e compartilhamento de memória em vez de introduzir desatualização de política, que estudos recentes sugerem pode degradar a qualidade da convergência.
• Custo-Efetividade: Ao permitir treinamento multi-inquilino de alta densidade, o MARLAAS apresenta um caminho viável para uma plataforma de "Treinamento por Reforço como Serviço" (RLTaaS) eficiente em custos, tornando o RLVR acessível a uma gama mais ampla de pesquisadores e profissionais.
• Otimização em Nível de Sistema: O trabalho destaca que ganhos significativos em RLVR podem ser alcançados através de agendamento em nível de sistema e gerenciamento de recursos (execução assíncrona e compartilhamento LoRA) em vez de mudanças algorítmicas na própria otimização de política.

Limitações Reconhecidas:
Os autores notam que o design atual serializa atualizações de política, o que pode se tornar um gargalo sob concorrência extrema. Além disso, a capacidade de cache KV permanece um limite fundamental para tarefas de contexto longo ou fortemente agênicas. Trabalhos futuros são sugeridos para explorar controle de concorrência adaptativo e execução de treinamento distribuído.