🤖 AI

JoyNexus: Service-Oriented Multi-Tenant Post-Training for VLA Models

O JoyNexus é um serviço unificado e multi-tenant para modelos de Visão-Linguagem-Ação (VLA) de pós-treinamento que desacopla os componentes de treinamento, inferência e ambiente para permitir o compartilhamento eficiente de recursos, escalonamento entre tenants e agrupamento de lotes em grupo, reduzindo assim o tempo agregado de GPU e melhorando a utilização em comparação com a execução tradicional isolada de tenant único.

Autores originais: Haoran Sun, Wentao Zhang, Junyang Hua, Hedan Yang, Yongjian Guo, Yifei Zhang, Xiaolong Xiang, Mingxi Luo, Jing Long, Chen Zhao, Chen Zhou, Wanting Xu, Qiming Yang, Hui Zhang, Song Wang, Xiaodong Bai

Publicado 2026-07-20

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Haoran Sun, Wentao Zhang, Junyang Hua, Hedan Yang, Yongjian Guo, Yifei Zhang, Xiaolong Xiang, Mingxi Luo, Jing Long, Chen Zhao, Chen Zhou, Wanting Xu, Qiming Yang, Hui Zhang, Song Wang, Xiaodong Bai, Shuai Di, Xu Chu, Xiaotie Deng, Yicheng Gong, Junwu Xiong

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde robôs podem aprender a fazer coisas exatamente como os humanos: ver um quarto bagunçado, entender a instrução "limpar tudo" e então descobrir como pegar os brinquedos. Este é o campo emocionante dos modelos de Visão-Linguagem-Ação (VLA). Pense nesses modelos como o cérebro de um robô que combina olhos (visão), uma voz (linguagem) e músculos (ação). Para fazer um robô realmente fazer algo útil, os cientistas precisam "pós-treiná-lo". Isso é como pegar um aluno inteligente que conhece fatos gerais e ensinar a ele habilidades específicas, como amarrar um sapato ou abrir um pote.

No entanto, ensinar esses cérebros robóticos é incrivelmente caro e complicado. Atualmente, se um pesquisador deseja treinar um robô, ele geralmente precisa alugar um computador enorme e caro (uma GPU) só para si mesmo. É como alugar uma academia particular inteira apenas para fazer algumas flexões; a máquina fica ociosa enquanto você carrega seus pesos ou faz uma pausa, e você ainda paga por toda a hora. Essa abordagem de "um robô, uma academia" é um desperdício e torna difícil para muitas pessoas experimentarem o aprendizado de robôs ao mesmo tempo.

Surge o JoyNexus, uma nova ideia de pesquisadores da JD AI Infra e várias universidades. Eles propõem uma "academia compartilhada" para cérebros robóticos. Em vez de alugar um computador inteiro, vários pesquisadores podem compartilhar a mesma máquina poderosa de forma segura e eficiente. O artigo apresenta um sistema que atua como um treinador superinteligente, permitendo que muitas equipes diferentes treinem seus robôs simultaneamente sem esbarrarem umas nas outras. Ao organizar o trabalho de forma inteligente, o JoyNexus sugere que podemos reduzir o tempo e a energia totais necessários para treinar esses robôs, tornando o aprendizado de robôs avançado mais rápido e barato para todos.

A "Academia Compartilhada" para Cérebros Robóticos

Então, como o JoyNexus realmente funciona? Imagine uma academia movimentada e de alta tecnologia. No método antigo, se você quisesse treinar, alugaria uma sala inteira com uma esteira, pesos e um espelho, e você seria o único permitido a entrar. Se você parasse para beber água ou checar seu telefone, a sala ficaria vazia, mas você ainda pagaria por todo o tempo.

O JoyNexus muda as regras. Ele transforma a academia em um espaço compartilhado e movimentado com três zonas principais:

A Zona do Cérebro (Serviço de Treinamento de Modelo): É aqui que o trabalho pesado acontece. O "cérebro" do robô (a parte grande e complexa que entende imagens e palavras) é mantido em um local central e compartilhado. É como uma esteira gigante e cara que todos podem usar.
A Zona do Músculo (Módulo de Ação): Cada robô tem seus próprios "músculos" únicos ou habilidades específicas (como uma garra para uma pinça ou uma roda para um carro). No JoyNexus, essas partes específicas são mantidas separadas para cada equipe. Você traz seus próprios pesos únicos para a esteira compartilhada.
O Circuito de Obstáculos (Serviço de Ambiente): Este é o simulador onde o robô pratica. Pode ser uma cozinha virtual, um chão de fábrica ou uma sala de estar.

A magia do JoyNexus está em como ele gerencia o tráfego. Ele utiliza um "Serviço Mestre" (como um gerente de academia superorganizado) para decidir quem vai na esteira quando. Se a Equipe A está esperando seu robô terminar uma simulação, e a Equipe B está pronta para fazer uma atualização matemática, o gerente os troca instantaneamente para que a esteira nunca pare de se mover.

O Truque do "Agrupamento em Lote"

Um dos recursos mais legais é algo que os autores chamam de agrupamento em lote (group batching). Imagine que você está em uma cafeteria. Se uma pessoa pede um latte, o barista tem que ligar a máquina, moer os grãos e vaporizar o leite apenas para aquela única xícara. Se dez pessoas pedirem lattes ao mesmo tempo, o barista pode moer grãos suficientes para todos os dez e vaporizar um grande jarro de leite, tornando o processo muito mais rápido por xícara.

O JoyNexus faz isso com o treinamento de robôs. Frequentemente, diferentes equipes enviam pequenas solicitações para o "cérebro" compartilhado (o modelo VLA). Se o sistema processasse cada uma individualmente, o computador perderia tempo iniciando e parando. Em vez disso, o JoyNexus espera uma fração minúscula de segundo para ver se outras equipes têm solicitações. Se elas tiverem, ele as agrupa. Ele executa a parte do "cérebro compartilhado" uma única vez para todos eles, e depois divide os resultados de volta para cada equipe terminar seu treinamento de "músculo" específico.

O artigo mostra que isso funciona muito bem quando muitas equipes estão enviando pequenos lotes de dados. Em suas simulações, quando agruparamam solicitações de 8 equipes diferentes, a velocidade da "passagem direta" compartilhada (a parte onde o cérebro olha para os dados) melhorou significamente. Para alguns modelos, isso tornou a parte compartilhada do treinamento 2,21 vezes mais rápida do que fazê-la uma por uma.

O Que Eles Descobriram (e o Que Não Descobriram)

Os pesquisadores testaram o JoyNexus simulando um cenário com quatro equipes diferentes: três equipes treinando robôs para realizar tarefas em ambientes virtuais (como mover blocos em uma simulação chamada LIBERO ou ManiSkill) e uma equipe apenas praticando com um conjunto de dados estático (Ajuste Fino Supervisionado).

Eles compararam essa abordagem de "academia compartilhada" com o antigo método de "academia privada", onde cada equipe executava suas tarefas uma após a outra. Os resultados foram promissores:

Menos Desperdício: Ao sobrepor o trabalho, o JoyNexus reduziu o "tempo de GPU" total (o tempo que o computador caro estava funcionando) em 28,3%.
Melhor Uso: Os computadores compartilhados ficaram ocupados 41,3% do tempo na configuração multi-usuário, em comparação com apenas 20,8% na configuração isolada. Isso é quase o dobro da eficiência!
Sem Confusão: Crucialmente, o sistema manteu tudo seguro. Mesmo que as equipes compartilhassem o grande cérebrp, seus "músculos" específicos, seus dados e seu progresso eram completamente isolados. O artigo mostra que as curvas de aprendizado (o quão rápido os robôs melhoravam) para cada equipe foram exatamente as mesmas de quando treinavam sozinhos.

É importante notar que esses resultados vêm de simulações e testes de carga de trabalho, não de uma implantação real de milhares de robôs. Os autores sugerem que esta abordagem poderia economizar dinheiro e tempo, mas ainda não provaram que funcionará perfeitamente em todos os cenários do mundo real. Eles também apontam que, embora o sistema seja ótimo para compartilhar recursos, ele atualmente depende de os usuários seguirem regras específicas sobre como formatar seus dados. Se uma equipe quiser usar um design de robô totalmente estranho e personalizado que não se encaixe nas regras padrão da "academia", pode ser mais difícil se integrar.

O Futuro do Treinamento de Robôs

O artigo conclui que o JoyNexus é um grande passo para tornar o aprendizado de robôs acessível. Em vez de precisar de um milhão de dólares para alugar um supercomputador privado, os pesquisadores poderiam potencialmente pagar apenas pelo tempo que realmente usam, compartilhando o custo com outros.

No entanto, os autores são realistas. Eles admitem que, para isso funcionar no mundo real, precisamos de melhores maneiras de lidar com segurança (para que uma equipe não quebre acidentalmente o robô de outra), preços (quanto cobrar pelo tempo compartilhado) e flexibilidade (permitir que os usuários tragam seus próprios simuladores estranhos). Eles sugerem que futuras versões do sistema poderiam se tornar mais inteligentes, ajustando automaticamente os recursos conforme a academia fica mais movimentada.

Em suma, o JoyNexus sugere que o futuro do treinamento de robôs não é construir fortalezas maiores e isoladas para cada pesquisador. É construir um centro comunitário movimentado e eficiente, onde todos possam aprender juntos, compartilhar o equipamento caro e fazer seus robôs se moverem mais rápido do que nunca.

Resumo Técnico: JoyNexus – Serviço de Pós-Treinamento Multilocatário Orientado a Serviços para Modelos VLA

1. Declaração do Problema

O pós-treinamento de modelos de Visão-Linguagem-Ação (VLA) é crítico para adaptar modelos de fundação a diversos corpos robóticos, simuladores e objetivos de tarefas. No entanto, os atuais paradigmas de computação em nuvem para o treinamento de VLA enfrentam ineficiências significativas:

Carga de Infraestrutura: Os serviços existentes normalmente alocam recursos exclusivos de GPU/CPU para um único locatário (seja via aluguel direto ou submissão de lote). Isso força os usuários a gerenciar dependências complexas de infraestrutura, incluindo ambientes de modelos heterogêneos e sessões de simulador.
Ineficiência de Recursos: Os modelos VLA são frequentemente de escala moderada, o que leva a uma baixa utilização de aceleradores em configurações distribuídas. Além disso, o modelo de preços fixo por "hora-cartão" é ineficiente para cargas de trabalho curtas, iterativas ou intermitentes comuns no desenvolvimento de VLA (ex: durante o rollout, carregamento de dados ou sincronização de ambiente), onde as GPUs frequentemente permanecem ociosas.
Falta de Abstrações Especializadas: Embora existam sistemas orientados a serviços do tipo "Tinker-style" para o pós-treinamento de modelos de linguagem (ex: OpenTinker, ProRL Agent), eles não abordam os requisitos específicos do pós-treinamento de VLA, que envolve sessões de simulador, esquemas de ação heterogêneos, registros de rollout e sincronização de versão de política.

2. Metodologia: A Arquitetura JoyNexus

O JoyNexus redefine o pós-treinamento de VLA como um serviço unificado e multilocatário. Ele desacopla o Serviço de Modelo de Treinamento, o Serviço de Modelo de Inferência e o Serviço de Ambiente, permitindo que os locatários acessem estes via APIs enquanto o provedor gerencia a infraestrutura compartilhada.

2.1 Princípios de Design Principais

Decomposição: Inspirado na decomposição "estilo Lego" de modelos como StarVLA, o JoyNexus separa o backbone VLM compartilhado (residente em memória), que é caro e reutilizável, dos módulos de ação específicos do locatário (adaptadores, cabeças de ação ou sufixos de política).
Separação de Serviços:
- Serviço de Modelo de Treinamento: Mantém o modelo base compartilhado e os estados de treinamento específicos do locatário (otimizadores, versões de política).
- Serviço de Modelo de Inferência: Lida com requisições de inferência, mantendo estados de serviço indexados por locatário e sincronizando parâmetros atualizados.
- Serviço de Ambiente: Gerencia sessões interativas (simuladores) e conjuntos de dados offline, abstraindo tanto a interação online quanto o acesso a dados offline.
Escalonamento de Fila Dupla: O sistema utiliza uma Fila de Treinamento e uma Fila de Inferência. Isso desacopla o fluxo de dados de otimização das requisições de predição sensíveis à latência, permitindo o escalonamento concorrente de Ajuste Fino Supervisionado (SFT), Aprendizado por Reforço (RL) e avaliação.

2.2 Orquestração de Fluxo de Trabalho

O JoyNexus suporta três fluxos de trabalho principais através de um Serviço Mestre que compila a intenção do usuário em configurações de backend:

Ajuste Fino Supervisionado (SFT): Os locatários fornecem conjuntos de dados de demonstração offline. O sistema amostra lotes, executa o modelo VLA, computa a perda e atualiza os módulos específicos do locatário.
Aprendizado por Reforço (RL): Um ciclo fechado onde a política interage com um ambiente (via Serviço de Ambiente), gera registros de rollout e atualiza a política. O produtor de rollout e o ator (treinador) rodam como loops concorrentes, comunicando-se apenas via Fila de Treinamento.
Avaliação: Um processo de leitura que carrega uma versão específica da política, executa a inferência contra um ambiente ou conjunto de dados e registra métricas sem atualizar parâmetros.

2.3 Agrupamento de Lotes Multilocatário (Multi-Tenant Group Batching)

Para resolver a ineficiência de requisições de inferência pequenas e esporádicas, o JoyNexus introduz o agrupamento de lotes (group batching) para esquemas de dados VLA heterogêneos.

Mecanismo: Requisições compatíveis de diferentes locatários são normalizadas para uma representação de prefixo compartilhado (o VLAFeature). Uma única passagem direta (forward pass) é executada sobre o backbone compartilhado congelado para os exemplos agrupados.
Particionamento: As características resultantes são então particionadas de volta para os módulos de ação específicos do locatário, para computação de perda, passagens inversas (backward passes) e atualizações de otimizador.
Escalonamento: O Escalonador de Inferência acumula requisições com base em um tempo de espera máximo ( $T$ ) e um tamanho de lote alvo ( $B$ ) antes de disparar a inferência, garantindo alta utilização sem bloquear indefinidamente requisições sensíveis à latência.

2.4 Robustez do Sistema

Isolamento de Falhas: Um Gerenciador de Saúde dedicado monitora os serviços. Falhas localizadas disparam reinicializações no local de funções específicas (ex: um trabalhador de rollout que falhou) sem reiniciar todo o workload ou afetar outros locatários.
Escalabilidade Elástica: Os serviços de inferência e treinamento podem escalar de forma independente. Motores de rollout podem ser adicionados ou removidos assincronamente para corresponder às demandas de interação com o ambiente sem interromper o processo de otimização.

3. Principais Contribuições

Abstração de Serviço Cliente-Servidor: Uma arquitetura inovadora que separa a computação privada do locatário (módulos de ação, otimizadores) da infraestrutura compartilhada (modelos base, ambientes), mantendo o isolamento de carga de trabalho enquanto permite o escalonamento granular de recursos.
Backend de Três Componentes: Um backend unificado que suporta SFT, RL e avaliação, onde os modelos base permanecem residentes em memória e os módulos específicos do locatário são montados em slots isolados.
Agrupamento de Lotes para Esquemas Heterogêneos: Um pipeline que permite uma única passagem direta de backbone compartilhado entre amostras agrupadas de diferentes locatários com esquemas de dados compatíveis, melhorando significativamente o throughput para cargas de trabalho de pequenos lotes.
Validação Empírica: Demonstração de melhoria na utilização de recursos e redução do tempo total de GPU em comparação com a execução isolada de locatário único.

4. Resultados Experimentais

Os autores avaliaram o JoyNexus através de simulação de carga de trabalho e um pipeline de agrupamento de lotes em cenários corporais realistas.

Eficiência de Recursos: Em uma simulação com três locatários de RL e um locatário de SFT em um nó de 8 GPUs, o JoyNexus reduziu o tempo total de GPU em 28,3% em comparação com uma linha de base sequencial de locatário único.
- Utilização do Serviço de Modelo de Treinamento: Aumentou de 20,8% (isolado) para 41,3% (multilocatário), uma melhoria de 1,99×.
- Utilização do Serviço de Modelo de Inferência: Aumentou de 28,1% para 37,5%, uma melhoria de 1,33×.
Desempenho de Agrupamento de Lotes:
- Experimentos com 2–8 locatários e variados tamanhos de lote locais mostraram que o agrupamento de lotes torna-se cada vez mais eficaz à medida que o número de locatários aumenta e os tamanhos de lote locais diminuem.
- Para modelos como StarVLA-GR00T (2B, 4B, 8B), a execução agrupada forneceu acelerações significativas na etapa de forward (até 3,24× para StarVLA-OFT com 8 locatários), principalmente ao amortizar o custo da passagem direta do backbone base compartilhado.
Correção do Treinamento: A análise da trajetória de perda confirmou que a execução agrupada preserva o comportamento de otimização por locatário. Locatários treinados em diferentes conjuntos de dados (LIBERO vs. CALVIN) com cabeças de ação e otimizadores distintos exibiram padrões esperados de descida de perda idênticos às linhas de base de execução serial.

5. Significância e Alegações

O artigo afirma que o JoyNexus representa um passo significativo em direção a serviços de pós-treinamento VLA programáveis e multilocatários. Sua principal significância reside em:

Mudança do Fardo: Ele libera os locatários de preocupações de infraestrutura de baixo nível (alocação de recursos, residência de modelo, sincronização), permitindo que foquem no desenvolvimento de algoritmos.
Eficiência Econômica e Técnica: Ao permitir o escalonamento entre locatários em recursos compartilhados, ele aborda a ineficiência do preço fixo por hora-cartão para cargas de trabalho de VLA intermitentes, tornando o treinamento de alto desempenho mais acessível e econômico.
Escalabilidade: O design orientado a serviços suporta o escalonamento concorrente de diversas cargas de trabalho (SFT, RL, avaliação) que anteriormente eram difíceis de orquestrar juntas devido aos requisitos heterogêneos de ambiente e dados.

Os autores observam que, embora o protótipo atual fundamente essas abstrações em fluxos de trabalho existentes (RLinf, StarVLA), trabalhos futuros explorarão o ajuste dinâmico de recursos, mecanismos de precificação e pontos de extensão seguros para código e ambientes fornecidos pelo usuário.