Resumo Técnico: RLDX-1

Declaração do Problema

Embora os modelos Visão-Linguagem-Ação (VLAs) tenham demonstrado progresso significativo na "inteligência versátil"—a capacidade de compreender cenas visuais diversas, seguir instruções em linguagem e generalizar entre tarefas—eles frequentemente lutam com tarefas complexas de manipulação no mundo real que exigem capacidades funcionais mais amplas. Especificamente, os VLAs existentes carecem de mecanismos explícitos para consciência de movimento (agir em ambientes dinâmicos com objetos em movimento), memória de longo prazo (raciocinar sobre históricos de interação estendidos além de quadros de curto prazo) e sensoriamento físico (inferir forças de contato e torques sob oclusão ou mudanças visuais sutis). Essas limitações impedem a implantação de robôs generalistas em cenários dinâmicos, ricos em contato e de longo horizonte.

Metodologia

Os autores introduzem o RLDX-1, uma política robótica de propósito geral projetada para manipulação destreza semelhante à humana. O sistema integra diversas capacidades funcionais em um framework unificado que abrange arquitetura, dados, treinamento e inferência.

1. Arquitetura Neural: Transformer de Ação Multi-Stream (MSAT)

O RLDX-1 é construído sobre uma arquitetura VLA de correspondência de fluxo, mas estende-a com três módulos funcionais chave e um design de transformer inovador:

• Consciência de Movimento: A espinha dorsal do Modelo de Linguagem e Visão (VLM) é aumentada com um Módulo de Movimento que integra auto-semelhança espaço-temporal (STSS) no codificador de visão para capturar dinâmicas temporais. Adicionalmente, quadros de vídeo passados são comprimidos em um único token de contexto para modelar eficientemente o contexto temporal.
• Memória de Longo Prazo: Um Módulo de Memória explícito mantém uma fila de características de cognição passadas, permitindo que o modelo raciocine sobre históricos de observação de longo prazo (por exemplo, para jogos de casca ou tarefas multi-etapa).
• Sensoriamento Físico: Um Stream de Física dedicado processa sinais físicos (torque e dados táteis) separadamente das entradas visuais e de linguagem. Este stream prevê sinais físicos futuros juntamente com ações, incentivando o modelo a internalizar a dinâmica de contato.
• Arquitetura MSAT: Para lidar com essas modalidades heterogêneas, os autores propõem o Transformer de Ação Multi-Stream. Ele atribui streams dedicados à Cognição (visual/linguagem), Ação (propriocepção/ações ruidosas) e Física (tátil/torque). Esses streams interagem via auto-atenção conjunta enquanto mantêm parâmetros específicos de modalidade, permitindo a troca de informações entre modalidades sem perder a fidelidade da representação.

2. Dados de Treinamento e Pipeline

A estratégia de treinamento depende de um pipeline de três estágios e de uma mistura diversificada de dados:

• Fontes de Dados: O modelo é treinado em uma combinação de (a) grandes conjuntos de dados públicos do mundo real (Open-X-Embodiment, DROID, Galaxea, Agibot World, etc.), (b) dados internos das plataformas humanoides ALLEX e Franka Research 3 (FR3) com sensores aumentados, e (c) dados sintéticos.
• Geração de Dados Sintéticos: Para abordar a escassez de dados para cenários destreza raros, os autores empregam um pipeline usando modelos generativos de vídeo (Imagem-para-Vídeo) para aumentar cenas e tarefas. Isso é seguido por rotulagem de ações via um Modelo de Dinâmica Inversa (IDM) e um rigoroso processo de filtragem em dois estágios: Filtragem de Qualidade de Vídeo (usando VLMs) e Filtragem de Consistência de Movimento (comparando execuções do simulador contra vídeos gerados).
• Treinamento em Três Estágios:
  1. Pré-Treinamento: Treinado em dados diversos de múltiplos embodiments para aprender priores gerais de manipulação.
  2. Treinamento Intermediário: Treinamento especializado em dados específicos de embodiment (ALLEX e FR3) para injetar capacidades funcionais (movimento, memória, física) usando dados internos e sintéticos.
  3. Pós-Treinamento: Ajuste fino específico de tarefa, opcionalmente aprimorado com Aprendizado por Reforço (RL) usando um crítico derivado de VLM (framework RECAP) para refinar o desempenho em tarefas desafiadoras.

3. Otimização de Inferência

Para permitir controle em tempo real em robôs reais, os autores implementam um pipeline de otimização de inferência em dois estágios:

• Otimização de Captura de Grafo: Converte o modelo em um Grafo CUDA estático para eliminar a sobrecarga de lançamento de kernel e a fragmentação de grafos.
• Otimização de Kernel: Projeta kernels fundidos personalizados (por exemplo, fundindo RMSNorm, RoPE e atenção) para reduzir o tráfego de memória e melhorar a eficiência de execução em cargas de trabalho de pré-preenchimento curto.
  Essas otimizações reduzem a latência por etapa de ~71,2 ms para 43,7 ms em uma NVIDIA RTX 5090, alcançando um aceleração de 1,63×.

Resultados Principais

O RLDX-1 foi avaliado em benchmarks de simulação e experimentos no mundo real nas plataformas OpenArm, ALLEX e Franka Research 3, superando bases de última geração como $\pi0.5$ e GR00T N1.6.

• Benchmarks de Simulação: O RLDX-1 alcançou as maiores taxas de sucesso em todos os benchmarks, incluindo LIBERO (97,8%), RoboCasa Kitchen (70,6%) e GR-1 Tabletop (58,7%). Notavelmente, mostrou robustez superior nas variantes LIBERO-Plus e SIMPLER em comparação com as bases.
• Versatilidade no Mundo Real (OpenArm): Em tarefas que exigem seguimento de instruções e generalização para objetos/tarefas não vistos, o RLDX-1 superou significativamente as bases, alcançando 54,2% em objetos não vistos versus 37,5% para $\pi0.5$.
• Capacidades Funcionais (ALLEX & FR3):
  • Consciência de Movimento: Em tarefas de esteira rolante com velocidades variáveis, o RLDX-1 alcançou uma taxa média de sucesso de 86,8%, enquanto as bases colapsaram para ~40% ou falharam em velocidades não vistas.
  • Memória de Longo Prazo: Nas tarefas "Seleção de Objeto na Caixa" e "Jogo de Casca", o RLDX-1 alcançou taxas de sucesso de 91,7% e 91,7% respectivamente, enquanto as bases performaram perto do acaso aleatório (~30-50%).
  • Sensoriamento Físico: Em tarefas ricas em contato como "Inserção de Plugue" e "Pegada e Colocação de Ovo", o RLDX-1 aproveitou o feedback de torque e tátil para alcançar taxas de sucesso de 33,3% e 61,1%, superando significativamente as bases que lutaram com forças de contato.
• Desempenho de Inferência: O pipeline otimizado alcançou uma aceleração de 1,63×, permitindo a implantação em tempo real.

Significado e Alegações

O artigo afirma que o RLDX-1 representa um passo significativo em direção a VLAs confiáveis para manipulação destreza complexa, rica em contato e dinâmica no mundo real. Ao ir além da "inteligência versátil" para integrar explicitamente consciência de movimento, memória de longo prazo e sensoriamento físico em uma arquitetura unificada de ponta a ponta, o RLDX-1 aborda lacunas críticas nas políticas atuais de robôs generalistas.

Os autores enfatizam que sua abordagem não é meramente uma escala de modelos VLA existentes, mas uma integração estrutural de capacidades funcionais necessárias para manipulação semelhante à humana. O sucesso do pipeline de dados sintéticos em aumentar dados do mundo real e a eficácia do procedimento de treinamento em três estágios demonstram um caminho escalável para implantar políticas generalistas em diversos embodiments. Os resultados no humanoide ALLEX, onde o RLDX-1 alcança ~90% de sucesso em tarefas funcionais em comparação com ~40% para modelos de fronteira, destacam a capacidade do modelo de controlar robôs de alto DoF sob demandas funcionais diversas.