Object-Centric Residual RL for Zero-Shot Sim-to-Real VLA Enhancement

Resumo Técnico: RL Residual Centrado em Objetos para o Aperfeiçoamento de VLA Sim-to-Real Zero-Shot

Declaração do Problema

Modelos de Visão-Linguagem-Ação (VLA) demonstraram generalização abrangente em tarefas de manipulação através de pré-treinamento em larga escala e aprendizado por imitação. No entanto, políticas derivadas de aprendizado por imitação são inerentemente frágeis em interações físicas precisas; pequenos erros de execução acumulam-se ao longo do tempo, levando a falhas em estados não vistos. Embora o Aprendizado por Reforço (RL) ofereça um mecanismo de recuperação por meio de interação online, a aplicação direta de RL a VLAs modernos é desafiadora devido às arquiteturas que dependem de difusão ou flow matching, que não são prontamente diferenciáveis através de gradientes de política padrão.

O RL Residual, que treina uma política corretiva leve sobre um VLA base congelado, apresenta uma solução natural. Contudo, abordagens existentes enfrentam um dilema fundamental de "sim-to-real":

1. Métodos de estado privilegiado exigem a destilação de um professor baseado em estados para um aluno baseado em imagens para implantação, incorrendo em perda de desempenho.
2. Métodos baseados em imagem sofrem com grandes lacunas de domínio visual, impedindo a transferência zero-shot de resíduos treinados em simulação.
3. RL no mundo real elimina a lacuna de transferência, mas é dispendioso, inseguro e exige infraestrutura complexa.

O desafio central abordado é: Pode uma política de aprendizado por reforço treinada puramente em simulação melhorar a robustez de VLAs no mundo real de forma zero-shot, sem destilação ou RL no mundo real?

Metodologia

Os autores propõem um framework de RL Residual Centrado em Objetos que refina as ações do VLA usando poses de objetos, permitendo um espaço de observação compacto que se transfere consistentemente entre simulação e realidade. O framework opera em três estágios:

1. VLA Pareado Sim/Real via Replay de Teleoperação
Para alinhar as distribuições de ação entre domínios, os autores reproduzem as mesmas demonstrações de teleoperação usadas para treinar o VLA do mundo real ($\pi^{real}_{VLA}$) dentro de um ambiente de simulação. Isso treina um correspondente de simulação ($\pi^{sim}_{VLA}$) junto com o real. Como ambos são supervisionados por trajetórias de ação idênticas, eles aprendem distribuições de ação alinhadas, apesar de diferentes entradas visuais. Isso permite que o resíduo seja treinado junto com $\pi^{sim}_{VLA}$ na simulação e se transfira para $\pi^{real}_{VLA}$ de forma zero-shot na implantação. Crucialmente, como o resíduo não observa imagens, o ambiente de simulação não precisa ser visualmente realista, reduzindo o esforço de engenharia.

2. Treinamento de RL Residual Centrado em Objetos
A política residual ($\pi^{sim}_{res}$) é treinada inteiramente em simulação usando TD3. A inovação principal reside no espaço de observação $s_t$, que evita tanto estados privilegiados quanto imagens brutas:
$$s_t = [s^{obj}_t, s^{prop}_t, a^{base}_t]$$

• $s^{obj}_t$: Poses 6-DoF (posição e orientação) de objetos relevantes para a tarefa, estimadas via estimadores prontos para uso (FoundationPose + SAM2).
• $s^{prop}_t$: Estado proprioceptivo (pose do efetor final, estado da garra).
• $a^{base}_t$: O action chunk atual do VLA base.

Para garantir a robustez contra ruído de estimativa de pose e falhas no mundo real, o treinamento emprega duas estratégias de aumento:

• Injeção de Ruído de Pose: Perturbações aleatórias são adicionadas à posição e orientação (multiplicação de quaternion) para mimetizar imprecisões do estimador.
• Pose Dropout: Com uma certa probabilidade, o vetor de pose do objeto é zerado, forçando a política a aprender uma estratégia de contingência baseada apenas em propriocepção e na ação base.

3. Implantação Zero-Shot
Na implantação, tanto o VLA real quanto o residual treinado em simulação são congelados. O sistema consulta o VLA real para a ação base e o residual para uma correção baseada nas poses dos objetos observadas. Se a confiança do estimador de pose cair abaixo de um limite, o sistema aciona a contingência de "dropout" aprendida durante o treinamento. A ação combinada é computada como $a_t = a^{base}_t \oplus \pi^{sim}_{res}(s_t)$, onde $\oplus$ denota composição por componente (adição para posição/garra, multiplicação de quaternion para rotação).

4. Auto-aperfeiçoamento do VLA
Execuções (rollouts) bem-sucedidas geradas pela política corrigida pelo residual no robô real podem ser agregadas entre tarefas para retreinar o VLA base via ajuste fino supervisionado (SFT). Isso cria um ciclo de auto-aperfeiçoamento que gera dados de treinamento de maior qualidade sem exigir teleoperação adicional.

Principais Contribuições

• Framework Zero-Shot Sim-to-Real: Um novo framework de RL residual que alcança transferência zero-shot sem destilação ou RL no mundo real, utilizando um espaço de observação invariante ao domínio (poses de objetos + propriocepção).
• Auto-aperfeiçoamento Automático: Um mecanismo para agregar execuções bem-sucedidas do robô real provenientes da política corrigida pelo residual para retreinar um único VLA multitarefa, melhorando a política base sem novas demonstrações humanas.
• Validação Empírica: Demonstração de melhoria consistente em cinco tarefas de manipulação em um robô real Franka Research 3 (FR3), elevando a taxa média de sucesso de 42% para 76%.

Resultados Experimentais

O método foi avaliado em cinco tarefas de manipulação de mesa (Levantar Cubo, Pegar-e-Colocar, Empilhar Cubo, Fechar Gaveta, Levantar Copo) usando um robô FR3 real e uma simulação MuJoCo.

• Ganhos de Desempenho: O residual treinado em simulação melhorou a taxa média de sucesso no robô real de 42% (VLA Base) para 76% (Base + Residual). Na simulação, a taxa média de sucesso melhorou de 38% para 86%.
• Estudos de Ablação:
  • Robustez: Tanto a injeção de ruído de pose quanto o pose dropout foram essenciais; remover qualquer um deles degradou o desempenho, sendo o pose dropout crítico para a resiliência contra falhas de detecção.
  • Espaço de Observação: Observações centradas em objetos superaram significativamente as linhas de base baseadas em imagem (que falharam devido às lacunas de domínio visual) e as abordagens baseadas em destilação (que sofreram perda de desempenho durante a destilação).
• Análise de Intervenção: O residual interveio consistentemente quando o VLA base estava desalinhado com o objetivo, direcionando as ações para o alvo. Essa correção seletiva resultou em conclusão de tarefas de 9% a 22% mais rápida.
• Generalização: O framework mostrou-se compatível com diferentes backbones de VLA (testado em $\pi_{0.5}$), confirmando que a interface de observação não é específica para uma única arquitetura.
• Auto-aperfeiçoamento: O retreino do VLA base em execuções corrigidas pelo residual rendeu taxas de sucesso mais altas e tempos de episódio mais curtos em comparação com o retreino nas execuções originais da base.

Significância e Alegações

O artigo afirma que, ao mudar o espaço de observação da política residual de imagens ou estados privilegiados para poses centradas em objetos, é possível transpor a lacuna sim-to-real sem complexa adaptação de domínio ou destilação. Esta abordagem aproveita a generalização dos VLAs enquanto adiciona a precisão do RL através de um módulo leve e transferível zero-shot.

Os autores posicionam isso como um caminho prático para o aperfeiçoamento autônomo e escalável de robôs. Ao desacoplar o mecanismo de correção do treinamento da política base e utilizar uma representação de estado recuperável, o método permite a implantação no mundo real de políticas de RL treinadas em simulação. Além disso, a capacidade de usar essas execuções corrigidas para retreinar o VLA base sugere um caminho para o refinamento contínuo e automatizado do sistema sem o custo proibitivo da teleoperação humana contínua.

Limitações observadas pelos autores:

• Dependência de rastreamento de pose 6-DoF em tempo real, que pode falhar sob oclusão total ou desordem intensa.
• Necessidade de especificação manual de objetos relevantes para a tarefa.
• A observação baseada em pose faz a ponte para a lacuna visual, mas não para a lacuna de dinâmica (ex: fricção, complacência), o que pode afetar tarefas ricas em contato.
• Como uma arquitetura residual, não consegue recuperar de estados muito fora da distribuição de treinamento do VLA base.
• Tarefas de precisão submilimétrica podem exceder a precisão atual de estimativa de pose.