Resumo Técnico: DyGRO-VLA

1. Declaração do Problema

O artigo aborda um gargalo crítico de escalabilidade no treinamento de modelos Visão-Linguagem-Ação (VLA) para manipulação robótica generalista. Embora avanços recentes em Aprendizado por Reforço (RL) tenham melhorado a precisão de controle e as taxas de sucesso para tarefas individuais, a aplicação de RL pós-treinamento em configurações multi-tarefa frequentemente leva ao esquecimento catastrófico e à interferência entre tarefas.

Uma análise empírica no benchmark LIBERO revela que, à medida que o número de tarefas aumenta, otimizadores padrão de RL (por exemplo, Soft Actor-Critic) degradam-se em desempenho. Especificamente:

• Distorção de Representação: O ajuste fino (fine-tuning) de RL de tarefa única distorce o espaço de características compartilhado aprendido durante o pré-treinamento, isolando experiências específicas de tarefas e reduzindo o alinhamento com outras tarefas.
• Degradação de Desempenho: Modelos otimizados para tarefas específicas frequentemente sofrem quedas significativas de desempenho em tarefas não relacionadas, e o treinamento multi-tarefa de RL torna-se cada vez mais instável à medida que a contagem de tarefas cresce.
• O Trade-off: Existe um conflito fundamental entre alcançar alta destreza em tarefas específicas e manter a generalização entre tarefas necessária para robôs generalistas.

2. Metodologia: DyGRO-VLA

Para resolver o trade-off entre destreza e generalização, os autores propõem o DyGRO-VLA (Otimização Residual Agrupada Dinâmica), um framework de otimização em dois estágios.

Estágio 1: Pré-treinamento Offline com Gargalo de Informação (IB)

O primeiro estágio foca em aprender uma representação latente cruzada-tarefa robusta e compartilhada $p(z|o)$ a partir de demonstrações offline.

• Arquitetura: Utiliza uma espinha dorsal VLM (DINOv2, SigLIP, Qwen2.5-0.5B) para codificar observações visuais e instruções de linguagem, fundidas com dados proprioceptivos.
• Objetivo: O modelo é treinado usando um objetivo de Gargalo de Informação Variacional (VIB). O objetivo é maximizar a informação mútua entre a representação latente $Z$ e a ação $A$ ($I(Z; A)$) enquanto minimiza a informação mútua entre a observação $O$ e $Z$ ($I(O; Z)$).
• Mecanismo: Isso força o codificador a reter apenas informações relevantes para a tarefa (por exemplo, geometria do objeto, relações espaciais) enquanto descarta fatores de incômodo (por exemplo, desordem de fundo, iluminação), criando um espaço latente compacto adequado para generalização.
• Perda: Um limite inferior variacional é derivado para tornar o objetivo IB tratável, envolvendo um crítico neural $T_\psi$ para estimar os termos de informação mútua.

Estágio 2: Ajuste Fino Online via Mistura de Resíduos de RL (MoRR)

O segundo estágio otimiza a política para desempenho multi-tarefa sem perturbar a representação compartilhada aprendida no Estágio 1.

• Aprendizado Residual: Em vez de atualizar diretamente a política base, o otimizador de RL prevê um resíduo ($\Delta a$) para refinar o bloco de ação base ($a_{base}$). Isso preserva o prior pré-treinado enquanto permite correções específicas de tarefa.
• Roteamento Dinâmico (MoE): Para lidar com múltiplas tarefas, o framework emprega uma arquitetura de Mistura de Especialistas (MoE) com $N$ especialistas residuais.
  • Embeddings de Tarefa: Um objetivo de aprendizado contrastivo ($L_{CL}$) aprende embeddings de tarefa ($\tilde{z}_T$) que codificam padrões de identificação de tarefa, distintos do latente relevante para decisão $z$.
  • Roteador: Uma rede de gate condiciona-se ao embedding de tarefa para selecionar e ponderar dinamicamente os $m$ principais especialistas para uma dada tarefa.
• Objetivos de Treinamento: A perda total combina:
  1. Perda de RL ($L_{RL}$): Perda padrão de ator-crítico para a política aumentada.
  2. Perda Contrastiva ($L_{CL}$): Garante que os embeddings de tarefa sejam discriminativos para o roteamento.
  3. Balanceamento de Carga ($L_{LB}$): Um regularizador baseado em entropia para evitar o colapso de especialistas e garantir o uso equilibrado da MoE.
• Amostragem Consciente de Dificuldade: O processo de treinamento viésa a amostragem para tarefas sub-resolvidas para focar a aprendizagem em cenários desafiadores.

3. Contribuições Principais

1. Análise das Limitações do RL: O artigo fornece evidências empíricas demonstrando que o pós-treinamento padrão de RL causa esquecimento catastrófico e distorção de representação em configurações multi-tarefa VLA, destacando a necessidade de preservação de características cruzadas-tarefa.
2. Framework DyGRO-VLA: Introdução de um novo framework em dois estágios que combina pré-treinamento com Gargalo de Informação com uma Mistura Dinâmica de Resíduos de RL para ajuste fino online.
3. Otimização Agrupada Dinâmica: O design de um mecanismo de roteamento que compõe dinamicamente especialistas de RL especializados com base em embeddings de tarefa, mitigando efetivamente conflitos de gradiente entre tarefas diversas.
4. Validação Abrangente: Avaliação extensa em LIBERO (130 tarefas), RoboTwin2 (braço duplo) e transferência Sim2Real no mundo real, demonstrando melhorias consistentes sobre baselines de última geração.

4. Resultados Experimentais

Os autores avaliaram o DyGRO-VLA nos benchmarks LIBERO e RoboTwin2, comparando-o com baselines fortes, incluindo Octo, OpenVLA, $\pi_0$ e vários métodos de ajuste fino de RL.

• Benchmark LIBERO:
  • O DyGRO-VLA alcançou uma taxa de sucesso média de 97,1% em todas as suítes, superando o modelo base offline em +4,4%.
  • Uma melhoria notável foi observada na desafiadora suíte LIBERO-Long, onde as taxas de sucesso aumentaram de 85,2% para 95,0% (+9,8% de ganho absoluto).
  • Superou outras baselines baseadas em RL (por exemplo, TGRPO, VLA-RL, RIPT-VLA) que lutaram com o co-treinamento multi-tarefa.
• Análise de Conflito de Gradiente: Visualizações da similaridade de cosseno de gradiente mostraram que, enquanto resíduos MLP padrão exibem fortes correlações negativas (conflitos) entre grupos de tarefas, o MoRR do DyGRO-VLA reduziu significativamente esses conflitos enquanto mantinha a sinergia intra-grupo.
• Estudos de Ablação:
  • A remoção do objetivo IB ou do objetivo de aprendizado contrastivo levou a quedas de desempenho, confirmando a necessidade de aprendizado de representação compartilhada e roteamento discriminativo.
  • O aumento do número de especialistas (de 1 para 8) melhorou consistentemente o desempenho, com 8 especialistas produzindo os melhores resultados.
• Mundo Real (RoboTwin2):
  • Na transferência Sim2Real, o DyGRO-VLA alcançou o melhor sucesso geral de simulação (79,2%) e superou as baselines RFT em ensaios no mundo real, particularmente em tarefas bimanuais complexas e de longo horizonte.

5. Significado e Alegações

O artigo alega que o DyGRO-VLA oferece uma solução escalável e robusta para o ajuste fino eficiente de reforço multi-tarefa. Seu significado principal reside em:

• Preservar a Generalização: Ao desacoplar a aprendizagem de representações compartilhadas do refinamento específico de tarefa via aprendizado residual, previne o "overfitting" de otimizadores de RL que tipicamente aflige o treinamento multi-tarefa VLA.
• Preencher a Lacuna: Ele preenche com sucesso a lacuna entre o controle de alta performance de tarefa única e as capacidades de generalização necessárias para robôs generalistas.
• Aplicabilidade Prática: O método demonstra que políticas complexas de RL multi-tarefa podem ser efetivamente transferidas para sistemas robóticos do mundo real sem esquecimento catastrófico.

Os autores reconhecem limitações, incluindo sensibilidade à esparsidade de recompensa durante o treinamento online, dependência de identidades de tarefa conhecidas para roteamento e a necessidade de avaliação mais ampla no mundo real em diversas corporificações. No entanto, posicionam o DyGRO-VLA como um passo fundamental rumo a sistemas robóticos de propósito geral capazes de lidar com tarefas diversas do mundo real com um modelo unificado.