Resumo Técnico: SARM2 – Modelagem de Recompensa Multitarefa e Sensível a Estágios para Automelhoria de Manipulação Robótica

1. Declaração do Problema

Modelos de Visão-Linguagem-Ação (VLA) estabeleceram o aprendizado de política end-to-end como um paradigma dominante na manipulação robótica. No entanto, esses modelos geralmente têm dificuldade com tarefas de longo horizonte sem um ajuste fino extensivo em dados de domínio específico. O Ajuste Fino Supervisionado (SFT) depende de demonstrações humanas de alta qualidade e custo elevado, permanecendo propenso a falhas fora de distribuição (OOD). Embora o Aprendizado por Reforço (RL) ofereça um caminho para a automelhoria, ele enfrenta dois gargalos críticos:

1. Recompensas Esparsas: Métodos de RL online existentes frequentemente dependem de recompensas terminais esparsas, que falham em fornecer a supervisão densa ao nível de passo necessária para tarefas de longo horizonte e ricas em contato.
2. Limitações do Modelo de Recompensa: As abordagens atuais de modelagem de recompensa dividem-se em duas categorias subótimas:
   • Modelos Específicos de Tarefa: Precisos, mas exigem anotações e retreinamento para cada nova tarefa (ex: SARM), o que limita a escalabilidade.
   • Modelos VLM de Propósito Geral: Amplamente aplicáveis, mas produzem previsões de grão grosso e ruidosas ao nível de passo, tornando-os inadequados como sinais de supervisão densos para o progresso de manipulação refinada.

O artigo postula que escalar o VLA-RL requer um modelo de recompensa que seja simultaneamente denso (por passo), preciso (fiel ao progresso da tarefa) e geral (aplicável a diversas tarefas sem retreinamento).

2. Metodologia

Os autores propõem o SARM2 (Modelagem de Recompensa Multitarefa e Sensível a Estágios) e o SPIRAL (Aprendizado de Melhoria de Política via Alinhamento de Recompensa).

3.1 SARM2: Modelo de Recompensa Multitarefa e Sensível a Estágios

O SARM2 aborda o equilíbrio entre generalização e precisão combinando um estimador de estágio agnóstico à tarefa com uma cabeça de valor especializada.

• Estimador de Estágio de Primitiva de Ação:

  • Em vez de anotações de estágio específicas para cada tarefa, o modelo utiliza um vocabulário compartilhado de primitivas de ação (ex: "Pegar", "Colocar", "Rotacionar", "Apagar") como uma representação intermediária.
  • Com base em uma análise de mais de 10.000 horas de dados de manipulação, os autores identificaram K=21 primitivas de ação que cobrem >90% da duração da tarefa, além de uma classe "nula" para incerteza.
  • O estimador é um Transformer causal de 4 camadas que recebe imagens multi-visão (pulso-esquerda, pulso-direita, visão superior) e estados proprioceptivos como entrada. Ele classifica o segmento atual em uma das K+1=22 classes de primitivas.
  • Este estimador é treinado em um conjunto de dados equilibrado de 66 horas de segmentos abrangendo 100 tarefas, permitindo que generalize através de domínios.

• Cabeça de Valor Multi-Gate Mixture-of-Experts (MMoE):

  • Para produzir estimativas de valor densas (especificamente, passos restantes normalizados até a conclusão), o SARM2 emprega um decodificador MMoE.
  • Arquitetura: O modelo de valor utiliza um backbone Transformer causal de 6 camadas separado. Ele recebe as mesmas entradas visuais/proprioceptivas que o estimador de estágio, além da incorporação (embedding) da tarefa e da incorporação da primitiva prevista do estimador de estágio.
  • Mecanismo de Roteamento: A primitiva prevista seleciona um portão (gate) específico no MMoE. Cada portão roteia tokens para um pool compartilhado de especialistas (MLPs de 3 camadas). Este design permite que o modelo se especialize nas dinâmicas visuais e assinaturas de progresso de grupos específicos de primitivas, enquanto compartilha capacidade entre as tarefas.
  • Objetivo: O modelo prevê uma recompensa densa $r_t \in [-1, 0]$ representando o progresso restante. A função de perda combina o Erro Quadrático Médio (MSE) na distância do objetivo com perdas auxiliares para equilíbrio de portões e entropia para evitar o colapso do roteador.

3.2 SPIRAL: Estrutura de Melhoria de Política via Alinhamento de Recompensa

O SPIRAL é uma estrutura on-policy, guiada por recompensa, projetada para criar um "flywheel de dados robóticos" usando as recompensas densas do SARM2.

• Substrato de RL Residual: O SPIRAL baseia-se na estrutura DICE-RL, utilizando uma abordagem de aprendizado residual onde uma política residual corrige as saídas de uma política VLA base.
• Objetivo Híbrido:
  • Componente Denso: Utiliza TD3 com recompensas densas por passo fornecidas pelo SARM2.
  • Componente Esparso: Combina isso com um objetivo de Monte Carlo (MC) impulsionado por recompensas esparsas de nível de episódio para garantir o alinhamento com o objetivo final da tarefa.
• Loop Autônomo: A estrutura opera em um loop fechado:
  1. Inicialização: Ajuste fino de uma política VLA base via Clonagem de Comportamento (BC).
  2. Adaptação de Uma Única Vez: Um pequeno conjunto de rollouts anotados por humanos adapta o modelo de recompensa à distribuição de rollout da política.
  3. Automelhoria: O sistema coleta rollouts autonomamente, rotula-os com o SARM2 adaptado e atualiza a política via RL residual. Este ciclo se repete sem intervenção humana adicional.

3. Principais Contribuições

1. SARM2: Um modelo de recompensa multitarefa e sensível a estágios que acopla um estimador de estágio de primitiva de ação generalizável com uma cabeça de valor MMoE multi-portão. Esta arquitetura produz recompensas densas e precisas em diversas tarefas de longo horizonte dentro de um único modelo, eliminando a necessidade de retreinamento por tarefa.
2. SPIRAL: Uma estrutura de RL residual on-policy alinhada à recompensa que aproveita as recompensas densas do SARM2 para permitir o refinamento contínuo da política a partir de rollouts autônomos de baixo custo, fechando um flywheel de dados robóticos autônomo.
3. Validação Empírica: Demonstração de que recompensas densas de alta qualidade são críticas para a melhoria estável, mostrando ganhos substanciais sobre baselines de recompensa esparsa e baseados em VLM em tarefas do mundo real.

4. Resultados Experimentais

Os autores avaliaram o SARM2 e o SPIRAL em um benchmark de 10 tarefas e duas tarefas específicas de longo horizonte no mundo real: Dobrar Camisa (Folding Shorts) e Limpar Quadro Branco (Cleaning Whiteboard).

Desempenho do Modelo de Recompensa

• Precisão: O SARM2 reduziu o Erro Quadrático Médio (MSE) em demonstrações não vistas em 80% comparado aos baselines mais fortes (ReWiND, TOPReward, Robometer).
• Generalização: Na tarefa "Cleaning Whiteboard" (T2), o SARM2 alcançou uma correlação de classificação de rollout ($\rho$) de 0.667, superando significativamente modelos de propósito geral baseados em VLM (que frequentemente apresentavam correlações negativas devido ao otimismo excessivo).
• Ablações: Remover o estimador de estágio aumentou a perda de demonstração em ~70%; remover o design multi-gate aumentou a perda em ~30%. Isso confirma que tanto a consciência de estágio quanto o roteamento MMoE são sinérgicos.
• Saúde do Roteador: O roteamento MMoE permaneceu equilibrado (Score de Densidade ~0.10), enquanto variantes de portão único sofreram colapso de roteador (Densidade > 0.80).

Desempenho de Aprendizado de Política (SPIRAL)

• Folding Shorts:
  • Flat: A taxa de sucesso melhorou de 58% (BC/RL-Dense inicial) para 100% após 3 rodadas de SPIRAL com SARM2.
  • Crumpled (Mais Difícil): A taxa de sucesso melhorou de 33% para 67%. Notavelmente, baselines de recompensa esparsa degradaram o desempenho nesta tarefa (caindo para 17%), destacando a necessidade de recompensas densas.
• Cleaning Whiteboard:
  • A taxa de sucesso melhorou de 50% para 90%.
  • A pontuação média de progresso aumentou de 0.813 para 0.975.
• Comparação: O SPIRAL com SARM2 superou consistentemente todos os baselines, incluindo modelos de recompensa VLM com ajuste fino LoRA (Robometer-FT) e RL de recompensa esparsa. Os resultados indicam que, embora a densidade seja necessária, a qualidade e a consciência de estágio da recompensa são os gargalos para uma melhoria autônoma eficaz.

5. Significância e Alegações

O artigo afirma que o SARM2 e o SPIRAL demonstram que recompensas densas de alta qualidade são o "fator de carga" para um flywheel de dados robóticos autossustentável. O trabalho desafia a noção de que VLMs de propósito geral são suficientes para controle robótico refinado, mostrando que uma abordagem estruturada, baseada em primitivas, é necessária para uma estimativa de progresso precisa.

Os autores enfatem que seu método permite o refinamento contínuo de políticas em tarefas de longo horizonte com intervenção humana mínima após uma fase inicial de adaptação. Ao desacoplar a estimativa de estágio (primitivas generalizáveis) da estimativa de valor (especialistas especializados), eles alcançam um modelo que é tanto escalável entre tarefas quanto preciso o suficiente para guiar o RL on-policy.

Limitações Reconhecidas pelos Autores:

• Escopo de Incorporação (Embodiment): O vocabulário de primitivas de ação é derivado de dados de mesa bimanual; estender para manipulação móvel requer a reconstrução do conjunto de primitivas.
• Teto do RL Residual: A estrutura refina políticas via aprendizado residual em vez de atualizar os pesos do VLA, o que significa que não pode corrigir erros no nível de intenção ou de decomposição de tarefa de alto nível.
• Eficiência de Amostragem: Embora autônomo, a coleta de rollouts on-policy ainda requer operadores humanos para resets de rotina entre os episódios.