Resumo Técnico: Módulo de Adaptação de Torque (TAM) para Transferência de Movimento Robusto em Manipulação

1. Definição do Problema

O artigo aborda o desafio da transferência sim-to-real (simulação para o mundo real) e da robustez de movimento na manipulação robótica. Uma política treinada ou projetada para um modelo de robô "ideal" específico frequentemente falha quando implantada em um robô alvo com dinâmicas distintas. Essas discrepâncias surgem de:

• O gap sim-to-real (atrito não modelado, amortecimento, atrasos de atuadores).
• Cargas úteis desconhecidas (adição de massa e mudanças no centro de massa).
• Variações instância-a-instância (tolerâncias de fabricação).

Em tarefas ricas em contato e dinâmicas, mesmo pequenas discrepâncias de movimento interrompem o tempo e os modos de contato, levando à falha da tarefa. As soluções existentes enfrentam limitações significativas:

• Identificação de Sistema (SysID): Requer coleta contínua de dados e reidentificação do modelo para cada novo robô ou mudança de carga útil.
• Randomização de Domínio (Domain Randomization): Frequentemente produz políticas excessivamente conservadoras que falham em explorar toda a amplitude dinâmica do robô.
• Adaptação do Lado da Política (ex: RMA, UPOSI): Requer o retreinamento ou a destilação da política com um ramo de adaptação, o que é custoso ou impossível para políticas de código fechado, de terceiros ou baseadas em modelos (MPC).

2. Metodologia: O Módulo de Adaptação de Torque (TAM)

Os autores propõem o TAM, um módulo aprendido inserido na interface de torque — entre o controlador de baixo nível e os atuadores físicos do robô. O TAM opera independentemente da política de alto nível, permitindo adaptar qualquer política existente (RL, BC ou MPC) sem modificar a própria política.

Arquitetura Central

O TAM consiste em dois componentes primários operando em diferentes escalas temporais:

1. Codificador de Histórico (5 Hz):
   • Entrada: Um histórico de longo horizonte (12 segundos) de dados proprioceptivos (posições das juntas $q$, velocidades $\dot{q}$) e torques aplicados $\tau^a$.
   • Aumentação de Características: O codificador incorpora uma característica de resíduo de física ($e_\tau$), calculada como a diferença entre o torque aplicado e o torque que o modelo ideal exigiria para o movimento observado. Isso fornece um sinal direto de discrepância dinâmica.
   • Processamento: Utiliza uma estratégia de tokenização de série temporal por patches com um Transformer causal para processar eficientemente o histórico de alta frequência (1 kHz) em um estado latente compacto $z_t$.
2. Adaptador de Torque (1 kHz):
   • Entrada: O estado latente $z_t$, uma janela local curta de estado/torque recente e o torque nominal $\tau^0_t$ gerado pelo controlador de baixo nível.
   • Saída: Um torque de correção residual $\Delta\tau_t$.
   • Mecanismo: Utiliza normalização de camada adaptativa condicionada a $z_t$ para permitir que os mesmos pesos expressem diferentes leis de correção para diferentes dinâmicas.
   • Comando Final: O torque corrigido $\tau^c_t = \text{clip}(\tau^0_t + \Delta\tau_t)$ é enviado ao robô.

Estratégia de Treinamento

• Dados Independentes de Tarefa: O TAM é treinado em rollouts de movimento de junta em espaço livre e randomizados, não em demonstrações de tarefas específicas.
• Supervisão: O objetivo de treinamento é o pareamento de torque local. Dado um estado e um torque nominal, o sistema calcula o torque "professor" necessário para que o robô perturbado (alvo) alcance a mesma aceleração que o robô ideal.
• Pipeline de Duas Etapas:
  1. Pré-treinamento Multi-Robô: O módulo é treinado em rollouts randomizados de cinco modelos de robôs diferentes (Panda, Piper, RBY-1, iiwa14, Flexiv Rizon4) para aprender uma inicialização de correção compartilhada.
  2. Ajuste Fino Específico do Robô: Se um simulador para o robô alvo estiver disponível, os pesos pré-treinados são ajustados finamente naquele robô através de seus rollouts randomizados. Nenhum dado do mundo real é necessário para esta etapa.

3. Principais Contribuições

1. Adaptação Desacoplada: Ao mover a camada de adaptação para a interface de torque, o TAM não requer acesso às observações, recompensas ou estados internos da política. Isso permite o reúso de um único conjunto de pesos do TAM através de diversas políticas (RL, BC, MPC) e espaços de ação (alvos de junta, alvos de efetuador final, torques diretos).
2. Transferência Zero-Shot para o Mundo Real: O método permite a execução robusta em robôs reais com cargas úteis e dinâmicas desconhecidas sem retreinar a política subjacente ou coletar dados de calibração no mundo real.
3. Correção de Alta Frequência: Operando a 1 kHz, o TAM suporta tarefas de manipulação dinâmicas e ricas em contato que exigem resposta rápida a mudanças de contato e inércia.
4. Generalização: A abordagem de pré-treinamento multi-robô permite que o módulo se generalize para morfologias de robôs não vistos, com melhorias adicionais possíveis via ajuste fino em simulação.

4. Resultados Experimentais

Os autores avaliaram o TAM em um robô real Franka Emika Panda através de três tarefas distintas e um estudo de rastreamento cruzado de robôs em simulação.

Tarefas no Mundo Real (Franka Panda)

• RL Baseado em Visão para Empurrar Caixas: O TAM alcançou uma taxa de sucesso de 76,2%, superando significativamente a Execução Direta (47,6%) e a Identificação de Sistema Online (57,1%).
• Flip de Cubo por Behavior Cloning: O TAM alcançou 72,0% de sucesso, quase igualando a linha de base ideal de simulação (73,5%) e mais que dobrando a taxa de sucesso da SysID Online (34,0%).
• Equilíbrio de Bola sobre Placa via MPC: O TAM completou 13,6 ± 2,9 objetivos em 15 segundos, superando a SysID Online (13,1) e a Execução Direta (8,8), aproximando-se do desempenho ideal de simulação (15,9).
• Rastreamento com Cargas Úteis Desconhecidas: Em tarefas de rastreamento de efetuador final com uma carga útil oculta de 1 kg, o TAM reduziu o erro de rastreamento (RMSE) de ~6 cm (Direto) para 1,29 cm (Estado Carregado), superando baselines de estimativa de parâmetros explícitos.

Generalização Cruzada de Robôs em Simulação

• Pesos do TAM pré-treinados em cinco robôs foram testados em dois robôs não vistos (Google Robot, Unitree Z1).
• O TAM pré-treinado multi-robô reduziu significativamente o erro de rastreamento em comparação com os baselines de Direto e SysID Online.
• O ajuste fino no simulador do robô alvo reduziu ainda mais o erro, demonstrando a eficácia do pipeline de treinamento de duas etapas.

Estudos de Ablação

• Codificador de Histórico: A remoção do codificador de longo horizonte reduziu significativamente as taxas de sucesso (de 84% para 42% em simulação), destacando a importância do contexto temporal.
• Característica de Resíduo de Física: A remoção da característica $e_\tau$ enfraqueceu a transferência entre robôs, confirmando seu papel na generalização além de morfologias específicas.
• Torque Direto vs. Predição de Parâmetros: A predição direta de torque residual superou métodos que tentavam primeiro prever parâmetros físicos explícitos.

5. Significância e Alegações

O artigo afirma que o TAM representa uma mudança na forma como a transferência sim-to-real é tratada para manipulação. Em vez de forçar a política a aprender robustez ou exigir identificação de sistema contínua, o TAM transfere o fardo da adaptação para uma interface modular ao nível de torque.

• Modularidade: Permite a adaptação "plug-and-play" para políticas criadas independentemente (RL, BC, MPC) sem retreinamento.
• Eficiência: Elimina a necessidade de coleta de dados no mundo real para adaptação, baseando-se em vez disso em simulação randomizada e pré-treinamento multi-robô.
• Robustez: Permite a manipulação dinâmica e rica em contato em hardware real com parâmetros físicos desconhecidos, alcançando um desempenho próximo aos baselines ideais de simulação onde métodos tradicionais falham.

Os autores reconhecem limitações: o TAM requer acesso a uma interface de torque e estrutura cinemática correspondente. Assume-se que as dinâmicas do robô alvo podem ser corrigidas dentro do orçamento de torque do atuador e não fornece garantias formais de estabilidade de longo horizonte ou para tarefas que exijam dinâmicas fora da distribuição de treinamento (ex: forças de contato extremas não vistas no treinamento).