InterReal: A Unified Physics-Based Imitation Framework for Learning Human-Object Interaction Skills

O artigo apresenta o InterReal, um framework unificado de aprendizado por imitação baseado em física que permite a robôs humanoides aprender e executar com sucesso habilidades de interação humano-objeto no mundo real, superando limitações de frameworks anteriores através de uma nova estratégia de aumento de dados com restrições de contato e um aprendizado automático de recompensas.

O essencial

Imagine que você está tentando ensinar um robô humanoide (aqueles que parecem pessoas) a fazer tarefas domésticas, como pegar uma caixa pesada do chão e colocá-la em uma prateleira, ou empurrar um móvel pesado.

O problema é que a maioria dos robôs hoje em dia é ótima em andar ou dançar, mas péssima em interagir com objetos. Se você pedir para eles pegarem uma caixa, eles podem tropeçar, derrubar a caixa ou simplesmente não saber como ajustar a força.

Os autores deste artigo criaram um novo sistema chamado InterReal. Pense nele como um "super-treinador" que ensina o robô a ser um verdadeiro ajudante, capaz de lidar com objetos no mundo real.

Aqui está como eles fizeram isso, usando analogias simples:

1. O Problema: O "Simulador vs. Realidade"

Antes, os robôs eram treinados em computadores com física perfeita. Mas no mundo real, as coisas são bagunçadas. A caixa pode estar um pouco torta, o chão pode ser escorregadio ou o robô pode ver a caixa em um lugar diferente do que esperava. Quando isso acontece, o robô fica confuso e falha.

2. A Solução 1: O "Treino de Sobrevivência" (Aumento de Movimento)

Imagine que você está aprendendo a andar de bicicleta. Se você só praticar em um caminho reto e perfeito, vai cair na primeira vez que encontrar um buraco.

O InterReal faz algo inteligente: ele pega um movimento de "pegar a caixa" e cria milhares de variações dele.

• Ele muda a posição da caixa para a esquerda, direita, um pouco mais longe, um pouco mais perto.
• Ele força o robô a aprender a pegar a caixa em todas essas situações diferentes, ajustando o braço automaticamente.

É como se o robô lesse um livro de "O que fazer se a caixa estiver torta" antes mesmo de sair da fábrica. Isso faz com que, quando ele vê a caixa no mundo real, ele já saiba como se adaptar instantaneamente, sem entrar em pânico.

3. A Solução 2: O "Treinador Inteligente" (Aprendizado Automático de Recompensa)

Ensinar um robô por reforço (DRL) é como dar um prêmio a um cachorro quando ele faz algo certo. Mas qual prêmio dar?

• Se o robô segura a caixa, ele ganha um ponto?
• Se ele não cai, ganha dois pontos?
• Se ele move a caixa rápido, ganha três?

Fazer essa "lista de prêmios" manualmente é um pesadelo. Se você errar a conta, o robô aprende a fazer a tarefa de um jeito estranho ou falha.

O InterReal cria um Treinador Chefe (Meta-IA).

• Imagine que o robô é um aluno e o Treinador Chefe está observando.
• No começo da tarefa (pegar a caixa), o Treinador grita: "Foco no equilíbrio! Não caia!".
• No meio da tarefa (segurar a caixa), ele muda o grito: "Foco na posição da caixa! Não deixe cair!".
• No final, ele diz: "Foco em colocar suavemente!".

Esse Treinador Chefe aprende sozinho quais prêmios dar em cada momento. Ele não precisa de humanos para ficar ajustando a lista de regras. Ele observa onde o robô está errando e muda os "prêmios" em tempo real para guiar o robô para o sucesso.

4. O Resultado: O Robô de Verdade

Os autores testaram isso em um robô real chamado Unitree G1.

• Na simulação: O robô aprendeu a pegar e empurrar caixas com muito mais precisão do que os métodos antigos.
• No mundo real: O robô conseguiu pegar uma caixa, andar com ela e colocá-la no lugar, mesmo que a caixa estivesse um pouco torta ou o robô precisasse se curvar para alcançá-la.

Resumo da Ópera

O InterReal é como dar a um robô duas superpoderes:

1. Imaginação: Ele pratica milhões de cenários diferentes na "mente" dele antes de agir, então nada no mundo real o surpreende.
2. Instinto de Treinador: Ele tem um sistema interno que sabe exatamente o que é mais importante fazer a cada segundo da tarefa, ajustando seu comportamento automaticamente.

Isso é um grande passo para que os robôs humanoides saiam dos laboratórios e comecem a nos ajudar de verdade em tarefas complexas do dia a dia, como arrumar a casa ou ajudar em fábricas.

Resumo técnico

Título: InterReal: Um Framework Unificado Baseado em Física para Imitação de Habilidades de Interação Humano-Objeto

1. O Problema

A robótica humanoides avançou significativamente no controle de locomoção e movimentos corporais completos (como caminhar e pular) através de Aprendizado por Reforço Profundo (DRL) com imitação de movimento. No entanto, existe uma lacuna crítica na capacidade de realizar Interações Humano-Objeto (HOI) complexas e precisas no mundo real.

• Limitações Atuais: A maioria dos frameworks existentes foca em controle não interativo ou depende de teleoperação (controle remoto por humanos), o que limita a autonomia.
• Desafios Específicos:
  • Física Realista: Métodos anteriores de animação (como InterMimic) frequentemente ignoram restrições físicas completas (ex: atrito, massa real), tornando difícil a implantação em robôs físicos.
  • Perturbações: Durante a implantação no mundo real, ruídos de sensores e perturbações na posição relativa entre o humano e o objeto podem levar o policy aprendido a falhar (fora da distribuição).
  • Design de Recompensa: Encontrar o equilíbrio ideal entre múltiplas funções de recompensa (híbridas) em tarefas complexas é um gargalo conhecido, muitas vezes dependendo de ajustes manuais e heurísticos subótimos.

2. Metodologia: O Framework InterReal

O InterReal é um framework unificado baseado em física que combina aprendizado por imitação e DRL para controlar a interação humano-objeto. A arquitetura é composta por três etapas principais:

A. Pré-processamento e Aumento de Dados de Movimento (HOI Motion Augmentation)

• Retargeting Físico: Os dados de captura de movimento (mocap) são mapeados para a estrutura do robô (Unitree G1), garantindo consistência nas restrições de contato mão-objeto.
• Verificação Física: Os movimentos são validados em um simulador (IsaacGym) para garantir que não violem restrições cinemáticas ou causem colisões/penetrações.
• Aumento de Dados: Para melhorar a robustez, o framework aplica offsets de posição no objeto (eixo XY) e utiliza Cinemática Inversa (IK) para recalcular as posições das juntas dos braços, mantendo os detalhes de contato mão-objeto. Isso gera múltiplas trajetórias para a mesma tarefa, ensinando o robô a lidar com variações na posição inicial do objeto.

B. Aprendizado de Policy em Duplo Loop (Inner-Loop e Outer-Loop)
O sistema utiliza uma estrutura de meta-aprendizado para otimizar tanto a política de controle quanto a função de recompensa:

1. Inner-Loop (Política HOI):

   • Utiliza PPO (Proximal Policy Optimization) para aprender a política $\pi_{hoi}$ que rastreia os movimentos de referência.
   • Emprega uma arquitetura Assimétrica Actor-Critic: O Critic tem acesso a estados perfeitos (incluindo features do objeto e grafo de interação), enquanto o Actor recebe apenas estados imperfeitos (simulando o que o robô vê no mundo real, excluindo velocidades/rotações instáveis do objeto).
   • Inclui uma recompensa baseada em Grafo de Interação para garantir contatos precisos entre o robô e o objeto.

2. Outer-Loop (Aprendizado Automático de Recompensa):

   • Introduz uma Meta-Policy (baseada em SAC - Soft Actor-Critic) que atua como um "aprendedor de recompensas".
   • Objetivo: Em vez de usar pesos fixos para as recompensas, a meta-policy ajusta dinamicamente os pesos ($\Theta$) das sub-recompensas (ex: erro de posição da junta, do objeto, do contato) com base no progresso do aprendizado e nos erros de rastreamento atuais.
   • A recompensa da meta-policy é definida pela redução dos erros de rastreamento críticos (posição da junta, objeto e links), guiando a exploração para encontrar a combinação ótima de pesos em tempo real.

C. Implantação (Deployment)

• O framework foi validado em simulação (Mujoco) e implantado no robô real Unitree G1.
• Utiliza o FoundationPose para estimativa de pose do objeto em tempo real, permitindo que o robô ajuste seu movimento com base na posição atual do objeto, fechando o ciclo de feedback.

3. Principais Contribuições

1. Framework Unificado HOI: Primeiro framework que integra imitação de movimento, restrições físicas rigorosas e feedback de interação para implantação em robôs humanoides reais.
2. Aumento de Movimento com IK: Uma técnica inovadora para gerar dados de treinamento robustos a perturbações de posição do objeto, mantendo a consistência do contato físico.
3. Aprendizado Automático de Recompensa: Elimina a necessidade de ajuste manual de pesos de recompensa, utilizando uma meta-policy para balancear dinamicamente os objetivos de rastreamento e interação durante o treinamento.
4. Validação no Mundo Real: Demonstração bem-sucedida em tarefas complexas (pegar e empurrar caixas) no robô Unitree G1, superando as limitações de simulação.

4. Resultados Experimentais

Os experimentos foram realizados nas tarefas de pegar caixa (box-picking) e empurrar caixa (box-pushing), comparando o InterReal com baselines como ASAP e InterMimic (adaptados para o cenário real).

• Precisão de Rastreamento: O InterReal alcançou os menores erros de rastreamento na maioria das métricas (posição de juntas, links e objeto) em comparação com os baselines.
  • Exemplo: No tarefa de pegar caixa, o erro de posição do objeto (Emope) foi de 0.0021m (InterReal) vs 0.0087m (ASAP) e 0.0032m (InterMimic).
• Taxa de Sucesso da Tarefa:
  • Pegar Caixa: 96.41% de sucesso (vs 77.38% do ASAP e 84.72% do InterMimic).
  • Empurrar Caixa: 87.45% de sucesso (vs 70.63% do ASAP e 79.10% do InterMimic).
• Estabilidade: O framework demonstrou robustez contra perturbações e atrasos de sensor, mantendo o equilíbrio e completando a tarefa sem quedas.
• Estudo de Ablação: A remoção do componente de recompensa automática (usando pesos fixos) resultou em desempenho significativamente pior, confirmando a eficácia do aprendizado adaptativo de recompensas.

5. Significado e Impacto

O InterReal representa um avanço crucial na transição de robôs humanoides de meros executores de movimentos para agentes autônomos capazes de interagir fisicamente com o ambiente de forma segura e precisa.

• Aplicabilidade Industrial: A capacidade de lidar com objetos em posições variáveis e ajustar o movimento em tempo real é essencial para aplicações em logística, manufatura e assistência pessoal.
• Superação do "Sim-to-Real": Ao integrar verificação física rigorosa e aprendizado de recompensa adaptativo, o framework reduz a lacuna entre simulação e realidade, permitindo que políticas complexas de interação sejam transferidas com sucesso para robôs físicos.
• Autonomia: Reduz a dependência de teleoperação, permitindo que robôs humanoides operem de forma autônoma em tarefas que exigem coordenação fina entre o corpo e objetos externos.

Em resumo, o InterReal estabelece um novo padrão para o aprendizado de habilidades de interação humano-objeto, combinando robustez física, generalização de dados e otimização automática de objetivos de aprendizado.