Generalizing from References using a Multi-Task Reference and Goal-Driven RL Framework

Título: Generalização a partir de Referências usando um Framework de RL Multi-Tarefa com Referência e Orientação a Objetivos

1. Problema e Motivação

O aprendizado de comportamentos ágeis para robôs humanoides a partir de movimentos humanos enfrenta um compromisso (trade-off) persistente:

• Políticas de Rastreamento de Referência: São robustas e produzem movimentos naturais, mas são frágeis fora do conjunto de dados de demonstração, limitando a generalização para novos objetivos ou condições.
• Aprendizado por Reforço (RL) Puramente Orientado a Tarefas: Oferece adaptabilidade e generalização, mas frequentemente resulta em movimentos de baixa qualidade, descoordenados ou agressivos, devido à dificuldade de reward shaping (formatação de recompensa) para comportamentos complexos.

O objetivo deste trabalho é superar essa dicotomia criando um controlador que aprenda habilidades motoras estruturadas e naturais a partir de dados humanos, mas que seja capaz de se adaptar e generalizar para novos objetivos e condições iniciais sem depender das trajetórias de referência durante a execução (inferência).

2. Metodologia

Os autores propõem um framework unificado de RL Multi-Tarefa que treina uma única política condicionada a objetivos (goal-conditioned policy). A abordagem não trata o rastreamento de referência como uma restrição de implantação, mas como um prior para a modelagem do comportamento (behavioral shaping).

O treinamento ocorre simultaneamente em duas tarefas que compartilham o mesmo espaço de observação e ação, mas diferem em inicialização, espaços de comando e estruturas de recompensa:

1. Tarefa de Imitação Guiada por Referência:

   • Objetivo: Aprender habilidades motoras naturais e coordenadas.
   • Mecanismo: A política recebe recompensas densas baseadas na similaridade com movimentos de referência (captura de movimento), mas não recebe as trajetórias de referência como entrada (input) no momento da inferência.
   • Função: Atua como um "professor" que fornece sinais de aprendizado densos e estruturados, ensinando a coordenação corporal e o timing.

2. Tarefa de Generalização Orientada a Objetivos:

   • Objetivo: Adaptar as habilidades aprendidas para atingir metas específicas.
   • Mecanismo: Os objetivos são amostrados aleatoriamente, independentemente de qualquer referência. As recompensas são esparsas e baseadas apenas no sucesso da tarefa (ex: chegar a uma posição alvo).
   • Função: Força a política a aprender a adaptar os movimentos aprendidos na imitação para novas condições, sem depender de uma trajetória fixa.

Detalhes Técnicos Adicionais:

• MDP e Observação: A política observa o estado do robô (configuração das juntas, velocidades, gravidade projetada) e uma variável de objetivo (posição da raiz no plano horizontal). Não há variáveis de fase ou trajetórias futuras como entrada.
• Ação: Saídas residuais para controladores PD nas juntas.
• Currículo de Treinamento: Utiliza um esquema de dificuldade adaptativo com "chaves virtuais" (assistive wrenches). Inicialmente, o robô recebe assistência física virtual para estabilizar o aprendizado de movimentos dinâmicos complexos (como escalar caixas). À medida que o treinamento avança, a assistência é reduzida e a mistura entre as tarefas de imitação e generalização é ajustada para priorizar a adaptação a novos objetivos.
• Inicialização: A tarefa de imitação usa inicialização próxima aos dados de referência, enquanto a tarefa de generalização usa inicializações amplas e aleatórias para forçar a robustez.

3. Contribuições Principais

• Framework Unificado: Uma arquitetura que combina imitação densa e RL orientado a objetivos em uma única política, eliminando a necessidade de fases separadas de treinamento (ex: treinar um "professor" e depois destilar para um "aluno").
• Generalização sem Referência na Inferência: O controlador final opera apenas com o estado atual e o objetivo, sem precisar de dados de referência em tempo real, permitindo flexibilidade total.
• Composição de Habilidades de Longo Horizonte: Demonstração de que as habilidades aprendidas podem ser compostas sequencialmente (via uma máquina de estados simples) para realizar tarefas complexas de parkour (caminhar, pular, escalar, descer).
• Validação em Hardware: Sucesso na transferência sim-to-real no robô humanoide Unitree G1 em um ambiente desafiador de parkour baseado em caixas.

4. Resultados

Os experimentos foram realizados no robô Unitree G1 (29 graus de liberdade) em ambientes de simulação (MuJoCo, Isaac Lab) e no mundo real.

• Robustez e Generalização:

  • O método proposto manteve altas taxas de sucesso (até 100% em condições nominais e >60-98% em condições não nominais) em tarefas como "caminhar-e-pular" e "caminhar-e-escalar", mesmo com variações significativas na posição inicial, orientação e altura das caixas.
  • Em comparação com o RL Tabula Rasa (apenas recompensas de tarefa), o método proposto produziu movimentos muito mais naturais e coordenados, evitando comportamentos agressivos e descoordenados.
  • Em comparação com métodos de Rastreamento Puro (ZEST), o método proposto foi significativamente mais robusto a condições fora da distribuição, enquanto os métodos de rastreamento falhavam frequentemente ao tentar re-alinhar com a trajetória de referência em condições iniciais diferentes.

• Composição de Habilidades:

  • O robô conseguiu executar sequências longas de parkour (ex: caminhar -> escalar -> pular -> descer) com sucesso, demonstrando que as habilidades aprendidas são modulares e transferíveis.

• Estudos de Ablação:

  • Remover o currículo de tarefas resultou em falha total em habilidades dinâmicas complexas.
  • Remover a tarefa de imitação levou a comportamentos "gananciosos" e de baixa qualidade (ex: pular diretamente de uma caixa em vez de descer controladamente).
  • Remover a tarefa de generalização manteve a qualidade do movimento, mas a taxa de sucesso caiu drasticamente em condições não nominais, provando que a imitação sozinha não garante adaptabilidade.

5. Significado e Impacto

Este trabalho oferece um caminho prático para a autonomia de humanoides em ambientes não estruturados. Ao tratar o movimento de referência como um guia para a formação do comportamento e não como uma restrição rígida, o framework permite que robôs aprendam habilidades complexas e esteticamente agradáveis (como parkour) que são ao mesmo tempo robustas e adaptáveis.

A capacidade de compor essas habilidades em sequências longas sem necessidade de re-treinamento ou ajuste fino de condições iniciais é um passo significativo em direção a robôs humanoides capazes de operar de forma autônoma em cenários do mundo real, superando as limitações de métodos puramente baseados em rastreamento ou puramente baseados em recompensas de tarefa.