Learning to Act Through Contact: A Unified View of Multi-Task Robot Learning

Resumo Técnico: Aprender a Agir Através do Contato

Declaração do Problema
As abordagens atuais de aprendizado por reforço (RL) para robótica frequentemente dependem de objetivos específicos de tarefa, resultando em políticas que lutam para generalizar a cenários não vistos sem retreinamento. Embora o RL tenha alcançado sucesso em domínios específicos como locomoção ágil de quadrúpedes e manipulação destreza, os métodos predominantes tipicamente tratam o contato como um subproduto incidental da otimização de movimento, em vez de um primitivo de controle fundamental. Essa abstração limita a transferibilidade de habilidades através de interações físicas diversas (por exemplo, de caminhar para manipulação de objetos) e através de diferentes morfologias robóticas. Representações de objetivo existentes, como alvos de posição 3D ou referências de movimento, frequentemente ignoram a importância crítica do timing e posicionamento do contato, tornando difícil unificar locomoção e manipulação sob um único framework.

Metodologia
Os autores propõem um framework unificado fundamentado em uma representação explícita de contato. Em vez de projetar políticas separadas para diferentes tarefas, a abordagem define tarefas através de sequências de objetivos de contato. Esses objetivos especificam:

• Posições de contato alvo ($p^{con}$)
• Tempos/durações de contato ($S$)
• Efeitos terminais ativos (indicadores binários $I^{con}$)
• Alvos de pose de objeto (para tarefas de manipulação)

O sistema opera por meio de um planejador de alto nível que gera essas sequências de objetivos de contato, as quais são então executadas por uma política de RL condicionada a objetivos. A política é treinada para rastrear esses objetivos usando torques articulares, independentemente da morfologia robótica específica ou do tipo de tarefa.

Fases de Contato e Recompensas
O framework decompõe a interação em três fases distintas para cada efeito terminal, permitindo a criação e ruptura controlada de contato:

1. Alcançar (R): O efeito terminal move-se em direção a uma localização de contato desejada.
2. Segurar (H): O efeito terminal mantém o contato na localização alcançada.
3. Desconectar (D): O efeito terminal move-se livremente sem engajar contato.

Para treinar a política, os autores empregam uma estrutura de recompensa densa que incentiva comportamentos específicos com base na fase atual:

• Recompensa de Alcançar: Incentiva a minimização da distância até a localização de contato alvo quando o indicador de contato é 0.
• Recompensa de Segurar: Incentiva a manutenção do contato na localização desejada quando o indicador é 1.
• Recompensa de Desconectar: Penaliza o contato não intencional quando o indicador é 0.
• Recompensa de Pose: Para manipulação, um termo adicional rastreia a posição e orientação do objeto.

A política observa estados proprioceptivos (posições/velocidades articulares), os objetivos de contato atual e próximo, e durações de comando. Notavelmente, o framework não depende de sensores de contato explícitos dos pés do robô para treinamento em simulação.

Contribuições Principais

1. Framework Unificado Explícito de Contato: Os autores propõem um framework de RL condicionado a objetivos onde tarefas são definidas por objetivos de contato, permitindo que uma única política aprenda diversas gaits de locomoção e habilidades de manipulação.
2. Validação Empírica através de Morfologias: O framework é validado em robôs morfologicamente distintos (quadrúpedes e humanoides) executando uma ampla gama de tarefas, demonstrando que o raciocínio explícito de contato facilita comportamentos robustos e dinâmicos através de diferentes encarnações.

Resultados Experimentais
O framework foi avaliado em três cenários principais:

1. Locomoção de Quadrúpedes: Uma única política executou com sucesso múltiplas gaits (trote, passo, galope, salto, rastejar) e navegou terrenos desafiadores, incluindo travessia de lacunas.
2. Locomoção de Humanoide: Uma única política de humanoide executou tanto gaits bípedes (caminhar, saltar) quanto quadrúpedes (rastejar, passo, saltar), incluindo movimentos assistidos pelas mãos.
3. Manipulação Bimanual: Um robô humanoide executou tarefas complexas, como reorientar objetos em uma mesa e rastrear poses de objetos enquanto os levantava.

Descobertas de Generalização:

• Velocidades/Direções Não Vistas: Comparado a políticas treinadas em alvos de velocidade, a política explícita de contato generalizou significativamente melhor para movimentos laterais e direções de velocidade fora da distribuição, apesar de não receber recompensas específicas para movimento lateral durante o treinamento.
• Multi-Gait vs. Single-Gait: A política multi-gait demonstrou menor desvio do plano de contato (distância de Hamming) através de durações de comando variáveis em comparação com políticas de gait único, sugerindo interpolação efetiva entre gaits.
• Formas de Objetos Não Vistas: Em tarefas de manipulação, a política explícita de contato generalizou melhor para formas de objetos não vistos (cilíndricas e esféricas) em comparação com uma baseline usando codificação one-hot de tarefa. A política explícita de contato exibiu comportamentos emergentes, como estratégias de nova tentativa, para rastrear poses em objetos esféricos rolantes.
• Poses de Objetos Não Vistas: A política explícita de contato alcançou menores erros de rastreamento e variabilidade em poses de objetos extrapoladas além da distribuição de treinamento em comparação com a baseline one-hot.

Significado e Alegações
O artigo alega que tratar o contato como um primitivo físico central, em vez de um subproduto de otimização, permite uma abstração mais fundamental de tarefas robóticas. Ao unificar locomoção e manipulação através de objetivos de contato, a abordagem permite que uma única política generalize através de sistemas morfologicamente distintos e cenários não vistos. Os autores posicionam o aprendizado de política explícita de contato como uma fundação promissora para loco-manipulação escalável, argumentando que ela aproveita estruturas compartilhadas entre tarefas para melhorar a adaptabilidade sem a necessidade de retreinamento do zero para cada nova tarefa. Trabalho futuro é proposto para integrar essa política de baixo nível com planejadores de alto nível aprendidos para tarefas autônomas de longo horizonte e para explorar robustez sim-to-real.