Preference-Conditioned Multi-Objective RL for Integrated Command Tracking and Force Compliance in Humanoid Locomotion

Este trabalho apresenta um quadro de aprendizado por reforço multiobjetivo condicionado a preferências que permite a um único policy de locomoção em humanoides equilibrar dinamicamente o rastreamento de comandos e a conformidade a forças externas, validado com sucesso em simulações e experimentos reais.

O essencial

Imagine que você está ensinando um robô humanoide (um robô com pernas e braços como nós) a andar. Até agora, a maioria dos robôs aprendia a andar de uma única maneira: como um soldado rígido.

Se você empurrasse esse robô, ele tentaria ficar firme, resistir ao empurrão e continuar andando exatamente para onde foi programado. Isso é ótimo para não cair, mas é péssimo se você quiser guiá-lo com a mão, como se estivesse segurando a mão de uma criança. O robô ficaria "duro", travado e até perigoso de interagir.

Os autores deste artigo criaram uma nova forma de ensinar o robô a andar. Eles chamam isso de "Aprendizado por Preferências".

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: O Robô "Teimoso" vs. O Robô "Mole"

Pense em dois tipos de pessoas:

• O Robô Rígido: É como um guarda-costas. Se você tentar mudar a direção dele, ele resiste com força. Ele é ótimo para andar em terrenos difíceis, mas se você quiser guiá-lo suavemente, ele vai te empurrar de volta.
• O Robô Mole: É como um fantasma. Se você empurrar, ele vai junto, mas se você pedir para ele ir para a frente, ele pode não ouvir e continuar indo para onde o empurrão o levou.

O desafio era criar um robô que pudesse ser ambos, dependendo do que você precisasse naquele momento.

2. A Solução: O "Botão de Controle de Personalidade"

Os pesquisadores criaram um sistema onde o robô tem um "botão de preferência" (na verdade, é um número que você define no computador).

• Se você coloca o botão no "100% Comando": O robô age como o guarda-costas. Ele ignora empurrões e vai exatamente para onde você mandou.
• Se você coloca o botão no "100% Conformidade": O robô age como um dançarino de tango. Se você puxar a mão dele, ele segue você suavemente, sem resistir.
• O Pulo do Gato: O robô não precisa ser reprogramado para mudar. Você só gira o botão e ele muda de comportamento na hora, suavemente, como se estivesse ajustando o volume de um rádio entre "Rígido" e "Mole".

3. Como eles ensinaram isso? (A Analogia do "Treinador Cego")

Ensinar um robô a sentir o que você está empurrando é difícil, porque ele não tem sensores de toque em todo o corpo (seria muito caro e complexo).

A equipe usou uma técnica inteligente chamada "Reconstrução Privilegiada". Imagine o seguinte cenário:

• O Aluno (O Robô): Só pode ver o que está na frente dele e sentir o que seus músculos estão fazendo. Ele não sabe que você está empurrando.
• O Treinador (O Computador de Treino): Está em uma sala de vidro onde vê tudo, inclusive a força que você está aplicando no robô.

Durante o treino, o "Treinador" ajuda o "Aluno" a adivinhar o que está acontecendo. O robô olha para o histórico de movimentos e tenta adivinhar: "Ei, estou sendo puxado para a esquerda, mesmo sem ver a mão!".

Com o tempo, o robô aprende a "sentir" o empurrão apenas olhando para como seu corpo está se movendo. Quando chega a hora de usar o robô no mundo real (sem o treinador), ele já sabe como reagir, mesmo sem ter sensores de toque.

4. O Resultado na Vida Real

Eles testaram isso em um robô real chamado Booster T1.

• No modo "Rígido": O robô andava firme, ignorando empurrões.
• No modo "Mole": Uma pessoa podia puxar o robô pela mão ou ombro, e ele seguia o caminho da pessoa suavemente, como se estivesse sendo guiado.
• No modo "Misto": O robô conseguia andar para frente (comando) enquanto alguém o puxava para o lado. O resultado? O robô andava em diagonal, combinando os dois desejos perfeitamente.

Resumo da Ópera

Este trabalho é como dar ao robô a capacidade de escolher como interagir com o mundo.

Antes, os robôs eram como pedras: ou você os movia com muita força (e eles resistiam), ou eles caíam. Agora, com essa nova tecnologia, o robô é como argila. Você pode moldá-lo para ser firme quando precisa de precisão, ou macio quando precisa de interação humana segura. E o melhor: você pode mudar essa "textura" do robô a qualquer momento, sem precisar reiniciar o sistema.

Isso é um passo gigante para que robôs possam trabalhar ao lado de humanos, ajudando em tarefas que exigem tanto força quanto delicadeza.

Resumo técnico

Resumo Técnico: RL Multi-Objetivo Condicionado a Preferências para Locomoção de Humanoides

1. Problema e Motivação

A locomoção de humanoides em ambientes centrados no ser humano exige um equilíbrio delicado entre duas capacidades frequentemente conflitantes:

1. Rastreamento de Comandos: A capacidade de seguir com precisão comandos de velocidade para navegação autônoma.
2. Compliance de Força (Adaptação a Forças Externas): A capacidade de responder de forma suave e segura a forças externas aplicadas por humanos (ex.: guiamento físico), sem resistir rigidamente ou tornar-se instável.

O Desafio: Abordagens existentes de Aprendizado por Reforço (RL) focam predominantemente na robustez contra perturbações, treinando políticas que resistem ativamente a forças externas. Isso cria um viés indesejado onde o robô se torna excessivamente rígido, dificultando o guiamento humano e gerando interações inseguras. Métodos baseados em aprendizado geralmente tratam rastreamento e compliance como objetivos conflitantes não resolvidos explicitamente, resultando em políticas que comprometem um objetivo para melhorar o outro, ou exigem arquiteturas hierárquicas complexas e treinamento em estágios.

2. Metodologia Proposta

Os autores propõem um framework de Aprendizado por Reforço Multi-Objetivo (MORL) condicionado a preferências, que permite a um único policy (política) navegar continuamente entre o rastreamento rígido e a locomoção altamente compliant.

A. Modelagem de Resistência à Velocidade (Velocity-Resistance Modeling)
Para unificar comandos de velocidade e forças externas no mesmo espaço de recompensa, os autores introduzem um modelo físico simplificado:

• As forças externas sustentadas são mapeadas para velocidades equivalentes ($v_{ext} = k \cdot F_{ext}$).
• Isso permite tratar a força externa como um "comando de velocidade" oposto, permitindo que a função de recompensa compare diretamente o erro de rastreamento de velocidade com o erro de compliance de força.

B. Formulação MORL Condicionada a Preferências
O problema é formulado como um Processo de Decisão de Markov Parcialmente Observável (POMDP) com um vetor de recompensa multi-objetivo:

• Objetivos: (1) Rastreamento de comando ($r_c$), (2) Compliance a forças externas ($r_f$) e (3) Regularização ($r_r$).
• Condicionamento: A política $\pi(a|o, w)$ recebe um vetor de preferência $w$ (pesos) como entrada.
• Mecanismo: Ao variar $w$ durante o treinamento e a implantação, o robô pode interpolar suavemente entre comportamentos:
  • $w_c$ alto: Rastreamento preciso, resistência a forças.
  • $w_f$ alto: Alta compliance, o robô "cede" ao guiamento humano.

C. Arquitetura de Treinamento e Implantação

• Arquitetura Assimétrica (Actor-Critic): Utiliza uma estrutura onde o Critic tem acesso a informações privilegiadas (forças e torques reais, disponíveis apenas na simulação), enquanto o Actor (política de implantação) recebe apenas observações parciais (sensores do corpo, comandos).
• Reconstrução Privilegiada: Um módulo Encoder-Decoder é treinado para inferir características latentes relacionadas a forças e torques a partir de observações históricas. O decoder tenta reconstruir as observações privilegiadas, forçando o encoder a extrair as informações relevantes sobre interações físicas.
• Deploy: Em tempo real, apenas o Encoder e o Actor são utilizados, permitindo controle baseado em preferências sem necessidade de sensores de força externos no hardware.

3. Principais Contribuições

1. Formulação Unificada: Modelagem da locomoção humana como um problema de otimização multi-objetivo, utilizando um modelo de resistência à velocidade para criar recompensas consistentes e comparáveis entre comandos e forças.
2. Framework MORL Condicionado a Preferências: Treinamento de uma única política que cobre um espectro contínuo de trade-offs entre rastreamento e compliance, eliminando a necessidade de controladores hierárquicos ou múltiplos estágios de treinamento.
3. Validação Realista: Demonstração bem-sucedida tanto em simulação quanto em um robô humanoide real (Booster T1), provando a viabilidade de locomoção omnidirecional adaptativa sem sensores de força diretos.

4. Resultados Experimentais

A. Simulação (Isaac Gym e MuJoCo)

• Trade-off Contínuo: A política aprendeu a gerar curvas de desempenho suaves e monotônicas. Ao aumentar o peso de compliance, a precisão do rastreamento diminui, mas a resposta a forças externas melhora significativamente.
• Mudança Online: O robô consegue alternar instantaneamente entre modos de comportamento (ex.: de seguir comando para seguir força) sem instabilidade ou quedas.
• Estabilidade de Treinamento: Comparado a um RL de objetivo único (SORL), o MORL apresentou treinamento mais estável e convergência mais robusta, evitando o colapso de objetivos conflitantes.
• Robustez a Perturbações: Sob impulsos de força aleatórios (até 50N), as políticas MORL (especialmente as com maior compliance) mantiveram taxas de sucesso superiores e geraram torques articulares de pico menores do que a baseline, indicando uma absorção de energia mais eficiente.

B. Experimentos no Mundo Real (Robô Booster T1)

• Adaptabilidade: O robô demonstrou comportamentos qualitativamente distintos ao ajustar os pesos de preferência. Com alta compliance, o robô seguia o guiamento humano com facilidade; com alto rastreamento, executava comandos de joystick com precisão.
• Medição Quantitativa de Força: Em testes de puxada, a política proposta exigiu apenas ~10 N para mover o robô suavemente, enquanto a baseline exigia mais de 25 N e frequentemente excedia o limite de medição (30 N) ou gerava movimentos bruscos.
• Locomoção em Terrenos Diversos: O robô foi guiado manualmente com sucesso em terrenos irregulares, grama, campo de futebol e superfícies elevadas, mantendo o equilíbrio apenas com forças de guiamento horizontais, sem assistência de suporte.
• Resistência a Impactos: O robô suportou impactos de bolas suspensas (até 5 kg) sem cair, ajustando-se com passos de retorno e movimentos compliantes.

5. Significado e Impacto

Este trabalho representa um avanço significativo na interação físico-humana com robôs humanoides. Ao resolver o dilema entre "ser robusto" e "ser compliant" através de um único framework de aprendizado, a pesquisa permite:

• Segurança: Humanoides que não resistem violentamente ao toque humano, reduzindo riscos de lesão.
• Versatilidade: Um único modelo de controle pode ser reconfigurado em tempo real para diferentes cenários (ex.: navegação autônoma vs. reabilitação física ou guiamento manual).
• Viabilidade de Implantação: A abordagem elimina a necessidade de sensores de força/torque caros ou complexos no hardware de implantação, utilizando apenas observações proprioceptivas e inferência latente.

Em suma, o método proposto oferece uma solução prática e escalável para a locomoção interativa de humanoides, permitindo que eles operem de forma segura e natural em ambientes dinâmicos e compartilhados com humanos.