Resumo Técnico: Stubborn – Um Framework de Aprendizado por Reforço Unificado para Rastreamento de Movimento e Recuperação de Quedas em Humanoides

1. Declaração do Problema

Avanços recentes em aprendizado por reforço (RL) melhoraram o rastreamento de movimento e a recuperação de quedas em humanoides, mas desafios significativos permanecem na unificação dessas capacidades. As abordagens atuais tipicamente tratam o rastreamento de movimento e a recuperação de quedas como tarefas distintas, necessitando de treinamento em múltiplas etapas, recompensas de recuperação especializadas ou políticas de recuperação separadas. Além disso, o treinamento padrão de RL frequentemente emprega uma "terminação rígida" (hard termination), onde os episódios terminam imediatamente após uma falha severa de rastreamento (ex: uma queda). Esse design limita a capacidade do agente de explorar comportamentos de recuperação em estados instáveis ou de queda, pois o sinal de aprendizado é interrompido antes que a recuperação possa ser tentada. Adicionalmente, dados de treinamento amostrados uniformemente costumam sub-representar segmentos de movimento difíceis e estados instáveis, dificultando a exploração de estratégias de recuperação robustas pela política.

2. Metodologia: O Framework Stubborn

Os autores propõem o Stubborn, um framework de RL simplificado e unificado, projetado para treinar uma única política capaz de realizar um rastreamento de movimento robusto e recuperação de queda autônoma. O framework é construído sobre uma arquitetura Actor-Critic assimétrica e integra três componentes técnicos principais:

A. Representação de Rastreamento Alinhada ao Yaw

Para mitigar a sensibilidade ao desvio global (drift) e distúrbios de direção, preservando as informações de equilíbrio relacionadas à gravidade, o Stubborn adota uma representação de rastreamento alinhada ao yaw. Esta abordagem remove a rotação de direção global da referência de movimento, permitindo que a política foque na dinâmica relativa do corpo em vez de corrigir desvios absolutos de translação e direção após perturbações.

B. Mecanismo de Terminação Probabilística Baseado em Bernoulli (PT)

Em vez de terminar deterministicamente um episódio quando os erros de rastreamento excedem um limite, o Stubborn emprega um mecanismo de terminação de Bernoulli condicional.

• Mecanismo: Quando o erro de altura da raiz ($e_{root,z}$) ou o erro de orientação ($e_{root}$) excede limites predefinidos, o episódio termina com uma probabilidade especificada pelo usuário ($p_{term}$), em vez de imediatamente.
• Racional: Isso cria uma "janela de recuperação" probabilística. Se o episódio continuar, a política é incentivada a explorar ações resilientes e aprender comportamentos de recuperação emergentes sem a necessidade de designs de recompensa auxiliares específicos para recuperação.
• Parametrização: A probabilidade de terminação é derivada de restrições físicas de recuperação. Com uma frequência de controle de 50 Hz e um tempo de recuperação física alvo de 4 segundos, os passos de sobrevivência esperados são definidos como 200 ($p_{term} = 0,005$). Isso garante que >99% dos episódios instáveis terminem antes do limite máximo de passos, mitigando a distorção de diferença temporal (TD) enquanto permite tempo suficiente para a exploração da recuperação.

C. Terminacão Probabilística e Amostragem Adaptativa Dirigida pelo Erro de Rastreamento

Sob o mecanismo de PT, a terminação do episódio não é mais um proxy confiável para a dificuldade do segmento devido à terminação estocástica. Para abordar isso, os autores propõem uma estratégia de amostragem adaptativa dirigida pelo desempenho de rastreamento online:

• Atualização de Peso: O peso de amostragem dos frames de referência é remodelado dinamicamente com base no erro médio de rastreamento de pontos-chave ($\bar{e}$) do episódio atual.
• Lógica:
  • Se o erro médio for alto ($\bar{e} \ge \theta_{success}$), os pesos para os frames envolvidos são aumentados para priorizar esses segmentos difíceis.
  • Se um episódio terminar precocemente apesar do baixo erro, os pesos são redistribuídos para focar nos segmentos específicos onde ocorreu a terminação.
  • Se um episódio atingir o comprimento máximo com baixo erro, os pesos são levemente decaídos para evitar o sobretreinamento em segmentos fáceis.
• Objetivo: Esta estratégia aumenta a frequência de treinamento para segmentos de movimento difíceis e estados instáveis, melhorando a eficiência do aprendizado sem depender de estatísticas de terminação rígida.

3. Principais Contribuições

O artigo delineia três contribuições primárias:

1. Aprendizado de Política Unificado: Uma única política que alcança rastreamento de movimento robusto e recuperação de queda sem controladores de recuperação separados ou treinamento em múltiplas etapas.
2. Terminação Suave Baseada em Bernoulli: Um mecanismo que incentiva o aprendizado de ações resilientes em estados instáveis, sintetizando comportamentos de recuperação emergentes sem engenharia de recompensa especializada.
3. Estratégia de Amostragem Adaptativa: Uma distribuição de amostragem novel que ajusta dinamicamente com base em erros de rastreamento online e terminação probabilística, visando efetivamente segmentos de movimento difíceis e estados de recuperação.

4. Resultados Experimentais

O framework foi avaliado no robô humanoide Unitree G1 de 29-DoF tanto em simulação (IsaacLab/MuJoCo) quanto em ambientes reais, utilizando movimentos dos datasets LAFAN1 e AMASS.

Desempenho de Rastreamento de Movimento

Comparado a baselines de estado da arte (HoloMotion, Any2Track, BFM-Zero e um baseline de RL do zero), o Stubborn alcançou uma precisão de rastreamento superior:

• MPBPE (Erro de Posição da Raiz): Reduzido de 62,68 mm (From-scratch) para 48,85 mm.
• MPJVE (Erro de Velocidade das Articulações): Reduzido de 887,87 rad/s para 624,03 rad/s.
• O método demonstrou desempenho estável com desvios padrão menores em todo o dataset LAFAN1.

Robustez e Recuperação de Queda

Estudos de ablação sob fortes perturbações externas (5 m/s) demonstraram a eficácia dos componentes propostos:

• Terminação Probabilística (PT): O framework completo Stubborn alcançou uma taxa de sucesso de recuperação de 100% tanto em limiares estritos (0,15 m) quanto moderados (0,25 m). Em contraste, a variante sem PT (w/o PT) alcançou apenas 77,5% e 85,0%, respectivamente. A variante com PT também convergiu mais rápido e exigiu menos passos de recuperação.
• Amostragem Adaptativa (AdpS): A inclusão da estratégia de amostragem adaptativa reduziu ainda mais os erros de posição, velocidade e aceleração das articulações, particularmente nos estágios intermediários e finais do treinamento.

Implantação no Mundo Real

Experimentos no mundo real com o Unitree G1 confirmaram a capacidade da política de rastrear diversos movimentos dinâmicos (incluindo mortais e acrobacias), resistir a distúrbios e recuperar-se de quedas em ambientes físicos.

5. Significância e Alegações

O artigo afirma que o Stubborn representa um passo significativo para unificar o rastreamento de movimento e a recuperação de quedas dentro de um único framework simplificado. Ao aproveitar transições naturais para estados de queda em vez de evitá-los, o framework alcança rastreamento de alta fidelidade e robustez sem a complexidade arquitetônica de treinamento em múltiplas etapas ou políticas de recuperação separadas. Os autores asseguram que o mecanismo de terminação probabilística e a estratégia de amostragem adaptativa são os principais impulsionadores dos ganhos de desempenho observados tanto em simulação quanto em implantação no mundo real.

O trabalho conclui observando que, embora o framework atual seja eficaz, esforços futuros se concentrarão em melhorar a agilidade e a suavidade dos movimentos de recuperação após quedas severas e em estender o framework para terrenos mais desafiadores.