Resumo Técnico: HuMam – Controle de Movimento Humanoide via Aprendizado por Reforço Profundo de Ponta a Ponta com Mamba

1. Declaração do Problema

A locomoção humanoide apresenta desafios únicos em comparação com sistemas quadrupedais ou sobre rodas, principalmente devido aos centros de gravidade mais altos, dinâmica acoplada entre a parte superior e inferior do corpo e requisitos rigorosos de segurança. Embora o aprendizado por reforço (RL) de ponta a ponta ofereça um mapeamento percepção-ação compacto, a implementação prática frequentemente sofre de instabilidade no treinamento, fusão de características ineficiente e altos custos de atuação.

Abordagens existentes enfrentam limitações específicas:

• Backbones de alimentação direta (feedforward) muitas vezes subaproveitam dados de observação estruturados, como a fase da marcha e alvos de passos orientados.
• Modelos de sequência pesados (ex: Transformers ou RNNs profundas) impõem trocas desfavoráveis entre computação e memória, dificultando a implantação em tempo real em sistemas embarcados.
• A dinâmica de treinamento frequentemente exibe instabilidade, alta variância entre sementes (seeds) e uso ineficiente de amostras, levando a políticas que são instáveis ou energeticamente ineficientes.

O artigo aborda a necessidade de um controlador que seja tanto previdente (coordenando o posicionamento dos pés e o equilíbrio) quanto consciente de recursos (operando dentro dos limites de computação e atuação embarcados) sem depender da acumulação explícita de histórico temporal.

2. Metodologia: O Framework HuMam

Os autores propõem o HuMam, um framework de RL de ponta a ponta centrado no estado, projetado para a caminhada humanoide. A inovação central reside na adoção de um codificador Mamba de camada única como um backbone de fusão leve.

2.1. Espaço de Observação

O agente recebe um conjunto rico de observações em cada passo de tempo, dividido em duas categorias:

• Estados centrados no robô: Posições e velocidades das articulações para 12 articulações das pernas atuadas, orientação da raiz (roll, pitch) e velocidade angular (roll, pitch, yaw). O yaw global é excluído, pois os passos são definidos em relação ao frame da raiz.
• Guia externo: Dois alvos de passos orientados ($T_1, T_2$) definidos por posição 3D e direção (heading), além de um relógio de fase contínuo que codifica o ciclo da marcha ($\sin, \cos$) para evitar descontinuidades associadas à codificação de fase escalar.

2.2. Arquitetura: Codificador Mamba de Camada Única

Ao contrário de designs recorrentes ou baseados em atenção que acumulam histórico temporal, o HuMam baseia-se exclusivamente no estado atual, mas utiliza a dinâmica de espaço de estados seletiva do Mamba para capturar dependências estruturadas entre as modalidades de entrada.

• Tokenização: Os estados do robô e externos são concatenados e projetados em embeddings específicos de modalidade.
• Codificação de Espaço de Estados: Uma única camada Mamba aplica dinâmica de espaço de estados com portão (gated) a esses tokens. Esta formulação fornece uma visão convolucional com kernels de decaimento exponencial, permitindo uma mistura de características eficiente sem recorrência temporal explícita.
• Saída: A representação codificada é agregada em um vetor de características compacto compartilhado pelas cabeças de política (policy) e valor (value).

2.3. Hierarquia de Controle e Espaço de Ação

• Espaço de Ação: A política de alto nível (rodando a 40 Hz) gera alvos de posição de articulação desejados para as 12 articulações das pernas atuadas.
• Execução de Baixo Nível: Um controlador Proporcional-Derivativo (PD) de baixo ganho (rodando a 1000 Hz) converte esses alvos de posição em torques de articulação executáveis. Esta estrutura hierárquica garante uma execução de torque suave e mantém o problema de aprendizado bem condicionado.

2.4. Modelagem de Recompensa (Reward Shaping)

O framework utiliza uma função de recompensa concisa de seis termos otimizada via Otimização de Política Próxima (PPO) para equilibrar estabilidade, precisão e eficiência energética:

1. Força do Pé ($R_{force}$): Penaliza forças excessivas de reação do solo.
2. Velocidade do Pé ($R_{vel}$): Incentiva movimentos suaves da perna de balanço (swing leg).
3. Precisão do Passo ($R_{step}$): Recompensa o posicionamento preciso do pé em relação aos alvos.
4. Orientação ($R_{orient}$): Alinha a orientação da raiz com a direção desejada.
5. Altura do Corpo ($R_{height}$): Mantém uma altura nominal do torso.
6. Estabilidade da Parte Superior do Corpo ($R_{upper}$): Minimiza o balanço da parte superior do corpo.

3. Principais Contribuições

O artigo delineia quatro contribuições primárias:

1. Primeiro Controlador de RL Humanoide Baseado em Mamba: Introduz o Mamba como um backbone de fusão leve para locomoção humanoide de ponta a end-to-end, demonstrando que uma única camada é suficiente para um forte desempenho em um cenário centrado no estado.
2. Efetividade do Backbone: Mostra que o codificador Mamba produz um aprendizado mais rápido, melhor eficiência de amostragem e redução da variabilidade entre sementes (cross-seed) em comparação com um baseline de alimentação direta treinado identicamente.
3. Modelagem de Recompensa Consciente de Energia: Propõe uma recompensa de seis termos que regula conjuntamente forças de contato, velocidades de balanço, precisão de passos e estabilidade do corpo, promovendo implicitamente a eficiência energética.
4. Validação Empírica Extensa: Valida o framework no humanoide JVRC-1 através de diversas tarefas (caminhada para frente, para trás, curva, lateral e em pé) no ambiente mc-mujoco.

4. Resultados Experimentais

Os experimentos foram conduzidos no humanoide JVRC-1 (1,72m, 62kg) usando mc-mujojo. O HuMam foi comparado contra um forte baseline de alimentação direta sob configurações de treinamento idênticas.

4.1. Eficiência de Aprendizado e Estabilidade

• Eficiência de Amostragem: O HuMam exigiu 15,8 milhões de amostras para atingir um retorno de 240, comparado a 18,2 milhões para o baseline (melhoria de 13,2%). Em um limiar mais alto (retorno 260), a melhoria foi de 42,5% (20,2M vs. 35,0M amostras).
• Estabilidade: O HuMam reduziu o desvio da curva de aprendizado entre sementes em 35,4% e a variância no estágio final do treinamento em 61,0%, indicando uma convergência mais confiável.
• Desempenho: O desempenho de pico aumentou em 5,8% (269,85 para 285,50), e o retorno médio nos últimos 10% do treinamento melhorou em 5,5%.

4.2. Perfis de Recompensa e Torque

• Componentes de Recompensa: O HuMam alcançou uma recompensa média por passo superior (0,737 vs. 0,728), com melhorias notáveis na regulação da força do pé e suavidade da velocidade.
• Redução de Torque: O framework reduziu as magnitudes médias de torque das articulações em 9,6% e os picos de torque em 9,1%. Articulações específicas, como o pitch do quadril esquerdo e o pitch do tornozelo direito, viram reduções significativas (até 40% no torque médio para o tornozelo).

4.3. Eficiência Energética

O HuMam demonstrou economia de energia superior em tarefas dinâmicas:

• Em Pé: Reduziu o consumo de potência média de 57,48 W para 35,08 W (redução de 39%).
• Caminhada para Frente: Reduziu o custo de energia de 673 J/m para 421 J/m.
• Caminhada Lateral: Reduziu o custo de energia de 1395 J/m para 963 J/m.
• Potência por Massa: Consistentemente menor W/kg em todas as tarefas, com uma redução média de 1,92 W/kg (baseline) para 1,38 W/kg (HuMam).

5. Significância e Alegações

Os autores afirmam que o HuMam representa o primeiro controlador de RL humanoide de ponta a ponta que adota o Mamba como um backbone de fusão. O artigo argumenta que esta arquitetura proporciona ganhos tangíveis em três áreas críticas:

1. Eficiência: Alcançando maior desempenho com menos amostras de treinamento e menor overhead computacional devido à complexidade quase linear do codificador Mamba de camada única.
2. Estabilidade: Reduzindo a variância do treinamento e produzindo marchas mais suaves e robustas em diversos cenários de locomoção.
3. Economia de Controle: Gerando políticas que requerem menos torque e energia, tornando-as mais adequadas para implantação em hardware com orçamentos de energia limitados.

O trabalho conclui que o backbone Mamba é um codificador eficaz para o aprendizado de política compacta e centrada no estado, permitindo a síntese de comportamentos de caminhada humana natural e estável sem depender de histórico temporal explícito ou modelos de sequência pesados. O trabalho futuro é direcionado para implantação em hardware, transferência sim-to-real e integração de percepção embarcada.