Resumo Técnico: Imitação e Ajuste Fino de Controle Preditivo por Modelo para Locomoção Robusta e Simétrica em Quadrúpedes

Declaração do Problema

Projetar controladores de locomoção robustos para robôs com pernas permanece um desafio significativo devido à dinâmica subatuada, discreta e de alta dimensão desses sistemas. O controle baseado em modelo tradicional (por exemplo, Controle Preditivo por Modelo ou MPC) demonstrou agilidade e robustez impressionantes, mas frequentemente depende de modelagem matemática extensa e heurísticas pré-definidas (como as de Raibert). Esses modelos têm dificuldades em situações complexas e não convencionais, como terrenos acidentados, escorregadios ou em esteiras, onde ocorrem deslizamentos dos pés ou obstáculos inesperados. Por outro lado, as abordagens baseadas em aprendizado (por exemplo, Aprendizado por Reforço Profundo ou Deep RL) podem resolver automaticamente problemas não intuitivos usando grandes volumes de dados, mas frequentemente exigem um ajuste manual extenso de recompensas para produzir marchas de alta qualidade, simétricas e periódicas. Sem um ajuste cuidadoso, políticas aprendidas podem exibir movimentos trêmulos e assimétricos que falham ao serem transferidos para hardware real. Além disso, abordagens híbridas existentes frequentemente sofrem com altos custos computacionais devido à necessidade de executar o MPC em altas frequências ou falham em generalizar além de trajetórias de referência únicas.

Metodologia: O Framework IFM

Os autores propõem um novo framework de Imitação e Ajuste Fino de Controle Preditivo por Modelo (IFM) que integra as forças do controle baseado em modelo e algoritmos baseados em aprendizado através de um processo de três etapas:

Etapa 0: Controle Preditivo por Modelo Especialista (MPC)

O framework começa desenvolvendo um controlador especialista ($\pi_E$) usando Programação Dinâmica Diferencial (DDP) e heurísticas de Raibert.

• Projeto: O MPC prevê estados futuros e gera entradas de controle ótimas com base em uma função de custo convexa. Utiliza restrições de pirâmide de atrito para pernas de apoio e controle de impedância no espaço de tarefa para pernas de balanço.
• Limitação: Embora robusto, este MPC é computacionalmente caro (aproximadamente 12,4 ms por otimização) e depende de um modelo fixo, tornando a execução em tempo real em hardware difícil e limitando a adaptabilidade a terrenos não vistos.
• Conversão de Ação: Para fechar a lacuna com algoritmos de aprendizado, as saídas de torque do MPC são convertidas em ângulos articulares alvo usando um modelo inverso proporcional-derivativo (PD), tornando os dados compatíveis com políticas de redes neurais.

Etapa 1: Aprendizado por Imitação (IL)

O MPC especialista é usado para gerar um conjunto de dados para pré-treinar uma política de rede neural ($\pi_I$).

• Algoritmo: Os autores empregam Agregação de Conjunto de Dados (DAgger). Em vez de clonagem de comportamento simples, a política é executada e o MPC especialista corrige as ações para estados não vistos, agregando esses dados para mitigar a discrepância de distribuição.
• Arquitetura: Um Perceptron Multicamadas (MLP) com três camadas ocultas (512, 256, 64 neurônios) recebe observações incluindo orientação do corpo, estados articulares, histórico e comandos do usuário.
• Objetivo: Esta etapa cria uma "cópia" do MPC que é computacionalmente eficiente e aprendível, herdando as marchas simétricas e periódicas do especialista sem o alto custo de otimização.

Etapa 2: Ajuste Fino por Aprendizado por Reforço (RL)

A política imitada é posteriormente ajustada finamente em terrenos desafiadores usando Otimização de Política Proximal (PPO).

• Aprendizado por Currículo: A política é treinada em um currículo de terrenos (acidentado, acidentado discreto, degrau, penhasco) com dificuldade crescente (fator de terreno) para evitar a perda de estilos de movimento pré-treinados.
• Formulação de Recompensa: Os autores utilizam uma configuração de Recompensa Simples (SR) (rastreamento de velocidade, minimização de movimentos desnecessários, regularização de torque) e uma configuração de Recompensa de Contato (CR) (adicionando viés de contato). Crucialmente, o pré-treinamento reduz significativamente o ônus da engenharia de recompensas em comparação com o RL Vanilla.
• Exploração Confinada: Para manter os estilos de movimento benéficos aprendidos durante a imitação, o ajuste fino por RL emprega exploração confinada (desvio padrão inicial pequeno, taxas de aprendizado baixas e parâmetros de corte PPO pequenos).
• Simulação para Realidade: Randomização de domínio é aplicada ao ruído de observação, atrito do motor, ganhos PD, atrito do solo e latência de comando para garantir transferência zero-shot para hardware.

Contribuições Principais

1. Framework Inovador: A proposta do framework IFM, que combina sistematicamente MPC e RL para aproveitar a robustez do controle baseado em modelo e a adaptabilidade dos métodos baseados em aprendizado.
2. Melhoria de Desempenho: Demonstração de que o IFM melhora significativamente a robustez do MPC especialista em terrenos acidentados, escorregadios e em esteiras, reduzindo drasticamente o tempo de computação (de ~15 ms para ~1 ms).
3. Eficiência e Qualidade: Evidências de que o IFM produz marchas mais simétricas, periódicas e energeticamente eficientes em comparação com o RL Vanilla, alcançando isso com ajuste mínimo de recompensas e convergência mais rápida.
4. Validação em Hardware: Implantação bem-sucedida no robô Mini Cheetah, mostrando taxas de sucesso superiores ao atravessar obstáculos e rastrear velocidades em comparação com o MPC original e baselines de RL puro.

Resultados Experimentais

Os autores conduziram simulações extensas e experimentos em hardware no Mini Cheetah:

• Robustez: Na simulação, o IFM superou o MPC especialista e políticas apenas DAgger em terrenos acidentados, escorregadios e em esteiras não vistas. Enquanto o MPC falhou em esteiras devido a padrões de pisada fixos, o IFM adaptou sua marcha efetivamente.
• Desempenho de Rastreamento: Em terreno plano, o IFM(SR) alcançou os menores erros de rastreamento linear, superando tanto o MPC quanto o RL Vanilla. O RL Vanilla(SR) exibiu rastreamento pobre devido a "pronking" (movimento vertical excessivo), um problema mitigado pelo pré-treinamento do IFM.
• Taxas de Sucesso em Hardware:
  • Cruzamento de Obstáculos: O IFM(CR) alcançou uma taxa de sucesso de 90% ao pisar sobre obstáculos de 7,5 cm, enquanto o MPC ajustado para hardware (WBIC) e o DAgger falharam completamente nessa altura.
  • Terreno Escorregadio: Políticas IFM atravessaram com sucesso uma superfície com coeficiente de atrito de 0,22, enquanto o MPC e o DAgger caíram devido à dependência das heurísticas de Raibert, que não conseguiam lidar com deslizamentos significativos.
• Qualidade do Movimento: Políticas IFM demonstraram menor Custo de Transporte (CoT) e Índice de Retrato de Fase (PPI) em comparação com o RL Vanilla, indicando marchas mais energeticamente eficientes e simétricas. Os retratos de fase do IFM mostraram sobreposição quase perfeita entre as pernas esquerda e direita, ao contrário dos movimentos assimétricos do RL Vanilla.
• Eficiência: O IFM convergiu em aproximadamente 2.000 iterações, significativamente mais rápido que o RL Vanilla (aproximadamente 4.000+ iterações).

Significado e Alegações

O artigo afirma que o framework IFM oferece uma solução equilibrada para o trade-off entre a interpretabilidade e robustez do controle baseado em modelo e a adaptabilidade dos métodos baseados em aprendizado. Ao usar o MPC como um especialista de pré-treinamento, o framework:

1. Reduz o espaço de busca para o RL, permitindo que o agente encontre marchas de alta qualidade e simétricas sem engenharia de recompensas complexa.
2. Supera as limitações de controladores de modelo fixo (como o MPC) em ambientes dinâmicos e incertos.
3. Habilita controle em tempo real substituindo a otimização online pesada por uma rede neural leve.

Os autores concluem que o IFM fornece uma abordagem estruturada para regular estilos de movimento, aliviando o desafio da engenharia de recompensas enquanto melhora significativamente a robustez e a eficiência da locomoção quadrúpede em terrenos desafiadores. Sugere-se trabalho futuro para estender este método à locomoção baseada em visão, potencialmente exigindo arquiteturas de rede mais complexas como LSTMs ou CNNs.