Koopman DCM: Unstable Eigenfunctions as Data-driven Representations for Legged Balancing

Resumo Técnico: Koopman DCM: Autofunções Instáveis como Representações Baseadas em Dados para Equilíbrio de Robôs de Pernas

Declaração do Problema
O controle de equilíbrio de robôs de pernas historicamente dependeu de modelos de ordem reduzida, mais notavelmente o Pêndulo Invertido Linear (LIP). No framework do LIP, o Componente Divergente do Movimento (DCM) serve como uma coordenada de controle crítica que isola o modo instável do sistema. No entanto, as formulações de DCM existentes enfrentam duas limitações primárias:

1. Dependência de Modelo: O DCM é estritamente definido para modelos reduzidos (como o LIP) e não se estende naturalmente para a dinâmica completa e não linear de um robô real.
2. Desajuste de Parâmetros: A frequência natural $\omega = \sqrt{g/h}$ usada nas formulações padrão de DCM é derivada de uma altura teórica do centro de massa (CoM) $h$. Esse parâmetro baseado em modelo frequentemente falha em capturar a dinâmica real de sistemas complexos do mundo real, levando a um desempenho de controle subótimo.

O artigo aborda essas questões reformulando o DCM não como uma propriedade de um modelo reduzido específico, mas como uma autofunção de Koopman da dinâmica completa do sistema, aprendível diretamente a partir de dados de robôs reais.

Metodologia
Os autores propõem um pipeline baseado em dados para aprender "Koopman DCMs" como autofunções instáveis. A metodologia central envolve:

1. Reformulação Teórica:

   • Os autores enquadram a busca por um DCM como um problema de busca de autofunções para o operador de Koopman.
   • Ao contrário das aplicações típicas de Koopman que visam autovalores próximos de zero (grandezas conservadas), este trabalho busca deliberadamente autopaares instáveis com autovalores positivos grandes ($\omega > 0$).
   • Para um sistema de afinidade de controle $\dot{x} = f(x) + B(x)u$, o observável aprendido $\xi$ é restrito para satisfazer a equação diferencial linear $\dot{\xi} = \omega(\xi - u)$, espelhando a estrutura do DCM do LIP, mas derivado de dados.

2. Pipeline de Aprendizado:

   • Entrada: O sistema utiliza um delay embedding de históricos de medição-ação ($z_k$) em vez de um espaço de estados predefinido.
   • Arquitetura: Um Perceptron Multicamadas (MLP) aprende o observável $\xi_\theta$.
   • Funções de Perda: O objetivo de treinamento combina dois componentes para evitar soluções triviais (onde $\omega \to 0$ e $\xi \to 0$):
     • Perda de Dinâmica do DCM: Impõe a recursão linear $\xi_{k+1} = e^{\omega \delta t}\xi_k + (1 - e^{\omega \delta t})u_k$.
     • Perda de Predição do CoM: Impõe a relação entre o DCM aprendido e a posição do CoM, garantindo que o observável aprendido ancora a dinâmica estável do CoM.
   • Extensão Temporal: Para evitar a convergência para baixos autovalores em dados reais, os autores empregam Traços de Elegibilidade (perda TD($\lambda$)), avaliando o codificador contra predições de múltiplos passos em vez de apenas resíduos de um único passo.

3. Aplicação de Controle:

   • Robô Real: O DCM aprendido é usado em um loop de feedback proporcional para rastrear referências de Ponto de Momento Zero (ZMP) em um bípede com rodas (Cookie).
   • Simulação (MPC): O DCM aprendido serve como a variável de estado em um framework de Controle Preditivo Baseado em Modelo (MPC) para um humanoide (Unitree G1). A dinâmica do DCM é usada para formular restrições de viabilidade (garantindo que o robô permaneça dentro do polígono de suporte), que são impostas como restrições rígidas na otimização.

Principais Contribuições

1. Reenquadramento de DCMs: O artigo enquadra os Componentes Divergentes do Movimento como autofunções instáveis de Koopman, generalizando o conceito além de modelos reduzidos.
2. Treinamento Baseado em Dados: Um novo pipeline é proposto para aprender essas autofunções diretamente de dados de malha fechada de medição-ação sem exigir um modelo cinemático de ordem reduzida.
3. Implantação em Robô Real: O método é implantado em um bípede físico, demonstrando melhor rastreamento de padrões de caminhada comparado a baselines baseados em modelos.
4. Restrições de Viabilidade: Os autores demonstram como os DCMs aprendidos podem ser integrados ao MPC para impor restrições de viabilidade baseadas no estado, melhorando a estabilidade em simulação.

Resultos

• Desempenho em Robô Real (Bípede Cookie):
  • O sistema foi treinado em 1 hora de dados de robô real.
  • Em experimentos de rastreamento de ZMP com referências senoidais, o DCM aprendido (com um horizonte de atraso $H=10$) superou significativamente o baseline cinemático do LIP.
  • Especificamente, em uma amplitude de 0.2, o DCM aprendido alcançou um Erro Quadrático Médio (RMSE) de 0.05, comparado a 0.12 para o baseline cinemático (uma melhoria de 2.4x).
  • O controlador aprendido reduziu consistentemente os erros de rastreamento através de várias amplitudes e períodos.
• Desempenho em Simulação (Unitree G1):
  • Em uma simulação de equilíbrio lateral, um controlador usando o DCM aprendido dentro de um framework de MPC alcançou uma taxa de queda de 0% em 90 tentativas.
  • Em contraste, um controlador de DCM proporcional (sem as restrições de autofunção aprendida) resultou em uma taxa de queda de 33% (30/90 tentativas) sob as mesmas condições desafiadoras.
  • A abordagem MPC também reduziu o erro de rastreamento de ZMP (0.59 vs 0.73).

Significância e Alegações
O artigo alega que, ao tratar os DCMs como autofunções de Koopman baseadas em dados, é possível contornar as limitações dos modelos de ordem reduzida. A principal significância reside na capacidade de:

• Aprender Dinâmicas Específicas do Sistema: O método captura os verdadeiros modos instáveis do robô diretamente dos dados, em vez de depender de parâmetros teóricos como a altura do CoM.
• Permitir Controle Robusto: Os observáveis aprendidos fornecem uma representação de estado mais precisa para controle de feedback e análise de viabilidade.
• Evitar Problemas de Transferência Sim-to-Real: Como o pipeline treina diretamente em dados de malha fechada do robô real (ou um simulador de alta fidelidade), ele evita os desafios de adaptação de domínio tipicamente associados ao treinamento em simulação e implantação em hardware.

Os autores permanecem modestos quanto ao escopo, observando que a formulação atual assume um acoplamento de entrada linear específico ($\dot{\xi} = \omega(\xi - u)$) e que trabalhos futuros poderiam explorar dinâmicas bilineares mais gerais ou modelos de altura variável.