Koopman DCM: Unstable Eigenfunctions as Data-driven Representations for Legged Balancing

기술 요약: Koopman DCM: 다리 보행 로봇의 균형 제어를 위한 데이터 기반 표현으로서의 불안정 고유함수

문제 정의
다리 보행 로봇의 균형 제어는 역사적으로 축약 차수 모델(reduced-order models), 그 중에서도 가장 대표적인 선형 역진자(LIP) 모델에 의존해 왔습니다. LIP 프레임워크에서 발산 성분 운동(Divergent Component of Motion, DCM)은 시스템의 불안정한 모드를 분리하는 핵심적인 제어 좌표 역할을 합니다. 그러나 기존의 DCM 공식은 두 가지 주요 한계점을 가집니다:

1. 모델 의존성: DCM은 축약 모델(예: LIP)을 위해 엄격하게 정의되며, 실제 로봇의 전체 비선형 역학으로 자연스럽게 확장되지 않습니다.
2. 파라미터 불일치: 표준 DCM 공식에서 사용되는 자연 주파수 $\omega = \sqrt{g/h}$는 이론적인 질량 중심(CoM) 높이 $h$로부터 유도됩니다. 모델 기반인 이 파라미터는 복잡한 실제 시스템의 진정한 역학을 포착하지 못하는 경우가 많으며, 이는 최적화되지 않은 제어 성능으로 이어집니다.

본 논문은 DCM을 특정 축약 모델의 속성이 아니라, 실제 로발 데이터로부터 직접 학습 가능한 **Koopman 고유함수(eigenfunction)**로 재정의함으로써 이러한 문제를 해결합니다.

방법론
저자들은 "Koopman DCM"을 불안정한 고유함수로 학습하기 위한 데이터 기반 파이프라인을 제안합니다. 핵심 방법론은 다음과 같습니다:

1. 이론적 재구성:

   • 저자들은 DCM 탐색을 Koopman 연산자의 고유함수 탐색 문제로 프레이밍합니다.
   • 일반적인 Koopman 응용 분야가 0 근처의 고유값(보존량)을 목표로 하는 것과 달리, 본 연구는 의도적으로 큰 양의 고유값($\omega > 0$)을 갖는 **불안정한 고유 쌍(unstable eigenpairs)**을 탐색합니다.
   • 제어-아핀 시스템 $\dot{x} = f(x) + B(x)u$에 대하여, 학습된 관측량 $\xi$는 $\dot{\xi} = \omega(\xi - u)$라는 선형 미분 방정식을 만족하도록 제약되며, 이는 LIP DCM의 구조를 따르되 데이터로부터 도출된 것입니다.

2. 학습 파이프라인:

   • 입력: 시스템은 사전 정의된 상태 공간 대신, 측정-작동 이력의 지연 임베딩(delay embedding) $z_k$를 사용합니다.
   • 아키텍처: 다층 퍼셉트론(MLP)이 관측량 $\xi_\theta$를 학습합니다.
   • 손실 함수: 학습 목표는 자명한 해(trivial solution, $\omega \to 0$ 및 $\xi \to 0$으로 수렴하는 경우)를 피하기 위해 두 가지 구성 요소를 결합합니다:
     • DCM 역학 손실: 선형 재귀 관계 $\xi_{k+1} = e^{\omega \delta t}\xi_k + (1 - e^{\omega \delta t})u_k$를 강제합니다.
     • CoM 예측 손실: 학습된 DCM과 CoM 위치 사이의 관계를 강제하여, 학습된 관측량이 안정적인 CoM 역학에 고정되도록 합니다.
   • 시간적 확장: 실제 데이터에서 낮은 고유값으로 수렴하는 것을 방지하기 위해, 저자들은 자격 추적(Eligibility Traces) (TD($\lambda$) 손실)을 채택하여, 단일 단계 잔차(one-step residual)가 아닌 다단계 예측에 대해 인코더를 평가합니다.

3. 제어 적용:

   • 실제 로봇: 학습된 DCM은 휠 기반 이족 보행 로봇(Cookie)에서 ZMP 참조값을 추적하기 위한 비례 피드백 루프에 사용됩니다.
   • 시뮬레이션 (MPC): 학습된 DCM은 휴머노이드(Unitree G1)를 위한 모델 예측 제어(MPC) 프레임워크 내에서 상태 변수로 사용됩니다. DCM 역학은 생존성 제약(viability constraints)(로봇이 지지 다각형 내에 머물도록 보장)을 공식화하는 데 사용되며, 이는 최적화 과정에서 하드 제약 조건으로 강제됩니다.

주요 기여

1. DCM의 재구성: 본 논문은 발산 성분 운동을 축약 모델을 넘어 일반화된, 불안정한 Koopman 고형함수로 프레이밍합니다.
2. 데이터 기반 학습: 축약된 운동학 모델을 요구하지 않고, 폐루프 측정-작동 데이터로부터 이러한 고유함수를 직접 학습하는 새로운 파이프라인을 제안합니다.
3. 실제 로봇 배포: 이 방법은 물리적 이족 보행 로봇에 배포되어, 모델 기반 베이스라인보다 우수한 보행 패턴 추적 성능을 입증했습니다.
4. 생존성 제약: 학습된 DCM이 MPC 내에서 생존성 제약을 강제하여 시뮬레이션에서의 안정성을 향상시키는 방법을 보여줍니다.

결과

• 실제 로봇 성능 (Cookie Biped):
  • 시스템은 1시간의 실제 로봇 데이터로 학습되었습니다.
  • 사인파 참조값에 대한 ZMP 추적 실험에서, 학습된 DCM(지연 수평선 $H=10$)은 운동학적 LIP 베이스라인보다 현저히 우수한 성능을 보였습니다.
  • 구체적으로, 진폭 0.2에서 학습된 DCM은 RMSE 0.05를 달성하였으며, 이는 운동학적 베이스라인의 0.12와 비교하여 2.4배 개선된 수치입니다.
  • 학습된 제어기는 다양한 진폭과 주기에서 추적 오차를 일관되게 감소시켰습니다.
• 시뮬레이션 성능 (Unitree G1):
  • 측면 균형 시뮬레이션에서, MPC 프레임워크 내에서 학습된 DCM을 사용하는 제어기는 90회의 시행 중 0%의 낙하율을 기록했습니다.
  • 반면, (학습된 고유함수 제약이 없는) 비례 DCM 제어기는 동일한 도전적인 조건 하에서 33%의 낙하율(90회 중 30회)을 보였습니다.
  • MPC 방식은 또한 ZMP 추적 오차를 줄였습니다 (0.59 대 0.73).

의의 및 주장
본 논문은 DCM을 데이터 기반 Koopman 고유함수로 취급함으로써 축약 차수 모델의 한계를 우회할 수 있다고 주장합니다. 주요 의의는 다음과 같습니다:

• 시스템 특화 역학 학습: 이 방법은 이론적인 파라미터(예: CoM 높이)에 의존하는 대신, 데이터로부터 로봇의 실제 불안정한 모드를 직접 포착합니다.
• 강건한 제어 가능: 학습된 관측량은 피드백 제어 및 생존성 분석을 위한 더 정확한 상태 표현을 제공합니다.
• Sim-to-Real 전이 문제 회피: 파이프라인이 실제 로봇으로부터 얻은 폐루프 데이터(또는 고충실도 시뮬레이터)에서 직접 학습되기 때문에, 시뮬레이션에서 훈련하고 하드웨어에 배포할 때 발생하는 도메인 적응 문제를 피할 수 있습니다.

저자들은 현재의 공식이 특정 선형 입력 결합($\dot{\xi} = \omega(\xi - u)$)을 가정하고 있음을 언급하며, 향-후 연구에서 더 일반적인 쌍선형 역학(bilinear dynamics)이나 가변 높이 모델을 탐구할 수 있음을 밝히며 범위를 겸허하게 제한하였습니다.