Sample-Based Hybrid Mode Control: Asymptotically Optimal Switching of Algorithmic and Non-Differentiable Control Modes

이 논문은 비미분 가능 모드와 알고리즘적 하이브리드 모드를 통합하여 정수 기반 최적화 및 샘플링 기법을 통해 최적의 모드 전환 시기와 지속 시간을 결정함으로써, 장기 계획과 고주파수 제어 간의 반응적 전환이 필요한 로봇 작업에서 점근적 최적성과 복잡한 행동 합성을 가능하게 하는 샘플 기반 하이브리드 모드 제어 프레임워크를 제안합니다.

핵심

이 논문은 로봇이 어떻게 "생각"과 "행동"을 유연하게 바꿔가며 어려운 일을 해낼 수 있는지에 대한 새로운 방법을 소개합니다.

기존의 로봇 제어 방식은 마치 한 가지 악기만 연주하는 음악가와 비슷했습니다. 예를 들어, 걷는 로봇은 걷는 법만 알고, 점프하는 로봇은 점프만 알았죠. 하지만 현실 세계는 복잡합니다. 로봇이 넘어지지 않으려면 걷다가 갑자기 멈추고, 점프했다가 다시 착지해야 할 수도 있습니다. 이때 기존 방식은 "어떻게 넘어질까?"라고 고민하다가 로봇이 넘어지거나, 너무 느려서 제때 대응하지 못했습니다.

이 논문은 **"로봇에게 악보 (계획) 를 미리 다 짜지 말고, 상황에 맞춰 가장 좋은 악기를 골라 연주하게 하자"**는 아이디어를 제시합니다.

---

🎵 핵심 비유: "스마트한 지휘자"와 "다양한 악기단"

이 논문의 방법을 쉽게 이해하기 위해 오케스트라를 상상해 보세요.

1. 기존 방식 (고정된 악보):

   • 지휘자가 처음에 "1 분간 바이올린, 2 분간 트럼펫"이라고 악보를 딱 정해버립니다.
   • 만약 갑자기 비가 와서 트럼펫이 소리가 안 난다면? 지휘자는 당황해서 전체 연주가 망가집니다. 로봇도 마찬가지입니다. 미리 정해진 순서대로만 움직이다가 예상치 못한 상황 (예: 미끄러운 바닥) 에 대처하지 못합니다.

2. 이 논문의 방식 (샘플 기반 하이브리드 제어):

   • 지휘자는 악보를 미리 다 짜지 않습니다. 대신 **수백 개의 악기 (모드)**와 연주 시간을 가진 상자 하나를 가지고 있습니다.
   • **"지금 이 순간, 어떤 악기를 얼마나 연주하면 가장 멋진 소리가 날까?"**를 실시간으로 계산합니다.
   • 예를 들어, "지금 0.5 초간 바이올린을 치고, 바로 1 초간 드럼을 두드려서 리듬을 잡자!"라고 순간적으로 결정합니다.
   • 이 결정은 **수학적 계산 (샘플링)**을 통해 이루어지는데, 마치 주사위를 수천 번 굴려서 가장 좋은 조합을 찾아내는 것과 비슷합니다. 하지만 이 논문은 그 주사위 굴리기를 매우 똑똑하고 빠르게 수행합니다.

---

🔍 이 기술이 해결한 세 가지 큰 문제

1. "계산이 너무 복잡해!" 문제 (조합의 지옥)

로봇이 할 수 있는 행동 (모드) 이 5 개이고, 시간이 100 초라면, 가능한 조합의 수는 우주에 있는 별의 수보다 많을 수도 있습니다. 모든 경우의 수를 다 계산하면 컴퓨터가 터집니다.

• 해결책: 이 논문은 "모든 경우를 다 볼 필요는 없어. 가장 유망한 몇 가지만 골라봐도 정답에 가까워져!"라고 말합니다. 마치 미로에서 모든 길을 다 가보지 않고, 가장 가까워 보이는 길 몇 가지만 골라 빠르게 출구를 찾는 것과 같습니다.

2. "수학적으로 계산할 수 없는 행동" 문제

기존 로봇 제어는 로봇의 움직임을 미분방정식 (수학 공식) 으로만 표현해야 했습니다. 하지만 로봇이 발을 바닥에 대거나, 물건을 잡는 순간은 수학 공식으로 딱딱 설명하기 어렵습니다.

• 해결책: 이 방법은 **수학 공식이 아닌 "알고리즘 (컴퓨터 프로그램)"**도 하나의 악기로 받아들입니다. "이건 수학으로 계산할 수 없지만, AI 가 학습한 '점프 정책'이니까 이걸 써보자"라고 자유롭게 섞어 쓸 수 있습니다.

3. "긴 시간 동안 계획하기" 문제

로봇이 1 분 동안 복잡한 동작을 하려면, 1 초 단위로 계획을 세워야 합니다. 시간이 길어질수록 계산량은 기하급수적으로 늘어납니다.

• 해결책: 이 논문은 "1 초 1 초를 다 계획하지 말고, **'어떤 동작을 언제 시작해서 얼마나 지속할지'**만 결정하자"라고 합니다. 이렇게 하면 계산할 일이 훨씬 줄어들어, 로봇이 멀리 있는 목표까지도 계획할 수 있게 됩니다.

---

🤖 실제 실험: "Unitree Go2" 개 로봇의 놀라운 연기

이론만 좋은 게 아니라, 실제 Unitree Go2라는 4 발 로봇 개를 이용해 실험했습니다.

• 과제: 로봇이 발로 서서 (Foot Stand) → 공중제비 (Jump Flip) → 손 (앞발) 으로 서서 (Hand Stand) 균형을 잡는 것.
• 결과:
  • 기존 방식들은 이 세 가지 동작을 하나로 연결하는 데 실패했습니다. (점프하다가 넘어지거나, 손으로 서려고 하다가 넘어짐)
  • 이 논문의 방법을 쓴 로봇은 발로 서다가, 갑자기 점프해서 공중제비를 돌고, 착지하자마자 바로 손으로 서서 균형을 잡는 놀라운 연기를 성공했습니다.
  • 마치 마술사가 장갑을 벗고, 모자를 쓰고, 다시 장갑을 끼는 것처럼 자연스러운 전환이었습니다.

💡 결론: 왜 이 기술이 중요한가요?

이 논문은 로봇에게 **"유연한 사고"**를 심어줍니다.
앞으로 로봇은 공장에서 단순히 반복되는 일만 하는 것이 아니라, 예상치 못한 장애물을 만나면 즉시 계획을 바꿔가며 복잡한 임무를 수행할 수 있게 됩니다.

• 간단히 말해: 이 기술은 로봇에게 "무조건 A 를 하라"가 아니라, **"상황을 보고 A, B, C 중 가장 좋은 걸 골라, 언제, 얼마나 할지 스스로 결정하라"**는 능력을 줍니다.

이처럼 **샘플링 (시행착오) 과 최적화 (최고의 선택)**를 결합한 이 방법은, 앞으로 우리가 마주할 더 복잡하고 위험한 환경에서 로봇이 인간과 함께 일할 수 있는 핵심 열쇠가 될 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

현대 민첩한 로봇 시스템은 보행 (locomotion) 이나 조작 (manipulation) 과 같은 복잡한 행동을 수행하기 위해 이산적인 모드 (예: 접촉 생성 및 해제) 간에 동적으로 전환해야 합니다. 그러나 기존 연속 제어 방법론은 이러한 급격한 모드 전환을 처리하는 데 어려움을 겪어 불안정성이나 비최적 성능을 초래합니다.

• 핵심 문제: 다양한 제어 모드 (기반 알고리즘, 비미분 가능 모드, 학습된 정책 등) 를 포함하는 하이브리드 제어 문제에서, 어떤 모드를 언제, 얼마나 오래 적용할지를 결정하는 최적의 전환 시퀀스를 찾는 것은 조합적 복잡성 (combinatorial complexity) 으로 인해 매우 어렵습니다.
• 기존 방법의 한계:
  • 기존 하이브리드 제어는 주로 미분 가능한 동역학에 의존하거나, 모드 전환 순서를 미리 정의 (predefined) 하여 유연성이 부족합니다.
  • 샘플 기반 제어 (Sample-based Control) 는 고차원 문제에 유용하지만, 시간 축을 독립 변수로 취급하여 장기 계획 (long-horizon) 시 탐색 공간이 기하급수적으로 증가하는 문제가 있습니다.

2. 제안된 방법론 (Methodology)

저자들은 샘플 기반 하이브리드 모드 제어 (Sample-Based Hybrid Mode Control) 를 제안하여, 알고리즘적 및 비미분 가능 제어 모드를 포함한 하이브리드 제어 문제를 해결합니다.

A. 문제 형식화 (Formulation)

• 이산 시간 정수 최적화: 연속 시간 문제를 이산 시간 (discrete-time) 문제로 변환합니다. 제어 모드의 선택, 적용 시작 시간 ($\mu$), 지속 시간 ($\nu$) 을 정수 변수로 정의하여 정수 기반 최적화 문제로 재구성합니다.
• 반복적 단일 전환 최적화: 전체 시퀀스를 한 번에 찾는 대신, 현재 기본 시퀀스 ($K_{def}$) 에 대해 단일 모드 전환 튜플 $(m, \mu, \nu)$ 를 최적화하는 반복적 접근법을 사용합니다. 이를 통해 비용 함수 $J$를 점진적으로 감소시킵니다.

B. 샘플 기반 탐색 알고리즘

• 효율적인 탐색: 전체 탐색 공간 ($O(M \cdot T^2)$) 을 brute-force 로 탐색하는 대신, 무작위 샘플링 (Uniform Sampling without replacement) 을 통해 최적의 전환을 찾습니다.
• 수렴 보장: 제안된 알고리즘은 최적의 단일 전환을 찾을 확률이 샘플 수에 비례하여 증가하며, 국소 최적해 (local optima) 에 수렴함을 수학적으로 증명했습니다.
• 비미분 가능 모드 통합: 모델 예측 제어 (MPC), 학습된 정책 (RL), 또는 물리적 접촉 기반 제어 등 미분 불가능하거나 알고리즘적인 모드들을 "블랙박스" 로 간주하고, 이들의 조합을 자동으로 설계할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 하이브리드 제어 순서화 형식: 반복적 샘플 기반 접근법을 통해 하이브리드 제어 시퀀싱 문제를 정수 최적화 문제로 변환했습니다.
2. 성능 보장 (Performance Guarantees): 모드 순서 최적화에 대한 점근적 수렴 (asymptotic convergence) 을 수학적으로 증명했습니다.
3. 실제 로봇 실험 검증: 복잡한 모드 전환 (스태빌라이징 컨트롤러와 MPC 기반 컨트롤러 간 전환) 을 포함하는 4 족 보행 로봇 실험을 통해 방법론의 유효성을 입증했습니다.

4. 실험 결과 (Results)

A. 시뮬레이션 (Cartpole 및 4 족 보행 로봇)

• Cartpole Swings Up: 다양한 계획 시간 (horizon) 에서 기존 샘플 기반 방법들은 성능이 저하되는 반면, 제안된 방법은 시간이 길어질수록 더 나은 성능을 유지하며 최적 해를 찾았습니다.
• 고차원 4 족 보행 (Unitree Go2):
  • 작업: 뒷발로 서기 (Foot Stand) $\rightarrow$ 점프 뒤집기 (Jump Flip) $\rightarrow$ 앞발로 서기 (Hand Stand) 의 복잡한 일련의 동작 수행.
  • 비교 대상: PPO 만 사용, MPPI/CEM/PS 만 사용, 고정된 모드 시퀀스 등.
  • 결과: 단일 정책 (PPO-only) 은 뒤집기 단계에서 실패했고, 고정된 시퀀스는 손발로 서기 (Hand Stand) 에 실패했습니다. 반면, 제안된 방법은 세 가지 모드 모두를 성공적으로 전환하여 전체 비용 (Cost) 을 가장 낮게 (13.519) 유지하며 성공적인 수행을 보였습니다.

B. 하드웨어 실험 (Real-world)

• 환경: Unitree Go2 로봇을 사용하여 실제 환경에서 실행.
• 성능: 온보드 센서 (Extended Kalman Filter) 만을 사용하여 노이즈가 있는 상태에서도 50Hz 로 실시간 제어 가능.
• 동작: 발로 서기, 점프 뒤집기, 손발로 서기 (Handstand) 를 포함한 극도로 민첩한 모터 스킬을 성공적으로 구현했습니다.

5. 의의 및 결론 (Significance)

• 복잡한 행동의 합성: 단순한 제어기나 정책을 조합하여, 단일 모드로는 불가능한 복잡하고 역동적인 행동 (예: 공중제비 회전 후 균형 잡기) 을 자동으로 생성할 수 있습니다.
• 비미분 가능 시스템 적용: 미분 불가능한 알고리즘 (예: MPC, RL 정책) 을 하이브리드 제어 프레임워크에 통합할 수 있어, 실제 로봇 제어의 유연성을 크게 높였습니다.
• 확장성: 계획 시간 (horizon) 이 길어지더라도 샘플 수가 기하급수적으로 증가하지 않도록 설계되어, 장기 계획이 필요한 고차원 로봇 작업에 적합합니다.

한계점 및 향후 과제:
현재 방법은 정확한 접촉 모델 (contact model) 에 의존하므로, 모델이 부정확한 비구조화된 환경에서는 성능이 제한될 수 있습니다. 향후 데이터 기반 접근법과 결합하여 명시적 모델링 없이도 작동하도록 개선할 필요가 있습니다.