Rapid co-design of Buoyancy-assisted robots for Challenging Locomotion using Gaussian Evolutionary Specialists

기술 요약: 가우시안 진화 전문가(Gaussian Evolutionary Specialists)를 이용한 부력 보조 로봇의 신속한 공동 설계

문제 정의

본 논문은 로봇의 형태(물리적 구조)와 제어 정책을 동시에 최적화하여, 어느 한 요소만으로는 달성할 수 없는 작업 성능을 구현하는 **로봇 공동 설계(robot co-design)**의 과제를 다룹니다. 구체적으로 저자들은 무게를 상쇄하기 위해 헬륨 풍선을 사용하는 이족 보행 로봇인 **부력 보조 경량 다리 유닛(BALLU)**에 초점을 맞춥니다.

핵심적인 어려움은 공동 설계 과정의 계산 비용에 있습니다. 이는 다음과 같은 이중 루프 최적화 문제입니다:

1. 외부 루프(Outer Loop): 형태 설계 공간을 탐색합니다.
2. 내부 루프(Inner Loop): 각 후보 형태에 대해 강건한 제어기를 학습시켜야 합니다(일반적으로 강화 학습, RL 사용).

기존 방식들은 다음과 같은 병목 현상에 직면해 있습니다:

• 반복적인 RL 학습: 모든 형태 후보마다 새로운 정책을 처음부터 학습시키는 것은 계산적으로 매우 비효율적입니다.
• 범용 정책(Universal Policies): 형태 파라미터에 조건화된 단일 "범용" 정책을 사전 학습하여 제로샷 평가를 가능하게 하려는 시도는 **행동 다양성 붕괴(behavioral diversity collapse)**로 인해 실패합니다. 정책이 하나의 하위 최적 로코모션 전략으로 수렴하는데, 이는 다양한 형태들로부터 오는 상충하는 그래디언트들이 평균화되기 때문입니다.
• 엔드 투 엔드 혼합 전문가(End-to-End Mixture-of-Experts, MoE): MoE 아키텍처는 이론적으로 특화된 전문가들을 허용하지만, 본 문맥에서는 표현 붕괴(representation collapse) 문제를 겪습니다. 라우터가 학습 초기 단계에서 전문가들을 차별화하지 못해 모든 전문가가 유사한 행동으로 수렴하게 되며, 결과적으로 혼합 효과를 무력화합니다.

방법론: 가우시안 진화 전문가 (GES)

저자들은 **가우시안 진화 전문가(Gaussian Evolutionary Specialists, GES)**를 제안합니다. 이 프레임워크는 설계 공간의 분할과 제어 정책의 학습을 분리함으로써, 범용 정책이나 엔드 투 엔드 MoE 정책의 실패 모드 없이 명시적으로 다양한 행동을 포착합니다.

핵심 메커니즘:
GES는 설계 파라미터 공간에 대한 가우시안 영역(평균 $\mu_k$ 및 대각 공분산 $\Sigma_k$로 정의됨)과 연관된 $K$개의 전문가 정책 세트를 유지합니다. 이 프레임워크는 설계 공간이 충분히 커버될 때까지(95% 몬테카를로 커버리지) 다음 세 단계의 반복 루프로 작동합니다:

1. 초기화:

   • $K$개의 가우시안 중심을 최장점 샘플링(Farthest Point Sampling, FPS) 후 **로이드 완화(Lloyd's Relaxation)**를 거쳐 정규화된 설계 공간 내에 배치하여, 잘 분산되고 공간을 채우는 분포를 보장합니다.
   • 각 전문가는 랜덤 MLP로 초기화됩니다.

2. 반복적 영역 진화:

   • 학습(Train): 각 전문가 $\pi_k$는 현재의 가우시안 영역에서 설계를 샘플링하고, 학습된 행동을 유지하기 위해 이전 체크포인트로부터 재개하여 PPO(Proximal Policy Optimization)를 통해 학습합니다.
   • 탐사(Probe): 모든 가우시안 영역의 경계($2\sigma$) 근처에서 후보 설계들을 샘플링합니다. 이 후보들은 모든 $K$개의 전문가에 의해 평가됩니다. 각 후보는 가장 높은 작업 성능 점수($J$)를 달성한 전문가에게 경쟁적으로 할당됩니다.
   • 재적합(Refit): 각 전문가의 가우시안 파라미터($\mu_k, \Sigma_k$)는 탐사 단계에서 승리한 설계들의 평균과 공분산을 반영하도록 업데이트됩니다. 이를 통해 영역은 경험적 성능에 따라 확장되고 적응할 수 있습니다.

3. 공동 설계 통합:

   • 학습이 완료되면, 전문가들은 외부 설계 최적화 루프(예: 베이지안 최적화)를 위한 제로샷 평가기 역할을 수행합니다.
   • 새로운 후보 설계에 대해, 기하학적 라우터가 가우시안 우도(likelihood)를 기반으로 가장 가까운 전문가를 선택하며, 해당 전문가의 성능을 직접 평가하여 재학습 과정을 생략합니다.

주요 기여

1. 실패 모드 식별: 본 논문은 로봇 공동 설계에서 범용 정책의 미처 인식되지 않았던 실패 모드인 행동 다양성 붕괴(다양한 형태에도 불구하고 정책이 단일 전략으로 수렴하는 현상)를 식별했습니다. 또한 표현 붕괴가 엔드 투 엔드 MoE 학습을 어떻게 저해하는지 밝혀냈습니다.
2. GES 프레임워크: 붕괴 문제를 해결하기 위해 반복적인 가우시안 영역 진화를 사용하는 2단계 프레임워크를 제안합니다. 설계 공간의 분할과 특성화를 분리함으로써, GES는 각 전문가가 설계 공간의 안정적이고 잘 정의된 영역에서 학습하도록 보장합니다.
3. 하드웨어 검증: GES로 최적화된 설계를 실제 하드웨어에 성공적으로 배포하여 장애물 통과 능력의 유의미한 향상을 입증했습니다.

결과

방법론은 시뮬레이션(Isaac Lab)과 하드웨어의 BALLU 플랫폼에서 검증되었습니다.

• 시뮬레이션 성능:

  • 장애물 통과 (2D 공간): GES는 단일형 범용 정책(e2e MLP) 대비 25.5%, 엔드 투 엔드 MoE 대비 **8.62%**의 평균 성능 향상을 달ian했습니다. GES 설계는 범용 정책의 38cm와 비교하여 최대 54cm의 장애물을 통과했습니다.
  • 장애물 통과 (3D 공간): GES는 범용 정책 대비 **31.7%**의 피크 이득을 보였으며, 평균 18.8%의 향상을 기록했습니다.
  • 경사로 등반: 2D 공간에서 GES는 베이스라인 대비 평균 성능을 약 13% 개선했습니다.
  • 효율성: 비용이 많이 드는 RL 재학습을 직접 평가로 대체함으로써 GES는 총 공동 설계 실행 시간(wall-clock time)을 37% 단축했습니다(약 100시간에서 약 63시간으로).

• 하드웨어 결과:

  • GES로 최적화된 BALLU($GCR=0.86, SPCF=0.008$에 최적화)는 24cm의 장애물을 성공적으로 통과했습니다.
  • 이는 8cm 장애물만 통과할 수 있었던 기존 BALLU 설계 대비 3배의 향상을 의미합니다.
  • 이 결과는 시뮬레이션-실제 간의 격차(sim-to-real gap)에도 불구하고, 시뮬레이션에서 발견된 형태 개선 사항이 물리적 플랫폼으로 효과적으로 전이됨을 확인시켜 줍니다.

• 행동 분석:

  • 베이스라인과 달리, GES 전문가는 행동 다양성을 유지했습니다. 시각화 결과, 동일한 로봇 설계를 제어하는 서로 다른 전문가들이 장애물을 통과하기 위해 질적으로 구별되는 발 궤적(foot trajectories)과 전략을 생성함을 보여주었습니다.
  • 엔드 투 엔드 MoE 베이스라인은 표현 붕괴로 인해 설계를 전문가들에게 균등하게 배분한 반면, GES는 각 전문가가 자신의 특정 부분 공간(subspace)을 지배하는 엄격한 분할을 구축했습니다.

의의 및 주장

본 논문은 GES가 범용 정책과 표준 MoE 아키텍처의 근본적인 한계를 극려함으로써 로봇 공동 설계를 위한 확장 가능하고 효율적인 솔루션을 제공한다고 주장합니다. 반복적인 영역 진화를 통해 다양한 행동을 명시적으로 포착함으로써, GES는 붕괴된 평가기라면 놓쳤을 고성능 로봇 형태의 발견을 가능하게 합니다. 이 프레임워크는 플랫폼 불가지론적(platform-agnostic)이라고 제시되나, 현재의 검증은 부력 보조 레그드 로봇에 특화되어 있습니다. 저자들은 이 방법이 고정된 수의 전문가와 연속적이고 유계된 설계 공간을 가정한다는 점을 언급하며, 이를 향후 적응 가능한 영역으로 식별했습니다.