기술 요약: ECo-MoE: 구현체 조건부 전문가 혼합 (Embodiment-Conditioned Mixture of Experts) 은 로봇의 진화 가능성을 향상시킨다

문제 제기

로봇 형태와 제어의 공동 최적화 (co-design) 는 확장성과 성능 간의 근본적인 트레이드오프에 직면해 있습니다. 기존 접근 방식은 일반적으로 두 가지 비효율적인 극단으로 나뉩니다:

1. 개별 정책 (Individual Policies): 각 고유한 로봇 설계마다 맞춤형 제어 정책을 훈련시키는 것은 대규모 개체군을 진화시키는 데 있어 계산적으로 불가능합니다.
2. 단일 통합형 보편 제어기 (Monolithic Universal Controllers): 모든 설계를 위한 단일 "보편" 제어기를 훈련시키는 것 (Li 등, 2025 의 최근 최첨단 연구에서 수행된 바와 같이) 은 종종 지나치게 보수적인 구조와 행동을 초래합니다. 이 접근법은 매우 다양한 형태에 걸쳐 일반화하는 데 어려움을 겪으며, 특히 작업 복잡도가 증가함에 따라 희소하거나 기만적인 탐색 지형을 적절히 탐색하지 못합니다.

또한, 진화는 일반적으로 지능적인 에이전트와 새로운 형태 설계를 생성하는 강력한 메커니즘이지만, 계산 비용이 매우 큽니다. 진화를 실행 가능하게 만들기 위해 형태 해상도를 낮추는 것은 종종 실제 로봇 공학과의 관련성을 희생합니다. 저자들은 난이하게 획득한 제어 지식을 방해하지 않으면서 새로운 신체 계획에 대한 모듈식 적응을 허용하는 동시에 조상적 지식을 보존하는 중간 지점을 모색합니다.

방법론

본 논문은 잠재적 설계 벡터 (유전자형) 의 분포와 제어 전문가 (신경 모듈) 의 혼합을 공동 최적화하는 프레임워크인 ECo-MoE(구현체 조건부 전문가 혼합) 를 소개합니다.

1. 공동 최적화 프레임워크

시스템은 두 가지 시간 척도에서 작동합니다:

• 진화 (더 느림): CMA-ES 를 사용하여 유전자형 $z \in \mathbb{R}^{512}$의 잠재 분포 $N(\mu, \Sigma)$를 업데이트합니다. 각 유전자형은 사전 훈련된 변분 오토인코더 (VAE) 를 통해 3 차원 내골격 형태 (64³ 볼륨) 로 디코딩되며, 이는 연조직과 경질 뼈로 구성됩니다.
• 학습 (더 빠름): PPO 를 사용하여 제어기 파라미터를 업데이트합니다. 제어기는 로봇의 상태 $s$와 잠재 유전자형 $z$를 받아 동작 $a$를 생성합니다.
• 목표: 시스템은 학습을 위한 밀집 행동 보상 $R(\tau)$와 진화를 위한 희소 설계 적합도 $F(\tau)$를 최대화합니다.

2. 구현체 조건부 전문가 혼합 (ECo-MoE)

단일 통합형 정책 대신, 제어기는 $K=4$개의 전문가 서브네트워크 (축소된 그래프 트랜스포머) 와 게이트 네트워크로 구성됩니다.

• 게이팅 메커니즘: 선형 게이팅 계층은 잠재 유전자형 $z$를 입력받아 라우팅 가중치 $w_\phi(z) = \text{softmax}(Wz + b)$를 생성합니다.
• 정책 집계: 최종 정책은 전문가 출력의 가중합입니다:
  $$\pi_{\theta,\phi}(a | s, z) = \sum_{k=1}^{K} w_k^\phi(z) \pi_k^\theta(a | s)$$
• 다양성 정규화: "전문가 붕괴"(게이트가 오직 하나의 전문가에만 의존하는 현상) 를 방지하기 위해, 잠재 공간에서 멀리 떨어진 유전자형에 대해 서로 다른 라우팅 가중치를 장려하는 손실 항 $L_{div}$를 사용합니다. 이는 서로 다른 신체 계획이 학습된 감각운동 회로의 서로 다른 조합을 활성화하도록 보장합니다.

3. "Evo by Demo"(데모를 통한 진화)

프레임워크는 사전 지식을 사용하여 진화를 안내하는 메커니즘을 도입합니다:

• 사전 훈련된 전문가 주입: 혼합 내의 특정 전문가를 사전 훈련된 특정 "사전 설계된 데모"(예: 특정 4 발 보행 로봇) 에 대한 정책으로 대체합니다. 해당 파라미터는 고정됩니다.
• 잠재 사전 초기화: 초기 잠재 분포의 평균과 표준 편차는 사전 설계된 데모의 잠재 인코딩을 기반으로 설정할 수 있습니다.
• 호환성 유도: 학습된 호환성 점수 $\hat{c}_g(z)$(고정된 전문가에 할당된 게이트 가중치) 를 사용하여 적합도 점수를 보강합니다: $\tilde{F}(z, \tau) = F(\tau) \cdot (\hat{c}_g(z))^\alpha$. 이는 진화를 사전 훈련된 전문가의 제어 전략과 호환되는 형태로 유도합니다.

주요 기여

1. 모듈식 공동 설계: 로봇의 잠재 유전자형에 의해 게이팅되는 전문가 혼합을 사용하여 단일 통합형 제어기에 대한 확장 가능한 대안을 제시합니다. 이를 통해 다른 모듈의 지식을 방해하지 않고 새로운 종을 위해 제어기의 일부만 개편할 수 있습니다.
2. 향상된 진화 가능성: 저자들은 모듈화가 복잡한 환경 (예: 직립 보행과 험한 지형) 에서 로봇이 효과적인 행동을 진화시키는 능력을 비모듈식 베이스라인에 비해 크게 향상시킨다는 것을 입증했습니다.
3. 유도 가능한 진화 ("Evo by Demo"): 사전 훈련된 모델로 정의된 표준 구조를 향해 자유 형상 진화를 지시하는 방법을 소개하여, 진화의 탐색 능력과 지도 학습의 정밀도를 효과적으로 결합합니다.

결과

실험은 평지, 직립 보행, 그리고 구덩이 (험한 지형) 의 세 가지 환경에서 수행되었습니다.

• 성능 향상:

  • 평지: 단순한 이동 작업은 구현체 조건부 전문화가 필요하지 않으므로, ECo-MoE 는 베이스라인 (단일 통합형 제어기) 과 유사한 성능을 발휘했습니다.
  • 복잡한 작업: ECo-MoE 는 직립 보행과 구덩이 환경에서 베이스라인을 크게 능가했습니다. 모듈식 접근 방식은 자세 유지와 장애물 탐색이 가능한 더 다양하고 견고한 설계를 진화시킬 수 있게 했습니다.
  • 파라미터 효율성: 여러 전문가를 사용함에도 불구하고, ECo-MoE 의 전체 정책 크기는 베이스라인보다 약간 작았으며, 각 전문가당 동작 생성에 할당된 파라미터는 훨씬 적었습니다.

• 진화 가능성 분석:

  • 잠재 공간의 시각화는 ECo-MoE 가 베이스라인보다 반드시 더 넓은 영역을 탐색한 것은 아니지만, 마주친 설계에 대한 더 나은 활용 (exploitation) 을 달성했음을 보여주었습니다.
  • 라우팅 가중치는 세대를 거쳐 동적으로 적응했으며, 전문가들은 특정 구조적 특징에 대해 전문화되었습니다.
  • 시스템은 전문가 수 (2, 4, 8 개로 테스트) 에 대해 견고했으며, 4 개가 가장 좋은 균형을 제공했습니다.

• Evo by Demo:

  • 사전 설계된 초기화와 고정된 사전 훈련된 전문가를 결합한 CoSteering이 특정 형태적 특징 (예: 방사 대칭과 특정 지수 개수) 을 향해 진화를 안내하는 데 가장 효과적인 방법이었습니다.
  • 이 접근법은 무작위 초기화에 비해 더 높은 "유효 지수 개수"와 더 낮은 "질량 편향 벡터 크기"(더 균형 잡힌 해부학) 를 가진 진화된 로봇을 생성했습니다.
  • PredesignOnly(사전 훈련된 전문가 없이 초기화) 는 높은 적합도를 달성했지만, CoSteering은 목표 데모와 구조적으로 가장 유사한 형태를 생성했습니다.

의의 및 주장

본 논문은 ECo-MoE 가 자연에서 발견되는 모듈식 교차 구현체 제어 시스템의 고수준 추상화를 제공한다고 주장합니다. 여기서 공유된 모듈 유전자와 신경 회로는 다양한 신체 부위와 운동 패턴을 생성합니다.

• 확장성: 이 접근법은 특정 형태에서 제어를 분리하면서도 통합된 프레임워크를 유지함으로써 복잡한 구현체 에이전트의 진화를 위한 확장 가능한 경로를 제공합니다.
• 제어 가능성: 모듈식 수정을 허용함으로써, 시스템은 해로운 돌연변이에 대한 완충 작용을 하며 더 제어 가능한 설계의 진화를 유도합니다.
• 실용적 함의: 이 연구는 "Evo by Demo"가 원하는 특징을 가진 새로운 연체 로봇의 발견을 유도할 수 있는 경로를 제시하며, 이는 현재와 같은 경질 형태보다 더 유익하고 덜 위험한 에이전트로 이어질 가능성을 시사합니다.
• 한계: 저자들은 현재 VAE 잠재 공간이 훈련 데이터에 잘 표현되지 않은 분포 외 형태 (이족 보행이나 6 발 보행 등) 를 재구성하는 데 어려움을 겪는다고 겸손하게 지적합니다. 향후 연구는 잠재 다양성을 확장하기 위해 진화 과정에서 VAE 를 점진적으로 적응시키는 것을 포함할 수 있다고 제안합니다. 실험은 현재 시뮬레이션된 지상 보행으로 제한되어 있으며, 물리적 구현과 더 다양한 행동 (수영, 조작 등) 은 향후 과제로 식별되었습니다.