Benefits of Low-Cost Bio-Inspiration in the Age of Overparametrization

1. 연구 배경 및 문제 제기 (Problem)

• 과파라미터화 (Overparametrization) 의 비효율성: 최근 기계학습 및 강화학습 (RL) 분야에서는 모델의 파라미터 수를 늘리는 것이 성능 향상으로 이어진다는 경향이 있습니다. 그러나 로봇 제어, 특히 입력/출력 공간이 제한적이고 성능 상한이 명확한 환경에서는 불필요하게 많은 파라미터가 오히려 학습 과정을 방해할 수 있습니다.
• 제한된 센서 능력을 가진 모듈러 로봇: 기존 RL 벤치마크 (예: Unitree 제품 등) 는 수백 개의 관측치 (전역 회전, 속도, 접촉 힘 등) 를 사용하지만, 본 연구에서 사용하는 저비용 모듈러 로봇 (ARIEL 플랫폼) 은 8 개의 힌지 (joint) 만을 제어하며 1 차원 위치 정보만 제공합니다. 이러한 제한된 입력 공간에서 고차원의 신경망 (Deep MLP) 이나 복잡한 아키텍처가 과연 필요한지, 혹은 생체 영감의 간단한 모델 (CPG) 이 더 효율적인지 체계적으로 비교한 연구가 부족했습니다.
• 연구 목적: 제한된 센서 능력을 가진 로봇 morphology 에 대해, 다양한 파라미터 공간 (CPG 와 MLP 의 깊이/너비) 과 학습 알고리즘 (진화 전략 vs 강화학습) 을 조합하여 최적의 제어기를 찾는 것입니다.

2. 방법론 (Methodology)

2.1 실험 환경 및 로봇

• 로봇 morphology: 8 개의 힌지 (수평 'hip', 수직 'knee') 와 8 개의 구조 블록으로 구성된 '거미 (Spider)' 형태의 모듈러 로봇.
• 입력/출력: 8 차원의 입력 (각 힌지의 위치) 과 8 차원의 출력 (각 힌지의 제어 신호).

2.2 제어 아키텍처 (Architectures)

1. 중심 패턴 생성기 (CPG):
   • 생체 영감을 받은 진동자 네트워크.
   • 변수: 이웃 거리 (Neighborhood distance, $N$) 를 변수로 하여 연결성을 조절 ($c_0$~$c_6$). $c_6$는 완전 연결 (36 개 파라미터), $c_0$는 비연결 (8 개 파라미터).
2. 다층 퍼셉트론 (MLP):
   • 변수: 은닉층의 깊이 ($d \in \{0, 1, 2\}$) 와 너비 ($w \in \{1, \dots, 128\}$).
   • 레이블링: $m^d_w$로 표기 (예: $m^2_8$은 2 개의 은닉층, 각 8 개 뉴런).

2.3 학습 알고리즘 (Optimization Algorithms)

1. CMA-ES (Covariance Matrix Adaptation Evolutionary Strategy):
   • 그래디언트 기반이 아닌 진화 전략. CPG 와 MLP 모두에 적용 (그룹: CMA/CPG, CMA/MLP).
2. PPO (Proximal Policy Optimization):
   • 강화학습 (RL) 기반의 그래디언트 하강법. Actor-Critic 구조 사용으로 파라미터 수가 급증함. CPG 에는 적용 불가 (순환 신경망 처리의 어려움), MLP 에만 적용 (그룹: PPO/MLP).

2.4 보상 함수 (Reward Functions)

세 가지 서로 다른 locomotion 특성을 유도하는 보상 함수 사용:

1. Speed ($R_s$): x 축 방향의 이동 속도 최대화.
2. Gymnasium ($R_g$): 이동 속도 최대화 + 제어 신호 크기 및 접촉 힘 최소화 (에너지 효율 및 부드러운 보행 유도).
3. Kernel-based ($R_k$): 특정 속도 (0.5 m/s), 0 인 측면/수직 속도, 특정 높이 (20cm) 유지를 목표로 하는 RBF 커널 기반 보상 (균형 잡힌 보행 유도).

2.5 평가 지표

• 성능 (Performance): 각 보상 함수 하에서의 평균 이동 거리/점수.
• 파라미터 영향도 (Parameter Impact, $I_F$):
  • 정의: $I_F = \hat{f} / \log_{10}(p)$
  • 목적: 파라미터 수 ($p$) 대비 성능 향상 ($\hat{f}$) 의 효율성을 정량화하여 과파라미터화의 비효율성을 측정.

3. 주요 결과 (Key Results)

3.1 아키텍처별 성능 비교

• CPG: 파라미터 수가 증가할수록 (특히 $c_4, c_6$) 성능이 향상됨. 진동 패턴 생성에 내재된 편향 (bias) 이 보행 학습에 유리하게 작용.
• MLP:
  • CMA-ES: 매우 얕고 작은 네트워크 ($m^2_8$, $m^1_2$ 등) 가 최적 성능을 보임. 파라미터를 대폭 늘려도 성능 향상은 미미하거나 오히려 감소 (과적합/학습 실패).
  • PPO: $R_s$(속도) 에서는 CMA-ES 와 유사하거나 약간 좋은 성능을 보였으나, $R_g$(에너지 효율) 와 $R_k$(균형) 에서는 성능이 저하되거나 CMA-ES 보다 못함.
  • 특이점: $R_g$ 보상 함수 (제어력 패널티 포함) 에서 MLP 는 초기 학습 단계에서 실패하여 거의 움직이지 않는 결과를 보인 반면, CPG 는 리듬적 패턴을 자연스럽게 생성하여 학습에 성공함.

3.2 파라미터 효율성 (Parameter Impact)

• CPG vs MLP: CPG 는 적은 파라미터로도 높은 효율을 보임. 반면, PPO 를 사용한 MLP 는 파라미터 수가 수만 배 증가함에도 불구하고 성능은 비슷하거나 낮음.
• 최적 조합:
  • 속도 ($R_s$): MLP (PPO) 가 CPG 보다 약간 더 빠르지만, 파라미터 효율성은 CMA-ES 기반의 얕은 MLP 나 CPG 가 더 우수함.
  • 에너지 효율 ($R_g$): CMA-ES 기반의 CPG 와 단순 퍼셉트론 ($m^0_0$) 이 압도적으로 우세함. MLP 는 학습 실패.
  • 균형 ($R_k$): CMA-ES 기반의 CPG 와 얕은 MLP 가 유사한 성능을 보임.

3.3 교차 성능 (Cross-performance)

• 한 보상 함수로 학습된 모델이 다른 보상 함수에서도 잘 작동하는지 확인.
• CPG는 학습된 보상 함수와 무관하게 모든 지표에서 상대적으로 높은 순위를 유지함 (리듬적 보행의 보편성 때문).
• MLP는 특정 보상 함수에 과적합되거나, $R_g$와 같은 복잡한 제약 조건에서는 다른 함수에서도 성능이 급격히 떨어짐.

3.4 다양성 (Diversity)

• PCA 분석 결과, MLP 는 CPG 보다 더 넓은 보행 패턴 (다양성) 을 생성함.
• 그러나 CPG 는 파라미터가 적고 구조적 편향이 있어 보행 패턴의 다양성은 낮지만, 이로 인해 일관된 고성능을 유지하는 경향이 있음.

4. 주요 기여 및 결론 (Contributions & Significance)

1. 과파라미터화의 경계 조건 제시: 로봇 제어, 특히 저비용/제한된 센서 환경에서는 파라미터 수를 무작정 늘리는 것이 오히려 학습을 저해할 수 있음을 실증함.
2. CPG 의 재조명: 복잡한 신경망 (Deep RL) 대신, 생체 영감의 CPG 가 제한된 입력 공간에서 더 효율적이고 강건한 제어기를 제공함을 입증. 특히 에너지 효율적인 보행 ($R_g$) 에 있어 CPG 가 필수적임.
3. 학습 알고리즘 비교: CMA-ES(진화 전략) 가 PPO(강화학습) 보다 파라미터 효율성 면에서 우월함을 보임. PPO 의 Actor-Critic 구조는 불필요한 파라미터 오버헤드를 발생시킴.
4. Parameter Impact Metric 제안: 파라미터 수와 성능 간의 관계를 정량화하는 새로운 지표를 도입하여, "얼마나 적은 파라미터로 좋은 성능을 내는가"를 평가하는 기준을 마련함.
5. 실용적 시사점: 저비용 모듈러 로봇이나 에지 디바이스 (Edge Device) 에서는 고도화된 딥러닝 모델보다 얕은 MLP나 CPG와 같은 경량 생체 영감 모델이 더 효율적이고 실용적임을 강조.

5. 요약

이 논문은 "더 많은 파라미터 = 더 좋은 성능"이라는 통념이 제한된 입력을 가진 로봇 제어 영역에서는 성립하지 않음을 보여줍니다. 저비용 생체 영감 모델 (CPG) 과 진화 전략 (CMA-ES) 의 결합이, 고비용의 심층 신경망과 강화학습 (PPO) 보다 파라미터 효율성, 학습 안정성, 그리고 다양한 보행 조건에서의 일반화 능력 면에서 우월함을 입증했습니다. 이는 제한된 컴퓨팅 자원과 센서를 가진 실제 로봇 시스템 설계에 중요한 지침을 제공합니다.