헤비안 어트랙터 네트워크 (Hebbian Attractor Networks, HAN) 를 통한 로봇 보행 제어에 대한 기술적 요약

이 논문은 생물학적 신경망의 평생 학습 능력 (lifelong learning) 을 모방하여, 변화하는 환경에서 적응적으로 행동할 수 있는 **헤비안 어트랙터 네트워크 (Hebbian Attractor Networks, HAN)**를 제안합니다. 기존의 고정된 가중치를 가진 신경망 정책이 배포 시 환경 변화에 취약하다는 문제를 해결하기 위해, 국소적인 헤비안 학습 규칙을 도입하고 이를 통해 가중치 공간에서 발생하는 동역학적 특성 (어트랙터) 을 체계적으로 분석했습니다.

1. 문제 정의 (Problem)

• 고정된 가중치의 한계: 기존 로봇 학습 (Train-Deploy) 패러다임은 시뮬레이션에서 최적화된 고정된 가중치를 배포합니다. 이는 센서 드리프트, 지형 변화, 구동기 성능 저하 등 실제 세계의 동적 변화에 적응하지 못하게 하여 취약성을 초래합니다.
• 생물학적 적응의 부재: 생물학적 신경계는 시냅스 가소성 (Synaptic Plasticity) 을 통해 평생 동안 지속적으로 자기 수정을 수행하지만, 인공 신경망 (ANN) 에서는 이러한 능력이 크게 결여되어 있습니다.
• 헤비안 학습의 불확실성: 기존 헤비안 학습 연구는 효과적일 수 있으나, 가중치 변화가 제어와 어떻게 상호작용하여 행동을 안정화시키거나 불안정하게 만드는지 (예: 발산, 진동) 에 대한 체계적인 이해가 부족했습니다.

2. 방법론 (Methodology)

A. 헤비안 어트랙터 네트워크 (HAN) 의 구조

• 기본 아키텍처: 피드포워드 신경망에 국소적인 헤비안 학습 규칙을 적용합니다.
• 헤비안 업데이트 규칙: 가중치 변화 ($\Delta w$) 는 사전 (pre-) 및 사후 (post-) 시냅스 활성화의 상관관계에 기반한 일반화된 ABCD 규칙을 따릅니다.
  $$\Delta w_{ij} = \eta \cdot h_\theta(\bar{x}_{pre}, \bar{x}_{post})$$
• 이중 시간 규모 (Dual-timescale) 구조:
  • 빠른 시간 규모 ($f_{NN}$): 제어 루프 (전진 전달) 의 빈도.
  • 느린 시간 규모 ($f_{hebb}$): 헤비안 가중치 업데이트의 빈도.
  • 두 주기를 분리하여 ($f_{NN} > f_{hebb}$) 학습이 즉각적인 제어와 완전히 동기화되지 않도록 합니다.
• 활성화 평균화 (Activation Averaging):
  • 즉각적인 활성화 값 대신, 이동 평균 (Moving Average, window size $M$) 을 사용하여 smoothed 된 신호로 학습합니다. 이는 단기 노이즈를 제거하고 장기적인 동역학을 반영합니다.
• 최대 정규화 (Max Normalization, MN):
  • 가중치가 무한히 발산하는 것을 방지하기 위해, 각 층의 가중치를 절대값의 최댓값으로 스케일링합니다. 이는 가중치 공간에서 구조화된 동역학 (어트랙터) 을 유도하는 핵심 요소입니다.

B. 실험 설정

• 벤치마크: Gymnasium 의 연속 제어 보행 환경 (Swimmer, Hopper, HalfCheetah, Walker2d) 및 Unitree Go1 4 발 로봇 시뮬레이션.
• 비교 대상: 정적 MLP, GRU, PPO(강화학습), 기존 헤비안 학습 기반 제어기.
• 최적화: 진화 전략 (Evolutionary Strategies, ES) 을 사용하여 헤비안 규칙의 계수 ($\theta$) 와 학습률 ($\eta$) 을 최적화합니다.

3. 주요 기여 (Key Contributions)

1. HAN 의 체계적 분석: 헤비안 학습 조건 (MN 유무, 업데이트 빈도, 활성화 평균화) 이 보행 성능과 가중치 동역학에 미치는 영향을 정량적으로 분석했습니다.
2. 어트랙터 동역학의 규명:
   • 공동역학적 한계 주기 (Co-dynamic Limit Cycles): 빠른 업데이트와 평균화 없이 적용 시, 가중치가 보행 주기와 동기화되어 진동하는 패턴을 보입니다. 이는 보행 패턴 생성기 (Pattern Generator) 역할을 합니다.
   • 고정점 어트랙터 (Fixed-point Attractors): 느린 업데이트와 긴 평균화 창 ($M$) 을 적용하면, 가중치가 초기 적응 후 안정된 고정점으로 수렴합니다. 이는 외부 교란에 대해 강인한 제어 정책을 제공합니다.
3. 고차원 시스템으로의 확장: 단순한 2 차원 보행뿐만 아니라, 4 발 로봇 (Unitree Go1) 과 같은 고차원 시스템에서도 이러한 어트랙터 동역학이 일반화됨을 입증했습니다.

4. 실험 결과 (Results)

• 성능 향상:
  • 최대 정규화 (MN) 와 이중 시간 규모, 활성화 평균화를 결합한 HAN 은 정적 MLP 나 기존 헤비안 기반 제어기보다 대부분의 보행 벤치마크에서 우수한 성능을 보였습니다.
  • 특히 HalfCheetah 와 Walker2d 에서 HAN 은 PPO(기본 아키텍처) 와 경쟁하거나 더 나은 성능을 기록했습니다.
• 가중치 동역학 분석:
  • 조건 (B) (빠른 업데이트, 평균화 없음): 가중치가 진동하며 보행 주기와 동기화됩니다. 헤비안 업데이트를 중단하면 로봇이 넘어집니다 (학습된 패턴 생성기에 의존).
  • 조건 (E) (느린 업데이트, 평균화 있음): 가중치가 초기 적응 후 고정점에 수렴합니다. 외부 충격 (예: 50kg 추돌) 이 가해져도 가중치가 일시적으로 변화했다가 다시 동일한 고정점으로 돌아오며, 보행이 유지됩니다.
• 형태적 손상 (Morphological Damage) 적응:
  • 다리가 절단된 Ant 로봇 환경에서 PPO 는 훈련된 형태에 최적화되어 새로운 손상에는 취약했으나, HAN 은 진동하는 가중치 동역학 (Limit Cycle) 을 통해 훈련되지 않은 손상에도 일관된 성능을 유지했습니다.
• Unitree Go1 적용:
  • 4 발 로봇 실험에서도 조건 (B) 은 한계 주기 어트랙터를, 조건 (E) 은 고정점 어트랙터를 형성하여 각각의 특성을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 플라스틱리티 타이밍의 중요성: 헤비안 학습의 타이밍 (업데이트 빈도) 과 활성화의 평균화 방식이 신경망의 동역학을 결정하며, 이를 통해 안정적인 고정점 (Robustness) 또는 적응적인 진동 (Adaptability) 중 하나를 선택적으로 설계할 수 있음을 보였습니다.
• 메타학습과 동역학의 통합: HAN 은 단순한 메타학습 (파라미터 최적화) 을 넘어, 네트워크 자체의 동역학적 특성 (어트랙터) 을 통해 환경 변화에 대응하는 새로운 패러다임을 제시합니다.
• 실제 적용 가능성: 고정된 가중치 정책의 취약성을 해결하고, 시뮬레이션에서 실제 로봇 (Sim-to-Real) 으로 전환 시 발생할 수 있는 센서 노이즈나 기계적 오차에 대한 내성을 높일 수 있는 가능성을 제시합니다.

요약하자면, 이 논문은 헤비안 학습을 단순한 적응 메커니즘이 아닌, 가중치 공간에서 특정 동역학 (어트랙터) 을 유도하는 설계 도구로 재해석했습니다. 이를 통해 로봇이 변화하는 환경에서 안정적이면서도 유연하게 보행할 수 있는 새로운 제어 프레임워크를 제시했습니다.