기술 요약: 예측 시뮬레이션에서의 인간다운 움직임을 위한 람다-홀드(Lambda-Hold) 제어

1. 문제 정의

본 논문은 강화 학습(RL)을 통해 인간과 유사한 동작을 생성하도록 근골격 모델을 훈련할 때 발생하는 근본적인 과제를 다룹다. 인간의 근골격계는 과잉 구동(overactuated) 상태이며, 하지는 기계적 자유도보다 훨씬 더 많은 근육을 보유하고 있다. 이러한 중복성은 RL에 두 가지 주요 장애물을 생성한다:

1. 차원의 저주: 액션 공간은 초당 수백 번의 근육 흥분 벡터(excitation vectors)를 지정해야 한다.
2. 비효효율적인 탐색: 표준 RL 에이전트는 근육 흥분을 독립적으로 섭동시킨다(예: 가우시안 노이즈 사용). 근육 활성화와 관절 움직임 사이의 매핑은 다대일(many-to-one) 관계이기 때문에, 이러한 상관관계가 없는 섭동은 관절 공간에서 서로 상쇄되는 경우가 많다. 결과적으로 에이전트는 고차원의 흥분 공간을 탐색하지만, 저차원의 관절 공간은 효과적으로 탐사하지 못하여 학습이 극도로 느려지거나 실패하게 된다.

이를 완화하기 위한 기존 방식으로는 고정된 반사 규칙, 형태가 지정된 탐색 노이즈, 자기 조직화 신호(DEP-RL와 같은), 또는 고정된 근육 시너지 등이 있다. 그러나 이러한 방법들은 협응(coordination)을 체의 역학으로부터 발현시키기보다는 외부적으로 강제하거나(고정된 구조 또는 외부 노이즈를 통해), 최소한의 보상으로부터 학습하기보다는 참조 동작 모방에 의존한다는 한계가 있다.

2. 방법론: $\lambda$-홀드 컨트롤러

저자들은 탐색의 비효율성을 해결하기 위해 평형점(Equilibrium-Point, EP) 가설과 **간헐적 제어(intermittent control)**를 통합한 새로운 제어 아키텍처인 $\lambda$-홀드 컨트롤러를 제안한다.

2.1 제어 변수: 임계값 길이 ($\lambda$)

정책은 직접적인 근육 흥분($e_i$)을 명령하는 대신, **근육별 임계값 길이($\lambda_i$)**를 명령한다. 이 변수는 근육이 동원되기 시작하는 평형점을 나타내며, 이는 펠드만(Feldman)의 EP 가설에 근거한다.

2.2 신장-반사 동원 법칙 (Stretch-Reflex Recruitment Law)

고정된 생리학적 법칙이 근육의 현재 길이($\ell_i$)와 속도($v_i$)를 기반으로 명령된 $\lambda_i$를 근육 흥분 $e_i$로 변환한다:
$$e_i = \left[ G_{tonic}(\ell_i - \lambda_i) + G_{phasic}[v_i]_+ \right]_0^1$$

• $G_{tonic}$ (50): 정적 신장 반사(길이 피드백)를 구현한다.
• $G_{phasic}$ (0.1): 동적 신장 반사(속도 피드백)를 구현하며, 신장 중에만 구동력을 더하도록 정류(rectified)된다.
• 발현된 협응: 이 법칙에는 명시적인 결합 항이 없지만, 기계적 골격이 근육들을 결합한다. 골격 역학에 의해 함께 늘어나는 근육들은 함께 동원된다. 따라서 $\lambda$-공간에서의 독립적인 섭동은 사전 정의된 시너지 행렬 없이도 자연스럽게 협응된, 시너지와 유사한 흥분을 생성한다.

2.3 간헐적 제어 및 "홀딩(Holding)"

정책은 매 시뮬레이션 스텝마다 $\lambda$를 업데이트하지 않는다. 대신:

• 결정 지점: 새로운 $\lambda$ 값은 특정 지면 반력(GRF) 이벤트(발 착지 및 발 떼기)와 보행 단계당 하나의 중간 "서브 포인트"에서만 발행된다.
• 홀드 구간: 결정 지점 사이에는 현재의 $\lambda$가 일정하게 유지된다. 반사 법칙은 진화하는 근육 상태에 따라 흥분을 지속적으로 업데이트한다.
• 이점: 이는 시뮬레이션 스텝 대비 정책 쿼리(결정 단계)의 빈도를 획기적으로 줄여, 크레딧 할당 체인을 단축하고 계산 비용을 절감한다. 결정적으로, 홀드 구간 내에서도 반사 루프를 통해 흥분이 역동적으로 변화하므로, 이는 단순한 "액션 반복(action repeat)"과는 구별된다.

2.4 강화 학습 설정

• 알고리즘: 일반화된 상태 의존 탐색(gSDE)을 적용한 소프트 액터-크리틱(Soft Actor-Critic, SAC).
• 보상: 전진 속도($v_x$)로만 구성되며, 내외측 흔들림($v_z$)에 대한 페널티로 감쇄되는 최소 보상을 사용한다. 참조 동작, 자세 제약, 또는 대칭성 보상은 사용되지 않는다.
• 관측: 근육 길이/속도, 관절 각도/속도, GRF, 그리고 현재 $\lambda$의 에퍼런스 카피(efference copy)를 포함한 432차원.

3. 주요 결과

3.1 학습 효율성

• 속도: $\lambda$-홀드 컨트롤러는 단일 워크스테이션에서의 한 시간의 벽시계 시간(wall-clock time) 훈련 내에 스프린트(약 4.0 m/s 도달)를 학습한다.
• 비교:
  • Plain SAC (직접 흥분 제어) 및 Synergy 베이스라인은 수렴에 실패하며, 종종 몇 단계 만에 바닥으로 고꾸라진다.
  • DEP-RL은 느리게 학습하여 약 2.6 m/s에 도달하며 어색하고 비대칭적인 보행을 보인다.
  • Excitation-Hold (반사 없이 흥분을 직접 홀드)는 Plain SAC보다는 개선되었으나, $\lambda$-hold보다는 여전히 한 차수(order of magnitude) 이상 열등하다. 이는 이점의 원인을 밝혀준다: 이 이득은 단순히 명령을 홀드하는 것에서 오는 것이 아니라, 제어 변수를 $\lambda$로 변경함으로써(기계적 협응을 가능하게 함) 오는 것이다.
• 탐색: $\lambda$-hold는 모든 베이스라인보다 관절-속도 공간에서 훨씬 높은 엔트로피를 달ğunu 달성하며, 상태 공간을 훨씬 빠르게 커버한다.

3.2 인간다운 스프린팅의 발현

최소한의 전진 속도 보상만을 사용하여, 컨트롤러는 다음과 같은 현상을 자발적으로 생성한다:

• 명확한 스윙 다리 굴곡을 동반한 협응되고 대칭적인 스프린팅.
• 다양한 속도(2.5–4.5 m/s)에서 인간의 트레드밀 러닝 데이터와 밀접하게 일치하는 시상면(sagittal) 관절 운동학과 수직 지면 반력(GRF).
• 추진 근육(예: 가자미근, 비복근)의 측정된 표면 EMG와 중간 내지 강한 상관관계를 보이는 근육 활성화 패턴을 보여준다. 다만 스윙 단계 근육(예: 전경골근)에서는 일부 불일치가 존재한다.

4. 기여 및 의의

본 논문은 세 가지 주요 기여를 주장한다:

1. 최소 보상으로부터의 인간다운 스프린팅: 저자들이 알기로, 참조 동작 모방, 노력 최소화, 또는 수동으로 튜닝된 반사 이득 없이 오직 전진 속도 보상만을 사용하여 근육으로 구동되는 골격 모델이 협응된 인간다운 스프린팅을 학습한 첫 번째 사례이다.
2. 비효율적인 탐색의 해결: $\lambda$-hold 컨트롤러는 생리학적으로 근거가 있는 임계값 길로 제어 변수를 변경하고 간헐적 업데이트를 결합함으로써, 에이전트가 관절 공간을 효율적으로 탐색할 수 있음을 입증한다. 이를 통해 학습 속도를 높여 하루 안에 운동 제어 가설을 테스트하는 것을 가능하게 한다.
3. 생리학적 근거를 가진 메커니즘: 이 접근법은 단순한 공학적 기교가 아니라 EP 가설과 간헐적 제어를 통합한 것이다. 이는 고수준의 최적 피드백 제어( $\lambda$를 최적화하는 정책)와 저수준의 반사 역학(흥분을 생성하는 법칙) 사이의 간극을 메우며, 이러한 프레임워크가 계층적 구조 내에서 공존할 수 있음을 시사한다.

5. 한계 및 범위

저자들은 생성된 스프린트가 엘리트 인간의 최고 속도(약 10–12 m/s)에 도달하지 못한다는 점을 겸허히 언급한다. 그 원인은 다음과 같다:

• 근력-속도 특성: 수축기 스윙 구동 동안, 고관절 굴근은 완전히 활성화되지만 너무 빠르게 단축되어 힘-속도 관계에 의해 그 힘이 아이소메트릭(isometric) 값의 1/4에서 1/3 사이로 절감된다(즉, 잠재력의 25~33%만 유지함).
• 모델 제약: 고속 러닝에서 각운동량 균형에 기여하는 팔(arms)의 부재.

본 논문은 이 연구를 "학습 가능한 인간 운동 제어 모델"을 향한 단계로 위치시키며, 이 아키텍처가 임계값 제어가 학습 시스템에 어떻게 내장될 수 있는지에 대한 모델링 데몬스트레이션임을 강조한다. 향후 연구로는 균형 잡기, 점프, 걷기로의 일반화 테스트가 제안되었다.