Multitasking Recurrent Networks Utilize Compositional Strategies for Control of Movement

기술 요약: 움직임 제어를 위한 구성적 전략을 활용하는 멀티태스킹 순환 신경망

문제 제‌ای
뇌와 신체는 근골격계의 높은 차원성에도 불구하고 다양한 움직임을 유연하게 수행할 수 있는 복잡한 제어 시스템으로 기능한다. 구성성(compositionality)—학습된 계산 프리미티브를 결합하여 새로운 과업을 수행하는 능력—은 인지적 유연성을 위한 널리 제안된 메커니즘이지만, 운동 제어로의 확장은 여전히 불분명하다. 기존 연구는 여러 인지 과업을 수행하도록 훈련된 순환 신경망(RNN)이 모듈식의 구성적 구조를 발달시킨다는 점을 입증했다. 그러나 이러한 원리가 움직임 생성을 위한 어트랙터 기반 계산(인지에 필요한 것과는 상이함)이 필수적인 근골격계 환경에서 어떻게 적용되는지는 알려져 있지 않다. 또한, 체화(embodiment)와 감각 피드백이 구성적 표현을 촉진하기 위해 네트워크의 솔루션 공간을 어떻게 제약하는지도 불분명하다.

연구 방법론
저자들은 근골격 모델(Motornet에서 유도됨)과 폐쇄 루프 피드백 구성 내에서 멀티태스킹 RNN을 훈련시켰다. 네트워크는 6개의 근육과 2개의 관절을 가진 2D 평면 팔을 제어했다.

• 과업 세트: 네트워크는 16개 방향과 5개 속도에 걸쳐 10가지의 뚜렷한 운동학적 궤적(직선 도달, 곡선 도달, 사인파, 사이클, 피겨 에이트 포함)을 수행하도록 훈련되었다.
• 입력값: 네트워크는 과업 지시(규칙 입력), 속도 스칼라, Go 신호, 그리고 목표 위치를 전달받았다. 결정적으로, 네트워크는 연속적인 고유 수용성 피드백(근육 길이 및 속도)과 시각 피드백(손 위치)을 전달받았다.
• 훈련 프로토콜: 시스템은 말단 효과기 오차(end-effector error)를 최소화하기 위해 지도 학습을 사용하여 엔드 투 엔드(end-to-end) 방식으로 훈련되었다. 훈련은 모든 과업에 걸쳐 인터리빙(interleaved) 방식으로 진행되었다.
• 분석 도구: 저자들은 주성분 분석(PCA), jPCA(회전 역학 탐지용), 프로크루스테스 분석(궤적 유사성용), 동적 유사성 분석(DSA), 그리고 표적 차원 축소(TDR)를 사용하였다.
• 절제 연구(Ablation Studies): 체화와 피드백의 역할을 격리하기 위해 세 가지 제어 모델을 훈련시켰다:
  1. 니치 솔루션(Niche Solutions): 개별 과업에 대해 훈련된 10개의 별도 네트워크로, 멀티태스킹 네트워크가 특정 근육 활성 패턴을 재현하도록 훈련됨.
  2. 피드백 없음(No Feedback): 표준 말단 효과기 손실을 사용하되 고유 수용성 또는 시각 피드백 없이 훈련됨.
  3. 효과기 없음(No Effector): 팔을 훈련 루프에서 제거하고, 베이스라인 네트워크의 근육 활성을 직접 재현하도록 훈련됨.
• 전이 학습(Transfer Learning): 저자들은 모든 순환 가중치와 출력 가중치를 고정한 채, 새로운 규칙 입력을 위한 입력 가중치만을 업데이트하여 홀드아웃 과업(CClkCurvedReach 및 CClkCycle)을 학습하는 능력을 테스트했다.

주요 결과

1. 공유된 저차원 매니폴드: 모든 과업에 걸쳐, 움직임 단계 동안의 집단 활동은 공유된 저차원 매니폴드 내에 존재했다. 준비(지연) 단계와 움직임 단계는 서로 직교하는 부공간(subspace)에 위치했는데(이는 운동 피질의 연구 결과와 일치함), 이는 유사한 유형의 움직임(예: 모든 신전 동작)이 동일한 신경 모드와 역학을 공유함을 의미한다.
2. 하위 움직임의 직교 분리: 근육 공간에서는 신전과 수축 동작의 부공간이 겹침에도 불구하고, 네트워크는 신전과 수축을 거의 직교하는 부공간으로 조직화했다. 이는 물리적인 팔에는 존재하지 않는, 네트워크 내부의 원칙적인 계산 분리를 시사한다.
3. 대수적 구성성(Algebraic Compositionality): 네트워크는 지연 부공간 내에서 과업들을 대수적으로 배치했다. 표적 차원 축소 결과, 회전 방향(시계/반시계)과 운동학적 복잡성(도달/사인파)을 구분하는 구조화된 축이 드러났다. 네트워크는 기존 과업의 규칙 입력을 대수적으로 결합함으로써, 순환 가중치를 변경하지 않고도 새로운 과업을 수행할 수 있었다.
4. 순차적 구성성(Sequential Compositionality): 네트워크는 학습된 신전 및 수축 모티프를 "꿰매는(stitch)" 능력을 보여주었다. 움직임 중간에 규칙 입력을 전환함으로써, 네트워크는 명시적으로 훈련되지 않은 새로운 복합 움직임(예: 과업 A의 신전 후 과업 B의 수축)을 성공적으로 생성했다.
5. 체화와 피드백의 역할: 절제 연구를 통해 구성적 구조가 멀티태스킹의 필연적인 결과가 아님을 밝혔다.
   • 니치 솔루션 모델(독립적인 근육 패턴으로 훈련됨)은 구성적 구조를 발달시키는 데 실패했다.
   • 피로 피드백 없음 및 효과기 없음 모델은 일부 구조를 발달시켰으나, 베이스라인에 비해 구성성이 현저히 낮고 더 높은 차원의 솔루션을 보였다.
   • 이는 중복된 신체를 제어하기 위한 감각 피드백의 제약이 네트워크를 공유되고 저차원적이며 구성적인 솔루션으로 유도한다는 것을 나타낸다.
6. 신속한 전이: 네트워크는 새로운 규칙 입력을 위한 입력 가중치만을 업데이트함으로써 홀드아웃 움직임을 빠르게 학습할 수 있었다. 이러한 전이는 기존의 신전 및 수축 부공간을 재결합하는 것에 의존했으며, 이는 필요한 역학이 이미 공유된 회로 내에 존재함을 확인시켜 준다.

의의 및 주장
저자들은 자신들의 프레임워크가 뇌가 공유된 저차원 매니폴드와 구성적 표현을 통해 어떻게 다양한 움직임을 유연하게 수행할 수 있는지 이해하는 기초를 제공한다고 주장한다.

• 유연성의 메커니즘: 본 연구는 하나의 피드백 제어기가 공유된 동적 경관(dynamical landscape)을 활용하여 많은 움직임을 조직할 수 있음을 입증한다. 정적인 과업 입력(규칙)은 회로를 재배선하는 대신, 이 경관 내에서 네트워크 상태를 재배치함으로써 움직임을 선택한다.
• 체화의 제약: 논문은 체화와 감각 피드백이 단순히 수동적인 제약이 아니라, 네트워크가 과업별로 특화된 비구성적 근육 솔루션(니치 솔루션 모델에서 나타남)을 채택하지 않도록 솔루션 공간을 제한하는 능동적인 동인이라고 주장한다.
• 생물학적 타당성: 연구 결과는 준비 대 움직임의 직교 부공간 사용이나 과업 간 공유 매니폴드와 같은 영장류 운동 피질의 실험적 관찰과 일치한다. 이 모델은 운동 구성성이 신전/수축과 같은 프리미티브를 직교하는 부공간에 저장하고 이를 유연하게 재결합함으로써 발생함을 시사한다.
• 범위: 저자들은 자신의 모델이 M1만을 위한 특정 모델이라기보다 센서리모터 회로의 뭉뚱그려진 표현임을 겸허히 밝히며, 팔 모델의 낮은 차원이 전체 신체 시스템에 비해 갖는 한계를 인정한다. 그들은 일반적인 운동 제어 문제를 해결했다고 주장하는 것이 아니라, 체화된 멀티태스킹 조건 하에서 출현하는 특정 구조적 전략(대수적 및 순차적 구성)을 식별했음을 강조한다.