Learning Options for Compositional Motor Control with Adapter Banks
본 논문은 고정된 상위 수준 정책이 이러한 어댑터들을 시퀀싱함으로써 멀티태스크 베이스라인 대비 새로운 운동 시퀀스에 대한 우수한 일반화 성능을 구현할 수 있도록, 잔차 어댑터 뱅크에 의해 변조되는 공유 순환 코어를 사용하여 유연한 운동 프리미티브를 저계수 섭동으로서 학습하는 새로운 아키텍처를 제안한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기
피아니스트의 유려한 스케일부터 체조 선수의 복잡한 도약에 이르기까지, 숙련된 움직임은 숨겨진 능력에 의존한다. 즉, 뇌는 모든 새로운 동작을 처음부터 다시 배우지 않는다는 것이다. 대신, 뇌는 재사용 가능한 구성 요소인 '프리미티브(primitives)'라는 라이브러리를 구축하며, 이를 혼합, 매칭, 재형성하여 끝없는 새로운 동작을 만들어낸다. 이러한 한정된 기술 세트를 새로운 시퀀스로 재조합하는 능력은 인간의 손재주를 보여주는 특징이다. 수십 년 동안 과학자들은 인공 에이전트에게 이와 동일한 유연성을 가르쳐, 처음부터 다시 학습할 필요 없이 새로운 과제에 적응할 수 있는 로봇을 만들고자 노력해 왔다. 과제는 학습 시스템이 스스로 이러한 구성 요소를 발견하고, 기존의 기술이 새로운 기술을 방해하지 않으면서 이를 결합하는 방법을 찾는 것이었다. 최근 신경과학 이론은 뇌가 서로 다른 입력에 의해 약간씩 조정되는 공유된 뉴런 네트워크를 사용함으로써 이 문제를 해결할 수 있다고 제안하며, 이를 통해 동일한 핵심 메커니즘이 매우 다양한 행동을 생성할 수 있다고 설명한다.
컬럼비아 대학교와 뉴비욕 대학교 연구진의 새로운 연구는 이 생물학적 이론을 컴퓨터 모델로 구현하여, 인공 시스템이 기초부터 복잡한 움직임을 구성하는 방법을 입증했다. 연구팀은 인간의 팔과 유사하게 6개의 근육을 가진 시뮬레이션된 두 개의 관절 팔을 제어하도록 설계된 디지털 뇌를 만들었다. 그들은 이 시스템에 직선으로 뻗기, 원 그리기, 숫자 8 모양 그리기 등 다양한 움직임을 학습하도록 요청했다. 연구진은 단순히 이 경로들을 암기하게 하는 것이 아니라, 시스템이 각 움직임의 기저에 있는 부분들을 발견하고, 이전에 본 적 없는 과제를 수행하기 위해 이들을 어떻게 꿰어낼지를 학습하기를 원했다. 이를 위해 그들은 뇌의 운동 피질과 운동 프로그램의 선택 및 전환을 돕는 심부 뇌 구조인 시상 사이의 연결에서 영감을 얻은 아키텍처를 구축했다.
연구진은 움직임의 기본적인 역학을 처리하는 공유된 '핵심(core)' 네트워크를 설계했는데, 이는 운동 피질과 유사하다. 이 핵심에는 핵심의 행동을 미세하게 조정할 수 있는 작은 조절 나사 역할을 하는 특화된 모듈, 즉 어댑터(adapters) 뱅크가 부착되어 있다. 뇌에서 이 어댑터들은 특정 동작을 생성하기 위해 운동 피질의 활동을 약간 변화시키는 시상의 신호에 해당한다. 연구진은 시스템이 언제 어떤 어댑터를 사용해야 하는지 프로그래밍하지 않았으며, 대신 시스템이 전문가 교사가 과제를 수행하는 것을 관찰함으로써 적절한 모듈을 식별하고 선택하는 법을 배우도록 했다. 여기서 교사는 각 움직임에 따라 따라야 할 정확한 규칙을 알고 있는 별도의 사전 학습된 네트워크였다. 반면 학생 시스템은 교사의 행동을 세그먼트로 분해하고, 명시적인 규칙 전달 없이도 각 순간에 어떤 어댑터를 활성화할지 결정하는 방법을 스스로 터득해야 했다.
학생 시스템이 이러한 복합적인 움직임을 학습함에 따라 놀라운 일이 일어났다. 어댑터가 완전히 유연하고 복잡하게 설계되었음에도 불구하고, 시스템은 자연스럽게 이를 단순하고 낮은 계수(low-rank)의 조정값으로 사용하는 법을 배웠다. 쉽게 말해, 시스템은 새로운 과제마다 전체 뇌를 새로 쓸 필요 없이, 공유된 핵심에 작고 정밀한 미세 조정만을 가하면 된다는 것을 발견했다. 이를 통해 시스템은 서로 다른 움직임을 내부 상태 내의 뚜렷하고 분리된 공간으로 분리할 수 있었다. 명시적인 규칙 입력을 사용하는 교사 네트워크는 모든 과제 표현을 하나의 공유된 공간 안에 뒤섞어 놓은 반면, 학생 시스템은 이를 고도로 분리된 구역으로 조직했다. 직선으로 뻗기나 원형 궤적과 같은 각 움직임 유형은 시스템의 내부 지형에서 자신만의 독특한 구석을 차지하게 되었고, 이를 통해 혼란 없이 움직임 간의 전환이 훨씬 용이해졌다.
이 접근 방식의 진정한 시험은 연구진이 시스템에게 이전에 본 적 없는 방식으로 학습된 움직임의 일부를 결합한 '두 잎 모양 궤적'이라는 완전히 새로운 과제를 수행하도록 요청했을 때 찾아왔다. 이 새로운 경로는 직선 확장과 곡선 수축, 그리고 곡선 확장과 직선 수축을 엮어야 했으며, 이는 학생이나 교사 모두 연습해 본 적 없는 불연속성을 만들어냈다. 연구진은 두 시스템의 내부 네트워크를 동결한 후, 가용 가능한 구성 요소들을 배열하여 이 새로운 목표에 맞출 수 있는 최적의 시퀀스를 찾으려 했다. 모듈형 구조를 가진 학생 시스템은 높은 정밀도로 성공하여 약 0.005미터의 오차로 새로운 경로를 추적했다. 반면, 뒤섞인 단일 하위 공간 방식에 의존하는 교사 시스템은 10배 더 큰 오차에서 정체되며 크게 고전했다.
이러한 결과는 유연한 운동 제어의 핵심이 단순히 공유된 네트워크를 갖는 것이 아니라, 서로 다른 과제를 별도의 내부 공간에 유지하면서 낮은 계수의 조정을 통해 해당 네트워크를 조절하는 데 있음을 시사한다. 이러한 기하학적 분리는 시스템이 학습된 프리미티브를 혼합하고 조합하여 새로운 문제를 해결할 때 발생하는 간섭 없이도 문제를 풀 수 있게 한다. 이 연구는 뇌의 시상-피질 루프에서 영감을 얻은 아키텍처가 어떻게 스스로 재사용 가능한 구성 요소를 발견하고, 이를 재조합하여 분포 외(out-of-distribution)의 도전에 대처할 수 있는지를 보여주는 구체적인 증거를 제공한다. 시스템이 자신의 행동을 별도의 하위 공간으로 분리할 수 있음을 보여줌으로써, 이 연구는 기계가 인간 운동선수와 같은 쉽고 창의적인 방식으로 새로운 물리적 과제에 적응할 수 있는 유망한 경로를 제시한다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.