💻 computer science

LAMP: Latent Motion Prior-Guided Real-World Learning for Dexterous Hand Manipulation

이 논문은 고차원의 손 동작을 압축된 이력 조건 공간으로 매핑하기 위해 잠재 운동 사전 지식(latent motion prior)을 활용하는 3단계 실세계 학습 프레임워크인 LAMP를 소개하며, 이는 효율적이고 안전한 온라인 강화 학습을 가능하게 하여 정교한 조작 성공률을 56.25%에서 98.75%로 크게 높여준다.

원저자: Xinye Yang, Zhiyuan Ma, Hongze Yu, Yuanpei Chen, Yaodong Yang, Xiaojie Chai, Xinlei Chen, Chao Yu

게시일 2026-07-08

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xinye Yang, Zhiyuan Ma, Hongze Yu, Yuanpei Chen, Yaodong Yang, Xiaojie Chai, Xinlei Chen, Chao Yu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇 손에게 티슈를 집거나 서랍을 여는 것과 같은 섬세한 작업을 가르치는 상황을 상상해 보십시오. 여러분은 아마 이렇게 생각할 것입니다. "그냥 하는 모습을 보여주기만 하면 따라 하겠지." 하지만 여기에 문제가 있습니다. 로봇 손에는 수십 개의 미세한 관절(손가락, 마디, 엄지 등)이 있습니다. 만약 단순한 영상을 보고 로봇에게 그 모든 관절을 동시에 움직이라고 요구한다면, 로봇은 혼란에 빠집니다. 이는 마치 피아노를 치는 법을 가르치면서 어떤 건반을 눌러야 하는지 알려주는 대신, 팔의 어떤 근육을 어떻게 수축시켜야 하는지 일일이 알려주는 것과 같습니다. 로봇은 종종 미세하고 떨리는 실수를 저질러 물체를 떨어뜨리거나, 물체를 잡는 데 필요한 섬세한 감각을 잃어버리곤 합니다.

게다가, 만약 로봇이 실제 환경에서 "시행착오(강화 학습)"를 통해 배우도록 시도한다면, 그것은 위험합니다. 만약 로봇이 유리잔을 잡고 있는 상태에서 손가락을 무작위로 까닥거린다면, 유리를 깨뜨릴 수도 있습니다. 한 번 물건을 떨어뜨리면 실수한 것을 쉽게 "되돌릴" 수 없기 때문입니다.

논문의 해결책: LAMP

이 논문의 저자들은 이를 해결하기 위한 영리한 방법을 제안합니다. 그들은 LAMP를 통해 "잠재적 동작 사전(Latent Motion Prior, LMPM)"을 도입합니다. 이것은 인간의 손이 자연스럽게 어떻게 움직이는지를 이해하는 스마트하고 보이지 않는 가이드라고 생각하면 됩니다.

작동 방식은 다음과 같이 세 단계로 나뉩니다.

1. "동작 사전" (사전 지식, The Prior)

먼저, 로봇은 인간이 과업을 수행하는 모습을 관찰합니다. 로봇은 모든 손가락의 움직임을 하나하나 암기하는 대신, 자연스러운 손 모양과 움직임의 "사전"을 학습합니다.

비유: 당신이 글씨 쓰는 법을 배운다고 상상해 보십시오. 당신은 손의 모든 근육 움직임을 외우지 않습니다. 대신 글자 'A'의 "모양"을 배웁니다. 당신의 뇌는 'A'를 쓰기 위해 손가락이 자연스럽게 특정하고 매끄러운 패턴으로 움직여야 한다는 것을 알고 있습니다.
기술적 설명: 로봇은 이러한 자연스러운 손 움직임의 압축된 "지도"를 구축합니다. 예를 들어, 손이 컵을 잡고 있다면 다음 자연스러운 움직임은 컵을 들어 올리는 것이지, 갑자기 새끼손가락을 독립적으로 비트는 것이 아님을 알게 됩니다. 이 지도는 **이력 조건부(history-conditioned)**입니다. 즉, 다음에 무엇을 해야 할지 예측하기 위해 바로 1초 전의 손이 무엇을 하고 있었는지를 살펴봅니다.

2. "코파일럿" (모방 학습, Imitation Learning)

다음으로, 로봇은 인간을 흉내 내려고 시도합니다. 하지만 모든 손가락을 직접 제어하려고 하는 대신(이는 매우 어렵습니다), "동작 사전"을 코파일럿(부조종사)으로 사용합니다.

비유: 로봇을 운전자라고 생각해 보십시오. "동작 사전"은 "이 길을 따라가라"고 말하는 GPS와 같습니다. 로봇의 두뇌(정책)는 단지 "살짝 왼쪽으로 틀기"나 "조금 더 속도 내기"와 같이 경로를 유지하기 위한 작은 조정만을 하면 됩니다. 엔진, 바퀴, 스티어링 칼럼을 각각 어떻게 움직일지 결정할 필요 없이, 그저 길을 따라가기만 하면 됩니다.
결과: 로봇은 자연스러운 경로로부터 작은 "오프셋(offset, 미세한 차이)"을 예측합니다. 이를 통해 손의 움직임을 부드럽게 유지하고, 떨림이나 위험한 손가락의 까닥거림을 방지합니다.

3. "미세 조정기" (강화 학습, Reinforcement Learning)

마지막으로, 로봇은 스스로 연습하며 더욱 숙련됩니다. 일반적인 학습에서는 로봇이 무엇이 효과적인지 알아보기 위해 무작위로 요동치는 움직임을 시도할 수 있습니다. 하지만 LAMP를 사용하면, 로봇은 오직 "동작 사전" 내에서의 작고 국소적인 수정만을 허용받습니다.

비유: 당신이 줄타기를 배우고 있다고 상상해 보십시오. 당신은 줄에서 뛰어내려 어떤 일이 벌어지는지 확인하려 하지 않습니다(그것은 재앙이 될 것입니다). 대신, 줄 위에서 균형을 잡기 위해 아주 작고 조심스러운 무게 중심 이동을 합니다. LAMP는 로봇이 오직 이러한 작고 안전한 이동만을 하도록 보장합니다. 로봇은 물체를 떨어뜨릴 수 있는 위험한 영역으로 벗어나는 대신, 자연스러운 손 움직임이라는 "안전 구역" 안에서 탐색합니다.

왜 작동하는가 (결과)

저자들은 네 가지 실제 작업에 대해 이 방법을 테스트했습니다:

병을 잡아 상자에 넣기
서랍 열기
상자에서 티슈 뽑기 (말랑말랑하고 까다로운 작업)
상자 조립하기 (뚜껑 덮기)

그들은 LAMP를 다음 방식들과 비교했습니다:

원시 제어(Raw Control): 모든 손가락을 직접 제어하려고 시도함 (마치 모든 근육을 제어하며 글씨를 쓰는 것과 같음).
선형 압축(Linear Compression): 관절 수를 줄이기 위한 간단한 수학적 기법 (마치 매우 뻣뻣한 펜으로 글씨를 쓰는 것과 같음).
이산 단계(Discrete Steps): 움직임을 "덩어리"나 "단계"로 나눔 (마치 손가락을 10개의 뚜렷한 위치로만 움직일 수 있는 로봇과 같음).

결과:

원 원시 제어: 거의 모든 작업에 실패했습니다. 손의 움직임이 너무 떨렸습니다.
단순 수학/덩어리 방식: 어느 정도 해냈지만, 움직임이 뚝뚝 끊겼고 로봇이 물체를 자주 떨어뜨렸습니다.
LAMP: 네 가지 작업 중 세 가지에서 100% 성공률을 기록했고, 나머지 하나에서도 **95%**를 달성했습니다.

핵심 요점

이 논문은 복잡한 손 기술을 로봇에게 가르치는 비결이 단순히 더 많은 데이터나 더 많은 컴퓨닝 파워를 주는 것이 아니라고 주장합니다. 그것은 바로 **스마트한 제약(smart constraint)**을 주는 것입니다. 로봇이 (인간으로부터 학습된) "자연스러운" 손 동작 범위 내에서 움직이도록 강제함으로써, 로봇은 위험한 실수를 피하고, 더 빠르게 학습하며, 이전에는 실제 로봇이 수행하기 너무 어려웠던 섬세한 작업들을 성공적으로 수행할 수 있습니다.

요컨대, 로봇이 바퀴(혹은 손가락)를 새로 발명하게 두지 마십시오. 인간 손의 자연스러운 리듬을 배우게 한 뒤, 그 위에서 아주 작고 안전한 개선만을 수행하도록 하십시오.

기술 요약: LAMP (잠재적 운동 사전 지식 기반의 실세계 숙련된 손 조작 학습)

1. 문제 정의

실세계의 숙련된 로봇 손 학습은 결정적인 병목 현상에 직면해 있습니다: 손의 고차원적인 액션 공간은 모방 오류를 증폭시키고, 강화 학습(RL)의 탐색을 안전하지 않고 샘플 효율성이 낮게 만듭니다.

모방 학습(IL)의 한계: 표준 비주얼 모터(visuomotor) 정책은 궤적을 복제하는 데는 뛰어나지만, 능동적인 탐색 능력이 부족합니다. 고자유도(DoF) 공간에서는 미세한 실행 오류가 누적되어, 손이 접촉을 잃게 되는 분포 외(OOD) 구성으로 이탈하게 됩니다.
강화 학습(RL)의 한계: 가공되지 않은 고자유도 공간에서의 무제한적인 확률적 탐색은 빈번하게 접촉을 깨뜨리는 동작(예: 물체를 떨어뜨리거나 섬세한 움켜쥐기를 놓침)을 유발합니다. 일단 물체가 떨어지면 물리적 하드웨어에서 에피소드 중간의 회복이 불가능한 경우가 많으며, 이는 희소한 보상과 매우 낮은 샘플 효율성으로 이어집니다.
격차(The Gap): 생물학적 학습은 내재적 사전 지식(intrinsic priors)에 의해 유도되는 "구조화된 운동 바블링(structured motor babbling)"을 활용하는 반면, 현재의 로보틱스 파이프라인은 종종 구조화되지 않은 무작위 관절 움직임이나 단순한 차원 축소에 의존하며, 이는 접촉이 풍부한 작업에 필요한 연속성과 실행 가능성을 유지하지 못합니다.

2. 방법론

본 논문은 **LMPM(Latent Motion Prior Module)**을 중심으로 구축된 3단계 프레임워크인 LAMP(Latent Motion Prior-Guided Learning)를 소개합니다. 핵심 혁신은 모방 학습과 잔차 강화 학습(residual RL)을 통합하는 공유되고 디코딩 가능한, 이력 조건부 잠재 액션 공간입니다.

2.1 잠재 운동 사전 지식 모듈 (LMPM)

LMPM은 고차원의 원시 손 공간과 압축된 잠재 공간 사이의 인터페이스 역할을 합니다.

구조: 인코더와 디코더로 구성됩니다.
입력: 인코더는 최근의 손-타겟 명령 이력( $H_t$ )을 받아 이를 국소적 잠재 사전 분포 $q_\phi(z_t | H_t)$ 로 매핑하며, 이는 평균 $\mu$ 와 분산 $\sigma$ 로 매개변수화됩니다.
출력: 디코더는 샘플링된 잠재 벡터 $z_t$ 를 다시 실행 가능한 고차원 손 타겟( $\hat{h}_{t+1}$ )으로 매핑합니다.
학습: 이 모듈은 재구성 손실(reconstruction loss)과 KL-다이버전스 정규화 항을 사용하여 오프라인 원격 조종 시연 데이터를 통해 사전 학습되며, 이를 통해 컴팩트하고 매끄러운 잠재 매니폴드를 보장합니다. 결정적으로, 인코더는 사전 학습 후 **동결(frozen)**됩니다.

2.2 3단계 학습 파이프라인

LAMP는 세 단계에 걸쳐 동결된 LMPM을 활용합니다:

1단계: LMPM 사전 학습

오프라인 손 동작 데이터를 사용하여 인코더-디코더 쌍을 학습시켜, 숙련된 동작의 연속적이고 디코딩 가능한 매니폴드를 학습합니다.
인코더는 최근 동작 이력을 바탕으로 "사전 중심(prior center)"( $\mu_t$ )을 예측하는 법을 배우며, 디코더는 잠재 공간의 어떤 지점이라도 실행 가능한 손 명령으로 매핑되도록 보장합니다.

2단계: 모방 학습 (행동 복제)

비주얼 모터 정책( $\pi_{BC}$ $π_{B C}$ )은 두 가지 출력을 예측하도록 학습됩니다:
1. 원본 팔 공간에서의 네이티브 팔 명령.
2. 동결된 LMPM 사전 중심( $\mu_t$ )에 대한 잠재 오프셋( $\Delta \hat{z}_t$ ).
최종 손 명령은 $D_\theta(\mu_t + \Delta \hat{z}_t)$ 로 재구성됩니다.
이를 통해 정책은 시각적 관측에 따라 동작 사전(motion prior)을 적응시키면서도, 손의 움직임을 학습된 접촉 일관적 매니폴드 내에 제한할 수 있습니다.

3단계: 잔차 강화 학습 (Residual RL)

온라인 RL은 동일한 잠재 공간에서 정책을 정교화하기 위해 작동합니다.
RL 에이전트는 잠재 공간에서의 잔차( $\rho^z_t$ )를 예측하며, 이는 디코딩되기 전 행동 복제 잠재 액션에 더해집니다 ( $z_{t,BC} + s_z \rho^z_t$ ).
핵심 장점: 탐색이 시연된 동작 매니폴드 주변의 국소적 교정으로 제한됩니다. 모든 손가락 관절을 독립적으로 섭동시키는 대신(이는 접촉을 깨뜨릴 위험이 있음), 에이전트는 디코딩되었을 때 안전하고 실행 가능한 손 동작이 되는 부드럽고 구조화된 조정을 잠재 공간 내에서 수행합니다.

3. 주요 기여

LMPM (잠재 운동 사전 지식 모듈): 오프라인 궤적으로부터 숙련된 손 동작의 연속적이고 디코딩 가능한 매니폴드를 학습하는 이력 조건부 잠재 운동 사전 지식입니다. 이는 최근 동작 이력을 국소적 사전 중심으로 매핑하는 컴팩트한 인터페이스를 제공합니다.
LAMP 프레임워크: 공유된 LMPM 잠재 인터페이스를 통해 모방 학습과 잔차 RL을 통합하는 통합된 실세계 학습 프레임워크입니다. 이를 통해 정책은 사전(prior) 주변의 오프셋을 예측하고, 안전하고 접촉 일관적인 동작 매니폴드를 벗어나지 않으면서 RL을 통해 이를 정교화할 수 있습니다.
실증적 검증: 네 가지 복잡한 실세계 작업에 대해 LAMP 프레-워크를 검증하였으며, 원시(raw), 선형(PCA), 그리고 이산적(VQ-VAE) 액션 인터페이스보다 유의미한 개선을 보여주었습니다.

4. 실험 결과

저자들은 Franka Research 3 암과 Ruiyan 숙련된 손을 사용하여 네 가지 작업(Grasp & Place, Open Drawer, Pull Tissue, Assemble Box)에 대해 LAMP를 평가했습니다.

모방 학습 성능:
- Raw Space: 고차원 지터(jitter)로 인해 고전하며 접촉 형성에 실패했습니다 (대부분의 작업에서 성공률 0%).
- PCA: 차원을 압축하여 성능을 개선했으나, 복잡하고 비선형적인 접촉 패턴을 모델링하는 데 한계가 있었습니다.
- VQ-VAE (이산적): 차원은 줄였으나 코드북 전환으로 인한 지터가 발생하여 물체가 미끄러지는 현상이 나타났습니다.
- LAMP: 부드러운 이력 조건부 동작 덕분에 가장 높은 초기 IL 성공률을 달축했습니다 (예: Grasp & Place 75%, Assemble Box 55%).
강화 학습 성능:
- Raw/PCA: RL 탐색이 비효риста적이었으며, Raw 공간 탐색은 빈번하게 접촉을 깨뜨렸고, PCA의 고정된 선형 투영은 동작 매니폴드를 효과적으로 재매개변수화할 수 없었습니다.
- VQ-VAE: RL로 개선되었으나 이산적인 점프 문제로 인해 여전히 제한적이었습니다.
- LAMP: 온라인 RL 이후 거의 완벽하거나 완벽한 성공률을 달성했습니다.
  - Grasp & Place: 최종 성공률 100%.
  - Open Drawer: 최종 성공률 100%.
  - Pull Tissue: 최종 성공률 95%.
  - Assemble Box: 최종 성공률 100%.
- 종합: LAMP는 온라인 RL 이후 평균 IL 성공률을 56.25%에서 98.75%로 끌어올려, 모든 베이스라인을 크게 앞질렀습니다.
절제 연구 (Ablation Studies):
- 저차원 병목(low-dimensional bottleneck) 제거: (잠재 차원을 확장했을 때) 성능이 저하되었으며, 이는 컴팩트한 공간이 협응에 필수적임을 나타냅니다.
- 이력 조건부 인코더 제거: 초기화를 약화시켰으나, 시스템은 여전히 원시 제어보다는 안정적이었으며, 이는 이력 사전 지식의 가치를 확인시켜 줍니다.

5. 의의 및 주장

본 논문은 LAMP가 비구조화된 무작위 탐색을 구조화된 이력 조건부 탐색으로 대체함으로써 숙련된 조작에서의 "탐색 위기(exploration crisis)"를 해결한다고 주장합니다.

안전성 및 효율성: 시연으로부터 유도된 디코딩 가능한 잠재 매니폴드로 탐색을 제한함으로써, LAMP는 원시 공간 RL을 괴롭히는 "접촉 파괴" 실패를 방지하며, 이를 통해 실세계 학습을 샘플 효율적이고 안전하게 만듭니다.
IL과 RL의 가교: 이 프레임워크는 모방 학습과 강화 학습을 성공적으로 통합합니다. IL 정책은 강력하고 접촉 일관적인 초기화를 제공하며, RL 잔차는 글로벌 재계획자가 아닌 로컬 교정자로서 작동합니다.
실용성: 결과는 학습된 운동 사전 지식이 지속적이고 섬세한 접촉이 필요한 작업에서 선형 압축이나 이산 토큰화 방법보다 뛰어난, 실질적인 로봇 숙련 조작을 위한 유용한 액션 인터페이스가 될 수 있음을 입증합니다.

저자들은 현재의 LMPM이 작업 특화적이며 사전 학습을 위한 적절한 오프라인 궤적이 필요하다는 한계점을 언급했습니다. 이들은 향-후 연구에서 다중 작업 일반 사전 지식(multi-task general priors)과 더 높은 DoF의 손에 대한 적용을 탐구할 수 있을 것이라고 제안했습니다.