🤖 machine learning

Scalable Dexterous Robot Learning with AR-based Remote Human-Robot Interactions

본 논문은 행동 복제 사전 학습을 위한 AR 기반 원격 인간 시연과 대조 학습이 강화된 강화 학습을 활용하여 기존 베이스라인 대비 더 빠른 학습, 더 높은 성공률 및 향상된 강건성을 달성하는 정교한 조작을 위한 확장 가능한 2단계 로봇 학습 프레임워크를 제시한다.

원저자: Yicheng Yang, Ruijiao Li, Lifeng Wang, Shuai Zheng, Shunzheng Ma, Keyu Zhang, Tuoyu Sun, Chenyun Dai, Jie Ding, Zhuo Zou

게시일 2026-07-07

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yicheng Yang, Ruijiao Li, Lifeng Wang, Shuai Zheng, Shunzheng Ma, Keyu Zhang, Tuoyu Sun, Chenyun Dai, Jie Ding, Zhuo Zou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 서툴고 정교한 기술을 가진 로봇 손에게 병, 말랑말랑한 공, 또는 전동 드릴 같은 섬세한 물체를 집는 법을 가르치려 한다고 상상해 보세요. 만약 로봇이 스스로 시도하고, 실패하고, 다시 시도하게만 내버려 둔다면, 시간이 너무 오래 걸릴 것이고 물건을 부술 수도 있을 것입니다. 그렇다고 인간이 완벽하게 수행하는 영상을 보여주기만 한다면, 로봇은 실제 세상이 복잡해질 때 혼란에 빠질 수 있습니다.

이 논문은 이 정교한 로봇 손을 그 어느 때보다 빠르고 안전하게 가르치는 영리한 "3단계 레시피"를 제시합니다. 그 작동 방식은 다음과 같이 간단한 개념들로 나누어 설명할 수 있습니다.

1. "원격 꼭두각시 조종사" (AR 텔레오퍼레이션)

먼저, 연구진은 로봇 바로 옆에 있지 않고도 작업을 수행하는 고품질의 예시를 얻을 수 있는 방법이 필요했습니다.

비유: 꼭두각시 인형술사가 특별한 "마법 안경"(증강 현실 또는 AR 헤드셋)을 쓰고 있다고 생각해 보세요. 조종사는 안경을 통해 자신의 눈앞에 보이는 로봇의 가상 버전을 봅니다. 조종사가 실제 손을 움직이면, 로봇은 마치 그림자처럼 즉각적으로 그 움직임을 흉내 냅니다.
결과: 로봇은 이러한 움직임을 "전문가 데이터"로 기록합니다. 이는 사람이 거대한 로봇 팔 옆에 서서 수동으로 유도하는 것보다 훨씬 빠르고 안전합니다.

2. 1단계: "벼락치기 공부" (행동 복제)

로봇이 스스로 학습을 시작하기 전에, 조종사로부터 받은 데이터를 사용하여 "벼락치기 공부"를 합니다.

비유: 학생이 시험을 치르는 상황을 상상해 보세요. 추측하는 대신, 학생은 선생님의 정답지를 보고 답을 암기합니다. 이것을 **행동 복제(Behavior Cloning)**라고 합니다. 로봇은 "병을 보면, 내 손은 인간의 손이 했던 모습과 똑같이 움직여야 한다"라고 배웁니다.
문제점: 만약 로봇이 오직 이 작업만 수행한다면, 로봇은 경직된 모방꾼이 되어 버립니다. 만약 병이 선생님이 보여준 위치와 약간 다른 곳에 있다면, 로봇은 어떻게 적응해야 할지 몰라 멈춰버릴 것입니다.

3. 2단계: "안전망을 갖춘 코치" (대조 학습 + 강화 학습)

이것이 이 논문의 핵심 혁신입니다. 이제 로봇은 성공에 대해서는 보상을 받고 실패에 대해서는 벌칙을 받으며 최선의 움직임을 찾아내는 **강화 학습(Reinforcement Learning, RL)**으로 전환합니다. 하지만 로봇이 선생님의 가르침을 잊거나 위험한 실수를 하는 것을 방지하기 위해 두 가지 특별한 도구를 추가합니다.

"프로젝션 헤드" (나침반):
- 비유: 로봇이 미로를 달리고 있다고 상상해 보세요. "프로젝션 헤드"는 끊임없이 체크하는 나침반과 같습니다: "내가 전문가의 경로와 유사한 방향으로 움직이고 있는가?" 이 도구는 로봇에게 전문가의 단계를 똑같이 복사하도록 강요하지는 않지만, 전문가와 유사한 "좋은 경로"에 머물도록 부드럽게 유도합니다. 이는 로봇이 경로를 이탈하는 문제(로봇이 포기하고 무작위의 쓸모없는 행동을 하는 '정책 붕괴' 현상)를 방지합니다.
"이벤트 기반 보상" (안전 알람):
- 비유: 로봇은 물체를 잡으면 점수를 얻지만, 테이블에 부딪히거나 물체를 실제로 집지 못한 채 접촉만 하면 큰 소리의 "버즈(buzz)" 소리와 함께 점수를 잃습니다. 이를 통해 로봇은 주의를 기울이고 정밀하게 움직이는 법을 배웁니다.

결과: 이것이 중요한 이유

연구진은 이 방법을 컴퓨터 시뮬레이션(비디오 게임과 같은 환경)에서 테스트한 후, 실제 세계의 실제 로봇에 적용했습니다.

속도: 로봇은 다른 방법들보다 훨씬 빠르게 학습했습니다. 다른 로봇들이 수백 시간 동안 시행착오를 겪는 동안, 이 방법은 훨씬 짧은 시간 안에 과업을 완수했습니다.
성공률: 로봇은 실제로 물체를 집어 올리는 데 있어 훨씬 더 높은 성공률을 보였습니다.
강건성(Robustness): 물체들이 새롭고 까다로운 위치에 있더라도, 로봇은 단일한 고정된 움직임이 아니라 과업의 "개념"을 배웠기 때문에 적응할 수 있었습니다.

요약하자면: 이 논문은 "원격 꼭두각시"를 통한 데이터 수집, 시작을 위한 "벼락치기 공부", 그리고 학습을 안내하는 "스마트 나침반"을 결합함으로써, 복잡한 로봇 손이 섬세한 작업을 빠르고 안전하게, 그리고 물건을 부수지 않고 수행할 수 있도록 가르칠 수 있음을 보여줍니다.

기술 요약: AR 기반 원격 인간-로봇 상호작용을 통한 확장 가능한 숙련된 로봇 학습

문제 정의

본 논문은 숙련된 로봇 팔-손 시스템 내의 조작 작업을 위한 확장 가능한 학습 문제를 다룹니다. 이러한 시스템은 자유도(DoF)가 높아 제어 설계가 복잡합니다. 모방 학습(예: 행동 복제, Behavior Cloning)은 전문가의 시연으로부터 궤적을 빠르게 학습할 수 있지만, 데이터 불일치와 오차 누적으로 인해 성능이 저하되는 문제가 있습니다. 반대로, 강화 학습(RL)은 확장성을 제공하지만, 광범위한 훈련 시간이 필요하며 에이전트가 초기 전문가 가이드를 잊어버리는 "정책 붕괴(policy collapse)" 위험이 있습니다. 또한, 텔레오퍼레이션(원격 제어)을 위해 고품질의 전문가 시연 데이터를 수집하는 것은 시간이 많이 소요되며, 모방과 RL을 통합하는 기존 방식들은 정책 붕괴를 방지하거나 제한된 시연 데이터를 효율적으로 활용하는 데 실패하는 경우가 많습니다.

방법론

제안된 솔루션은 증강 현실(AR)을 이용한 데이터 수집, 행동 복제(BC)를 통한 사전 훈련, 그리고 대조 학습(Contrastive Learning)이 강화된 RL을 통한 정책 최적화를 결합한 2단계 학습 프레임워크입니다.

1. AR 기반 원격 인간-로봇 상호작용 시스템

데이터 수집의 병목 현상을 해결하기 위해, 저자들은 AR 헤드셋(특히 HoloLens 2)을 사용하는 텔레오퍼레이션 시스템을 개발했습니다.

아키텍처: 이 시스템은 Unity 플랫폼을 통해 WiFi 또는 5G를 사용하여 AR 헤드셋과 숙련된 로봇(CGXi-G6 암 및 Inspire 핸드)을 연결합니다.
프로세스: 전문가는 AR 헤드셋을 착용하여 손의 포즈를 추적합니다. 이러한 포즈는 로봇의 운동학(kinematics)에 매핑되어, 로봇이 원격으로 전문가의 동작을 재현할 수 있게 합니다.
데이터 수집: 이 설정을 통해 전문가 시연 데이터( $A_{expert} = \{(s^E_t, a^E_t)\}$ )를 캡처하며, 이는 학습 파이프라인의 토대가 됩니다.

2. 2단계 학습 알고리즘

핵심 알고리즘은 두 가지 별개의 단계로 작동합니다.

1단계: 행동 복제(BC) 사전 훈련

정책 네트워크( $\pi_\theta$ )는 정책의 행동과 전문가가 시연한 행동 사이의 평균 제곱 오차(MSE)를 최소화하는 회귀 문제를 해결함으로써 사전 훈련됩니다.
이 단계는 로봇의 제어 정책을 전문가의 선호도와 일치시켜, 후속 RL 단계를 위한 강력한 초기값을 제공합니다.

2단계: 대조 학습이 강화된 RL

RL 정식화: 조작 작업은 엔트로피가 증강된 보상의 기대 합계를 최대화하는 Soft Actor-Critic (SAC) 문제로 프레임화됩니다.
보상 설계: 총 보상 $r(s_t, a_t)$ $r (s_{t}, a_{t})$ 은 다음을 포함합니다:
- 동작 부드러움(Motion Smoothness): 급격한 움직임을 억제합니다.
- 이벤트 기반 보상(Event-Driven Reward): 작업 성공에 대해서는 양(+)의 보상을, 충돌이나 손-물체 간 접촉 실패에 대해서는 음(-)의 보상을 제공하는 계단형 함수(piecewise function)를 통해 안전성을 높입니다.
- 손 포즈 조정(Hand Pose Adjustment): 손과 물체 사이의 기하학적 정렬을 장려합니다.
대조 학습 및 투영 헤드(Projection Head): 정책 붕괴를 방지하고 샘플 효율성을 개선하기 위해 투영 헤드(다층 퍼셉트론, MLP)가 도입됩니다.
- 이 헤드는 동일한 상태에 대한 전문가의 행동( $a^E_t$ )과 액터가 생성한 행동( $a_t$ )을 잠재 공간(latent space)으로 매핑합니다.
- 대조 손실( $L_{CL}$ )을 최소화하여 전문가 행동과 액터 행동의 표현(representation) 간의 일치도(코사인 유사도)를 최대화합니다.
- 이는 RL 정책이 전문가가 선호하는 상태-행동 근처에 머물도록 제약하여 탐색을 효과적으로 유도합니다.
훈련 루프: Q-네트워크, 투영 헤드, 액터 네트워크가 공동으로 최적화됩니다. 훈련이 완료되면 투영 헤드는 폐기되며, 견고한 정책만 남게 됩니다.

주요 기여

AR 기반 텔레오퍼레이션 시스템: 저자들은 다양한 AR 헤드셋과 로봇 시스템 간의 호환성을 보장하는 Unity 기반 엣지 서버를 통해 전문가 시연 데이터를 수집하기 위한 일반적인 AR 기반 시스템을 구축했습니다.
모방 및 대조 학습 보조 RL: 본 논문은 BC 사전 훈련과 대조 학습 메커니즘을 결합한 새로운 알고리즘을 제안합니다. RL 미세 조정 중 정책 붕괴를 겪을 수 있는 기존 연구들과 달리, 이 방법은 투영 헤드를 사용하여 전문가 선호 제약을 강제함으로써 샘플 효율성과 안정성을 크게 향 향상시킵니다.
포괄적인 검증: 제안된 방법은 광범위한 물리 시뮬레이션(PyBullet)과 실제 환경 실험을 통해 검증되었으며, 표준 베이스라인 모델보다 우수한 성능을 입증했습니다.

실험 결과

제안된 알고리즘은 PPO, SAC, Advantage Weighted Actor-Critic (AWAC), 그리고 대조 학습이 없는 제안 방법의 변형(BC+SAC)과 비교하여 평가되었습니다.

시뮬레이션 성능: 병 잡기, 변형 가능한 공, 드릴 작업에서 제안된 방법은 가장 높은 평균 보상과 성공률을 달와했습니다.
- 수렴 속도: PPO, SAC, AWAC에 비해 수렴하는 데 훨씬 적은 반복 횟수와 시간이 소요되었습니다. 예를 들어, 병 잡기 작업에서 PPO가 210회 반복(500분)이 걸린 반면, 제안된 방법은 30회 반복(75분) 만에 수렴했습니다.
- 성공률: 제안된 방법은 병(95.70%), 공(91.39%), 드릴(85.30%) 작업에서 모든 베이스라인을 능가하는 성공률을 기록했습니다.
실제 환경 성능: 50회의 실제 환경 실험에서 이 알고리즘은 모든 방법 중 가장 높은 성공률을 유지했습니다. 지각 능력의 한계와 기하학적 복잡성으로 인해 변형 가능한 물체에 대한 성공률은 시뮬레이션보다 약간 감소했으나, 병 잡기 작업은 미미한 sim-to-real 격차를 보여주었습니다.
절제 연구(Ablation Study): 연구를 통해 BC 사전 훈련이 훈련 시간을 줄이는 데 지배적인 역할을 하며, 대조 학습의 추가가 정책 붕괴를 극복하고 성능을 더욱 향상시키는 데 필수적임을 확인했습니다.

의의 및 주장

본 논문은 숙련된 로봇 조작을 위해 대조 학습을 모방 학습과 통합하는 것이 이전에 수행되지 않은 새로운 기여라고 주장합니다. 이 연구의 의의는 다음과 같습니다:

확장성: 이 방법은 훈련 프로세스를 크게 가속화하고 방대한 양의 전문가 데이터에 대한 의존도를 낮춥니다(실험에서 사전 훈련을 위해 단 15개의 전문가 궤적만 사용됨).
안정성: 모방 정책의 RL 미세 조정 시 발생하는 흔한 실패 모드인 정책 붕괴 문제를 효과적으로 해결합니다.
실용성: AR 기반 텔레오퍼레이션 시스템은 다양한 전문가 데이터를 수집하기 위한 저비용의 실행 가능한 방법을 제공하여, 인간의 전문 지식과 로봇 실행 사이의 간극을 메워줍니다.

저자들은 자신들의 모델 프리(model-free) 알고리즘이 빠르게 수렴에 도달하고 기존 베이스라인보다 높은 성공률을 달성하여, 숙련된 시스템의 일반적인 조작 작업을 위한 견고한 솔루션을 제공한다고 결론지었습니다. 저자들이 제시한 향 향후 과제에는 고정밀 기하 구조 재구성을 통한 sim-to-real 전이 개선과 다중 에이전트 듀얼 암 시스템으로의 확장 등이 포함됩니다.