💻 computer science

Human Preference Modeling Using Visual Motion Prediction Improves Robot Skill Learning from Egocentric Human Video

이 논문은 시점 영상 기반의 인간 선호도 모델링을 통해 로봇의 운동 예측을 보상 함수로 활용하고, 이를 기반으로 강화 학습을 수행하여 시뮬레이션 및 실제 로봇 환경에서 기존 방법보다 우수한 성능을 보이는 로봇 기술 학습 접근법을 제안합니다.

원저자: Mrinal Verghese, Christopher G. Atkeson

게시일 2026-02-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mrinal Verghese, Christopher G. Atkeson

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"로봇이 사람의 영상을 보고 어떻게 더 똑똑하게 일을 배울 수 있을까?"**라는 질문에 대한 매우 창의적인 해답을 제시합니다.

기존의 방법들은 로봇이 사람의 영상을 볼 때, **"이 장면을 보자마자 목표에 얼마나 가까워졌나?"**를 계산하는 방식이었습니다. 마치 마라톤을 달릴 때 "마지막 피니시 라인까지 남은 거리가 10km, 9km, 8km..."라고 숫자로만 재는 것과 비슷합니다. 하지만 이 방법은 사람이 영상을 찍는 도중 잠시 멈추거나, 헛발질을 하거나, 다른 일을 하다가 다시 돌아오는 경우 (예: 컵을 들다가 전화기를 받음) 에 로봇이 혼란을 겪게 만들었습니다.

이 논문은 이 문제를 해결하기 위해 "로봇이 사람의 손과 물체의 움직임을 '예측'하고, 그 예측과 실제 움직임을 비교하는" 새로운 방식을 개발했습니다.

아래는 이 기술을 일상적인 비유로 쉽게 설명한 내용입니다.

🎬 1. 기존 방식 vs 새로운 방식: "거리 측정기" vs "무용 지도사"

❌ 기존 방식: "남은 거리 측정기" (VIP 등)

기존의 로봇 학습 프로그램은 마치 **"남은 거리를 재는 측정기"**처럼 작동했습니다.

상황: 요리 영상을 보고 로봇이 배운다고 칩시다.
문제: 사람이 영상을 찍는 도중 잠시 멈추거나, 컵을 집다가 떨어뜨렸다가 다시 집는다면?
결과: 측정기는 "아, 멈췄네? 그럼 목표에서 더 멀어졌구나. 점수를 깎아야지!"라고 잘못 판단합니다. 로봇은 "왜 멈추면 안 되는지, 왜 다시 집어야 하는지"를 이해하지 못하고, 엉뚱한 행동을 하다가 실패합니다. 마치 "마라톤 선수가 중간에 쉬는 것을 실수라고 오해하고, 계속 달리지 못하게 만드는" 상황과 같습니다.

✅ 새로운 방식 (이 논문): "무용 지도사" (Motion Prediction Reward)

이 논문이 제안한 방법은 로봇에게 **"무용 지도사"**를 붙여주는 것입니다.

원리: 로봇은 사람의 영상을 볼 때, **"다음 1 초 뒤에 이 컵이 어디로 움직일까?"**를 미리 예측합니다.
비유:
- 지도사 (AI 모델): "사람이 컵을 잡으면, 컵은 오른쪽으로 5cm 움직일 거야."라고 예측합니다.
- 학생 (로봇): 로봇이 실제로 컵을 잡았을 때, 컵이 정말로 오른쪽으로 5cm 움직였나요?
- 점수: 움직인 방향과 크기가 예측과 일치하면 "잘했다!" (보상 점수), 일치하지 않으면 "아니야, 그건 컵을 잡는 게 아니야" (점수 없음) 라고 알려줍니다.
장점: 사람이 잠시 멈추거나 헛발질을 해도, 로봇은 **"물체가 움직이는 흐름"**만 보면 됩니다. 멈추는 동안은 물체가 움직이지 않으므로 점수를 주지 않고, 다시 움직일 때만 점수를 줍니다. 로봇은 **"결과 (물체의 움직임)"**에 집중하게 되어, 사람의 실수나 망설임에 흔들리지 않습니다.

🤖 2. 실제 실험: "1 시간 만에 실력 향상"

연구진은 이 방식을 실제 로봇 (프랑카 로봇) 에 적용했습니다.

준비물: 사람이microwave(전자레인지) 문을 여는 영상 10 개, 그리고 로봇이 직접 해보는 연습 시간 약 1 시간.
과정:
1. 로봇은 먼저 10 개의 영상을 보고 대략적인 동작을 배웁니다 (기초 체력).
2. 그다음, 위에서 설명한 **"무용 지도사"**가 로봇의 행동을 실시간으로 감시하며 "물체가 잘 움직였니?"라고 점수를 매겨줍니다.
3. 로봇은 이 점수를 바탕으로 스스로 실수를 고쳐 나갑니다.
결과:
- 기존 방식 (VIP): 로봇이 전자레인지 손잡이를 잡지 않고, 그냥 문 앞을 왔다 갔다 하다가 멈추는 등 엉뚱한 행동을 반복하며 실력이 떨어졌습니다. (점수가 잘못 매겨져서 로봇이 혼란스러워함)
- 새로운 방식 (MPR): 로봇은 손잡이를 정확히 잡고 문을 여는 동작을 빠르게 익혔습니다. 성공률이 45% 에서 76% 로 급상승했습니다.

💡 3. 핵심 교훈: "행동보다 결과에 집중하라"

이 논문의 가장 큰 메시지는 **"로봇이 사람의 손동작을 그대로 따라 하는 것 (모방) 이 아니라, 사람이 이루고자 했던 '결과 (물체의 움직임)'를 맞추는 것"**이 더 중요하다는 것입니다.

비유: 요리사를 가르칠 때, "손을 이렇게 저렇게 움직여"라고 시키는 것보다, **"냄비가 이렇게 움직여야 요리가 완성돼"**라고 알려주는 것이 더 효과적입니다.
왜? 사람은 요리할 때 실수할 수도 있고, 잠시 멈출 수도 있습니다. 하지만 요리라는 '결과'는 명확합니다. 로봇은 사람의 실수나 망설임에 휘둘리지 않고, 물체가 어떻게 움직여야 성공하는지만 배우면 되기 때문에 훨씬 빠르고 정확하게 익힐 수 있습니다.

🚀 요약

이 연구는 로봇에게 **"사람의 영상을 보고 '다음에 물체가 어떻게 움직일지'를 예측하는 능력"**을 가르쳤습니다. 이를 통해 로봇은 사람의 망설임이나 실수에 흔들리지 않고, 오직 **성공적인 결과 (물체의 움직임)**만을 향해 학습할 수 있게 되었습니다. 그 결과, 기존 방식보다 훨씬 적은 데이터 (영상 10 개) 와 짧은 시간 (1 시간) 으로 로봇이 스스로 실력을 크게 향상시킬 수 있었습니다.

이는 마치 로봇에게 "눈으로 보고 따라 하기"가 아니라, "상황을 예측하고 목표를 달성하는 법"을 가르친 것과 같습니다.

1. 문제 정의 (Problem Statement)

로봇이 새로운 기술을 학습할 때, 로봇 자체에서 수집한 데모 데이터 (Teleoperation) 는 비용이 많이 들고 데이터 양이 부족하여 학습된 정책이 데모보다 성능이 떨어지는 "기술 격차 (Skill-gap)"가 발생합니다. 이를 해결하기 위해 인터넷에 존재하는 방대한 양의 인간 1 인칭 시점 (Egocentric) 비디오를 활용하려는 시도가 있었으나, 다음과 같은 주요 한계점이 존재했습니다.

구현체 및 환경 차이 (Embodiment Gap): 인간과 로봇의 신체 구조와 환경이 다르기 때문에, 인간 비디오에서 학습된 정보를 로봇에 직접 적용하기 어렵습니다.
기존 보상 학습의 한계: 기존 연구들은 비디오의 '시각적 상태'와 '목표 상태' 사이의 **시간적 거리 (Temporal Distance)**를 기반으로 가치 함수 (Value Function) 를 학습했습니다.
- 이는 인간이 작업을 수행하는 과정에서 멈춤 (hesitation), 다른 작업으로 전환, 비최적의 행동 등을 할 경우, 해당 시점 이전의 모든 상태에 대해 부정적인 편향 (Bias) 을 일으킵니다.
- 또한, 인간 비디오와 로봇 비디오 간의 분포 변화 (Distribution Shift) 로 인해 학습된 가치 함수가 로봇에게 잘못 전달될 수 있으며, 실패한 시도 (예: 물체는 움직였으나 목표는 달성하지 못한 경우) 를 성공으로 오인하는 오류가 발생하기 쉽습니다.

2. 제안 방법론 (Methodology)

저자들은 인간 비디오에서 **장기적 가치 (Long-term Value)**가 아닌, **각 단계에서의 인간 선호도 (Short-term Preferences)**를 모델링하여 보상 함수를 학습하는 새로운 접근법을 제시합니다. 핵심은 **시각적 운동 예측 (Visual Motion Prediction)**입니다.

A. 인간 선호도 모델링 (Reward Learning as Modeling Expert Preferences)

운동 예측 모델 (Motion Prediction Transformer, $F_\theta$ ):
- 인간 데모 비디오에서 작업과 관련된 객체 (Task-relevant objects) 의 마스크를 추출하고, 해당 객체 위의 점들 (Tracked points) 의 궤적을 추적합니다.
- 현재 프레임의 시각적 관찰 ( $o_t$ ) 과 점들의 위치 ( $P_t$ ), 그리고 작업 진행도 ( $t/T$ ) 를 입력받아 다음 프레임의 점 위치 ( $P_{t+1}$ ) 를 예측하는 모델을 학습합니다.
- 이 모델은 인간이 "다음 단계에서 객체가 어떻게 움직여야 한다"는 선호도를 내포합니다.
보상 신호 계산:
- 로봇이 행동을 취했을 때, 로봇의 실제 행동으로 인한 점의 이동 ( $\Delta P^{track}$ ) 과 모델이 예측한 점의 이동 ( $\Delta P^{pred}$ ) 을 비교합니다.
- 두 벡터 간의 정렬도 (Alignment, 코사인 유사도) 를 계산하여 단계별 보상 ( $r_t$ ) 을 부여합니다.
- 핵심 아이디어: 로봇이 인간의 행동 자체를 모방하는 것이 아니라, **작업 객체의 운동 결과 (Outcome)**를 인간과 일치시키도록 보상합니다. 이는 실패한 시도 (예: 손은 움직였으나 문이 열리지 않음) 를 명확히 구분할 수 있게 합니다.

B. 잔여 강화학습 (Residual Reinforcement Learning)

학습된 보상 신호를 사용하여 로봇 정책을 최적화하기 위해 다음과 같은 파이프라인을 구성했습니다.

Base Policy (행동 복제): 소량의 로봇 데모 데이터 (10 개) 로 Diffusion Policy 등을 학습하여 초기 정책을 만듭니다.
Residual RL:
- 학습된 Base Policy 는 고정 (Frozen) 시킵니다.
- Soft Actor Critic (SAC) 알고리즘을 변형하여, Base Policy 의 출력에 보정 행동 ( $\Delta a$ ) 을 더하는 잔여 정책을 학습합니다.
- 샘플 효율성 향상: 오프라인 데이터 (데모) 와 온라인 데이터 (실시간 상호작용) 를 균등하게 샘플링하고, Critic 네트워크에 LayerNorm 을 적용하여 가치 과대평가 (Overestimation) 를 방지합니다.
- Base Policy 를 고정함으로써 정책이 데모 데이터 분포에서 너무 멀어지는 것을 방지하고 학습 안정성을 확보합니다.

3. 주요 기여 (Key Contributions)

운동 기반 보상 모델 (Motion Prediction Reward, MPR): 시간적 거리가 아닌, 객체의 운동 예측과 실제 운동 간의 일치도를 기반으로 하는 새로운 보상 함수를 제안했습니다. 이는 인간의 멈춤이나 비최적 행동을 보상 학습에 부정적으로 반영하지 않도록 합니다.
구현체 격차 해소: 객체의 운동 (Outcome) 에 초점을 맞춤으로써 인간과 로봇 간의 신체적/환경적 차이를 극복하고, 분포 변화 (Distribution Shift) 에 더 강건한 보상 신호를 생성합니다.
실패 식별 능력: 로봇이 동작은 하지만 목표 (예: 문 열기) 를 달성하지 못한 경우 (False Positive) 를 기존 방법 (VIP 등) 보다 정확하게 식별하여 보상을 주지 않습니다.
실제 로봇에서의 효율적인 학습: 소량의 데모 (10 개) 와 짧은 시간 (약 1 시간) 의 실제 상호작용만으로 로봇의 성공률을 획기적으로 개선하는 파이프라인을 검증했습니다.

4. 실험 결과 (Results)

연구진은 시뮬레이션 (Franka Kitchen) 과 실제 로봇 (Franka Research 3) 환경에서 "전자레인지 열기", "옷 개기", "카운터 닦기" 등의 작업을 수행하여 검증했습니다.

비교 대상: 희소 보상 (Sparse Reward), 수동 설계된 밀집 보상 (Handcrafted Dense Reward), 기존 방법인 VIP (Value Implicit Pretraining, 시간적 거리 기반).
시뮬레이션 결과:
- MPR 은 수동 설계된 밀집 보상과 유사한 성능을 보이며, VIP 보다 "전자레인지 열기" 작업에서 월등히 좋은 성능을 보였습니다. VIP 는 특정 상태에서 편향된 보상으로 인해 국소 최적해 (Local Minima) 에 빠지는 경향이 있었습니다.
실제 로봇 실험 결과:
- 성공률 향상: MPR 을 사용한 정책은 Base Policy 대비 "전자레인지 열기"에서 약 31.7%, "옷 개기"에서 28.3% 의 성공률 향상을 보였습니다.
- 안정성: VIP 는 학습 중 불안정성이 발생하여 오히려 Base Policy 성능보다 떨어지는 "학습 망각 (Unlearning)" 현상을 보였습니다. 반면 MPR 은 일관되게 성능을 향상시켰습니다.
- 샘플 효율성: 실제 로봇에서 100 에피소드 (약 1 시간) 만의 학습으로 MPR 은 VIP 보다 훨씬 빠르게 수렴하고 높은 성공률 (약 76.7%) 을 달성했습니다.
- 실패 식별: 실패한 시나리오 (예: 손잡이를 잡지 못하고 뒤로 당기는 경우) 에서 VIP 는 여전히 보상을 부여하여 잘못된 학습을 유도한 반면, MPR 은 객체 (전자레인지) 가 움직이지 않았음을 감지하여 보상을 0 으로 주어 정확한 학습을 유도했습니다.

5. 의의 및 결론 (Significance)

이 논문은 인간 비디오 데이터로부터 로봇이 기술을 학습하는 과정에서 발생하는 핵심적인 문제 (시간적 거리 기반 가치 함수의 편향, 구현체 차이, 실패 식별 실패) 를 **운동 예측 (Motion Prediction)**이라는 새로운 관점으로 해결했습니다.

실용성: 소량의 데모와 짧은 실제 학습 시간으로도 로봇이 스스로 성능을 개선할 수 있음을 입증하여, 실제 로봇 학습의 실용성을 크게 높였습니다.
일반화: 작업 관련 객체의 운동에 초점을 맞춤으로써 다양한 작업과 환경에 적용 가능한 강력한 보상 학습 프레임워크를 제시했습니다.
미래 전망: 이 연구는 로봇 학습을 위한 "밀집 보상 기반 모델 (Dense Reward Foundation Model)"로 발전할 가능성을 보여주며, 향후 언어 기반 멀티태스크 학습이나 세계 모델 (World Model) 탐색과 결합될 수 있는 방향을 제시합니다.

결론적으로, 이 연구는 인간 비디오를 로봇 학습에 활용할 때 행동의 모방이 아닌 결과 (운동) 의 일치를 추구함으로써, 기존 방법론의 한계를 극복하고 더 안정적이고 효율적인 로봇 기술 학습을 가능하게 했습니다.