🤖 AI

EMPIRE: Explicit Manipulation Planning as a Learnable Intermediate Representation for Egocentric Hand-Motion Forecasting

본 논문은 명시적인 조작 계획(manipulation planning)을 학습 가능한 중간 표현으로 도입하여 조작 추론과 동작 합성을 분리함으로써, 새롭게 구축된 EMPIRE-651K 데이터셋에서 1인칭 시점 양손 손 동작 예측에 대한 최첨단 정확도를 달성하는 2단계 프레임워크인 EMPIRE를 제안한다.

원저자: Wen Wang, Ruibing Hou, Hong Chang, Shiguang Shan, Xilin Chen

게시일 2026-08-25

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Wen Wang, Ruibing Hou, Hong Chang, Shiguang Shan, Xilin Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 샌드위치를 만드는 법을 가르치는 상황을 상상해 보십시오. 단순히 인간이 하는 영상을 보여주고 로봇에게 프레임 단위로 손 동작을 따라 하라고 요청할 수도 있습니다. 하지만 이 방식은 자주 실패하는데, 로봇이 그 움직임 뒤에 숨겨진 '의도'를 이해하지 못한 채 동작만을 보기 때문입니다. 로봇은 빵을 올바르게 잡을 수는 있겠지만, 주먹을 쥔 채로 잼을 바르려 하거나, 병을 들어 올리는 동안 접시를 고정하는 것을 잊어버릴 수도 있습니다. 우리와 함께 상호작용하는 진정으로 지능적인 기계를 만들기 위해서는, 기계가 손이 어떻게 움직이는지뿐만 아니라 왜 그렇게 움직이는지, 그리고 다음 단계는 무엇인지를 이해해야 합니다. 이것이 바로 컴퓨터가 마치 머리에 카메라를 쓴 사람처럼 1인칭 시점에서 세상을 보는 '에고센트릭(egocentric)' 비전의 핵심 과제입니다. 목표는 사람의 손이 다음에 무엇을 할지 예측하는 것이며, 이는 우리 곁에서 일하는 로봇, 실재감을 주는 가상 현실 아바타, 그리고 인간의 영상을 보고 학습할 수 있는 기계에게 필수적인 기술입니다.

오랫동안 연구자들은 비디오와 텍스트 지침을 컴퓨터 모델에 직접 입력하고 미래의 손 위치를 추측하게 함으로써 이 문제를 해결하려 노력해 왔습니다. 거대 언어 및 시각 시스템을 기반으로 구축된 이러한 모델들은 강력하지만, 중간 단계를 건너뛰는 경향이 있습니다. 이들은 "컵과 테이블이 보인다"에서 "손이 여기로 움직일 것이다"로 바로 건너뛰려 하며, 그 과정에 필요한 일련의 동작들을 명시적으로 파악하지 못합니다. 이는 마치 소설의 각 문단 끝 문장을 추측함으로써 이야기 전체를 쓰려고 하는 것과 같습니다. 이 지름길은 단순한 작업에는 효과적이지만, 작업이 복잡하거나 시간이 길어지면 오류가 쌓여 로봇의 손이 원래 해야 할 동작에서 벗어나게 됩니다. 더욱이, 모델이 장면을 이해하는 것과 동작을 생성하는 것을 동시에 수행하도록 하면 충돌이 발생합니다. 동작을 정확하게 구현하려는 압박이 모델의 장면 이해도를 흐리게 만들어, 시간이 지날수록 신뢰성을 떨어뜨릴 수 있기 있습니다.

EMPIRE라고 불리는 새로운 접근 방식은 컴퓨터가 움직이기 전에 먼저 멈춰서 계획을 세우도록 강제함으로써 판도를 바꿉니다. 이 방법의 연구자들은 인간이 물체를 향해 손을 뻗기 전, 이미 뇌에서 '도달하기, 잡기, 들어 올리기, 놓기'와 같은 일련의 단계들을 설계한다는 점에 착안했습니다. 컴퓨터가 최종적인 손 위치를 직접 추측하게 하는 대신, EMPIRE는 컴퓨터가 이 단계들을 구조화된 형식으로 먼저 작성하도록 요구합니다. 이것이 바로 '계획(planning)' 단계입니다. 컴퓨터는 비디오, 작업 설명, 심지어 물체까지의 대략적인 거리 추정치를 살펴보고, 각 손이 무엇을 해야 하는지에 대한 명확하고 단계적인 목록을 생성합니다. 예를 들어, "왼손: 컵을 들어 올림; 오른손: 접시를 고정함"과 같은 계획을 출력할 수 있습니다. 이 계획은 혼란스러운 시각적 세계를 깨끗하고 논리적인 지침 세트로 번역하는 가교 역할을 합니다.

이 계획이 생성되면, 컴퓨터는 뇌의 해당 부분을 고정(freeze)하고 두 번째 단계인 '행동(acting)'으로 넘어갑니다. 이 단계에서 시스템의 다른 부분이 작성된 계획과 현재의 손 위치를 가져와 실제의 부드럽고 유연한 동작을 생성합니다. 계획을 세우는 부분이 고정되어 있기 때문에, 동작을 생성하는 압박에 의해 혼란을 겪거나 덮어씌워지지 않습니다. 이러한 분리는 컴퓨터가 손가락과 손목의 복잡한 물리 법칙을 파악하는 동안에도 작업에 대한 이해를 안정적이고 명확하게 유지해 줍니다. 연구진은 옷을 접는 것부터 섬세한 물체를 다루는 것까지 111가지의 서로 다른 작업을 수행하는 65만 개 이상의 사례가 담긴 방대한 새로운 데이터셋을 구축하여 이 2단계 방식을 테스트했습니다. 그들은 시스템이 먼저 계획을 예측한 다음 동작을 예측하도록 훈련시켰으며, 그 결과는 놀라웠습니다.

새로운 시스템은 기존의 방식들을 상당한 차이로 능가했습니다. 예측된 손 위치가 실제 위치와 얼마나 차이가 나는지를 측정했을 때, 이 새로운 방법은 기존의 가장 우수한 모델들과 비교하여 오차를 거의 20% 줄였습니다. 더 중요한 것은, 섬세한 작업에 필수적인 손가락 움직임의 미세한 디테일을 훨씬 더 잘 예측했다는 점입니다. 다른 모델들은 손의 일반적인 위치는 맞출 수 있어도, 손가락이 어떻게 말리거나 회전해야 하는지는 예측하지 못하는 경우가 많았습니다. 새로운 방법은 명시적인 계획에 의존함으로써, 5초 이상의 긴 작업에서도 예측의 정확도를 유지하며 손가락을 올바른 위치에 머물게 했습니다. 또한 이 시스템은 매우 효율적이어서, 다른 강력한 모델들이 동일한 작업을 수행하는 데 몇 분이 걸리는 반면, 단 1초 만에 이러한 예측을 생성해 냈습니다.

이 연구는 더 나은 로봇의 손을 만드는 열쇠가 단순히 모델을 더 크게 만들거나 더 빠르게 만드는 것이 아니라, 그들에게 더 나은 '생각하는 방식'을 부여하는 데 있다는 것을 시사합니다. 시스템이 행동하기 전에 계획을 명시하도록 강제함으로써, 연구진은 컴퓨터의 세계 이해도를 명확하게 유지하면서도 동작을 정밀하게 만드는 방법을 찾아냈습니다. 이 방식은 단계가 복잡하고 타이밍이 중요한 어려운 작업에서 특히 효과적입니다. 이는 우리가 기계에게 결과를 단순히 추측하는 대신 단계별로 생각하도록 가르칠 때, 기계가 물리적 세계와 훨씬 더 자연스럽고 신뢰감 있게 상호작용할 수 있게 된다는 것을 보여줍니다. 이 연구는 단순한 모방을 넘어 인간의 영상을 통해 깊은 이해를 바탕으로 학습할 수 있는 로봇, 즉 일상의 복잡하고 다단계적인 도전 과제들을 처리할 수 있는 로봇으로 가는 길을 열어줍니다.

기술 요약: EMPIRE

문제 정의

에고센트릭(1인칭) 관찰로부터 숙련된 손 동작을 예측하는 것은 지능형 상호작용 시스템, 로봇 학습 및 인간-로봇 협업을 위한 핵심적인 능력이다. 최근 시각-언어 모델(VLM)과 대규모 에고센트릭 데이터셋의 발전이 진보를 이끌어냈으나, 기존 방식들은 두 가지 근본적인 한계에 직면해 있다:

조작 계획의 암시적 감독(Implicit Supervision of Manipulation Planning): 현재의 접근 방식은 일반적으로 멀티모달 관찰을 미래의 손 동작으로 직접 매핑하며, 이는 조작 과정을 암시적으로 추론한다. 이는 특히 장기적 과업(long-horizon tasks)에서 초기 계획 오류가 누적됨에 따라, 의도한 상호작용 진행 과정에서 벗어난 국소적으로만 그럴듯한 동작을 생성하는 결과를 초래한다.
결합된 최적화(Coupled Optimization): 기존 방식은 VLM 백본과 동작 생성 모델을 공동으로 최적화한다. 이러한 결합은 동작 생성 그래디언트가 컨디셔닝에 사용되는 의미론적 표현을 지속적으로 업데이트하게 만든다. 결과적으로, 공간적 동작 목표를 최적화하는 과정이 VLM 사전 학습을 통해 습득한 조작 인지 구조를 덮어쓰게 되어, 장면을 이해하고 상호작용을 예측하는 모델의 능력을 약화시킨다.

방법론: EMPIRE

저자들은 조작 계획과 동작 합성을 분리하는 2단계 프레임워크인 EMPIRE(Explicit Manipulation Planning as a Learnable Intermediate Representation for Egocentric Hand-Motion Forecasting)를 제안한다.

1단계: 계획 학습 (Learn to Plan)

이 단계에서는 VLM(구체적으로 PaliGemma-2)이 멀티모달 컨텍스트로부터 명시적인 조작 계획을 생성하도록 학습된다.

입력: 모델은 에고센트릭 RGB 관찰, (VLM의 미터법 거리 및 3D 추론 한계를 해결하기 위한) 추론된 단안 깊이(monocular depth) 특징, 거친 액션 캡션(coarse action caption), 그리고 카메라 시야각(FoV) 데이터를 받는다.
출력: 모델은 원시 동작을 예측하는 대신, 시간 순서로 정렬된 손 특화 하위 동작 시퀀스(예: "reach", "grasp", "lift", "place")를 출력한다.
학습: 모델은 계획 토큰에 대한 자기회귀적 차기 토큰 예측(next-token prediction)을 사용하여 미세 조정되며, 이때 시각 및 깊이 인코더는 동결(frozen) 상태를 유지한다. 이렇게 생성된 계획 토큰의 은닉 상태( $H_{plan}$ )는 해석 가능한 중간 표현 역할을 한다.

2단계: 행동 학습 (Learn to Act)

이 단계에서는 동작 생성기가 계획에 조건화된 미래의 양손 동작을 합성한다.

아키텍처: 플로우 매칭 디퓨전 트랜스포머(Flow-matching Diffusion Transformer, DiT)가 동작 생성기 역할을 한다.
컨디셔닝: 1단계의 전체 VLM은 동결된다. DiT는 현재의 손 상태와 1단계 예측에서 추출된 은닉 상태( $H_{plan}$ )를 바탕으로 동작을 생성한다.
학습 전략: 결정적으로, DiT는 정답(ground-truth) 계획이 아닌 1단계에서 예측된 계획을 사용하여 학습된다. 이는 학습-배포 간의 불일치(train-deployment mismatch)를 제거한다. 플래너를 동결함으로써 동작 생성 그래디언트가 학습된 조작 인지 표현을 변경하지 못하게 하여, 안정적인 의미론적 컨디셔닝을 보장한다.

데이터셋: EMPIRE-651K

이 방법을 지원하기 위해 저자들은 EgoDex에서 파생된 대규모 데이터셋인 EMPIRE-651K를 구축하였다.

규모: 111개의 조작 과업에 걸친 650,910개의 5초 예측 윈도우로 구성된다.
주석(Annotations): 이 데이터셋은 (캡셔닝을 위한 Qwen2.5-VL과 일관성 필터링을 위한 Qwen3를 사용하는) 2단계 VLM 보조 파이프라인을 통해 생성된 명시적인 손별 조작 계획을 포함한다.
처리: 원래의 ARKit 스켈레톤 주석은 전역 동작과 미세한 손가락 관절 움직임을 모두 보존하는 시간적으로 일관된 MANO 기반 손 표현으로 변환되었다.

주요 기여

명시적 중간 표현: 인식과 동작 생성 사이의 간극을 메우는, 학습 가능한 중간 표현으로서의 명시적 조작 계획을 도입하였다.
분리된 최적화: 동작 생성 중에 플래너를 동결하여, 동작 그래디언트가 의미론적 표현을 훼손하는 것을 방지하고 안정적인 컨디셔닝을 제공하는 2단계 학습 프레임워크를 제안하였다.
EMPIRE-651K 데이터셋: 명시적인 손별 조작 계획을 포함하는 새로운 벤치마크 데이터셋을 구축하여, 장기적 양손 예측 연구를 용이하게 하였다.
최첨단 성능(SOTA): 본 방법론은 기존 베이스라인과 비교하여 전역 손 배치 및 미세한 손가락 관절 움직기 모두에서 우수한 정확도를 달성하였다.

실험 결과

EMPIRE-651K의 홀드아웃(held-out) 테스트 세트에서 평가했을 때, EMPIRE는 유의미한 개선을 보여준다:

정확도: EMPIRE는 84.53 mm의 평균 관절 위치 오차(MPJPE)와 38.97 mm의 손가락 상대 오차를 달성하였다. 이는 재구현된 VITRA 베이스라인 대비 MPJPE가 19.8% 감소한 수치이다.
효율성: EMPIRE는 학습 시간을 38.8% 단축하였으며(VITRA의 116시간 대비 71시간), 추론 속도는 윈도우당 1.0초를 기록하였다. 이는 유사한 수준의 전체 MPJPE를 달성하면서도 Being-H0-14B 모델보다 83.5배 빠르며, 훨씬 더 나은 손가락 관절 표현력을 보여준다.
일반화: 명시적 계획의 이점은 복잡하고 장기적인 과업에서 가장 두드러진다. 이 방법은 111개 과업 중 89개에서 성능을 향상시켰으며, 특히 "어려운(hard)" 과업에서 가장 큰 개선(평균 MPJPE 49.7 mm 감소)을 보였다. 또한, 보지 못한(unseen) 과업에 대해서도 85개 시나리오 중 74개에서 성능을 개선하며 잘 일반화됨을 입증하였다.

의의 및 주장

본 논문은 명시적 조작 계획과 분리된 동작 학습의 결합이 정확하고 효율적인 에고센트릭 숙련된 동작 예측을 위한 효과적인 패러다임임을 검증한다. 중간 조작 과정을 명시적으로 모델링함으로써, 이 방법은 직접적인 관찰-대-동작 매핑의 한계를 극복한다. 분리된 설계는 장면의 의미론적 이해가 저수준 동작 목표의 최적화에 의해 손상되지 않고 안정적으로 유지되도록 보장한다. 저자들은 이 접근 방식이 구조화된 시간적 가이드가 필수적인 장기적이고 구성적인 조작 과업에 특히 가치가 있다고 주장한다.