💻 computer science

HAP: A Hand-Driven Active Perception Framework for Egocentric Head Motion Prediction

이 논문은 타겟 신뢰도를 추론하고 예측 그래프를 통해 동적 폐쇄를 모델링함으로써 미래의 1인칭 시점 머리 움직임을 예측하는 핸드 드리븐 능동 인지 프레임워크인 HAP를 소개하며, 이는 새로운 데이터셋인 Bottle과 기존 베이스라인 대비 우수한 성능을 통해 검증되었다.

원저자: Yunji Feng, Junyi Ma, Guanzhong Sun, Chenyang Xu, Hesheng Wang

게시일 2026-09-17

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yunji Feng, Junyi Ma, Guanzhong Sun, Chenyang Xu, Hesheng Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

우리가 누군가가 컵을 향해 손을 뻗는 것을 볼 때, 우리의 눈은 단순히 손을 따라가는 것이 아니라, 손이 어디로 향하는지 예측하고 목표물을 선명하게 계속 보기 위해 움직입니다. 이것이 능동적 지각(active perception)의 본질입니다. 즉, 감각이란 세상을 수동적으로 기록하는 것이 아니라, 우리가 필요한 특정 정보를 얻기 위해 몸을 움직이는 능동적인 과정이라는 생각입니다. 로봇이나 인공지능이 인간의 행동을 이해하려고 할 때, 이는 어려운 난제가 됩니다. 대부분의 시스템은 손이 다음에 어디로 갈지는 잘 예측하지만, 사람의 머리가 어디로 돌아갈지는 예측하는 데 자주 실패합니다. 손만을 추적하는 로봇은 사람이 무언가를 잡기 위해 코너 너머를 보려고 머리를 돌릴 것이라는 사실을 놓칠 수 있으며, 이는 서투르거나 실패한 상호작용으로 이어질 수 있습니다. 숨겨진 물체를 드러내기 위해 머리가 어떻게 움직이는지를 이해하는 것은 손이 어디로 움직이는지를 아는 것만큼 중요합니다. 왜냐하면 머리의 방향이 그 사람이 다음에 얻게 될 시각적 증거를 결정하기 때문입니다.

상하이 교통대학교와 중국 광업대학교의 연구진은 이 문제를 해결할 새로운 방법을 개발했습니다. 그들은 HAP라고 불리는 시스템을 만들었는데, 이는 '손 주도 능동 지각(Hand-Driven Active Perception)' 프레임워크의 약자입니다. HAP는 머리를 단순히 손을 따라가는 신체의 부차적인 부분으로 취급하는 대신, 정보를 수집하기 위한 도구로 취급합니다. 이 시스템은 사람이 물체를 향해 손을 뻗는 모습을 관찰하고, 그가 만지려는 의도가 있는 물체가 무엇인지 추측함으로써 작동합니다. 여기서 그치지 않고, 시스템은 그 물체가 장면 내의 다른 항목들에 의해 어떻게 가려지거나 차단될 수 있는지도 계산합니다. 목표물에 대한 추측과 현재 보이는 것 및 앞으로 보일 수 있는 것에 대한 지도를 결olo 결합함으로써, 시스템은 사람이 자신의 목표를 계속 주시하기 위해 머리를 어떻게 돌릴지 정확하게 예측할 수 있습니다.

이 아이디어를 구축하고 테스트하기 위해, 연구진은 먼저 새로운 비디오 데이터 모음집을 만들어야 했습니다. 그들은 사람들이 탁자 위의 물체를 향해 손을 뻗는 짧은 영상 수백 개를 녹화했으며, 색상과 깊이를 모두 볼 수 있는 카메라로 장면을 포착했습니다. 이 영상들에서 물체들은 정지해 있지만, 사람이 움직임에 따라 대상의 가시성은 변하며, 이로 인해 사람은 자신이 무엇을 하고 있는지 보기 위해 시선을 옮겨야 합니다. 'Bottle'이라고 명명된 이 데이터셋은 손의 움직임과 머리의 움직임을 동기화하여 녹화한 것으로, 목표물이 보기 어려워질 때 사람들이 어떻게 관점을 조정하는지를 보여줍니다. 연구진은 이 데이터를 사용하여 컴퓨터 모델이 특정 목표물을 나타내는 손 동작의 미묘한 단서를 인식하고, 장면의 가시성 변화가 머리의 움직임에 어떻게 영향을 미치는지 이해하도록 훈련했습니다.

HAP 시스템의 핵심은 숨겨진 것에 대해 추론하는 방법입니다. 사람이 물체를 향해 손을 뻗을 때, 시스템은 물체의 모양과 손의 경로를 살펴 각 가능한 목표물에 확률을 할당합니다. 그런 다음 시스템은 장면의 동적 지도를 구축하여 어떤 물체가 다른 물체를 가리고 있는지 추적합니다. 이 지도는 정적이지 않습니다. 사람이 움직임에 따라 업데이트되며, 현재 무엇이 가려져 있는지뿐만 아니라, 사람이 위치를 약간만 옮겨도 무엇이 가려질 수 있는지를 계산합니다. 시스템은 정보의 흐름처럼 이러한 관계들을 특정 순서로 처리하는 네트워크를 사용하여, 시간이 지남에 따라 목표물의 가시성이 어떻게 변하는지 이해합니다. 이를 통해 모델은 목표물이 부분적으로 가려져 있다면, 사람이 단순히 같은 방향을 계속 바라보는 대신, 그것을 드러내기 위해 머리를 돌릴 것이라고 예측할 수 있습니다.

연구 결과에 따르면, 이 접근 방식은 이전 방식들보다 훨씬 더 효과적입니다. 새로운 데이터셋과 기존의 공개 비디오 모음집 모두에서 테스트했을 때, HAP 시스템은 다른 고급 모델들과 비교하여 머리의 미래 위치와 방향을 예측하는 데 있어 오류가 더 적었습니다. 연구진은 단순히 목표물을 추측하는 것만으로는 충분하지 않으며, 그 목표물의 변화하는 가시성을 이해해야만 정확한 예측이 가능하다는 것을 발견했습니다. 또한, 복잡한 예측을 머리가 일정한 속도로 움직인다는 단순한 가정과 결합하는 것이 특히 직후의 결과를 매끄럽게 만드는 데 도움이 된다는 것을 발견했습니다. 목표를 이해하고, 장애물을 추적하며, 움직임의 자연스러운 흐름을 존중하는 이러한 조합을 통해 시스템은 높은 정밀도로 머리 움직임을 예측할 수 있었습니다.

연구는 또한 시스템이 여러 가능성을 유지하는 대신 목표물에 대해 하나의 확정적인 추측을 강요받는 경우를 탐구했습니다. 결과는 목표물을 향해 손을 뻗는 과정에서 여러 옵션을 유지하는 것이 최종 예측을 개선한다는 것을 보여주었습니다. 이는 손이 접촉하기 전의 초기 단계에서 뇌가 아마도 여러 선택지를 고려하며, 머리의 움직임이 이러한 유연성을 반영한다는 것을 시사합니다 불확실성을 보존함으로써, 시스템은 최종 결과에 더 잘 적응할 수 있었습니다. 연구진은 가장 성공적인 예측은 머리를 손의 수동적인 추종자가 아니라, 장면의 변화하는 풍경에 끊임없이 적응하는 능동적인 센서로 취급할 때 나온다고 결론지었습니다.

시스템은 탁상 실험이라는 통제된 환경에서 우수한 성능을 보였지만, 연구진은 이것이 더 복잡한 실제 환경에서는 직면할 과제들이 있음을 인정합니다. 현재의 방식은 많은 물체 간의 관계를 추적하기 위해 상당한 컴퓨팅 파워를 요구하며, 항상 구할 수 있는 것은 아닌 고품질의 비디오 데이터에 의존합니다. 그러나 이 연구 결과는 인간과 더 자연스럽게 상호작용할 수 있는 로봇과 가상 비서를 만들기 위한 명확한 경로를 제공합니다. 머리 움직임이 목표를 명확히 보기 위한 욕구에 의해 구동된다는 것을 이해함으로써, 이러한 시스템은 인간의 필요를 예측하고 성공적인 상호작용을 지원하기 위해 자신의 움직임을 조절할 수 있습니다. 이 작업은 인간의 행동을 진정으로 이해하기 위해서, 기계가 세상을 단순히 움직이는 부품들의 집합이 아니라, 관찰자가 누락된 조각을 찾기 위해 끊임없이 위치를 바꾸는 역동적인 퍼즐로 보아야 한다는 것을 입증합니다.

기술 요약: HAP - 손 기반 능동적 지각 프레임워크를 이용한 1인칭 시점 머리 움직임 예측

1. 문제 정의

본 논문은 아직 충분히 연구되지 않은 과제인 1인칭 시점(egocentric) 머리 움직임 예측 문제를 다룹니다. 기존의 예측 방법들은 주로 손의 궤적, 상호작용 핫스팟, 또는 행동 시퀀스에 초점을 맞추고 있지만, 머리 움직임을 부수적인 결과로 취급하거나 이를 유발하는 지각적 요구(perceptual demands)를 명시적으로 모델링하지 못하는 경우가 많습니다.

저자들은 머리의 방향 재설정(reorientation)을 능동적 지각(active perception) 메커니즘으로 주장합니다. 즉, 조작 과정 중에 머리는 작업에 유의미한 시각적 증거를 획득하기 위해, 특히 타겟이 가려질 때 능동적으로 방향을 바꾼다는 것입니다. 핵심 문제는 다음 조건들에 기반하여 미래의 6-DoF(6자유도) 머리 궤적을 예측하는 것으로 정식화됩니다:

관찰된 손의 움직임 이력.
추론된 타겟 컨텍스트(상호작용 의도).
장면 내 객체들 간의 동적인 가시성 및 폐쇄(occlusion) 관계.

이 과제는 두 가지 주요 과제를 제시합니다:

의도 추론(Intent Inference): 불완전한 손과 객체의 관찰로부터 의도된 상호작용 타겟을 결정하는 것.
동적 폐쇄 추론(Dynamic Occlusion Reasoning): 시점이 변화함에 따라 지각적 요구가 어떻게 변하는지, 그리고 시각적 접근성을 유지하기 위해 머리가 어떻게 방향을 재설정해야 하는지를 모델링하는 것.

2. 방법론: HAP 프레임워크

제안된 H-driven Active Perception (HAP) 프레임워크는 움직임 역학과 지각적 추론을 통합하여 미래의 6-DoF 머리 궤적을 예측합니다. 파이프라인은 네 가지 주요 구성 요소로 이루어집니다:

A. 손 기반 타겟 의도 추정 (Hand-Driven Target Intention Estimation)

HAP는 관찰된 손의 상태와 객체 기하학적 구조를 바탕으로 후보 타겟의 확률 분포를 추론합니다.

입력: 손 위치( $h_\tau$ ), 객체 마스크(SAM 2를 통해 전파됨), 그리고 상대적 기하 특징(예: 거리 감소, 객체를 향한 손 움직임의 방향 일관성).
메커니즘: 퓨전 네트워크가 객체 임베딩, 손 임베딩, 상대적 기하 특징을 결합합니다. 셀프 어텐션(Self-attention)은 프레임 내에서 후보들을 맥락화하며, 이후 GRU를 통해 시간에 따라 증거를 축적합니다.
출력: 후보 타겟들에 대한 소프트 확률 분포( $\pi_{\tau, i}$ )로, 하드 할당 대신 불확실성을 보존합니다.

B. 동적 예측 타겟 중심 아몰포스 폐쇄 그래프 (Dynamic Predictive Target-Centric Amodal Occlusion Graph, P-TAOG)

지각적 요구의 진화를 포착하기 위해, HAP는 폐쇄 관계를 나타내는 유향 그래프를 구축합니다.

구축: 초기 카메라 프레임에 등록된 희소하게 완성된 포인트 세트(SAM 3D Objects 사용)를 사용하여, 시스템은 포인트들을 현재 카메라 뷰로 투영합니다.
폐쇄 로직: 현재 폐쇄 비율(z-버퍼 깊이 기반)과 잠재적 폐쇄 비율(미래 포즈 접근 없이 국소적 이미지 평면 섭동 하에서의 위험도를 추정)을 계산합니다.
그래프 구조: 객체 $j$ 가 객체 $i$ 에 미치는 폐쇄 영향을 인코딩하는 에지 $(j, i)$ 를 가진 완전 연결 유향 그래프 $G_\tau$ 입니다. 에지 특징에는 2D/3D 거리, 깊이 차이, 그리고 현재/잠재적 폐쇄 비율이 포함됩니다.
인코딩: 그래프는 들어오는 메시지와 나가는 메시지를 분리하여 집계하는 Directed Principal Neighbourhood Aggregation (PNA) 레이어를 거친 후, 시간적 진화를 인코딩하기 위한 인과적(causal) GRU로 처리됩니다.

C. 머리 움직임 예측 및 호라이즌별 게이팅 (Head Motion Prediction and Horizon-Wise Gating)

최종 예측 단계에서는 움직임 이력과 지각적 그래프 표현을 융합합니다.

특징 융합: 기본 움직임 특징(손 변위 및 머리 변환)이 P-TAOG 표현과 결-결합(concatenation)됩니다.
시간적 인코딩: 2계층 GRU가 이력을 인코딩합니다. 각 예측 호라이즌 $h$ 에 대해, 학습된 쿼리가 이력에 어텐션을 수행하고 이를 등속도 사전 정보(constant velocity prior)(마지막 관측된 변환으로부터 외삽됨)와 결합합니다.
호라이즌별 게이트: 학습된 게이트 $\alpha_{t,h}$ 는 학습된 궤적( $d_{t,h}$ )과 등속도 사전 정보( $c_{t,h}$ )를 혼합합니다:
$\hat{y}_{t,h} = c_{t,h} + \alpha_{t,h} \odot (d_{t,h} - c_{t,h})$
이를 통해 모델이 예측 호라이즌에 따라 사전 정보로부터 적응적으로 벗어날 수 있게 하여, 단기적인 운동 연속성을 유지하면서도 필요한 경우 상당한 방향 재설정을 허용합니다.

D. 학습 목적 함수 (Training Objective)

모델은 이동(translation)과 회전(rotation) 감독을 균형 있게 맞추기 위해, 후반부 호라이즌에 더 큰 가중치를 부여하여 장기적인 드리프트를 방지하는 Smooth-L1 손실을 사용하여 학습됩니다.

3. 주요 기여

문제 정의: 본 논문은 에고센트릭 머리 움직임 예측을 관찰된 손의 움직임과 추론된 타겟 컨텍스트에 의해 조건화되는 과제로 정의함으로써, 신체 움직임 역학과 지각적 요구를 명시적으로 결합했습니다.
HAP 프레임워크: 다음을 통해 타겟 의도와 미래 머리 움직임 사이를 연결하는 새로운 추론 프레임워크를 제안합니다:
- 소프트 타겟 확률과 진화하는 유향 폐쇄 관계를 인코딩하는 동적인 P-TAOG.
- 학습된 움직임과 등속도 사전 정보 사이의 균형을 맞추는 호라이즌별 게이팅 메커니즘.
Bottle 데이터셋: 빈번한 폐쇄 상황에서 타겟 가시성이 변하는 복잡한 장면 내의 객체 조작을 특징으로 하는 새로운 에고센트릭 RGB-D 데이터셋인 Bottle을 도입했습니다. 여기에는 예측 성능을 테스트하기 위해 설계된 조정된 머리 및 손 움직임 데이터가 포함되어 있습니다.

4. 실험 결과

저자들은 공개 데이터셋인 EgoPAT3Dv2와 새로운 Bottle 데이터셋에서 HAP를 평가하였으며, 등속도 휴리스틱, 순환 모델(RVAE, VRNN), 어텐션 기반 모델, 확산(diffusion) 기반 접근법 등의 베이스라인과 비교하였습니다.

성능: HAP는 EgoPAT3Dv2에서 **가장 낮은 이동 오차(translation error)**와 경쟁력 있는 회전 오차를 달립했습니다. Bottle 데이터셋에서 HAP는 모든 네 가지 지표(tADE, tFDE, rADE, rFDE)에서 모든 대표적인 베이스라인(Uni-Hand 및 확산 모델 포함)을 능가했으며, 특히 이동 오차에서 가장 큰 격차를 보였습니다.
절제 연구 (Ablation Studies):
- P-TAOG & Gate: 두 구성 요소 모두 필수적인 것으로 나타났습니다. 호라이즌별 게이트는 다양한 변형 모델에서 성능을 개선했으며, P-TAOG는 게이트와 결합되었을 때 상당한 이득을 제공했습니다.
- 그래프 설계: 예측적 폐쇄 특징을 가진 유향 그래프가 회전 오차를 최소화하는 데 결정적이었으며, 현재 폐쇄 특징은 이동 정확도를 높이는 데 도움을 주었습니다.
- Soft vs. Hard Targets: 소프트 타겟 분포(불확실성 보존)를 사용하는 것이 하드 할당보다 더 나은 결과를 냈으며, 이는 불확실성이 다운스트림 예측에 유용한 정보를 전달함을 나타냅니다.
강건성: 프레임워크는 로컬라이제이션 백엔드를 Depth Anything 3에서 ORB-SLAM3로 교체해도 안정적으로 유지되었습니다.

5. 의의 및 주장

본 논문은 HAP가 인간의 머리 움직임을 예측하는 데 있어 손 기반 의도와 동적 폐쇄 추론의 가치를 입증한다고 주장합니다. 머리 움직임을 손 움직임의 수동적인 결과가 아닌 능동적 지각 과정으로 취급함으로써, 프레임워크는 폐쇄된 타겟을 드러내야 하는 필요성을 고려한 6-DoF 궤적을 성공적으로 예측합니다.

저자들은 현재의 평가가 머리 움직임이 고정된 카메라로 표현되는 테이블탑 데이터셋에 국한되어 있음을 언급합니다. 또한, 객체 수에 따라 P-TAOG의 에지 스케일링이 이차 함수적으로 증가하여 매우 복잡한 장면에서는 계산 비용이 높을 수 있음을 인정합니다. 향-후 연구로는 더 크고 다양한 상호작용 환경에서 HAP를 평가하고, 협응된 상체 움직임을 조사하기 위해 프레임워크를 로봇 파지 시스템과 통합하는 것을 제안합니다.