🤖 AI

DynaHOI: Benchmarking Hand-Object Interaction for Dynamic Target

이 논문은 정적 객체 중심의 기존 한계를 넘어 움직이는 대상과의 상호작용을 평가하기 위해 'DynaHOI-Gym' 플랫폼과 10M 프레임 규모의 대규모 벤치마크 'DynaHOI-10M'을 제안하고, 시공간적 어텐션을 활용한 새로운 베이스라인 모델의 유효성을 입증합니다.

원저자: BoCheng Hu, Zhonghan Zhao, Kaiyue Zhou, Hongwei Wang, Gaoang Wang

게시일 2026-02-13

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: BoCheng Hu, Zhonghan Zhao, Kaiyue Zhou, Hongwei Wang, Gaoang Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"움직이는 물건을 잡는 로봇 손"**에 대한 새로운 시험장과 기준을 제시한 연구입니다.

기존의 로봇 연구들은 대부분 고정된 사과를 잡는 것만 연습해 왔습니다. 하지만 현실 세계는 다릅니다. 공을 던지거나, 움직이는 컵을 받아야 하죠. 이 논문은 "움직이는 물체를 예측해서 잡는 능력"을 평가할 수 있는 새로운 시스템을 만들었습니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 문제 상황: "고정된 사과" vs "날아오는 공"

지금까지 로봇 손 (HOI, Hand-Object Interaction) 을 연구할 때는 책상 위에 가만히 있는 사과를 잡는 연습만 시켰습니다. 마치 고정된 표적을 쏘는 사격 연습만 해온 것과 같습니다.

하지만 현실은 다릅니다. 아이가 공을 던지면, 로봇은 그 공이 어디로 날아갈지 예측해서 손으로 받아쳐야 합니다. 기존 연구들은 이 '움직이는 표적'을 잡는 능력을 제대로 테스트해 본 적이 없었습니다. 마치 고정된 표적만 쏘던 사수에게 갑자기 날아오는 공을 잡게 해보지 않고, 실력을 평가한 것과 같습니다.

2. 해결책: 'DynaHOI-Gym'이라는 가상 운동장

연구진은 이 문제를 해결하기 위해 가상 현실 (Unity 엔진) 기반의 운동장을 만들었습니다.

DynaHOI-Gym: 로봇이 실제로 물건을 잡는 연습을 할 수 있는 시뮬레이션입니다.
특징: 여기서 로봇은 사과, 공, 병 등 11 가지 물체를 다양한 방식 (원형, 진자 운동, 공중 투사 등 22 가지 패턴) 으로 움직이는 것을 보고, 언제 손으로 잡아야 할지 스스로 판단해야 합니다.

이 운동장은 단순히 "손이 물체에 닿았나?"만 보는 게 아니라, **"얼마나 정확하게 예측해서 잡았나?", "손 움직임이 얼마나 매끄러웠나?", "얼마나 빨리 잡았나?"**를 종합적으로 평가합니다.

3. 새로운 기준: 'DynaHOI-10M'이라는 거대한 문제집

이 운동장에서 만든 데이터는 1000 만 장의 이미지와 18 만 개의 잡기 동작으로 이루어진 거대한 문제집입니다.

다양성: 물체가 직선으로 가기도 하고, 원형으로 돌기도 하며, 심지어 물리 법칙에 따라 굴러가기도 합니다.
목적: 로봇이 다양한 상황에서도 움직이는 물체를 잘 잡을 수 있는지, 그 능력을 검증하기 위함입니다.

4. 실험 결과: 로봇들은 아직 '예측'이 서툴다

연구진은 최신 AI 모델들 (VLA, 확산 모델 등) 을 이 운동장에 투입해 시험을 치렀습니다. 결과는 어땠을까요?

현실: 대부분의 로봇 AI 는 고정된 물체는 잘 잡지만, 움직이는 물체는 잡지 못했습니다.
비유: 마치 정지해 있는 표적은 명중률이 90% 이상인 사수가, 날아오는 공을 잡으려다 공을 놓치는 상황과 비슷합니다.
원인: 로봇이 "지금 손이 닿을 때"만 보고 행동하기 때문입니다. 공이 어디로 날아갈지 미래를 예측하는 능력이 부족했습니다.

5. 새로운 방법: 'ObAct' (보고서, 행동하기)

연구진은 기존 모델의 단점을 보완한 새로운 방법 **'ObAct'**를 제안했습니다.

비유: 과거의 로봇은 "눈을 뜨자마자 바로 잡으려" 했습니다. 하지만 ObAct는 **"일단 잠시 멈추고 물체의 움직임을 관찰한 뒤, 어디로 날아갈지 예측하고 잡으러 간다"**는 전략입니다.
결과: 이 방법을 쓰니, 움직이는 물체를 잡는 성공률이 약 8% 이상이나 올라갔습니다. 이는 "미래를 내다보는 능력"이 얼마나 중요한지 보여줍니다.

6. 결론: 로봇은 이제 '예측'을 배워야 한다

이 논문은 우리에게 중요한 메시지를 줍니다.

"로봇이 현실 세계에서 유용하게 쓰이려면, 가만히 있는 물건을 잡는 것을 넘어 움직이는 물체를 예측하고 잡는 능력을 길러야 합니다."

지금까지의 로봇은 '눈이 좋은' 정도였지만, 이제는 '머리가 좋은' (미래를 예측하는) 로봇이 되어야 한다는 뜻입니다. 이 연구는 그 다음 단계로 나아가기 위한 첫걸음이자, 로봇들의 실력을 공정하게 평가할 수 있는 새로운 '시험지'를 만든 것입니다.

1. 문제 정의 (Problem)

기존의 손 - 물체 상호작용 (HOI, Hand-Object Interaction) 연구 및 벤치마크는 대부분 **정적인 물체 (Static Objects)**에 초점을 맞추고 있습니다. 그러나 실제 세계에서는 물체가 움직이고 있으며, 인간은 움직이는 대상을 포착하기 위해 짧은 시간 내의 예측 (Short-horizon prediction) 과 실시간 추론이 필요합니다.

현재의 한계: 기존 모델들은 정적 환경에서는 좋은 성능을 보이지만, 움직이는 표적을 예측하고 적시에 포착하는 **동적 시나리오 (Dynamic Scenarios)**에서는 심각한 성능 저하를 보입니다.
평가의 부재: 물리적 세계에서의 동적 포착 실험은 비용이 많이 들고 재현이 어렵기 때문에, 대규모 데이터 생성과 체계적인 평가가 이루어지지 않았습니다. 또한, 기존 벤치마크들은 프레임 단위의 정렬 (Frame-wise alignment) 에 의존하여, 실제 작업 성공 여부와 동적 예측 능력을 제대로 평가하지 못합니다.

2. 방법론 (Methodology)

저자들은 이 문제를 해결하기 위해 DynaHOI-Gym 플랫폼과 DynaHOI-10M 벤치마크를 제안했습니다.

A. DynaHOI-Gym (평가 플랫폼)

개방형 폐루프 (Online Closed-loop) 시뮬레이션: Unity 물리 엔진을 기반으로 구축된 통합 플랫폼으로, 모델이 생성한 동작을 실시간으로 시뮬레이션 환경에 적용하고 피드백을 받습니다.
파라미터화된 운동 생성기: 8 가지 주요 운동 유형 (직선, 단순 조화, 원호, 포물선, 진자, 경사 구름, 충격 반응, 혼합 궤적) 과 22 가지 세분화된 하위 카테고리를 포함하는 11 가지 물체 유형을 지원합니다.
관측 후 행동 (Observe-before-Act) 프로토콜: 모델이 움직이는 대상을 일정 시간 관측하여 운동 패턴을 학습한 후, 포착을 위한 행동을 예측하도록 설계되었습니다. 이는 정적 작업과 달리 시간적 예측 능력을 평가하는 핵심 요소입니다.
평가 지표: 단순한 정렬 오차가 아닌, 성공률 (Success Rate), 궤적 품질 (Trajectory Quality), **작업 완료 속도 (Completion Speed)**를 기반으로 한 롤아웃 (Rollout) 기반 지표를 사용합니다.

B. DynaHOI-10M (대규모 벤치마크 데이터셋)

규모: 총 1000 만 프레임 (10M frames) 과 18 만 개의 포착 궤적 (180K trajectories) 을 포함합니다.
다양성: 11 가지 물체, 다양한 배경 및 질감, 그리고 위에서 언급한 8 가지 운동 카테고리를 조합하여 시각적, 물리적으로 매우 다양한 데이터를 제공합니다.
데이터 생성: 자동화된 파이프라인을 통해 대규모 상호작용 데이터를 수집하며, 각 에피소드는 '관측 단계'와 '제어 단계'로 나뉩니다.

C. ObAct Baseline (기저 모델)

기존 단일 프레임 기반 예측의 한계를 극복하기 위해 제안된 기저 모델입니다.
시공간 주의 메커니즘 (Spatiotemporal Attention): 짧은 시간 동안의 관측 프레임 (과거 $s$ 프레임 + 현재 프레임) 을 통합하여 대상의 운동 역학을 추론합니다.
구조: VLM(Vision-Language Model) 백본을 사용하여 시각 및 텍스트 토큰을 인코딩한 후, 확산 정책 (Diffusion Policy) 에 운동 인식 표현을 조건부로 주입하여 연속적인 손 동작을 생성합니다.

3. 주요 기여 (Key Contributions)

DynaHOI-Gym 플랫폼 개발: 파라미터화된 운동 생성과 온라인 폐루프 평가를 지원하는 최초의 통합 동적 포착 평가 도구입니다.
DynaHOI-10M 벤치마크 출시: 1000 만 프레임 규모의 대규모 데이터셋으로, 움직이는 물체 포착을 위한 표준 평가 기준을 제시합니다.
ObAct 기저 모델 제안: 짧은 관측 윈도우와 시공간 주의력을 결합하여, 기존 확산 기반 모델 대비 위치 성공률 (Location Success Rate) 을 8.1% 향상시켰습니다.

4. 실험 결과 (Results)

저자들은 VLA(Vision-Language-Action), 확산 정책 (Diffusion Policies), 일반적 VLM(Vision-Language Models) 등 12 가지 주요 모델을 평가했습니다.

성능 한계:
- 최상위 모델 (GR00T-N1.5) 의 위치 성공률 ( $S_{loc}$ ) 은 **27.9%**에 불과했으며, 위치 성공 후 실제 잡기 성공률 ( $S_{gra}$ ) 은 **3.5%**로 매우 낮았습니다.
- 기존 VLM 들은 위치 성공률이 7% 이하로, 움직이는 대상을 예측하는 데 근본적인 어려움을 겪고 있음이 확인되었습니다.
ObAct 의 성과:
- 제안된 ObAct 모델은 모든 확산 기반 모델보다 7 가지 평가 지표에서 일관되게 우수한 성능을 보였습니다.
- 특히 위치 성공률 ( $S_{loc}$ ) 은 **36.0%**로, 기존 최강 모델 대비 8.1%p 향상되었습니다.
- 이는 시간적 맥락 (Temporal Context) 을 활용함으로써 대상의 운동을 더 잘 예측하고 포착 타이밍을 개선할 수 있음을 시사합니다.
궤적 품질:
- 확산 기반 모델은 작업 성공률은 높지만 궤적이 불안정하고 불규칙한 경향이 있었습니다.
- 반면, autoregressive 모델 (UP-VLA) 은 궤적 품질은 좋았으나 성공률은 낮았습니다.
- ObAct 는 높은 성공률과 함께 autoregressive 모델에 버금가는 궤적 품질을 달성했습니다.

5. 의의 및 결론 (Significance)

연구 방향의 전환: 정적 물체 조작에서 동적 예측 및 포착으로 연구의 초점을 이동시켰습니다. 이는 실제 로봇이 변화하는 환경에서 작동하기 위해 필수적인 능력입니다.
평가 인프라의 확립: 물리적 실험 없이도 대규모로 동적 HOI 모델을 평가할 수 있는 표준화된 플랫폼을 제공하여, 향후 연구의 비교와 진단을 용이하게 합니다.
미래 전망: 현재 모델들이 동적 환경에서 여전히 예측과 행동의 동기화에 어려움을 겪고 있음을 보여주며, 시간적 예측 능력과 운동 인식 (Motion-aware) 지능의 중요성을 강조합니다.

이 논문은 embodied AI(신체화된 인공지능) 및 로봇 조작 분야에서 움직이는 대상을 다루는 능력의 발전에 중요한 이정표가 될 것으로 기대됩니다.