💻 computer science

InterPet4D: A Multimodal 4D Human-Pet Interaction Dataset for Pet Motion Generation

이 논문은 인간과 반려견의 동기화된 상호작용을 포괄적인 주석과 함께 캡처한 첫 번째 대규모 멀티모달 데이터셋인 InterPet4D를 소개하고, 현실적인 인간-반려견 움직임을 생성하는 데 있어 기존 베이스라인을 크게 능가하는 InterPetMoGen 프레임워크를 제안한다.

원저자: Yichen Peng, Jyun-Ting Song, Chen-Chieh Liao, Kris Kitani, Hideki Koike, Erwin Wu

게시일 2026-07-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yichen Peng, Jyun-Ting Song, Chen-Chieh Liao, Kris Kitani, Hideki Koike, Erwin Wu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 공 가져오기 놀이를 가르친다고 상상해 보세요. 하지만 단순히 공을 던지는 것이 아니라, 당신의 손이 어떻게 움찔하는지, 어떤 말을 하는지, 그리고 그에 반응하여 강아지의 꼬리가 어떻게 흔들려야 하는지까지 하나하나 설명해야 합니다. 지금까지 컴퓨터에게 이런 종류의 "종간(cross-species)" 댄스를 가르치는 것은 적절한 예시 라이브러리가 없었기 때문에 거의 불가능에 가까웠습니다. 바로 그 지점에서 InterPet4D가 등장합니다. 이것은 마치 인간과 개의 교감을 담은 거대하고 고화질인 도서관과 같으며, 680만 프레임의 비디오, 오디오, 3D 움직임 데이터로 가득 차 있습니다.

궁극의 강아지 훈련 스튜디오

이 라이브러리를 구축하기 위해 연구진은 마치 SF 영화 세트장 같은 특별한 스튜디오를 설치했습니다. 단순히 카메라 한 대를 사용한 것이 아니라, 모든 각도에서 동작을 포착하기 위해 정사각형 형태로 배치된 12대의 동기화된 카메라를 배치했습니다. 하지만 여기서 흥미로운 점은, 연구에 참여한 인간들이 레이밴 메타(Ray-Ban Meta) 안경을 착용했다는 것입니다. 덕분에 이 데이터셋은 "1인칭" 시점을 제공하며, 컴퓨터가 인간이 아래를 내려다보거나 손을 뻗어 강아지를 쓰다듬을 때 무엇을 보는지 정확히 알 수 있게 해줍니다.

연구진은 23명의 인간 참가자(전문 훈련사 11명 포함)와 11개의 품종을 대표하는 13마리의 개를 모았습니다. 이들은 단순히 무작위로 선정된 개들이 아니었습니다. "앉아", "기다려", "손" 같은 명령어를 따르도록 훈련되었지만, 데이터셋은 터그 놀이나 추격 놀이 같은 자유로운 놀이 모습도 함께 포착했습니다. 그 결과, 비디오뿐만 아니라 오디오 명령어("루비, 앉아!")와 인간의 신체 및 개의 발의 정밀한 3D 움직임까지 포함된 보물 창고가 만들어졌습니다.

컴퓨터에게 "개의 언어"를 가르치기

데이터를 갖는 것도 좋지만, 컴퓨터에게 이를 어떻게 사용하는지 가르치는 방법은 무엇일까요? 저자들은 InterPetMoGen(줄여서 IPMG)이라는 새로운 AI 프레임워크를 구축했습니다. 이 모델을 단어뿐만 아니라 움직임을 번역하는 초스마트 번역기라고 생각해보세요.

사용자가 일련의 인간 손 제스처와 오디오 명령을 입력하면, 모델은 개가 어떻게 반응할지 예측하려고 시도합니다. 하지만 여기서 까다로운 점은 개의 반응이 하나의 고정된 답이 아니라는 것입니다. "앉아"라고 말했을 때, 어떤 개는 즉시 앉는 반면, 다른 개는 잠시 멈춰 서서 당신을 먼저 쳐다볼 수도 있습니다. 이 모델은 이러한 일대다(one-to-many) 관계를 이해하도록 설계되었습니다. 단순히 하나의 답을 고르는 것이 아니라, 가능한 현실적인 반응의 범위를 학습합니다.

이를 위해 모델은 PetVAE라는 특수 도구를 사용하여 개의 움직임을 작은 "토큰"(단어의 글자 같은 것)으로 분해합니다. 이 도구는 개의 움직임이 단순히 해파리처럼 흔들리는 것이 아니라, 뼈와 관절이 올바르게 연결되어 물리적으로 실제처럼 보이도록 보장합니다. 그런 다음 모델은 "거친 단계에서 세밀한 단계로(coarse-to-fine)" 접근 방식을 사용합니다. 먼저 개가 움직이는 일반적인 방향을 파악한 다음, 발의 위치나 꼬리의 흔들림 같은 구체적인 디테일을 채워 넣습니다.

효과가 있었을까?

연구진은 새로운 모델을 기존의 표준 방식들(Seq2Seq 및 Diffusion 모델 등)과 비교 테스트했습니다. 결과는 명확했습니다. 새로운 모델이 주인공이었습니다.

점수: 가짜 움직임이 실제 움직임과 얼마나 유사한지를 측정하는 FID 점수 테스트에서, 이 모델은 11.21을 기록했습니다. 이는 그다음으로 좋은 방법의 점수인 13.83보다 훨씬 뛰어난 성적이며, 무려 64.37을 기록한 기존의 디퓨전 모델들보다 훨씬 더 나은 결과입니다. AI의 세계에서 여기서 낮은 점수는 가짜 움직임이 실제와 훨씬 더 흡사하다는 것을 의미합니다.
인간 테스트: 연구진은 또한 12명의 사람에게 생성된 영상을 보여주고 평가를 요청했습니다. 새로운 모델은 "자연스러움" 항목에서 7점 만점에 평균 6.58점을 받은 반면, 그다음 모델은 4.04점에 그쳤습니다. 인간 심사위원들은 AI가 생성한 개들이 실제로 듣고 반응하는 것처럼 보인다고 말한 반면, 기존 모델들은 개가 그냥 가만히 서 있거나 이상하고 딱딱하게 움직이는 경우가 많았다고 평가했습니다.

아직은 '아닌' 것들

이 논문이 주장하지 않는 부분도 알고 있는 것이 중요합니다. 저자들은 현재의 데이터셋이 오직 개만을 다루고 있다는 점을 매우 신중하게 밝히고 있습니다. 그들은 고양이나 다른 반려동물은 움직임 방식이 완전히 다르기 때문에 아직 포함하지 않았음을 명시했습니다. 또한, 현재 모델은 포옹이나 쓰다듬기의 *압력(force)*을 이해하지 못합니다. 오직 움직임만을 볼 뿐 물리적인 압력은 보지 못합니다. 마지막으로, 모델은 한 번에 약 10초 정도의 짧은 클립을 생성하며, 아직 한 번에 한 시간 동안의 놀이 세션을 예측할 수는 없습니다.

결론

이 논문은 인간과 개의 상호작용을 담은 거대하고 동기화된 라이브러리를 제공하고, 움직임을 현실적인 "토큰"으로 분해하도록 가르침으로써, 우리가 드디어 컴퓨터가 실제로 보고 느껴지는 듯한 강아지 애니메이션을 생성하게 할 수 있음을 시사합니다. 이는 가상 반려동물이 단순한 장난감이 아니라, 우리가 알고 사랑하는 그 털 뭉치 친구들처럼 행동하게 만드는 데 있어 큰 진전입니다. 저자들은 이 데이터셋이 더 나은 사회적 로봇이나 동물과 상호작관할 수 있는 애니메이션 캐릭터를 만들고자 하는 모든 이들을 위한 표준 놀이터가 되기를 희망하고 있습니다.

기술 요약: InterPet4D 및 InterPetMoGen

1. 문제 정의

인간과 반려동물 간의 상호작용을 추정하고 생성하는 연구는 컴퓨터 비전 및 로보틱스 분야에서 여전히 크게 미개척된 영역으로 남아 있다. 기존 연구들은 주로 인간-인간 또는 인간-사물 상호작용에 집중해 왔는데, 이는 자연스러운 종간 역동성을 포착하는 대규모 고품질 데이터셋의 부재 때문이다. 이러한 상호작용을 모델링하는 데는 다음과 같은 독특한 과제들이 존재한다:

데이터 희소성: 통제된 훈련 없이는 인간과 동물 사이의 구조적이고 반복 가능한 협응을 달성하기 어려워 대규모 데이터 수집을 저해한다.
폐쇄(Occlusion): 근거리 상호작용은 종종 심각한 교차 폐쇄를 유발하여 세밀한 디테일의 재구성을 저하시킨다.
형태학적 비대칭성: 인간과 동물의 구조적 차이는 동일 종 간의 상호작용에 비해 결합 분포(joint distributions)를 모델링하는 것을 복잡하게 만든다.
멀티모달 신호의 부족: 기존의 동물 데이터셋은 동기화된 오디오, 인간의 움직임, 반려동물의 움직임을 동시에 포착하는 경우가 드물다.

2. 방법론

2.1 InterPet4D 데이터셋

저자들은 자연스러운 인간-강아지 상호작용에 특화된 최초의 대규모 멀티모달 4D 데이터셋인 InterPet4D를 소개한다.

데이터 수집: 이 데이터셋은 23명의 참가자(전문 트레이너 11명 포함)와 11개 품종의 강아지 13마리로부터 수집된 683만 프레임으로 구성된다.
캡처 설정: 다음과 같은 동기화된 멀리 뷰 시스템이 사용되었다:
- 3인칭 뷰: 정방형으로 배치된 12대의 와이어 동기화된 GoPro Hero13 카메라(1920×1080, 60 fps). 이 중 8대의 카메라는 반려동물과 손의 디테일을 포착하기 위해 낮게 배치되었다.
- 1인칭 뷰(Egocentric View): 참가자들이 착용한 Ray-Ban Meta 안경을 통해 1인칭 RGB 비디오와 오디오를 제공한다.
- 동기화: 박수 소리 신호를 이용한 소프트웨어 정렬을 통해 달성되었으며, 최대 오차는 1프레임이다.
상호작용 분류 체계: 데이터는 네 가지 구조화된 범주를 다룬다:
1. 쓰다듬기(Petting): 신체적 접촉 및 자세 반응.
2. 명령하기(Commanding): 언어적 및 제스처 명령 (예: "앉아", "손").
3. 부르기(Calling): 거리 기반의 목소리 및 손짓 부름.
4. 자유 형식(Free-form): 스크립트가 없는 상호작용 (예: 물건 가져오기, 터그 놀이).
주석(Annotations): 데이터셋은 동기화된 멀티뷰/1인칭 비디오, 세그멘테이션, 2D/3D 키포인트, 메쉬(인간을 위한 SMPL-X/MANO, 강아지를 위한 SMAL) 및 LLM을 통해 생성된 텍스트 캡션이 포함된 정렬된 오디오 트랙을 포함한다.

2.2 데이터 처리 파이프라인

인간 재구성: 위치 추적 및 트래킹을 위해 Mask R-CNN, HRNet-WholeBody, DeepSORT를 결합한 파이프라인을 활용한다. 2D 키포인트는 에너지 함수(대칭성, 시간적 매끄러움, 골격 길이 제약)를 사용하여 삼각 측량 및 정교화된 후 SMPL-X 및 MANO 모델에 피팅된다.
강아지 재구성: RTMDet을 통해 강아지를 탐지하고 HRNet을 사용하여 2D 키포인트를 추정한다. 인간 마스크가 폐쇄된 영역을 필터링한다. 3D 관절은 SMAL 모델에 피팅되기 전 삼각 측량 및 RTS 스무더(smoother)로 정교화된다. 형태 파라미터는 표준 프레임에서의 수동 피팅을 통해 안정화된다.
오디오/텍스트 처리: 원시 오디오는 ASR을 통해 전사 및 영어로 번역된다. 시간적 경계가 주석 처리되며, Qwen3 기반 LLM을 사용하여 상호작용 설명이 생성된다.

2.3 InterPetMoGen (IPMG) 프레임 much

저자들은 제스처-투-반려동물 모션 생성을 위한 MotionGPT 기반 프레임워크인 InterPetMoGen을 제안한다.

목표: 조건부 분포 $p(P | H, A)$ 를 학습하는 것이다. 여기서 $P$ 는 반려동물 모션 시퀀스, $H$ 는 인간의 움직임(신체 + 손), $A$ 는 오디오 시퀀스이다.
아키텍처:
- 멀티모달 토큰화:
  - PetVAE: 강아지 모션을 위한 이산 잠재 공간(discrete latent space)을 학습하는 벡터 양자화(VQ-VAE) 기반의 변이형 오토인코더(Variational Autoencoder). 이는 골격 일관성을 강제하기 위한 Bone Length Regressor를 포함한다.
  - Human Tokenizer: 신체와 손 제스처를 각각 모달리티별 인코더를 사용하여 별도의 이산 토큰으로 인코딩한다.
  - 번역 및 오디오 토크나이저: 전역 루트 이동(global root translations)과 오디오 특징(MERT를 통해)을 이산 토큰으로 인코딩한다.
- 자기회귀 트랜스포머(Autoregressive Transformer): 인간 및 오디오 토큰에 조건화되어 다음 반려동물 모션 토큰을 예측하는 접두사-LM(prefix-LM) GPT 모델이다.
- 모달리티 인식 어텐션(Modality-Aware Attention, MAA): 정보 흐름을 제어하는 새로운 어텐션 메커즘이다. 인간 토큰은 양방향 어텐션(전역 문맥)을 활용하는 반면, 이동(translation) 및 반려동물 토큰은 인과적(autoregressive) 어텐션을 사용하여 조-세(coarse-to-fine) 생성 계층 구조를 구축한다.
훈련: 모델은 두 단계로 훈련된다. 첫째, VQ-VAE를 훈련하여 모달리티를 토큰화한다. 둘 둘째, 다른 모달리티들에 조건화되어 반려동물 모션 토큰을 생성하도록 트랜스포머를 훈련한다.

3. 주요 기여

InterPet4D 데이터셋: 680만 프레임의 동기화된 비디오, 12개 뷰의 3인칭 비디오, 1인칭 비디오, 오디오 및 인간과 강아지 모두에 대한 3D 재구성을 특징으로 하는 최초의 대규모 멀티모달 4D 인간-반려동물 상호작용 데이터셋이다.
체계적인 프로토콜: 인간-강아지 상호작용의 네 가지 범주를 다루는 표준화된 상호작용 분류 체계를 통해 종간 행동의 구조적 분석을 가능하게 한다.
InterPetMoGen (IPMG): 인간의 제스처와 오디오에 조건화되어 다양하고 현실적인 강아지 모션 반응을 생성하기 위해 PetVAE 토크나이저와 모달리티 인식 어텐션(MAA)을 결합한 새로운 프레임워크이다.

4. 실험 결과

저자들은 IPMG를 Seq2Seq-Transformer, Diffusion-Transformer (DiT), 그리고 자체 모델의 절제된 변형들을 포함한 베이스라인들과 비교 평가하였다.

정량적 성능:
- FID (Fréchet Inception Distance): IPMG는 운동학적 FID ( $FID_k$ ) 11.21을 달성하여, Seq2Seq 베이스라인(21.22)과 DiT 베베이스라인(64.37)을 크게 앞질렀다.
- 정렬 (R-Precision): IPMG는 조건 신호와의 우수한 정렬을 보였으며, Seq2Seq의 0.41/0.38에 비해 $R_{hand}^{Prec.}$ 0.63 및 $R_{body}^{Prec.}$ 0.59를 달성했다.
- 다양성: 모델은 베이스라인보다 더 다양한 모션 패턴(Div $_k$ = 5.93)을 생성했다.
- 절제 연구(Ablation): PetVAE 모듈을 제거하면 $FID_k$ 가 14.15로 증가했다. PetVAE의 골격 제약을 제거하면 $FID$가 12.53으로, 속도 오차가 1.79로 증가하여 골격 제약의 필요성을 확인했다. 신체와 손 입력을 모두 사용하는 것이 단일 모달리티 입력보다 최상의 결과를 냈다.
정성적 및 사용자 연구:
- 시각화를 통해 IPMG는 (명령에 따라 몸을 돌리는 등) 시간적으로 매끄럽고 반응적인 움직임을 생성하는 반면, 베이스라인은 제스처에 반응하지 못하거나 불안정한 움직임을 생성하는 경우가 많음을 보여주었다.
- 12명의 참가자를 대상으로 한 사용자 연구에서 IPMG는 자연스러움(6.58 vs Seq2Seq 4.04), 반응성(6.55 vs 3.67), 전반적인 품질(6.63 vs 3.67) 측에서 모든 베이스라인보다 유의미하게 높은 점수를 받았다. 통계 분석 결과 이러한 차이는 유의미한 것으로 확인되었다.

5. 의의 및 주장

본 논문은 InterPet4D와 InterPetMoGen이 현실적인 종간 상호작용을 모델링하기 위한 기초적인 단계라고 주장한다. 최초의 동기화된 멀티모달 데이터셋과 특화된 생성 프레임워크를 제공함으로써, 본 연구는 인간-반려동물 역동성에 대한 데이터 및 방법론의 결정적인 결핍 문제를 해결한다. 저자들은 특히 이산 모션 토큰과 모달리티 인식 어텐션의 사용이 일반적인 모션 생성 아키텍처보다 객관적 지표와 지각적 품질 모두에서 효과적으로 인간 에이전트와 동물 반응 사이의 구조적 관계를 포착한다고 주장한다.

인정된 한계점:

현재 데이터셋은 강아지에 국한되어 있으며, 다른 종(예: 고양이)으로 확장하려면 종 특화 모델이 필요하다.
프레임워크는 쓰다듬기 상호작용과 관련된 물리적 접촉력을 모델링하지 않는다.
현재 생성은 고정된 길이의 클립(10초)으로 제한되어 있으며, 가변 길이 생성은 향후 연구 방향이다.