🤖 AI

JRDB-Pose3D: A Multi-person 3D Human Pose and Shape Estimation Dataset for Robotics

이 논문은 기존의 단일 인원 또는 통제된 환경의 데이터셋이 가진 한계를 해결하여 실제 로봇 공학 응용 분야를 더 잘 지원하기 위해, 복잡한 다인원 실내외 장면에서 풍부한 3D 인간 포즈 및 형상 주석을 제공하는 모바일 로봇 플랫폼으로부터 캡처된 종합적인 데이터셋인 JRDB-Pose3D를 소개한다.

원저자: Sandika Biswas, Kian Izadpanah, Hamid Rezatofighi

게시일 2026-02-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sandika Biswas, Kian Izadpanah, Hamid Rezatofighi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 인간처럼 세상을 보는 법을 가르치려 한다고 상상해 보십시오. 대부분의 경우, 과학자들이 로봇에게 인간의 움직임을 이해하도록 가르칠 때 그들은 '보조 바퀴'를 사용합니다. 그들은 로봇에게 완벽한 조명이 갖춰진 무용 스튜디오처럼, 조용하고 텅 빈 방 안에 단 한 명의 사람만 있는 영상을 보여줍니다. 그러면 로봇은 그 한 명의 무용수를 쉽게 찾아내는 법을 배웁니다.

하지만 현실 세계는 무용 스튜디오가 아닙니다. 현실 세계는 사람들이 서로 부딪히고, 기둥 뒤로 숨고, 카메라 시야 안으로 들어왔다 나갔다 하는 북적이는 지하철역, 붐비는 공원, 혹은 혼란스러운 대학교 캠퍼스입니다.

이 논문은 로봇이 이러한 복잡하고 붐비는 실제 상황을 처리하는 법을 가르치기 위해 특별히 설계된 새로운 '훈련 매뉴얼'인 JRDB-Pose3D를 소개합니다.

다음은 이 데이터셋이 특별한 이유를 일상적인 비유를 들어 설명한 내용입니다.

1. "붐비는 방" vs. "빈 스튜디오"

기존의 대부분의 데이터셋은 홀로 서 있는 한 사람의 사진과 같습니다. 만약 당신이 그 사진들을 이용해 로봇에게 꽉 찬 콘서트장에서 길을 찾는 법을 가르치려 한다면, 로봇은 혼란에 빠질 것입니다.

JRDB-Pose3D는 마치 번화한 축제 현장 한복판에 있는 보안 카메라의 실시간 영상 피드와 같습니다.

규모: 단 하나의 스냅샷(프레임) 내에서 이 데이터셋은 보통 5~10명의 사람을 보여주지만, 때로는 한꺼번에 무려 35명의 사람을 보여주기도 합니다.
시점: 이 영상은 대학교 캠퍼스를 돌아다니는 이동형 로봇(JackRabbot 로봇)에 의해 촬영되었습니다. 이는 카메라가 움직이고, 기울어지며, 드론이나 높은 벽 위가 아닌 '눈높이'(또는 로봇의 눈높이)에서 세상을 바라본다는 것을 의미합니다. 즉, 거리에서 주행하는 로봇이 보게 될 세상을 그대로 포착합니다.

2. "3D 마네킹" 문제

컴퓨터가 사람이 어떻게 움직이는지 이해하려면 단순히 막대기 형태의 해골(스켈레톤) 모델 이상의 것이 필요합니다. 사람의 체형(키가 큰지, 작은지, 혹은 체격이 큰지)까지 알아야 합니다.

기존 방식: 많은 데이터셋은 단순히 골격만을 제공합니다. 이는 마치 와이어프레임 그림을 보고 사람의 움직임을 추측하려는 것과 같습니다. 괜찮긴 하지만, 그 사람이 두꺼운 코트를 입고 있는지 혹은 팔이 실제로 벽에 닿아 있는지까지는 알려주지 못합니다.
JRDB 방식: 이 데이터셋은 SMPL 주석(annotation)을 제공합니다. 이것은 영상 속 모든 사람에게 완벽하게 들어맞는 디지털 3D 마네킹이라고 생각하면 됩니다.
- 이 모델은 포즈(사지가 어떻게 굽혀져 있는지)를 추적합니다.
- 또한 체형(몸의 크기)을 추적하며 이를 일관되게 유지합니다. 만약 어떤 사람이 인파 속을 걸어가고 있다면, 로봇은 그 사람이 일부 가려지더라도 동일한 체형을 가진 같은 사람이라는 것을 알 수 있습니다.

3. "숨바꼭질" 챌린지

실제 인파 속에서는 사람들이 끊임없이 서로를 가립니다.

폐쇄(Occlusion): 당신이 인파 속에 있고 누군가 당신 앞에 키 큰 사람이 서 있다고 상상해 보십시오. 당신은 그 사람의 등은 볼 수 있지만, 다리는 가려져 보이지 않습니다. 컴퓨터 비전에서는 이를 **폐쇄(occlusion)**라고 부릅니다.
"프레임 밖" 문제: 때때로 사람들이 로봇과 너무 가까이 있어서 머리나 발이 카메라 화면 가장자리에 잘려 나가기도 합니다.
중요한 이유: 대부분의 데이터셋은 이러한 지저분한 상황을 피합니다. 하지만 JRDB-Pose3D는 이를 기꺼이 받아들입니다. 이 데이터셋은 부분적으로 가려지거나, 프레임에 잘리거나, 다른 사람에 의해 가려진 사람들로 가득 차 있습니다. 이는 AI가 인간처럼 맥락을 바탕으로 사람 몸의 누락된 부분을 "추측"하는 법을 배우도록 강제합니다.

4. "슈퍼 라벨(Super-Label)" 패키지

이 데이터셋은 단순히 "사람이 어디에 있는가?"에서 멈추지 않습니다. 모든 장면에 대해 상세한 전기(biography)를 적어놓은 것처럼 방대한 양의 추가 정보를 제공합니다.

사회적 그룹: 누가 함께 걷고 있는가? (가족인가, 친구 무리인가, 아니면 낯선 사람들인가?)
활동: 무엇을 하고 있는가? (대화하기, 걷기, 달리기?)
인구 통계: 연령, 성별, 인종 (AI가 다양성을 이해하도록 돕기 위함)
전체 장면: 사람만을 라벨링하는 것이 아니라, 자동차, 나무, 건물 등 주변의 전체 세상을 라벨링하여 로봇이 전체 환경을 이해할 수 있게 합니다.

5. 어떻게 만들어졌는가? (인간의 손길)

"컴퓨터가 이것을 자동으로 할 수 있나요?"라고 물으실 수 있습니다.
저자들은 AI와 인간의 노력을 스마트하게 결합했습니다:

AI의 추측: 먼저 강력한 컴퓨터 모델을 사용하여 사람들이 어디에 서 있고 어떻게 움직이는지에 대한 첫 번째 추측을 수행했습니다.
인간의 수정: 그 후, 인간 전문가들이 영상을 검토했습니다. 전문가들은 특히 까다로운 부분(예: 누군가 나무 뒤에 숨었을 때)에 대해 AI의 작업을 확인했습니다. 만약 AI가 틀렸다면, 인간이 이를 수정했습니다.
일관성 체크: 프레임 1에서 어떤 사람이 "디지털 슈트"를 입고 있다면, 프레임 100에서도 정확히 같은 슈트를 입고 있도록 만들었습니다. 이를 통해 로봇이 사람이 매 초마다 옷을 갈아입는다고 오해하지 않도록 했습니다.

핵심 요약

이 논문은 JRDB-Pose3D가 하나의 '가교(bridge)' 역할을 한다고 주장합니다. 이 데이터셋은 실험실의 '완벽한 세상'과 실제 생활의 '무질서한 세상'을 연결합니다. 로봇에게 붐비고 역동적이며 숨겨진 디테일이 가득한 데이터셋을 제공함으로써, 로봇이 실제 세상에서 인간과 안전하고 효과적으로 상호작용하며 길을 찾을 수 있도록 돕습니다.

이것은 단순히 사람을 발견하는 것에 관한 것이 아닙니다. 복잡한 3D 세상 속에서 함께 움직이는 전체 군중을 이해하는 것에 관한 것입니다.

기술 요약: JRDB-Pose3D

문제 정의

실제 환경은 본질적으로 붐비고 역동적이며, 이는 여러 사람의 3D 포즈를 추정하고, 시간 경과에 따른 움직임을 추적하며, 사회적 및 환경적 맥락 내에서의 활동을 이해하는 능력을 필요로 합니다. 이러한 능력은 자율 주행, 로봇 인지, 내비게이션 및 인간-로봇 상호작용과 같은 응용 분야에서 매우 중요합니다.

그러나 기존의 3D 인간 포즈 추정 데이터셋은 이러한 실제 시나리오에 대한 적용 가능성과 관련하여 상당한 한계를 가지고 있습니다. 대부분의 벤치마크는 단일 인물 대상에 집중하거나 통제된 실험실 환경에서 수집되었습니다. 최근 멀티 퍼슨(multi-person) 데이터셋을 도입하려는 노력이 있었으나, 많은 경우 합성 데이터에 국한되거나, 단 두 명 사이의 상호작용만을 제한적으로 다루거나, 시간적 일관성이 부족하거나, 지면 높이에서 주행하는 이동형 로봇의 관점을 반영하지 못하는 특정 뷰포인트(예: 탑다운 뷰)에서 촬영되었습니다. 결과적으로, 야외의 모바일 로봇 플랫폼에서 촬영된 복잡하고 붐비는 다인원 장면을 위해 풍부하고 일관된 3D 포즈 및 형태(shape) 주석을 제공하는 데이터셋에는 공백이 존재합니다.

방법론

저자들은 기존 JRDB 데이터셋 [17]의 모든 비디오 시퀀스를 주석 처리하여 구축한 JRDB-Pose3D를 소개합니다. 데이터는 5쌍의 스테레오 카메라가 두 개의 가로 줄로 배치되어 360° 파노라마 뷰를 제공하는 JackRabbot 모바일 로봇 플랫폼을 사용하여 촬영되었습니다. 이 데이터셋은 실내 및 실외 대학교 캠퍼스 환경에서 수집된 총 288,435 프레임의 54개 시퀀스로 구성됩니다.

JRDB-Pose3D의 주석 파이프라인은 일관된 추적 ID를 가진 SMPL 기반 3D 포즈 및 형태 주석을 생성하기 위해 다단계 프로세스를 따릅니다:

포즈 초기화(Pose Initialization): 프로세스는 멀티 휴먼 장면에 최적화되어 입력 이미지로부터 카메라 시야각(FoV)을 직접 예측하는 사전 학습된 CameraHMR 모델 [22]을 사용하여 3D SMPL 포즈를 초기화하는 것으로 시작됩니다. 단일 이미지 모델의 ID 추적 부재 문제를 해결하기 위해, 파이프라인은 JRDB 데이터셋의 기존 2D 바운딩 박스와 일관된 추적 ID를 활용하여 각 개인의 트랙에 대해 일관된 3D SMPL 포즈( $P_{init}$ )를 초기화합니다.
글로벌 3D 로컬라이제이션(Global 3D Localization): CameraHMR은 추정된 FoV를 기준으로 포즈를 추정하는 반면, JRDB 데이터셋은 정확한 카메라 내부 파라미터(intrinsics)를 제공합니다. 파이프이은 PnP(Perspective-n-Point) 알고리즘을 사용하여 초기 3D 스켈레톤 조인트를 JRDB에 주석 처리된 2D 키포인트에 매핑하는 강체 변환( $R, t$ )을 추정함으로써, 예측된 3D 포즈를 글로벌 3D 장면과 정렬합니다.
일관된 형태 주석(Consistent Shape Annotation): 프레임별 추정은 종종 동일 인물에 대해 불일치하는 체형을 생성하므로, 파이프라인은 형태 일관성을 강제합니다. 주석 작업자는 각 트랙에 대한 프레임별 예측을 시각적으로 검사하여 가장 잘 맞는 프레임을 대표 형상으로 선택합니다. 필요한 경우, 모든 트랙 동안 개별 인물에 대해 일관된 표현을 보장하기 위해 주석 도구를 사용하여 형태 파라미터를 수동으로 정밀하게 조정합니다.
로컬 3D 포즈 정밀화(Local 3D Pose Refinement): 트랙 형태와 글로벌 방향을 확정한 후, 로컬 포즈가 정밀화됩니다. SMPL 초기화는 투영된 3D 조인트와 2D 포즈 주석 사이의 거리( $E_{data}$ )를 최소화하도록 최적화됩니다. 또한, 2차 시간 차이에 대해 페널티를 부여하는 시간적 정규화 항( $E_{smooth}$ )이 적용되어, 역동성을 유지하면서도 부드러운 운동 궤적을 보장합니다.
수동 검사 및 수정(Manual Inspection and Correction): 마지막 단계에서는 숙련된 여러 주석 작업자가 생성된 포즈를 검토합니다. 이들은 사지의 방향, 시간적 일관성, 그리고 상호작용 맥락에서의 타당성을 검증하며, 특히 심한 폐쇄(occlusion)나 프레임 밖으로 벗어난 신체 부위와 같은 까다로운 사례에 주의를 기울입니다. 수정은 공유된 주석 프로토콜에 따라 이루어집니다.

주요 기여

본 논문은 다음과 같은 주요 기여를 제시합니다:

JRDB-Pose3D 데이터셋: 대규모의 실제 환경 멀티 퍼슨 3D 인간 포즈 및 형태(HPS) 추정 데이터셋입니다. 이는 일관된 피사체별 추적 ID, 키포인트별 폐쇄 레이블, 그리고 SMPL 기반 주석을 특징으로 합니다. 데이터셋은 프레임당 평균 5~10개의 인간 포즈를 포함하며, 일부 장면에서는 최대 35명의 개인이 동시에 등장합니다.
풍부한 멀티모달 주석: 3D 포즈 외에도, 이 데이터셋은 2D 포즈, 사회적 그룹핑, 그룹 활동, 일관된 인간/객체 추적이 포함된 전체 장면 세만틱 마스크, 그리고 상세한 개인 속성(연령, 성별, 인종)을 포함한 기존 JRDB 데이터셋의 모든 주석을 계승합니다.
벤치마킹 평가: 저자들은 JRDB-Pose3D를 통해 최첨단 멀티 퍼슨 포즈 추정, 포즈 추적 및 액션 인지 포즈 예측 방법들을 평가하여, 군중이 밀집된 실제 환경을 처리하는 데 있어 기존 방법들의 강점과 현재의 한계를 평가합니다.

결과 및 데이터셋 특성

본 논문은 WorldPose와 같은 기존 데이터셋과 비교하여 JRDB-Pose3D의 몇 가지 독특한 특성과 도전 과제를 강조합니다:

군중 밀도: 이 데이터셋은 롱테일 분포의 군중 밀도를 보이며, 프레임당 최대 35개의 포즈를 포함하여 유사한 데이터셋의 평균 밀도보다 현저히 높습니다.
뷰포인트 및 거리: 인간의 높이에 설치된 로봇 장착 카메라로 촬영된 이 데이터셋은 360° 파노라마 뷰를 제공하며, 포즈는 평균 5~10미터 거리 내에 분포합니다. 이는 피사체가 멀리 있고(평균 약 80m) 제한된 각도에서 관찰되는 탑다운 데이터셋(예: WorldPose)과 대조됩니다.
폐쇄 및 난이도: 로봇이 피사체와 근접해 있고 장면이 붐비는 특성상, 빈번하고 심한 폐쇄, 절단된 신체, 프레임 밖으로 벗어난 신체 부위가 특징입니다. 통계에 따르면 폐쇄되거나 보이지 않는 2D 조인트의 비율이 높아, 상당 부분의 포즈가 3D 복구에 있어 "어려움(hard)" 단계로 분류됩니다.
주석 품질: 수동 검증 과정을 통해 고품질의 시간적 일관성을 갖춘 주석을 확보하였으며, 이는 견고한 멀티 퍼슨 3D 포즈 추정 및 추적을 벤치마킹하는 데 적합합니다.

의의

본 논문은 JRDB-Pose3D가 사회적 인지 기반의 다운스트림 태스크 연구를 진전시키는 데 필수적인 자원이라고 주장합니다. 실제 로봇 인지의 복잡성, 즉 빈번한 폐쇄와 다양한 상호작용이 존재하는 붐비고 역동적인 환경을 밀접하게 반영하는 테스트베드를 제공함으로써, 더 견고한 멀티 퍼슨 3D 포즈 추정, 추적 및 포즈 예측 방법의 개발과 평가를 가능하게 합니다. HPS와 사회적/세만틱 데이터를 결합한 포괄적인 주석의 특성은 이 데이터셋을 통제된 실험실 환경을 넘어 인류 중심의 장면 이해를 위한 통합적인 벤치마크로 자리매김하게 하며, 인더와일드(in-the-wild) 응용 분야의 과제를 해결할 수 있게 합니다.