기술 요약: LiCamPose

문제 정의

다중 뷰 이미지 기반 방법론은 단순한 조건에서 3D 인간 자세 추정에 만족스러운 성능을 달성해 왔으나, RGB 이미지와 희소 LiDAR 점군 데이터를 결합한 멀티모달 입력으로부터 3D 인간 골격을 추출하는 접근법에는 상당한 격차가 존재합니다. 실제 시나리오는 다양한 인간 동작, 심각한 가림 현상, 대규모 장면 규모와 같은 도전을 제시하며, 기존 공개 데이터셋은 이를 포착하는 데 종종 실패합니다. 또한, 크고 복잡한 장면에서 여러 개인의 3D 자세를 수동으로 주석하는 것은 시간 소모가 크고 어렵기 때문에, 광범위한 레이블이 지정된 데이터에 의존하지 않고 견고한 모델을 훈련하는 것을 방해합니다.

방법론

저자들은 단일 타임스탬프의 다중 뷰 LiDAR 및 RGB 입력으로부터 견고한 3D 인간 자세를 추정하도록 설계된 LiCamPose 파이프라인을 제안합니다. 이 방법론은 세 가지 핵심 구성 요소를 중심으로 구조화되어 있습니다:

1. 볼륨형 멀티모달 퓨전

LiCamPose 는 탑다운 (top-down) 접근 방식을 채택합니다. 먼저 PointPillars 를 사용하여 개인별 3D 바운딩 박스를 감지합니다. 감지된 각 사람에 대해 시스템은 점군의 중심을 기준으로 한 볼륨형 공간을 정의합니다.

• 점군 처리: 희소 점군은 볼륨 격자 ($X \times Y \times Z$) 로 이산화되며, 점이 포함된 볼륨은 값 1 을 할당받습니다. V2V-Net 이 점군 관련 특징 ($f_p$) 을 추출합니다.
• RGB 처리: 오프더셸 (off-the-shelf) 감지기를 사용하여 다중 뷰의 RGB 이미지에서 2D 자세 히트맵이 생성됩니다. 이러한 히트맵은 동일한 볼륨형 공간으로 역투영되며, V2V-Net 이 RGB 관련 특징 ($f_c$) 을 추출합니다.
• 퓨전: 두 모달리티의 특징은 3D 특징 공간에서 연결되어 Fusion-Net 에 의해 처리되어 최종 3D 인간 자세 히트맵을 생성합니다. 관절 좌표는 양자화 오차를 최소화하기 위해 Soft-argmax 를 사용하여 유도됩니다.

2. 합성 데이터 생성 (SyncHuman)

주석된 다중 뷰 LiDAR-RGB 데이터셋의 부족을 해결하기 위해, 저자들은 Unity 엔진을 기반으로 한 합성 데이터 생성기인 SyncHuman을 개발했습니다.

• 센서 시뮬레이션: RGB 카메라와 LiDAR 스캐너 (특히 Livox Mid-40 및 Mid-100 스캐닝 패턴을 모방) 를 시뮬레이션하여 컬러 점군과 깊이 맵을 생성합니다.
• 아바타 애니메이션: 아바타는 공개 모션 캡처 데이터셋 (예: AMASS) 의 액션 파일 또는 키프레임 주석에 의해 구동되어 다양하고 복잡한 인간 동작을 보장합니다.
• 정답 (Ground Truth): 시스템은 정확한 3D 자세 정답, 2D 자세 레이블, 그리고 점군에 대한 의미론적 분할을 제공합니다.

3. 비지도 도메인 적응

수동 3D 주석 없이 합성 데이터에서 실제 시나리오로 모델을 이전하기 위해, 저자들은 복합 손실 함수를 활용하는 비지도 도메인 적응 전략을 제안합니다:

• 의사 2D 감독: 오프더셸 2D 자세 추정기가 의사 2D 레이블을 생성하며, $L_{2D}$ 손실은 투영된 3D 자세를 이러한 레이블과 정렬합니다.
• 엔트로피 기반 의사 3D 감독: 시스템은 예측된 3D 관절 히트맵의 정보 엔트로피를 계산합니다. 높은 엔트로피는 불확실성을 나타냅니다. 저자들은 엔트로피가 임계값 ($\lambda$) 이하인 예측만 필터링하여 다음 훈련 에포크를 위한 신뢰할 수 있는 의사 3D 레이블 ($L_{3D}$) 로 선택합니다.
• 인간 사전 손실: 해부학적 타당성을 보장하기 위해, 비현실적인 뼈 길이, 비대칭적인 팔다리 길이, 그리고 비합리적인 관절 각도 (특히 코 - 목 - 중간 엉덩이 및 엉덩이 - 무릎 - 발목 각도) 를 패널티로 부과하는 사전 손실 ($L_{prior}$) 이 도입됩니다.

주요 기여

1. LiCamPose 파이프라인: 단일 타임스탬프에서 여러 개인의 3D 자세를 추정하기 위해 볼륨형 공간 내에서 다중 뷰 희소 점군과 RGB 정보를 융합하는 새로운 프레임워크.
2. SyncHuman 생성기: 다양한 센서 구성 하에서 정확한 3D 자세 정답을 갖춘 다양한 멀티모달 데이터를 생성할 수 있는 합성 데이터 생성 도구 및 BasketBall 데이터셋 (농구 경기의 실제 4 뷰 LiDAR-카메라 데이터셋) 생성.
3. 비지도 훈련 전략: 합성 데이터로 사전 훈련하고 엔트로피 기반 의사 레이블 및 인간 사전 제약을 사용하여 실제 데이터에 적응함으로써 수동 3D 주석을 피하는 방법.

실험 결과

이 방법은 CMU Panoptic Studio, MVOR, 자체 수집된 BasketBall 데이터셋, 그리고 합성 BasketBallSync 등 네 가지 데이터셋에서 평가되었습니다.

• 성능: LiCamPose 는 평균 관절 위치 오차 (MPJPE) 와 프로크루스테스 정렬 MPJPE(PA-MPJPE) 측면에서 기존 지도 학습 방법 (VoxelPose 및 PlaneSweepPose 등) 보다 우수한 성능을 보였으며, 특히 BasketBallSync 와 같은 대규모 장면 설정에서 두드러졌습니다.
• 비지도 능력: LiCamPose 의 비지도 버전은 강력한 일반화 능력을 보여주었으며, Panoptic 데이터셋에서 일부 지도 학습 다중 뷰 RGB 전용 방법보다 더 나은 성능을 발휘하기도 했습니다.
• 모달리티 분석: 실험은 희소 점군만으로는 정확한 골격 추출이 불충분하지만, 이를 RGB 데이터와 융합하면 가림 현상과 2D 자세 추정 오류에 대한 견고성이 크게 향상됨을 확인했습니다.
• 어블레이션 연구: 이 연구는 합성 센서 설정을 대상 데이터셋과 정렬하면 전이 성능이 향상됨을 검증했습니다. 또한, 손실 함수의 어블레이션은 엔트로피 기반 3D 감독과 인간 사전 손실이 모두 성능에 결정적임을 확인했습니다.
• 엔트로피 분석: 저자들은 엔트로피 값과 자세 합리성 사이의 상관관계를 관찰하여, 엔트로피가 신뢰할 수 없는 예측을 필터링하는 신뢰도 지표로 효과적으로 기능할 수 있음을 입증했습니다.

중요성과 주장

이 논문은 LiCamPose 가 복잡하고 실제적인 시나리오에서 견고한 3D 인간 자세 추정을 위해 "뛰어난 일반화 성능과 상당한 응용 잠재력"을 보인다고 주장합니다. LiDAR 와 RGB 데이터를 통합함으로써, 이 방법은 정밀한 장거리 깊이 측정과 고해상도 텍스처의 상호 보완적 특성을 활용하여 단일 뷰 또는 RGB 전용 방법의 고질적인 문제인 가림 현상의 영향을 완화합니다.

저자들은 합성 사전 훈련과 비지도 도메인 적응을 통해 비용이 많이 드는 수동 3D 주석에 대한 의존성을 줄인다고 강조합니다. 그들은 최소한의 센서 설정이 유리한 스포츠 분석 (BasketBall 데이터셋을 통해 입증됨) 및 감시와 같은 시나리오에서 시스템의 실용적 유용성을 강조합니다. 논문은 볼륨형 아키텍처가 두 모달리티의 기하학적 특성을 효과적으로 보존하여 정확한 단일 타임스탬프 3D 자세 추정을 가능하게 한다고 결론지었습니다.