Pose Splatter: A 3D Gaussian Splatting Model for Quantifying Animal Pose and Appearance

기술 요약: Pose Splatter

문제 정의

동물의 자세(pose)와 외형(appearance)을 정확하고 확장 가능하게 정량화하는 것은 신경과학 연구, 특히 신경 질환과 관련된 미세한 행동 변화를 연구하는 데 필수적입니다. 현재의 3D 자세 추정 기술은 다음과 같은 중대한 한계에 직면해 있습니다:

• **키포인트 기반 방식(Keypoint-based methods)**은 희소한 해부학적 랜드마크에 의존하며, 이는 노동 집약적인 수동 주석(annotation)을 필요로 할 뿐만 {전신 기하 구조, 색상 또는 질감을 포착하지 못합니다.
• **메쉬 기반 방식(Mesh-based methods)**은 완전한 표면 재구성을 제공하지만, 일반적으로 프레임당 최적화가 필요하고 특수한 템플릿 모델(예: SMAL)이 필요하며, 보지 못한 자세나 다른 종에 대해 일반화하는 데 어려움을 겪는 경우가 많습니다.
• 기존의 3D 가우시안 스플래팅(3DGS) 접근 방식은 일반적으로 장면당 최적화에 의존하거나 밀집된 다중 뷰 중첩을 가정하므로, 뷰 간 중첩이 최소한인 희소 뷰(sparse-view) 동물 재구성에는 적합하지 않습니다.

이러한 병목 현상은 유전자형, 신경 활동 및 행동을 고해 resolución로 매핑하는 데 필요한 대규모 종단적 행동 분석을 저해합니다.

방법론: Pose Splatter

Pose Splatter는 수동 주석, 프레임당 최적화 또는 종 특화 템플릿 없이 실험 동물의 완전한 3D 자세와 외형을 재구성하기 위해 셰이프 카빙(shape carving)과 3D 가우시안 스플래팅(3DGS)을 활용하는 피드포워드(feed-forward) 프레임워크입니다.

핵심 파이프라인

1. 마스크 생성: 시스템은 사전 학습된 Segment Anything Model (SAM2)을 사용하여 다중 뷰 비디오 프레임에서 전경 마스크를 생성함으로써 수동 레이블링의 필요성을 제거합니다.
2. 자세 및 회전 추정: 회전 불변성을 보장하기 위해, 시스템은 마스크 중심점의 견고한 삼각 측량을 통해 동물의 3D 중심을 추정합니다. 방위각 회전(azimuthal rotation)은 시간에 따라 부드럽게 추적되는 동물의 질량에 적합한 3D 가우시안 분포의 주축으로부터 도출됩니다.
3. 셰이프 카빙(Shape Carving): 다중 뷰 마스크는 공유된 3D 복셀 그리드로 역투영되어 거친 "비주얼 헐(visual hull)"을 생성합니다. 시각적 원뿔(visual cones)의 교차 영역 밖에 있는 복셀은 제거됩니다. 색상은 폐쇄(occlusion)를 처리하기 위해 가시성과 가중 평균을 기반으로 남은 복셀에 할당됩니다.
4. 정밀화 및 디복셀화(De-voxelization):
   • 스택형 3D U-Net 아키텍처가 거친 복셀 볼륨을 정밀화하여 점유 채널(occupancy channel)과 추가적인 특징 채널을 생성합니다.
   • 소형 다층 퍼셉트론(MLP)은 복셀 특징을 처리하여 3D 변위 벡터, 공분산 행렬 및 외형 특징을 예측합니다.
   • 결정적으로, 가우시안의 평균 위치는 예측된 변위를 복셀 좌표에 더함으로써 계산되며, 이는 미세한 기하 구조를 포착하기 위해 표현을 "디복셀화"하는 효과를 줍니다.
5. 렌더링: 결과물인 3D 가우시안 파라미터는 표준 가우시안 스플래팅을 통해 렌더링되어 새로운 시점으로부터 고충실도 이미지를 생성합니다.

시각적 임베딩 기술

하위 단계의 행동 분석을 용이하게 하기 위해, 저자들은 회전 불변 시각적 임베딩을 제안합니다:

• 렌더링: 3D 가우시안 장면은 동물을 둘러싼 구체 위에 분포된 32개의 가상 카메라로부터 렌더링됩니다.
• 인코딩: 각 224×224 렌더링은 사전 학습된 ResNet-18을 통과하여 512차원 특징 벡터를 추출합니다.
• 구면 조화 함수 확장(Spherical Harmonic Expansion): 특징은 절단된 구면 조화 함수 기저를 사용하여 확장됩니다. 수평(방위각) 회전에 대한 불변성을 달ermat하기 위해, 위상 의존성을 제거하는 조화 계수의 제곱 크기가 사용됩니다.
• 적대적 PCA(Adversarial PCA): (불균일한 조명으로 인해 발생할 수 있는) 동물의 특정 방위각 인코딩을 제거하기 위해, 회전 각도의 사인과 코사인을 예측하는 능력을 최소화하면서 자세 분산을 최대화하는 50차원 부분 공간을 찾기 위해 적대적 PCA가 적용됩니다.

주요 기여

• 주석 없는 3D 재구성: Pose Splatter는 수동 랜드마크 주석 없이 완전한 3D 동물 기하 구조와 외형을 복구하여 키포인트 기반 방식의 확장성 문제를 해결합니다.
• 템플릿 및 최적화 불필요: 메쉬 기반 접근 방식과 달리, 이 모델은 단일 피드포워드 패스를 통해 추론을 수행하며 종 특화 템플릿이나 프레임당 최적화를 요구하지 않습니다.
• 희소 뷰 강건성: 본 프레임워크는 기존의 피드포워드 3DGS 방식이 실패하기 쉬운 환경인, 뷰 간 중첩이 최소한인 희소 뷰 설정(4~6대의 카메라)에 맞춤 설계되었습니다.
• 효율성: 모델은 낮은 메모리 점유율(약 2.5 GB VRAM)로 작동하며 프레임당 약 30ms의 추론 속도를 달성하여, 최적화 기반 베이스라인보다 훨씬 빠릅니다.
• 회전 불변 임베딩: 제안된 시각적 임베딩은 동물의 위치와 수평 회전에 불변하며, 행동 분석에 적합한 압축된 저차원 기술자(descriptor)를 제공합니다.

실험 결과

저자들은 생쥐(mice), 쥐(rats), 제브라 핀치(zebra finches) 데이터셋에 대해 Pose-Splatter를 평가했습니다.

• 렌더링 품질: Pose Splatter는 IoU, L1 색상 오차, PSNR, SSIM 등의 지표에서 최첨단 희소 뷰 3DGS 베이스라인(3DGS, FSGS, GaussianObject 포함) 및 피드포워드 방식(PixelSplat, MVSplat)보다 우수한 성능을 보였습니다. 특히, GaussianObject와 같은 최적화 기반 방식은 유사한 지표를 달성했지만 장면당 약 1시간의 최적화가 필요했던 반면, Pose Splatter는 단 ~30ms만을 필요로 했습니다.
• 일반화: 모델은 강력한 교차 종 일반화 능력을 입증했습니다. 한 종(예: 생쥐)에 대해 학습된 모델은 다른 종(예: 쥐)의 보지 못한 뷰를 약간의 성능 저하만으로 재구성할 수 있었으며, 이는 학습된 표현이 일반화 가능한 동물 형태 특징을 포착함을 시사합니다.
• 행동 분석:
  • 최근접 이웃 선호도: 102명의 참가자를 대상으로 한 연구에서, 시각적 임베딩은 수동 주석 데이터에서 유도된 3D 키포인트보다 유사한 자세를 식별하는 데 있어 선호되었습니다 (54% 대 50%).
  • 미세한 움직임 탐지: 시각적 임베딩은 깃털 확장이나 머리 흔들기와 같은 자세의 미세한 변화를 성공적으로 포착했으며, 이는 임베딩의 주성분(principal components)에 반영되었습니다.
  • 하위 단계 예측: 시각적 임베딩은 수동 감독 없이도 로지스틱 회귀를 사용하여 수동으로 주석 처리된 행동(8개 중 6개)을 예측하는 데 있어 3D 키포인트보다 우수한 성능을 보였습니다.

의의 및 주장

본 논문은 Pose Splatter가 수동 주석과 계산 최적화라는 병목 현상을 제거함으로써 대규모 종단적 동물 행동 분석을 가능하게 한다고 주장합니다. 정확한 3D 기하 구조와 회전 불변 시각적 기술자를 제공함으로써, 이 프레임워크는 행동의 유전적 및 신경적 근간에 대한 더 깊은 이해를 촉진합니다.

저자들은 현재 방식이 단일 개체 기록을 위해 설계되었으며 다수 개체 간의 상호작용 시 발생하는 장기적인 폐쇄(occlusion) 상황에서 어려움을 겪을 수 있다는 점을 언급하며 한계를 인정했습니다. 또한 시각적 임베딩이 효과적이긴 하지만, 해석력과 직접적인 교차 종 비교를 개선하기 위한 추가 연구가 필요하다고 밝혔습니다. 그럼에도 불구하고, 이 프레임워크는 신경과학 분야에서 확장 가능한 고해상도 행동 정량화를 향한 중요한 진전입니다.