기술 요약: 다중 뷰 다중 인물 3D 포즈 추정을 위한 메쉬 인식 에피폴라 매칭 (MAEM)

문제 제기

특히 농구와 같은 팀 스포츠에서의 다중 뷰 다중 인물 3D 포즈 추정은 높은 선수 밀도, 빈번한 상호 가림, 그리고 동일한 팀 유니폼으로 인한 시각적 모호성으로 인해 상당한 도전에 직면해 있습니다. 이러한 요소들은 기존 교차 뷰 연관 단서의 효과를 저하시킵니다:

• 희소 키포인트: 다른 선수들에 의해 자주 가려져 모호한 기하학적 증거를 초래합니다.
• 외관 특징: 동일한 팀 유니폼 아래에서 구별 불가능해져 재식별 실패를 유발합니다.
• 학습 기반 방법: 통제된 환경에서는 효과적이지만, 대규모 주석 달린 다중 뷰 데이터를 필요로 하며 카메라 구성 변경에 민감하여 레이블이 부족한 실제 세계 시나리오로의 일반화를 제한합니다.

기존의 학습이 필요 없는 방법들은 희소 골격 키포인트나 외관 특징에 의존하는데, 이는 경쟁 스포츠에서 전형적인 가림과 균일한 외관 조건 하에서 동시에 실패합니다. 반면, 바디 메쉬 사전 지식을 활용하는 방법들은 종종 메쉬 복원을 주 연관 메커니즘이 아닌 사후 정제로 취급하거나, 빽빽하게 붐비는 환경에서 검증되지 않은 채 남아 있습니다.

방법론: 메쉬 인식 에피폴라 매칭 (MAEM)

MAEM은 타겟 도메인 학습 없이 견고한 교차 뷰 인물 연관 및 3D 포즈 재구성을 수행하도록 설계된 학습이 필요 없는 프레임워크입니다. 파이프라인은 세 단계로 구성됩니다:

단계 1: 단일 뷰 인간 메쉬 복원

시스템은 각 카메라 뷰를 독립적으로 처리하는 모노큘러 프론트엔드로 SAM 3D Body를 사용합니다. 감지된 모든 인물에 대해 모델은 다음을 출력합니다:

• 감지 신뢰도 점수가 포함된 바운딩 박스.
• 18,439 개의 꼭짓점을 가진 Momentum Human Rig 표현 기반의 3D 골격 키포인트 및 3D 바디 메쉬.
• 이미지 평면으로 투영된 키포인트 및 조밀한 메쉬 꼭짓점의 2D 투영.
• 기하학적 일관성을 보장하기 위해 추론 전에 어안 렌즈 왜곡 보정이 적용됩니다.

단계 2: 2 단계 교차 뷰 매칭 및 클러스터링

이 단계는 2 단계 기하학적 필터링 전략을 사용하여 뷰 간 감지들을 연관시키는 핵심 문제를 해결합니다:

1. 대략적 재투사 필터:

   • 서로 다른 뷰에서 감지된 후보 쌍은 Direct Linear Transform(DLT) 을 사용하여 바운딩 박스 중심을 삼각측량하여 평가됩니다.
   • 결과 3D 점은 두 뷰 모두로 재투사되며 평균 재투사 오차가 계산됩니다. 임계값을 초과하는 쌍은 기하학적으로 불가능한 후보를 제거하기 위해 폐기됩니다.

2. 조밀한 메쉬 에피폴라 필터:

   • 남은 후보들은 희소 키포인트가 아닌 투영된 조밀한 2D 표면 꼭짓점을 사용하여 엄격한 일관성 검사를 받습니다.
   • 메쉬 모델의 고정된 토폴로지를 활용하여, 뷰 간 대응 꼭짓점들은 기본 행렬에서 유도된 에피폴라 선과 비교됩니다.
   • 모든 메쉬 꼭짓점 ($N_v = 18,439$) 에 대한 평균 점 - 에피폴라선 거리가 일관성 지표로 사용됩니다. 이 조밀한 기하학적 신호는 희소 키포인트가 실패하는 가림과 균일한 외관 조건에서도 견고합니다.

3. 최적 할당 및 클러스터링:

   • 유효한 쌍은 3D 키포인트 간의 Procrustes 정렬 MPJPE(PA-MPJPE) 비용을 최소화하기 위해 헝가리안 알고리즘을 통해 할당됩니다.
   • Union-Find 클러스터링은 쌍별 매칭을 다중 뷰 인물 클러스터로 병합합니다.
   • 충돌 해결 단계는 클러스터 내에서 동일한 카메라의 중복 감지를 반복적으로 제거하고 가장 낮은 비용을 가진 매칭을 유지합니다.

단계 3: 키포인트별 RANSAC 삼각측량

설정된 각 인물 클러스터에 대해, 최종 3D 포즈는 각 관절마다 독립적으로 재구성됩니다:

• 모든 뷰 조합의 2D 키포인트 쌍을 삼각측량하여 후보 3D 가설을 생성합니다.
• RANSAC은 재투사 오차가 임계값 이하인 인라이어 뷰의 수를 최대화하는 최적의 뷰 쌍을 식별합니다.
• 최종 3D 관절 위치는 모든 인라이어 뷰를 사용하여 신뢰도 가중 DLT 삼각측량으로 계산됩니다.

주요 기여

1. 연관 단서로서의 조밀한 메쉬: 이 프레임워크는 투영된 조밀한 모노큘러 메쉬 꼭짓점을 에피폴라 검증 단서로 직접 활용하는 새로운 파이프라인을 도입합니다. 이는 희소 키포인트나 외관에 의존하는 기존 방법과 달리, 중대한 가림과 균일한 유니폼 하에서도 견고한 풍부한 기하학적 커버리지를 제공합니다.
2. 2 단계 매칭 메커니즘: 대략적인 바운딩 박스 재투사 필터와 조밀한 메쉬 에피폴라 필터의 조합은 잘못된 대응을 효과적으로 억제합니다. 제거 실험은 이 캐스케이드가 희소 키포인트 대안보다 팀 스포츠의 모호성을 처리하는 데 구조적으로 필요함을 확인시켜 줍니다.
3. 학습이 필요 없는 일반화: MAEM 은 타겟 도메인 네트워크 학습이나 미세 조정이 없이 다양한 실내 및 실외 농구 시나리오에서 경쟁력 있는 정확도를 달성하여, 주석 달린 다중 뷰 데이터의 부족 문제를 해결합니다.

실험 결과

이 방법은 두 개의 공개 다중 뷰 농구 데이터셋인 SportCenter EPFL(실내, 6 개 카메라) 과 Human-M3 Basketball(실외, 3~4 개 카메라) 에서 평가되었습니다.

• SportCenter EPFL: MAEM 은 재현율 99.6%, MPJPE 59.8 mm, PA-MPJPE 40.7 mm를 달성했습니다. 이는 PA-MPJPE 매칭 베이스라인 (재현율: 86.3%, MPJPE: 65.7 mm) 을 크게 능가했으며, 극심한 국소화 드리프트로 인해 외관 기반 방법 (MVPose) 을 무효화했습니다.
• Human-M3 Basketball: MAEM 은 RGB 입력만 사용하여 MPJPE 74.0 mm 및 PA-MPJPE 51.8 mm를 달성했습니다. LiDAR 융합 MMVP 방법 (98.4%) 에 비해 재현율 (83.7%) 은 낮았지만, MAEM 은 엄격한 임계값에서 더 우수한 정밀도 (AP@75: 76.6% 대 MMVP 의 43.6%) 를 보여주어 더 세분화된 공간 국소화를 나타냈습니다.
• 제거 실험: 조밀한 메쉬 필터를 제거하거나 희소 키포인트로 대체하면 성능이 크게 저하되었습니다 (예: 희소 키포인트 사용 시 재현율이 83.7% 에서 47.5% 로 하락). 이는 견고한 연관을 위한 조밀한 기하학적 증거의 필요성을 입증했습니다.

중요성 및 주장

본 논문은 조밀한 바디 표면 기하학이 희소 키포인트나 외관 특징보다 교차 뷰 연관을 위한 훨씬 더 풍부한 신호를 제공한다고 주장하며, 특히 선수들이 유사한 포즈를 취하거나 동일한 유니폼을 착용하는 시나리오에서 그렇다고 합니다. 저자들은 MAEM 이 타겟 도메인 학습 없이 조밀한 메쉬 기하학의 실용적 유용성을 입증한다고 주장합니다.

이 프레임워크는 팀 스포츠에서 주석 달린 다중 뷰 데이터 부족이라는 병목 현상에 대한 해결책으로 제시됩니다. 모노큘러 메쉬 복원에서 유도된 견고한 기하학적 증거로 취약한 연관 신호를 대체함으로써, MAEM 은 다양한 카메라 구성에 걸쳐 견고한 다중 인물 매칭을 가능하게 합니다. 저자들은 정확도가 프론트엔드 메쉬 복원 모델 (심각한 가림 하에서 실패할 수 있음) 에 의해 제한되며 조밀한 메쉬 에피폴라 필터가 계산 오버헤드를 도입한다는 한계를 인정합니다. 그러나 이 연구는 복잡하고 실제적인 스포츠 환경에서 학습이 필요 없고 외관에 구애받지 않는 3D 포즈 추정을 위한 새로운 방향을 제시합니다.