기술 요약: 3D 군중 메쉬 복원을 위한 대비적 다중 모달 초그래프 추론

문제 정의

다중 인물의 3D 재구성은 가상 현실, 군중 분석, 인간 상호작용 응용 분야에서 필수적입니다. 그러나 심각한 인물 간 가림, 복잡한 공간 배치, 그리고 내재된 깊이 모호성으로 인해 실제 세계의 혼잡한 환경에서 정확한 3D 메쉬를 복원하는 것은 여전히 formidable한 과제입니다.

현재 최첨단 접근법들은 두 가지 주요 한계에 직면해 있습니다:

1. 단일 모달 의존성: 대부분의 방법은 RGB 이미지나 2D 키포인트에만 의존합니다. 고립된 개인에게는 충분할 수 있으나, 이러한 입력은 명시적인 기하학적 지침이 부족하여 깊이 모호성과 밀집된 군중에서의 취약성을 초래합니다.
2. 고립된 재구성: 기존 방법들은 종종 개인을 고립적으로 재구성하거나 쌍별 상호작용에 의존합니다. 이는 개인이 심하게 가려졌을 때 모호성을 해결하는 데 필요한 집단적 그룹 문맥과 고차원적 교차-주제 사전 지식을 간과합니다. furthermore, 보조 모달리티 (예: LiDAR, Radar) 를 통합하는 접근법들은 종종 교차 모달 정보를 완전히 활용하지 못하는 얕은 융합 방식을 사용합니다.

방법론: CoMHR

저자들은 고차원 위상 구조 내에서 의미론적, 기하학적, 포즈 단서를 시너지 효과 내도록 설계된 대비적 다중 모달 초그래프 추론 (Contrastive Multi-modal Hypergraph Reasoning, CoMHR) 프레임워크를 제안합니다. 파이프라인은 세 가지 주요 단계로 구성됩니다:

1. 다중 모달 노드 초기화

가려진 장면에서 단일 모달 단서의 불확실성을 완화하기 위해, CoMHR 은 감지된 각 개인에 대해 세 가지 보완적 모달리티를 융합하여 견고한 노드 표현을 초기화합니다:

• 시각적 의미론적 인코딩: 고해상도 이미지 패치는 ResNet 백본을 통해 처리되어 RGB 특징 ($F_{rgb}$) 을 추출합니다.
• 기하학적 구조 인코딩: Depth Anything V2를 사용하여 의사-깊이 맵 (pseudo-depth map) 이 생성됩니다. 단일 채널 깊이 패치는 RGB 특징의 깊이 부족을 해결하는 기하학적 순서 단서 ($F_{depth}$) 를 제공하기 위해 인코딩됩니다.
• 가림 인지 포즈 인코딩: 2D 관절은 OpenPose 를 통해 추정됩니다. 가시성 마스크는 낮은 신뢰도 관절을 필터링하고, 유효 관절은 깊이 값과 함께 샘플링되어 3D 벡터를 형성합니다. 이들은 경량 1D 합성곱 인코더를 처리하여 가림 하에서도 골격 사전 지식을 포착하는 포즈 임베딩 ($F_{pose}$) 을 산출합니다.
• 골반 안내 전역 공간 임베딩: **골반 깊이 지시자 ($T_z$)**는 가시된 엉덩이 관절의 평균 깊이로 계산됩니다. 이는 개인 간의 앞뒤 순서를 명시적으로 강제하는 전역 공간 앵커 역할을 합니다. $T_z$는 공간 인식 부족을 보완하기 위해 RGB 특징과 연결됩니다.

이러한 특징들은 통합된 잠재 공간에 매핑되어 집계된 노드 표현 ($h_{agg}$) 을 형성하기 위해 연결됩니다.

2. 대비적 초그래프 구성

사전 정의된 위상 구조 대신, CoMHR 은 집계된 특징에 기반하여 **공유 위상 초그래프 (Shared-Topology Hypergraph)**를 동적으로 구성합니다.

• 동적 초엣지 생성: $h_{agg}$에서 글로벌 친밀도 행렬이 계산되어 각 노드에 대한 $K$-최근접 이웃을 식별하고, 고밀도 하위 그룹 (초엣지) 을 형성합니다. 이는 모든 모달리티 (RGB, 깊이, 포즈) 에 걸쳐 일관된 위상을 보장합니다.
• 초그래프 대비 학습: 공유 위상의 품질을 보장하기 위해, 이중 분기 대비 학습 전략이 집계 이전에 특징 공간을 정규화합니다:
  • 모달 내 대비 학습: 유사한 실제 3D 포즈를 가진 노드는 양의 쌍으로 간주됩니다. 손실 함수는 모달 내 거리를 최소화하여 각 모달리티 내에서 더 긴밀한 의미론적 클러스터링과 구조적 일관성을 강제합니다.
  • 교차 모달 대비 학습: 동일 노드의 서로 다른 모달리티 간의 코사인 유사도에 직교성 제약이 적용됩니다. 이는 교차 모달 보완성을 강제하여 특징 오염을 방지하고 이질적인 모달리티가 고유한 특성을 포착하도록 보장합니다.

3. 다중 모달 초그래프 추론 및 회귀

공유 초그래프 위상을 사용하여, 프레임워크는 2 단계 메시지 전달 메커니즘을 통해 고차원 추론을 수행합니다:

1. 노드에서 초엣지로 집계: 초엣지 내 개인들로부터 정보가 집계되어 집단 수준 표현을 형성하며, 집단적 패턴 (예: 공유 운동) 을 포착합니다.
2. 초엣지에서 노드로 업데이트: 집단 특징이 개별 노드 특징을 정제하기 위해 다시 전파됩니다. 이를 통해 네트워크는 집단적 그룹 역학을 활용하여 가려진 대상에 대한 누락된 단서를 추론할 수 있습니다.

마지막으로, 정제된 다중 모달 특징은 바운딩 박스 임베딩과 연결되어 포즈 ($\theta$), 모양 ($\beta$), 카메라 매개변수를 예측하는 SMPL 회귀기에 입력됩니다. 네트워크는 2D 재투영, SMPL 매개변수, 3D 관절 좌표, 그리고 대비 정규화 항을 결합한 다목적 손실 함수를 사용하여 엔드-투-엔드 방식으로 훈련됩니다.

주요 기여

1. 다중 모달 초그래프 프레임워크: 저자들은 RGB, 깊이, 포즈 특징을 시너지 효과 내어 고차원 상관관계를 명시적으로 모델링하여 견고한 재구성을 가능하게 하는 새로운 프레임워크를 제안하며, 쌍별 제약을 넘어섭니다.
2. 초그래프 대비 학습: 모달 내 판별력을 향상시키고 교차 모달 보완성을 강화하기 위한 새로운 학습 전략이 도입되었습니다. 이는 모달리티 간 직교성을 강제하고 모달 내 유사한 동작을 클러스터링함으로써 특징의 견고성을 보장합니다.
3. 최첨단 성능: 광범위한 실험은 기존 방법들에 비해 정확도, 공간 일관성, 계산 효율성 측면에서 우수한 성능을 달성함을 입증합니다.

실험 결과

이 방법은 Panoptic Studio 및 GigaCrowd 벤치마크에서 평가되었습니다.

• Panoptic 데이터셋: CoMHR 은 평균 관절 위치 오차 (MPJPE) 를 104.2 mm로 달성하여 GroupRec (106.6 mm), BEV (109.5 mm), ROMP (128.2 mm) 와 같은 이전 최첨단 방법들을 능가했습니다. 특히, 까다로운 "Pizza" 시퀀스에서는 BEV 대비 7.6 mm, ROMP 대비 20.0 mm 오차를 감소시켰습니다.
• GigaCrowd 데이터셋: 대규모 밀집 군중 시나리오에서 CoMHR 은 모든 지표에서 GroupRec 및 기타 베이스라인을 크게 능가했습니다:
  • OKS (포즈 일관성): GroupRec 대비 7.3% 향상 (78.11 대 70.80).
  • PA-PPDS (공간 일관성): 8.5% 향상 (75.74 대 67.22).
  • PCOD (메쉬 정렬): 22.9% 증가 (94.35 대 71.42).
  • RP (재구성 충돌): 0.00 을 달성하여 재구성 충돌을 완전히 제거했으며, GroupRec 은 0.17 이었습니다.
• 정성적 분석: 시각적 비교는 CoMHR 이 부유하는 발, 떠도는 몸체, 잘못된 깊이 순서와 같은 베이스라인의 일반적인 실패 모드를 피하면서 정확한 상대적 깊이 순서를 가진 공간적으로 일관된 메쉬를 생성함을 보여줍니다.
• 절대 실험 (Ablation Studies): 각 구성 요소가 유의미하게 기여함을 확인했습니다. 전체 모델 (RGB + 깊이 + 포즈 + $T_z$ + 대비 학습) 은 최저 MPJPE (104.18 mm) 를 달성하여 다중 모달 융합, 번역 정제, 대비 정렬의 필요성을 입증했습니다.

중요성 및 주장

이 논문은 CoMHR 이 고립된 단일 모달 처리에서 집단적 다중 모달 추론 패러다임으로 전환함으로써 다중 인물 3D 재구성의 깊이 모호성과 가림이라는 핵심 병목 현상을 해결한다고 주장합니다.

저자들은 그들의 접근법이 다음과 같음을 강조합니다:

• 보완적 모달리티의 시너지: 기하학적 사전 지식을 위한 기반 모델 (Depth Anything, OpenPose) 을 활용하고 이를 RGB 의미론과 융합함으로써, 개별 단서가 손상되더라도 견고한 제약을 생성합니다.
• 고차원 역동성 모델링: 초그래프의 사용은 시스템이 그룹 수준의 상호작용을 포착하고 가려진 대상에 대한 누락된 정보를 추론할 수 있게 하며, 이는 쌍별 또는 인스턴스 중심 접근법에서 결여된 능력입니다.
• 견고성 보장: 대비 학습 메커니즘은 특징을 명시적으로 정렬하고 분리하여 교차 모달 오염을 방지하고 네트워크가 전역 문맥을 효과적으로 전파하도록 보장합니다.

이 연구는 전통적인 방법이 실패하는 극도로 밀집되고 가려진 환경에서 정확하고 견고한 솔루션을 제공함으로써 3D 군중 메쉬 복원을 위한 새로운 최첨단을 확립합니다. 재현성을 촉진하기 위해 코드와 사전 훈련된 모델이 공개되었습니다.