기술 요약: 희소에서 밀집으로: DenseWarper 를 통한 다중 뷰 3D 인간 자세 추정을 위한 시공간 융합

문제 제기

전통적인 다중 뷰 3D 인간 자세 추정 (3DHPE) 은 모든 카메라 뷰에서 매 시간 단계마다 동기화된 이미지를 필요로 하는'밀집 전체 프레임 (dense full-frame)'입력 패러다임에 의존하여 자세를 예측합니다. 이는 충분한 공간 정보를 제공하지만, 저자들은 이 접근법에서 세 가지 중요한 병목 현상을 식별했습니다:

1. 불필요한 계산 오버헤드: 매 프레임마다 모든 뷰를 동시에 처리하는 것은 계산 비용이 매우 큽니다.
2. 부족한 시간적 활용: 기존 방법들은 종종 인접한 프레임 간의 풍부한 시간적 의존성을 간과합니다.
3. 프레임 레이트 제한: 출력 프레임 레이트는 카메라의 샘플링 레이트에 엄격하게 묶여 있어, 하드웨어 비용을 증가시키지 않고는 고시간해상도 출력을 불가능하게 합니다.

이 논문은 밀집 동기화 입력에서 **희소 인터리브드 입력 (Sparse Interleaved Input)**패러다임으로의 전환을 제안합니다. 이 설정에서 카메라들은 (예: 카메라 1 은 $t$ 시점에, 카메라 2 는 $t+\delta$ 시점에 등) 교차된 시점에 이미지를 캡처합니다. 과제는 공간적 정확도나 시간적 연속성을 잃지 않고 이러한 희소하고 시간적으로 정렬되지 않은 입력들로부터 밀집된 고주파수 3D 자세 시퀀스를 재구성하는 데 있습니다.

방법론: DenseWarper 프레임워크

저자들은 희소 인터리브드 입력을 밀집된 시공간적으로 일관된 3D 자세 출력으로 변환하도록 설계된 DenseWarper라는 엔드 - 투 - 엔드 프레임워크를 소개합니다. 이 아키텍처는 모든 카메라가 전체 사이클을 완료할 때까지 기다리지 않고 실시간 처리를 가능하게 하는 슬라이딩 윈도우 전략을 사용합니다. 프레임워크는 세 가지 주요 단계로 구성됩니다:

1. 희소 인터리브드 입력 및 슬라이딩 윈도우

$N$개의 프레임으로 구성된 완전한 동기화 세트가 도착할 때까지 기다리는 대신, 시스템은 각 이미지가 서로 다른 뷰와 서로 다른 시간 단계에서 오는 $N$개의 이미지로 구성된 슬라이딩 윈도우를 처리합니다. 이는 어떤 뷰에서든 새로운 프레임이 도착하자마자 즉시 처리를 가능하게 하며, 이전 단계에서 캐시된 히트맵을 재사용하여 연속성을 유지합니다.

2. 에피폴라 기하학을 통한 공간 보정

첫 번째 핵심 모듈은 뷰 간의 시간 차이로 인해 발생하는 공간적 정렬 불일치를 해결합니다.

• 히트맵 확장: 각 뷰에 대해 초기 2D 히트맵이 생성됩니다. 특정 뷰의 누락된 프레임은 기존 히트맵을 복제하여 초기에 채워져, 시간 전반에 걸쳐'희소'한 히트맵 세트를 만듭니다.
• 에피폴라 보정: 복제된 히트맵에는 시공간 오프셋이 포함되어 있으므로, 모델은 에피폴라 기하학을 사용하여 이를 보정합니다. 한 뷰의 점 $q$에 대해 다른 뷰의 대응점은 기본 행렬 $F$로 정의된 에피폴라 선 위에 있어야 합니다.
• 융합 전략: 정확한 대응점을 찾는 대신, 모델은 다른 뷰들의 에피폴라 선을 따라 최대 응답을 식별합니다. 이 최대 응답은 목표 위치의 히트맵을 보정하는 데 사용되어, 공간 정보를 뷰 간에 융합하여 예비 밀집 공간 보정 히트맵을 생성합니다.

3. 워퍼 (Warper) 모듈을 통한 시간 융합

두 번째 핵심 모듈인 Warper는 시간적 간극을 해결하고 자세 일관성을 정제합니다.

• 차이 학습: 모듈은 동일 뷰에 대한 공간적으로 보정된 히트맵과 원래 희소 입력 히트맵 간의 차이를 계산합니다.
• 변형 가능 합성곱: 이 차이는 확장률 (dilation rates) 이 3, 6, 12, 18, 24 인 확장 합성곱 레이어를 거친 잔여 블록 (residual blocks) 스택으로 입력됩니다. 이러한 레이어는 오프셋 맵을 예측합니다.
• 왜곡 및 집계: 예측된 오프셋은 히트맵을 변형 가능하게 왜곡 (warp) 하여 인접 프레임의 시간적 특징과 정렬하는 데 사용됩니다. 다섯 개의 왜곡된 히트맵은 합산을 통해 집계되어 공간 및 시간 정보를 모두 통합한 최종 밀집 히트맵을 생성합니다.

4. 3D 재구성

마지막으로, 밀집된 시공간적으로 풍부해진 2D 히트맵은 표준 삼각측량 방법을 사용하여 최종 3D 인간 골격을 재구성하는 데 처리됩니다.

주요 기여

1. 선구적인 작업 패러다임: 저자들은 희소 인터리브드 다중 뷰 입력을 사용하여 3D 자세 추정 작업을 정의하고 해결한 최초의 연구자입니다. 이 패러다임은 더 높은 카메라 프레임 레이트를 요구하지 않고도 카메라 수 $N$배만큼 출력 프레임 레이트를 이론적으로 증가시켜 단일 뷰 프레임 레이트 제한을 깨뜨립니다.
2. DenseWarper 프레임워크: 저자들은 공간 보정을 위해 에피폴라 기하학을 활용하고 시간 융합을 위해 변형 가능 합성곱을 사용하는 효율적인 프레임워크를 설계했습니다. 이를 통해 희소 입력을 높은 시공간 일관성을 가진 밀집 출력으로 변환할 수 있습니다.
3. 벤치마크 확립: 저자들은 수많은 최첨단 알고리즘을 재현하고 MPI-INF-3DHP데이터셋에 대한 엄격한 벤치마크를 수립하여, 이 데이터셋에 대한 2D 검출기 기반 테스트의 공백을 메웠습니다.

실험 결과

이 방법은 다양한 2D 자세 검출기 (Ground Truth, CPN, SimpleBaseline) 를 사용하여 Human3.6M및 MPI-INF-3DHP데이터셋에서 평가되었습니다.

• Human3.6M 성능:
  • Ground Truth 2D 자세를 사용할 경우, 이 방법은 평균 MPJPE 21.3 mm를 달성하여 최상의 단일 뷰 방법 (GLA-GCN: 28.5 mm) 보다 약 25% 더 우수하고, Adafuse(23.7 mm) 와 같은 밀집 다중 뷰 방법보다 약 10% 더 우수했습니다.
  • SimpleBaseline 2D 자세를 사용할 경우, 이 방법은 22.3 mmMPJPE 를 달성하여 Adafuse(28.1 mm) 와 Sgraformer(24.3 mm) 를 크게 능가했습니다.
  • P-MPJPE(프로크루스테스 정렬 오차) 측면에서 이 방법은 19.4 mm를 달성하여 Sgraformer(19.9 mm) 와 Adafuse(20.7 mm) 를 능가했습니다.
• MPI-INF-3DHP 성능:
  • 이 방법은 65.89 mmMPJPE 를 달성하여 단일 뷰 방법 (GLA-GCN: 75.00 mm) 과 밀집 다중 뷰 접근법 (Adafuse: 78.57 mm) 을 능가했습니다.
• 효율성:
  • 이 모델은 76.51M개의 파라미터를 가지며, FinePose(269.23M) 보다 현저히 적습니다.
  • 성능 효율성 (MB 당 MPJPE) 은 0.291로, GLA-GCN(0.624) 과 KTP-Former(0.367) 보다 우수합니다.
  • 평균 지연 시간은 44.51 ms로, 입력 프레임 레이트 (4f) 보다 네 배 빠른 실시간 처리를 가능하게 합니다.

의의 및 주장

이 논문은 DenseWarper 가 3D 인간 자세 추정에 밀집 동기화 다중 뷰 입력이 필요하다는 오랜 가정을 근본적으로 도전한다고 주장합니다. 전통적인 방법들에서 종종 간과되었던 시공간적 의존성을 활용함으로써, 저자들은 다음과 같은 것을 입증합니다:

• 고주파수 자세 출력은 희소하고 시간적으로 인터리브드된 입력으로부터 정확하게 재구성될 수 있습니다.
• 시간 해상도는 인터리브드 샘플링을 통해 개별 카메라의 물리적 한계를 넘어 향상될 수 있습니다.
• 자원 효율성은 크게 개선되어 로봇공학과 VR/AR 응용 분야에 적합한 실시간 고해상도 3D 인식을 위한 길을 열어줍니다.

저자들은 겸손하게 한계를 지적합니다: 이 방법은 입력 스트림의 밀도에 의존하며, 시공간 정보가 효과적으로 복구하기 위해 너무 희소해지는 극도로 낮은 프레임 레이트나 비균일하고 큰 카메라 간 샘플링 간격에서는 어려움을 겪을 수 있습니다. 향후 작업은 이 패러다임을 다른 다중 뷰 3D 작업으로 확장하고 입력 방법의 이론적 해석 가능성을 탐구하는 것으로 제안됩니다.