기술 요약: 2D 이미지 컬렉션으로부터 관절형 3D 재구성 부트스트래핑 (BAT3R)

문제 정의

단일 2D 이미지로부터 관절형 객체(예: 동물)의 3D 형상을 재구성하는 것은 폐쇄(occlusion)와 2D-to-3D 매핑의 모호성으로 인해 본질적으로 난해한(ill-posed) 문제입니다. DualPM과 같은 최근의 지도 학습 방식은 최첨단 성능을 달성하지만, 다양한 관절 포즈를 가진 메쉬(mesh)와 그에 대응하는 2D 이미지 쌍을 포함하는 대규모의 수동 큐레이션 3D 훈련 데이터셋에 크게 의존합니다. 이러한 데이터셋을 생성하는 것은 전문적인 3D 아티스트가 광범위한 자연스러운 관절 움직임에 따라 에셋을 리깅(rigging)하고 애니메이션화해야 하므로 비용이 매우 많이 들고 노동 집약적입니다. 결과적으로, 인간 중심의 영역 이외의 많은 객체 카테데리에 대해서는 고품질의 3D 훈련 데이터를 확보하기가 어렵습니다.

본 논문은 다음 질문을 다룹니다: 단 하나의 리깅된 정준 메쉬(canonical mesh, 휴식 포즈 상태)와 라벨링되지 않은 2D 이미지 컬렉션만을 사용하여, 비용이 많이 드는 다양하고 풍부한 3D 감독(supervision) 없이도 견고한 3D 형상 예측기를 학습시키는 것이 가능한가?

방법론: BAT3R

저자들은 약한 감독(weak supervision)으로부터 2D-3D 쌍 훈련 데이터를 자동으로 생성하는 반복적 훈련 프레임워크인 BAT3R(Bootstrapping ArTiculated 3D Reconstruction)을 제안합니다. 이 방법은 예측된 포인트 클라우드에 정준 메쉬를 피팅(fitting)하는 과정과, 예측기를 정교화하기 위해 새로운 합성 훈련 쌍을 렌더링하는 과정을 번갈아 수행합니다.

1. 초기화

프로세스는 단일 정준 메쉬($M_c$, 휴식 포로 상태)로부터 무작위로 샘플링된 카메라 시점에서 렌더링된 합성 이미지들만을 사용하여 학습된 "나이브(naïve)"한 초기 예측기($\Phi_0$)로부터 시작됩니다. 이는 기본적인 형상 및 카메라 시점 추정을 위한 약한 초기값을 제공합니다.

2. 반복적 정교화 루프

각 후속 반복 단계 $i$에서 프레임워크는 다음 단계들을 수행합니다:

• 추론(Inference): 현재의 예측기 $\Phi_i$는 라벨링되지 않은 2D 이미지 컬렉션을 처리하여 **듀얼 포인트 맵(Dual Point Maps)**을 예측합니다. 이 맵은 다음으로 구성됩니다:
  • 포즈된 포인트 클라우드 ($P$): 카메라 좌표계 내의 3D 점들.
  • 정준 포인트 클라우드 ($Q$): 객체의 휴식 포즈 좌표계 내의 대응하는 3D 점들.
  • 이 표현 방식은 정준 메쉬와 관찰된 포즈 사이에 조밀한 의미론적 대응 관계(semantic correspondences)를 구축합니다.
• 메쉬 피팅(Mesh Fitting): 정준 메쉬 $M_c$는 예측된 포즈 포인트 클라우드 $P$에 맞춰 관절이 움직이고 정렬됩니다. 이는 다음을 찾기 위한 경사 하강법 기반 최적화를 통해 이루어집니다:
  • 관절 파라미터 ($\theta$): 휴식 포즈 대비 과잉 관절 회전량.
  • 뼈대 스케일 ($S$): 개별 인스턴스의 해부학적 비율(예: 다리 길이)을 반영하기 위한 스칼라 파라미터.
  • 전역 강체 변환 ($T^g$): 메쉬를 카메라 프레임에 정렬하기 위한 스케일링, 회전 및 이동.
  • 최적화 목적 함수: 데이터 항(예측된 점들과 메쉬 정점 사이의 Huber 손실)과 여러 기하학적 정규화 항으로 구성된 손실 함수를 최소화합니다:
    • 각도 페널티(Angular penalty): 부드러운 관절 회전을 유도합니다.
    • 부피 및 모서리 길이 페널티: 비현실적인 늘어남, 전단(shearing) 또는 압축을 방지합니다.
    • 스케일 정규화: 좌우 대칭을 강제하고 극단적인 정준 비율 편차를 방지합니다.
    • 자기 반발 손실(Self-repulsion loss): 측지학적 거리가 큰 정점들이 유클리드 거리가 작게 붕괴되는 것을 방지하여 자기 교차(self-intersection)를 막습니다.
  • 참고: 뼈대 스케일 $S$는 피팅 중에 인스턴스 변화를 흡수하기 위한 보조 변수로 사용되지만, 훈련 타겟이 정준 토폴로지와 기하학적으로 일관되게 유지되도록 수렴 후에는 버려집니다.
• 카메라 포즈 복구: 정렬 과정은 동시에 각 입력 이미지에 대한 카메라 포즈를 복구합니다.
• 데이터 렌더링 및 증강: 피팅된 관절형 메쉬와 추정된 카메라 포즈를 사용하여 정확한 3D 포인트 맵 감독을 갖춘 새로운 합성 2D 이미지를 렌더링합니다. 성능 불균형(예: 측면 뷰 복구가 전면/후면보다 뛰어난 현상)을 해결하기 위해, 방법론은 **시점 증강(viewpoint augmentation)**을 채택하여 피팅된 메쉬를 다양한 새로운 시점에서 렌더링함으로써 다음 반복 단계($\Phi_{i+1}$)를 위한 훈련 세트를 형성합니다.

주요 기여

1. BAT3R 프레임워크: 단 하나의 리깅된 정준 메쉬와 2D 이미지 컬렉션만을 사용하여 관절형 객체 재구성을 위한 쌍을 이룬 2D-3D 훈련 데이터를 자동으로 생성하는 새로운 접근 방식입니다.
2. 반복적 부트스트래핑: 예측된 인스턴스를 점진적으로 훈련 세트에 추가하여 점점 더 복잡한 포즈를 학습할 수 있게 함으로써, 라벨링되지 않은 이미지로부터 유도된 "자기 지도(self-supervised)" 데이터로부터 모델이 학습할 수 있도록 합니다.
3. 약한 감독 하에서의 성능: 이 방식으로 훨씬 더 약한 3D 감독(단일 메쉬)을 통해 학습된 모델이, 대규모의 수동 큐레이션 3D 데이터셋을 필요로 하는 DualPM과 같은 완전 지도 학습 베이스라인과 대등한 성능을 달성함을 입증했습니다.

실험 결과

저자들은 말, 소, 양, 침팬지, 코끼리를 포함한 여러 객체 카테고리에 대해 BAT3R을 평가했습니다.

• 합성 데이터 평가: Animodel-Points 벤치마크(말, 소, 양)에서 BAT3M으로 학습된 모델("Ours (synt)")은 완전 지도 학습 방식인 DualPM 베이스라인의 성능에 근접했으며, 다른 비지도 및 지도 학습 방식(예: MagicPony, 3D-Fauna)을 크게 앞질렀습니다.
• 실제 환경 평가: 실제 "인 더 와일드(in-the-wild)" 이미지 컬렉션(예: 말 약 11k 장, 침팬지 약 19k 장)에서 학습했을 때, 이 방법("Ours (real)")은 대규모 파운데이션 모델(SAM-3D, Trellis.2) 및 정준 전용 베이스라인보다 우수한 성능을 보였습니다. 이 방법은 실제 이미지의 포즈 다양성을 성공적으로 활용하여 합성 데이터로 학습된 모델과의 격차를 줄였습니다.
• 일반화: 이 방법은 파운데이션 모델이 흔히 사지를 환각(hallucinate)하거나 지나치게 "정준화된" 형상을 만들어내는 도전적인 비대칭 관절 구조 및 분포 외(out-of-distribution) 포즈에 대해 강력한 일반화 능력을 보여주었습니다.
• 절제 연구(Ablation Studies):
  • 반복적 정교화: 첫 번째 반복 이후 성능이 크게 향arly되었으며, 완전 지도 학습 베이스라인 근처에서 정체될 때까지 지속적으로 상승했습니다.
  • 정규화: 기하학적 정규화는 탐욕적(greedy)인 포인트 클라우드 피팅으로 인해 발생하는 구조적 아티팩트를 제거하는 데 결정적이었습니다.
  • 시점 증강: 초기에는 측면 뷰보다 복구가 어려웠던 전면 및 후면 뷰의 성능을 개선하는 데 필수적이었습니다.
  • 무작위 포즈 베이스라인: (실제 이미지에 피팅하지 않고) 확률적으로 변형된 메쉬로 학습하는 것도 경쟁력 있는 결과를 냈으나, 전체 BAT3R 파이프라인이 더 우수한 기하학적 정확도와 해부학적 정확성을 제공했습니다.

의의 및 주장

본 논문은 BAT3R이 3D 데이터 가용성이 낮은 카테고리를 위한 3D 재구성 모델을 학습시키는 확장 가능한 경로를 제공한다고 주장합니다. 단 하나의 리깅된 메쉬와 2D 이미지 컬렉션만을 요구함으로써, 이 방법은 "비용이 매우 많이 드는" 다양한 관절형 3D 에셋의 수동 큐레이션 과정을 우회합니다.

저자들은 이 접근 방식이 여전히 약간의 초기 3D 데이터(정준 메쉬)를 필요로 하지만, 감독의 부담을 획기적으로 줄여준다는 점을 강조합니다. 결과는 제한된 데이터로부터 부트스트래핑하여 다양하고 관절이 있는 3D 훈련 세트를 구축함으로써, 여러 도전적인 카테고리에 걸쳐 완전 지도 학습 방식과 대등한 수준의 재구성 품질을 달려낼 수 있음을 시사합니다. 이 연구는 3D 재구성의 주요 병목 현상이 종종 다양한 훈련 데이터의 부족에 있으며, 이는 반복적인 자기 지도 정교화를 통해 완화될 수 있음을 보여줍니다.