PAOLI: Pose-free Articulated Object Learning from Sparse-view Images

1. 문제 정의 (Problem Definition)

기존의 관절형 객체 (Articulated Objects, 예: 문, 서랍, 상자 등) 모델링 방법은 다음과 같은 심각한 한계를 가지고 있습니다:

• 고밀도 다중 뷰 및 정밀한 포즈 의존성: 기존 방법들은 객체의 각 관절 상태마다 약 100 장 이상의 밀집된 다중 뷰 이미지와 정밀하게 보정된 (Ground-truth) 카메라 포즈를 필요로 합니다.
• 실용성 부족: 이러한 데이터 수집은 비용이 많이 들고 확장성이 떨어지며, 실제 로봇 조작 등 다운스트림 애플리케이션에 적용하기 어렵습니다.
• 희소 뷰 및 포즈 없는 (Pose-free) 환경의 난이도: 적은 수의 이미지 (예: 4 장) 만 있고 카메라 포즈도 모르는 상황에서는, 각 뷰마다 독립적으로 3D 를 재구성하면 좌표계가 서로 어긋나 (Misalignment) 객체의 운동을 분석할 수 없습니다. 또한, 기존 SFM(Structure-from-Motion) 이나 신경망 기반 재구성 방법은 정적 장면을 가정하여 움직이는 객체를 처리하지 못합니다.

PAOLI는 이러한 문제를 해결하기 위해 카메라 포즈 정보가 없는 4 장의 희소 뷰 이미지만으로 관절형 객체의 3D 기하학, 외관, 그리고 운동학적 파라미터 (관절 축, 각도 등) 를 학습하는 것을 목표로 합니다.

2. 방법론 (Methodology)

PAOLI 는 크게 세 단계로 이루어진 파이프라인을 사용합니다. 핵심 아이디어는 정렬되지 않은 3D 재구성들 간의 **강건한 3D-3D 대응 관계 (Dense Correspondence)**를 먼저 확립한 후, 이를 바탕으로 관절 운동을 분리하는 것입니다.

단계 1: 3D 가우스 스플래트 (Gaussian Splatting) 초기화

• 입력된 소스 (Source) 와 타겟 (Target) 이미지 세트 (각각 4 장) 에 대해 FreeSplatter와 같은 희소 뷰 3D 재구성 기술을 독립적으로 적용하여 초기 3D 가우스 스플래트 모델 ($G_s, G_t$) 을 생성합니다.
• 이 단계에서 각 모델은 서로 다른 임의의 좌표계에 위치하게 됩니다.
• 카메라 내부 파라미터 (Intrinsics) 는 평균화하여 고정하고, 외부 파라미터 (Extrinsics) 만을 광학적 렌더링 손실 (Photometric loss) 을 최소화하며 미세 조정합니다.

단계 2: 변형 필드를 통한 가우스 대응 관계 학습 (Deformation Fields)

• 핵심 기여: 희소 키 포인트 매칭 대신, **밀집 변형 필드 (Dense Deformation Field)**를 학습하여 소스 모델을 타겟 모델에 정렬합니다.
• 네트워크 구조: 경량화된 피드포워드 네트워크 ($F_{deform}$) 를 사용하여 가우스 점들의 위치 인코딩 (Positional Encoding) 을 입력으로 받아, 각 점에 대한 강체 변환 (회전, 이동, 스케일) 을 예측합니다.
• 강제성 (Rigidity): 네트워크가 저주파 변형만 학습하도록 설계하여, 객체 내부의 각 부분은 강체 (Rigid) 로 유지되도록 합니다.
• 손실 함수: 변형된 소스 모델과 타겟 모델 간의 **Chamfer Distance (기하학적 일관성)**와 **렌더링된 이미지의 L1 Photometric Loss (외관 일관성)**를 동시에 최소화하여 네트워크를 최적화합니다.
• 이를 통해 소스와 타겟 간의 밀집된 3D 대응 관계가 확립됩니다.

단계 3: 결합 최적화 (Joint Optimization)

• 확립된 대응 관계를 바탕으로 **TEASER++**와 같은 강건한 포즈 추정 알고리즘을 사용하여 초기 부분 분할 (Part Segmentation) 과 관절 파라미터를 추정합니다.
• 점진적 정제 전략 (Progressive Disentanglement):
  1. Phase 1 (강체 포즈 정제): 기하학은 고정하고 부분별 강체 변환 파라미터만 최적화하여 대규모 운동을 안정화합니다.
  2. Phase 2 (기하학 및 가림 정제): 가우스 점들의 위치와 부분 라벨을 함께 최적화합니다. 잘못된 분할로 인한 오차를 보정하기 위해 학습 가능한 변위 (Displacement) 항을 도입하고, 이를 기반으로 라벨을 재할당합니다.
  3. Phase 3 (외관 및 포즈 미세 조정): 기하학을 고정하고 부분별 포즈와 색상 (외관) 만을 최종적으로 정제합니다.
• 최종적으로 회전 관절 (Revolute) 의 경우 축, 각도, 피벗 포인트를, 병진 관절 (Prismatic) 의 경우 축과 이동 거리를 추출합니다.

3. 주요 기여 (Key Contributions)

1. 문제 공식화: 희소 뷰와 포즈 없는 조건에서의 관절형 객체 재구성을 처음으로 다루었으며, 정렬되지 않은 재구성 간의 3D-3D 대응 관계 문제가 핵심 난제임을 규명했습니다.
2. 변형 필드를 통한 밀집 대응 관계: 키 포인트 기반 방법이나 사전 훈련된 모델에 의존하지 않고, 테스트 시간 (Test-time) 에 각 객체별로 최적화된 밀집 변형 필드를 통해 강건한 대응 관계를 확립하는 새로운 방식을 제안했습니다.
3. 완전한 파이프라인: 희소하고 포즈 없는 데이터로부터 기하학, 부분 분할, 운동학 파라미터를 모두 성공적으로 복원하는 최초의 완전한 파이프라인을 제시했습니다.

4. 실험 결과 (Results)

• 데이터셋: PartNet-Mobility (합성 데이터) 및 실제 세계 객체 (병, 서랍, 레고 등) 를 사용했습니다.
• 비교 대상: ArticulatedGS (AGS), GaussReg, FM-Dense 등 최신 SOTA 방법들과 비교했습니다.
• 성능:
  • 정량적 평가: 4 장의 이미지 입력 시, 기존 방법들 (AGS 등) 은 수렴에 실패하거나 큰 오차를 보인 반면, PAOLI 는 렌더링 품질 (PSNR, SSIM), 관절 각도/위치 오차, 3D 기하학 정밀도 (Chamfer Distance) 모든 면에서 압도적인 성능을 보였습니다.
  • 정성적 평가: 키 포인트 기반 방법 (GaussReg) 은 희소하고 노이즈가 많은 대응 관계로 인해 분할에 실패했고, FM-Dense 는 불안정하여 많은 아웃라이어를 생성했습니다. 반면 PAOLI 는 정확한 부분 분할과 관절 축 추정을 보여주었습니다.
  • 실제 적용: 실제 세계 객체에서도 배경 제거 (SAM 사용) 후 성공적으로 재구성과 합성 (Novel View Synthesis) 이 가능함을 입증했습니다.

5. 의의 및 결론 (Significance)

PAOLI 는 로봇 조작, 증강현실 (AR), 가상현실 (VR) 등 다양한 분야에서 실제 환경에서 쉽게 수집할 수 있는 적은 수의 이미지만으로 복잡한 관절형 객체를 정밀하게 모델링할 수 있는 길을 열었습니다.

• 데이터 효율성: 100 장 이상의 고밀도 데이터 대신 4 장의 이미지로만 작동하여 데이터 수집 비용을 획기적으로 낮췄습니다.
• 실용성: 카메라 보정 없이도 작동하므로, 일반 사용자가 스마트폰 등으로 촬영한 영상에서도 적용 가능합니다.
• 기술적 혁신: 3D 가우스 스플래트와 변형 필드를 결합하여 정적/동적 요소를 분리하고 강건한 대응 관계를 찾는 새로운 패러다임을 제시했습니다.

이 연구는 희소 뷰와 포즈 없는 조건에서의 3D 객체 이해를 위한 강력한 베이스라인을 제공하며, 향후 자율 로봇의 환경 인식 및 상호작용 능력 향상에 중요한 기여를 할 것으로 기대됩니다.