PD$^{2}$GS: Part-Level Decoupling and Continuous Deformation of Articulated Objects via Gaussian Splatting

이 논문은 자기지도 학습을 통해 관절형 물체의 기하학적 구조와 운동학을 동시에 인코딩하는 새로운 프레임워크 PD$^{2}$GS 를 제안하고, 이를 통해 매끄러운 연속 제어와 정밀한 부분 단위 분리가 가능하며, 이를 검증하기 위해 실사 - 시뮬레이션 RGB-D 데이터셋 RS-Art 을 공개한 연구입니다.

핵심

🎒 비유: "변신하는 장난감 인형"

상상해 보세요. 여러분이 가지고 있는 장난감 인형이 있습니다. 이 인형은 팔, 다리, 눈, 입을 움직일 수 있습니다.

기존의 기술들은 이 인형을 재현할 때 다음과 같은 문제가 있었습니다:

1. 조각난 퍼즐: 인형의 팔이 움직일 때, 팔만 따로 떼어내서 저장하고, 다리가 움직일 때 다시 다리를 따로 저장했습니다. 그래서 팔과 다리가 자연스럽게 연결되지 않고, 중간에 끊어지거나 어색하게 움직였습니다.
2. 단순한 두 가지 상태: "팔이 쭉 뻗은 상태"와 "팔이 구부린 상태" 두 가지 사진만 보고 나머지 모든 움직임을 추측하려다 보니, 팔이 비틀리거나 찌그러지는 기괴한 모양이 나오곤 했습니다.

✨ PD2GS 의 해결책: "마법의 점토와 지도"

PD2GS 는 이 문제를 해결하기 위해 세 가지 핵심 아이디어를 사용합니다.

1. 공통된 '기본 틀' (Canonical Field)

이 기술은 인형이 **가장 기본이 되는 상태 (예: 팔을 편 상태)**를 먼저 만듭니다. 이를 **'마법의 점토'**라고 생각하세요. 이 점토는 모든 움직임을 담을 수 있는 잠재력을 가지고 있습니다.

2. '비밀 번호'로 변신시키기 (Latent Code & Deformation)

이제 팔을 구부리거나 문을 열려면 어떻게 할까요? PD2GS 는 각 움직임마다 고유한 **'비밀 번호 (Latent Code)'**를 줍니다.

• 이 비밀 번호를 입력하면, 마법의 점토가 자연스럽게 변형되어 새로운 모양이 됩니다.
• 마치 점토를 반죽하듯 부드럽게 움직이게 됩니다. 그래서 팔이 구부러질 때 다른 부분이 찌그러지지 않고, 매끄럽게 변합니다.

3. "누가 움직였지?" 구별하기 (Part-Level Decoupling)

가장 중요한 것은 어떤 부분이 움직이는지 정확히 구분하는 것입니다.

• 초보자 (기존 기술): 점토 전체가 뭉개져서 팔이 몸통에 붙어버리거나, 문이 벽과 섞여버립니다.
• PD2GS (이 기술):
  1. 대략적인 분류: "이 점토 조각들은 같이 움직이는군, 저건 따로 움직이는군"이라고 대략적으로 묶습니다.
  2. 정교한 다듬기 (SAM 활용): AI 비전 기술 (SAM) 을 이용해 "문과 벽의 경계"를 아주 정밀하게 잘라냅니다. 마치 정교한 커터칼로 점토를 깔끔하게 분리하는 것과 같습니다.
  3. 결과: 문은 문대로, 벽은 벽대로 깔끔하게 분리되어, 문이 열려도 벽이 찢어지지 않습니다.

---

📸 실제 실험: "실제 사물도 완벽하게 재현했다"

이 연구팀은 단순히 컴퓨터로 만든 가상의 사물뿐만 아니라, 실제 사진과 비디오를 가지고 실험을 했습니다.

• 새로운 데이터셋 (RS-Art): 실제 책상 서랍, 안경, 바구니 등을 찍은 사진과, 이를 3D 로 정밀하게 복원한 모델을 공개했습니다.
• 결과: 기존 기술들은 실제 사물을 재현할 때 모양이 뭉개지거나 움직임을 잘못 예측했지만, PD2GS 는 서랍이 열리는 모습이나 안경 다리가 접히는 모습을 매우 자연스럽게 재현했습니다.

🚀 왜 이것이 중요한가요?

1. 로봇의 눈: 로봇이 서랍을 열거나 문을 여는 일을 배울 때, 이 기술을 쓰면 로봇이 사물의 움직임을 훨씬 정확하게 이해할 수 있습니다.
2. 디지털 트윈: 실제 공장의 기계나 가구를 가상 공간에 똑같이 만들어 놓을 때, 움직이는 부위까지 완벽하게 구현할 수 있습니다.
3. 원하는 대로 조작: "서랍을 50% 열어줘"라고 명령하면, 훈련된 데이터에 없던 중간 상태라도 부드럽게 만들어낼 수 있습니다.

💡 한 줄 요약

PD2GS 는 움직이는 사물을 '조각난 퍼즐'이 아니라, '부드러운 점토'처럼 다루어, 어떤 부분 (팔, 문, 서랍) 이 어떻게 움직이는지 AI 가 스스로 찾아내어 매끄럽고 정확하게 3D 로 재현하는 기술입니다.

이 기술은 더 이상 복잡한 수학적 모델이나 사람의 손길이 필요 없이, 카메라로 찍은 사진만으로도 사물의 움직임을 완벽하게 이해하고 제어할 수 있는 길을 열었습니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 로봇공학, AR/VR, 디지털 트윈 분야에서 관절형 객체 (Articulated Objects, 예: 문, 서랍, 접이식 노트북) 의 정확한 3D 표현은 필수적입니다.
• 기존 방법의 한계:
  • 이산적 상태 모델링: 대부분의 기존 자기지도학습 (Self-supervised) 방법들은 이산적인 상호작용 상태 (Interaction States) 를 개별적으로 재구성하고, 상태 간 기하학적 일관성으로 연결합니다. 이로 인해 표현의 단편화 (Fragmentation) 와 드리프트 (Drift) 가 발생하여 매끄러운 제어에 어려움을 줍니다.
  • 단순한 구조 가정: 기존 신경 렌더링 (NeRF, 3DGS) 기반 방법들은 주로 단일 관절 (Single-joint) 이나 두 가지 상태만을 가정하거나, 미리 정의된 부분 (Part) 수를 요구합니다.
  • 연속적 운동 모델링 부재: 동적 장면 렌더링 방법들은 전체 장면의 운동을 학습하지만, 객체 내부의 각 부분 (Part) 단위로 운동을 분리 (Decoupling) 하거나 연속적인 변형을 모델링하는 데 한계가 있습니다.
  • 데이터 부족: 기존 평가 데이터셋 (PartNet-Mobility 등) 은 합성 데이터에 치중되어 있으며, 실제 환경 (Real-world) 에서의 일반화 성능을 검증할 수 있는 고품질 데이터가 부족합니다.

2. 제안 방법론 (Methodology: PD2GS)

저자들은 PD2GS (Part-Level Decoupling and Continuous Deformation via Gaussian Splatting) 라는 새로운 프레임워크를 제안합니다. 이는 공유된 표준 (Canonical) 가우시안 필드를 학습하고, 임의의 상호작용 상태를 이 필드의 연속적인 변형 (Continuous Deformation) 으로 모델링합니다.

핵심 구성 요소:

1. 변형 가능한 가우시안 스플래팅 (Deformable Gaussian Splatting):

   • 잠재 코드 기반 변형: 각 상호작용 상태는 잠재 코드 (Latent Code, $\alpha_k$) 로 인코딩됩니다.
   • 공유 표준 필드: 모든 상태에 공유되는 표준 3D 가우시안 필드 (Canonical Field) 를 정의합니다.
   • MLP 를 통한 변형: 다층 퍼셉트론 (MLP) 이 잠재 코드를 입력받아 각 가우시안 원시 (Primitive) 의 위치, 회전, 스케일 변위 ($\Delta \mu, \Delta q, \Delta s$) 를 예측하여 특정 상태의 기하학을 생성합니다.
   • 자기지도 학습: 렌더링된 이미지와 실제 이미지 간의 광학적 손실 (Photometric Loss) 을 최소화하여 네트워크와 잠재 코드를 동시에 최적화합니다.

2. ** coarse-to-fine 부분 분할 (Coarse-to-Fine Segmentation):**

   • 운동 기반 분리 (Coarse): K 개의 상태 간 가우시안 중심의 최대 변위를 계산하여 정적 (Static) 과 동적 (Dynamic) 가우시안을 분리합니다.
   • VLM 을 활용한 부분 수 추정: 비전 - 언어 모델 (VLM) 에 두 상태의 이미지를 비교하도록 요청하여 움직이는 부분의 수 ($N_{parts}$) 를 자동으로 추론합니다.
   • 궤적 기반 클러스터링: 동적 가우시안의 운동 궤적 (Direction 및 Magnitude) 을 특징으로 사용하여 K-means 를 통해 부분을 그룹화합니다.
   • SAM 기반 경계 정제 (Fine):
     • 가시성 (Visibility) 을 고려하여 각 부분의 2D 마스크를 생성하기 위해 SAM(Segment Anything Model) 에 프롬프트를 제공합니다.
     • 경계 인식 분할 (Boundary-aware Splitting): 마스크 경계를 넘나드는 가우시안을 2D 이미지 공간에서 비율에 따라 분할 (Split) 하고, 자식 가우시안을 국소적으로 미세 조정 (Fine-tuning) 하여 부분 간 경계를 명확하게 하고 겹침 (Interpenetration) 을 방지합니다.

3. 다중 태스크 모델링:

   • 정제된 부분 인식 가우시안 필드를 기반으로 부분별 메쉬 추출, 관절 유형 분류 (회전/이동), 그리고 운동 파라미터 (축, 각도, 거리) 추정이 가능합니다.

3. 주요 기여 (Key Contributions)

1. PD2GS 프레임워크: 자기지도 학습을 통해 표준 가우시안 필드를 학습하고, 잠재 조건부 변형 필드를 통해 임의의 상호작용 상태를 연속적으로 모델링하는 최초의 프레임워크입니다. 이는 부분 수준의 분리와 기하학/외관/운동의 동시 복원을 가능하게 합니다.
2. 정밀한 부분 분할 기법: 변형 궤적에 기반한 coarse 분할과 가시성 가이드 SAM 프롬래핑, 경계 인식 가우시안 분할을 결합하여, 수동 개입 없이 날카로운 부분 경계와 매끄러운 운동을 보장하는 정밀한 분할을 달성했습니다.
3. RS-Art 데이터셋 공개: 실제 객체의 RGB-D 캡처와 역공학 (Reverse-engineered) 으로 제작된 3D 모델 (URDF 포함) 을 매칭한 고품질 'Real-to-Sim' 평가 데이터셋을 공개했습니다. 이는 실제 환경에서의 일반화 성능을 엄격하게 평가할 수 있는 기반을 마련했습니다.
4. 성능 입증: 합성 데이터 (PartNet-Mobility 확장) 와 실제 데이터 (RS-Art) 모두에서 기존 방법 (PARIS, DTArt, ArtGS 등) 을 기하학적 정확도, 운동 파라미터 추정, 연속 제어 일관성 측면에서 압도적으로 능가함을 실험을 통해 증명했습니다.

4. 실험 결과 (Results)

• 정량적 평가 (PartNet-Mobility):
  • 기하학적 정확도: 전체 객체, 정적 부분, 이동 가능한 부분의 Chamfer Distance (CD) 에서 기존 SOTA 방법들보다 현저히 낮은 오차를 기록했습니다.
  • 운동 파라미터 정확도: 관절 축 (Axis) 의 각도 및 위치 오차, 부분 운동 (Part Motion) 오차에서 가장 우수한 성능을 보였습니다. 특히 3 개 이상의 이동 가능한 부분을 가진 복잡한 객체에서도 높은 안정성을 입증했습니다.
  • 단일/이중 상태 제한 비교: 기존 방법들이 2 상태만 입력받을 때의 성능과 비교했을 때, PD2GS 는 4 상태 (동일한 이미지 수 예산) 를 입력받아도 더 우수한 결과를 보였습니다.
• 미지 상태 일반화 (Generalization):
  • 학습 중 보지 못한 상태 (Unseen States) 에 대한 잠재 코드 보간 (Interpolation) 을 통해 매끄럽고 충돌 없는 연속적인 운동을 생성할 수 있음을 시각적으로 확인했습니다.
  • 기존 동적 렌더링 방법 (D-NeRF, 4D-GS 등) 과 비교하여, 부분 분리 (Part Decoupling) 가 가능하여 기하학적 왜곡이 적고 렌더링 품질 (PSNR, SSIM) 이 뛰어났습니다.
• 실제 환경 평가 (RS-Art):
  • 실제 촬영 데이터에서도 노이즈와 조명 변화에 강건하게 작동하며, 정밀한 부분별 기하학과 텍스처를 복원하고 미지의 상호작용 상태로 외삽 (Extrapolation) 하는 데 성공했습니다.

5. 의의 및 결론 (Significance)

• 디지털 트윈 및 로봇 공학의 혁신: PD2GS 는 수동 주석 없이 복잡한 관절형 객체의 3D 모델을 자동으로 생성하고, 부분 단위의 정밀한 제어와 연속적인 운동 시뮬레이션을 가능하게 합니다. 이는 로봇 조작 (Manipulation), AR/VR 상호작용, 디지털 트윈 구축에 필수적인 기술입니다.
• 연속적 표현의 패러다임 전환: 이산적인 상태 간 매칭을 넘어, 공유된 잠재 공간에서의 연속적인 변형 필드를 학습함으로써 운동의 모호성을 해결하고 물리적으로 일관된 표현을 제공합니다.
• 실제 적용 가능성: RS-Art 데이터셋의 공개와 실제 환경에서의 검증은 연구 커뮤니티가 합성 데이터의 한계를 넘어 실제 세계 (Real-world) 적용을 위한 표준 벤치마크를 갖게 함으로써, 향후 연구의 방향성을 제시합니다.

이 논문은 3D 가우시안 스플래팅 기술을 관절형 객체 모델링에 적용한 선구적인 연구로, 자기지도 학습 기반의 정밀한 부분 분리와 연속 운동 제어라는 두 가지 난제를 동시에 해결했다는 점에서 큰 의의를 가집니다.