Articulation in Motion: Prior-free Part Mobility Analysis for Articulated Objects By Dynamic-Static Disentanglement

이 논문은 사전 지식 없이 사용자-객체 상호작용 비디오와 초기 3D 스캔 데이터를 활용하여 동적 - 정적 해리를 통해 관절형 객체의 부분 분해, 운동학 분석 및 고화질 3D 디지털 복제본을 생성하는 'Articulation in Motion (AiM)' 프레임워크를 제안합니다.

핵심

이 논문은 **"움직이는 사물 (예: 냉장고 문, 서랍, 가위) 을 어떻게 하면 컴퓨터가 스스로 알아서 분해하고, 어떻게 움직이는지 완벽하게 이해할 수 있을까?"**라는 질문에 대한 해답을 제시합니다.

기존의 방법들은 마치 "닫힌 문과 열린 문 두 장의 사진만 비교해서" 문이 어떻게 움직이는지 추측하는 것과 비슷했습니다. 하지만 이 논문은 "문을 여는 과정 전체를 비디오로 찍어서" 분석하는 새로운 방식인 **'AIM (Articulation in Motion)'**을 제안합니다.

이 복잡한 기술을 쉽게 이해할 수 있도록 세 가지 핵심 비유로 설명해 드리겠습니다.

---

1. 기존 방법의 문제점: "두 장의 사진으로 추측하기"

기존 기술들은 물체의 **시작 상태 (닫힌 문)**와 **끝 상태 (열린 문)**만 보고 중간 과정을 유추했습니다.

• 문제점: 문을 열면 문 안쪽 (냉장고 내부 등) 이 비로소 보입니다. 하지만 시작 상태 사진에는 그 내부가 없죠. 컴퓨터는 "아, 이 새로운 공간이 어디서 왔지?"라고 혼란을 겪으며, 문과 내부 공간을 헷갈려하거나 잘못 분석합니다. 마치 두 장의 퍼즐 조각만 가지고 전체 그림을 맞추려다 실패하는 상황과 같습니다.

2. 새로운 방법 (AIM) 의 핵심: "움직임의 흐름을 따라가기"

이 논문은 "움직이는 과정 전체를 비디오로 찍어서" 분석합니다. 마치 유리창을 닦는 사람처럼, 움직이는 부분과 고정된 부분을 실시간으로 구분해냅니다.

비유 1: "투명한 유령과 단단한 바위" (이중 가우시안 표현)

컴퓨터는 3D 공간을 수많은 작은 점들 (3D 가우시안) 로 채웁니다.

• 기존 방식: 모든 점에 "움직임"이라는 레이블을 붙여서, 정지해 있는 벽까지도 흔들린다고 착각했습니다.
• AIM 의 방식: 두 종류의 점으로 나눕니다.
  1. 단단한 바위 (고정된 부분): 처음에 찍은 3D 스캔 데이터로, 절대 움직이지 않는 기본 틀입니다.
  2. 유령 (움직이는 부분): 비디오에서 움직이는 점들만 따로 떼어내어 추적합니다.
• 효과: "움직이는 유령"과 "고정된 바위"를 명확히 분리함으로써, 냉장고 문이 열릴 때 비로소 보이는 내부 공간도 '고정된 바위'로 자연스럽게 추가해줍니다.

비유 2: "춤추는 사람 찾기" (순차적 RANSAC)

이제 움직이는 점들 (유령들) 만 남았습니다. 컴퓨터는 이 점들이 어떻게 움직이는지 분석합니다.

• 기존 방식: "몇 개의 부품이 움직일지" 미리 알려줘야 했습니다. (예: "냉장고 문은 1 개, 서랍은 2 개")
• AIM 의 방식: 춤추는 사람들을 상상해 보세요.
  • 문이 열리면 문에 붙은 점들은 모두 같은 방향으로 회전합니다.
  • 서랍이 나오면 서랍에 붙은 점들은 모두 같은 방향으로 직선으로 이동합니다.
  • 컴퓨터는 **"어떤 점들이 같은 춤 (움직임 패턴) 을 추고 있는가?"**를 찾아냅니다. 미리 정해진 숫자가 없어도, 스스로 "아, 이 점들은 문이고, 저 점들은 서랍이구나!"라고 알아서 그룹화합니다.

비유 3: "새로운 공간 발견" (SDMD 모듈)

문을 열면 비로소 보이는 냉장고 내부가 있습니다.

• 이 부분은 처음엔 '움직이는 유령'으로 잘못 인식될 수 있습니다.
• 하지만 AIM 은 **"이 부분은 움직이지 않고 그냥 새로 드러난 정지 공간이야"**라고 알아차립니다. 마치 새로 발견된 방을 집의 기본 구조에 자연스럽게 추가하는 것처럼, 움직임을 멈춘 순간 그 부분을 고정된 바위 (Static Base) 로 바꿔버립니다.

---

3. 왜 이것이 중요한가요? (결론)

이 기술은 사전 지식 없이도 (부품 개수, 관절 종류 등을 몰라도) 복잡한 사물을 완벽하게 분해하고 이해할 수 있습니다.

• 실생활 적용: 로봇이 냉장고 문을 열거나, 증강현실 (AR) 에서 가구를 조립할 때, 컴퓨터가 사물의 움직임을 완벽하게 이해해야 합니다.
• 핵심 메시지: "두 장의 정지 사진"으로는 알 수 없는 복잡한 움직임을, **"자연스러운 비디오"**를 통해 분석하면 훨씬 더 정확하고 강력하게 이해할 수 있다는 것을 증명했습니다.

한 줄 요약:

"움직이는 사물을 분석할 때, 시작과 끝의 사진만 비교하지 말고, 움직이는 과정 전체를 비디오로 찍어서 '무엇이 움직이고 무엇이 고정되었는지' 스스로 찾아내게 하세요!"

기술 요약

1. 문제 정의 (Problem Statement)

기존의 관절형 객체 분석 방법들은 주로 **두 가지 상태 (Start State 와 End State)**의 3D 스캔 데이터를 비교하여 부분 간의 대응 관계 (correspondence) 를 찾고 관절 파라미터를 추정하는 방식을 사용합니다. 그러나 이러한 접근법에는 다음과 같은 치명적인 한계가 존재합니다.

• 사전 지식 의존성: 대부분의 방법이 객체의 부분 (part) 수를 미리 알고 있어야 하거나, 특정 관절 유형에 대한 가정을 필요로 합니다.
• 상태 간 대응 관계의 붕괴: 객체가 열리거나 움직일 때, 시작 상태에서는 보이지 않던 내부 영역 (예: 냉장고 내부, 오븐 안) 이 끝 상태에서 드러나는 경우가 많습니다. 이 경우 두 상태 간의 기하학적 대응 관계가 성립하지 않아 분할 오류와 불안정한 관절 추정이 발생합니다.
• 강건성 부족: 두 상태 간의 기하학적 정합에 의존하기 때문에, 객체가 명확하게 보이지 않거나 복잡한 운동이 발생할 경우 성능이 급격히 저하됩니다.

2. 제안 방법론: Articulation in Motion (AIM)

이 논문은 사용자 - 객체 상호작용 비디오와 시작 상태의 3D 스캔을 입력으로 받아, 사전 지식 없이 부분 분할과 관절 운동을 분석하는 3 단계 프레임워크를 제안합니다.

2.1. 핵심 아이디어: 동적 - 정적 분리 (Dynamic-Static Disentanglement)

기존의 단일 변형 3DGS (3D Gaussian Splatting) 는 모든 가우시안에 변형을 적용하여 노이즈를 유발하고 분할을 어렵게 만듭니다. AIM 은 이를 해결하기 위해 Dual-Gaussian Scene Representation을 도입합니다.

1. Stage I: 초기 3DGS 재구성
   • 다중 뷰 스캔 데이터를 기반으로 객체의 시작 상태 (Start State) 3DGS 모델 {GS}를 구축합니다.
2. Stage II: 듀얼 가우시안 최적화 (Dual-Gaussian Joint Optimisation)
   • 이동 가우시안 집합 {GM, t}: 상호작용 비디오를 통해 움직이는 부분을 추적하기 위해 변형 가능한 3DGS 를 학습합니다.
   • 정적 베이스 {GS_p}: 시작 상태의 가우시안 집합에서 움직이는 요소를 점진적으로 제거 (pruning) 하여 정적 부분을 유지합니다.
   • 동적 - 정적 분리: 두 집합을 공동으로 최적화하여, 움직이는 요소는 {GM, t}로, 정적인 요소는 {GS_p}로 명확히 분리합니다.
   • SDMD (Static-during-motion Detection) 모듈: 상호작용 중 새로 드러나지만 정적인 영역 (예: 문이 열리면서 보이는 내부) 이 이동 가우시안에 잘못 할당되는 것을 방지하기 위해, 국소적으로 강체 운동을 하지 않는 가우시안을 식별하여 정적 집합으로 재할당합니다.
3. Stage III: 모션 기반 부분 이동성 분석 (Motion-based Part Mobility Analysis)
   • 정제된 이동 가우시안들의 궤적을 기반으로 **순차적 RANSAC (Sequential RANSAC)**을 적용합니다.
   • 사전 지식 불필요: 부분의 수, 관절 유형, 운동 파라미터 등을 미리 알 필요가 없습니다.
   • 클러스터링 및 추정: 동일한 운동 패턴을 가진 가우시안들을 강체 부분 (rigid parts) 으로 클러스터링하고, Kabsch 알고리즘을 사용하여 각 부분의 관절 축, 회전/이동 각도, 관절 유형 (회전/이동) 을 자동으로 추정합니다.

3. 주요 기여 (Key Contributions)

1. AIM 프레임워크 제안: 객체의 자유도 (DoF) 를 보여주는 비디오와 시작 상태 스캔만으로 부분 수준의 관절형 객체를 재구성하고 관절을 추출하는 새로운 방법론을 제시했습니다.
2. 듀얼 가우시안 표현: 정적 베이스와 동적 구성 요소를 분리하여 모션 신호를 정밀하게 추적하고, 새로 드러나는 정적 영역을 처리하는 SDMD 모듈을 통해 정적 - 동적 분리를 강화했습니다.
3. 사전 지식 없는 강건한 분석: 구조적 사전 지식 (part count 등) 없이 순차적 RANSAC 을 사용하여 부분 분할과 관절 파라미터 추정을 수행하며, 복잡한 시나리오에서도 높은 안정성을 보입니다.
4. 성능 입증: 단순한 2 부분 객체부터 복잡한 다중 부분 객체까지 다양한 실험을 통해 기존 최첨단 방법 (DTA, ArtGS 등) 보다 우수한 분할 정확도와 재구성 품질을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: PartNet-Mobility 벤치마크의 다양한 객체 (냉장고, 오븐, 가위, 저장함 등) 를 사용했습니다.
• 성능 지표:
  • 부분 분할 (3D IoU): 복잡한 객체 (예: 6 개의 이동 부분이 있는 Storage) 에서 기존 SOTA 방법 대비 평균 동적 부분 IoU 가 +27.11% 향상되었습니다. 특히 두 상태 간 대응이 깨지는 경우 (내부 영역 노출) 에서도 높은 정확도를 유지했습니다.
  • 재구성 품질 (Chamfer Distance): 정적 부분뿐만 아니라 동적 부분의 재구성 오차도 기존 방법보다 현저히 낮았습니다.
  • 관절 추정 정확도: 축 각도 오차 (Axis Ang Err) 와 운동 오차 (Part Motion) 에서 기존 방법들이 실패하거나 큰 오차를 보인 경우에도 AIM 은 거의 0 에 가까운 오차를 기록했습니다.
• 비교 분석: 두 상태 (Start-End) 기반 방법들은 내부가 드러나는 경우 분할에 실패하거나 잘못된 관절 유형을 예측하는 반면, AIM 은 연속적인 모션 신호를 활용하여 이러한 문제를 성공적으로 해결했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 관절형 객체의 디지털 트윈 생성 분야에서 중요한 전환점을 제시합니다.

• 자연스러운 입력: 복잡한 3D 스캔이나 두 상태의 정밀한 대응 관계 대신, 인간이 물건을 조작하는 자연스러운 비디오를 입력으로 사용하여 실제 응용 가능성을 높였습니다.
• 강건성과 일반화: 사전 지식 없이도 다양한 구조의 객체에 적용 가능하며, 특히 기존 방법들이 취약했던 '시작 - 끝 상태 간 대응 관계가 불명확한' 시나리오에서 뛰어난 성능을 발휘합니다.
• 실용성: 로봇 공학, 증강현실 (AR/VR), 물리 기반 시뮬레이션 등 상호작용이 필요한 분야에서 높은 품질의 부분 단위 3D 모델을 자동으로 생성할 수 있는 기반을 마련했습니다.

요약하자면, AIM은 3D 가우시안 스플래팅과 모션 기반 클러스터링을 결합하여, 복잡한 관절형 객체의 구조와 운동을 사전 지식 없이 정확하게 해부하고 재구성하는 획기적인 방법론입니다.