기술 요약: Articulate That Object Part (ATOP)

문제 정의

이 논문은 텍스트 프롬프트를 기반으로 정적 3D 객체에 대한 타당하고 정확한 3D 부분 관절 운동을 생성하는 과제를 다룹니다. 디지털 3D 자산 저장소 (예: Objaverse, ShapeNet) 가 기하급수적으로 성장했음에도 불구하고, 이러한 모델들의 대다수는 휴식 (비관절) 상태에서만 존재합니다. PartNet-Mobility 와 Shape2Motion 과 같은 운동 주석이 포함된 기존 데이터셋은 규모가 제한적 (수천 개의 모델) 이고 값비싼 인간 주석에 의존하므로, 일반화 가능한 모델을 학습시키기에는 부족합니다.

현재 접근 방식은 세 가지 주요 장애물에 직면해 있습니다:

1. 관절 인식 부재: 최첨단 (SOTA) 비디오 확산 모델 (예: WAN2.1) 은 고품질 시각 콘텐츠를 생성하지만 일상적인 객체의 조각별 강성 (piecewise rigidity) 을 존중하지 못해, 물리적으로 불가능한 변형을 자주 생성합니다.
2. 거친 제어: 텍스트 전용 프롬프트는 특정 객체 부분의 정밀한 움직임을 제어하기에는 너무 모호합니다. 대안인 "드래그" 상호작용 방법은 애니메이션을 적용할 부분을 식별하는 데 모호성이 있어 잘못된 운동 (예: 의자 좌석을 접는 대신 들어 올리는 것) 을 초래합니다.
3. 2D 에서 3D 로의 전이 어려움: 단일 뷰 운동을 다중 뷰 일관성으로 들어 올리는 것은 어렵습니다. 이미지 - 비디오 (I2V) 와 비디오 - 다중 뷰 (V2MV) 생성기를 결합한 기존 파이프라인은 종종 구조적 왜곡과 기하학적 불일치를 초래하여 정확한 3D 관절 운동 추정을 방해합니다.

저자들은 대규모 주석付き 3D 운동 데이터셋에 의존하지 않고 소수의 참조 운동 샘플만을 사용하여 보지 못한 객체에 대한 정확한 3D 운동 매개변수를 생성하는 것을 목표로 하는 퓨샷 (few-shot) 설정에서 이를 해결할 것을 제안합니다.

방법론

제안된 프레임워크인 ATOP (Articulate That Object Part) 은 두 가지 주요 단계로 작동합니다:

1. 개인화된 다중 뷰 운동 생성을 위한 퓨샷 파인튜닝

첫 번째 단계는 사전 훈련된 다중 뷰 이미지 생성기 (ImageDream) 를 제어 가능하고 부분 인식적인 다중 뷰 운동 확산 모델로 적응시키는 과정입니다.

• 모델 아키텍처: 저자들은 비디오 데이터를 처리하기 위해 2D 합성곱 블록을 3D (시공간) 로 확장한 "인플레이트 (inflated)" U-Net 아키텍처를 사용합니다.
• 주요 모듈:
  • 응답 인식 공간 어텐션: 여러 뷰 간의 기하학적 일관성을 보장하기 위해, 자기 어텐션 메커니즘을 수정하여 각 프레임 인덱스에서 뷰 간 정보를 집계함으로써 대상 객체의 3D 구조를 보존합니다.
  • 외관 주입을 위한 크로스 어텐션: 객체의 휴식 상태에 대한 다중 뷰 이미지는 CLIP 이미지 인코더를 통해 인코딩되어 잠재 공간과 융합됩니다. 이는 생성된 운동이 대상 객체의 특정 외관과 구조를 보존하도록 보장합니다.
  • 제어 가능한 부분 운동 모듈: 공간적 제어를 달성하기 위해, 모델은 관절을 적용할 부분의 이진 마스크를 입력으로 받습니다. 적응형 아핀 변환이 이 마스크에 기반하여 잠재 특징을 변조하여, 모델이 마스크된 영역에 특정한 시간적 운동 패턴을 학습할 수 있게 합니다.
• 학습: 모델은 소수의 참조 다중 뷰 운동 비디오 (퓨샷) 컬렉션에서 파인튜닝됩니다. 확산 모델은 고정되고 새로 추가된 제어 가능한 운동 모듈만 학습됩니다.
• 추론: 대상 정적 메시가 주어지면, 시스템은 다중 뷰 이미지와 부분 마스크를 렌더링합니다.これ들과 텍스트 프롬프트는 파인튜닝된 모델에 입력되어, 특정 부분이 움직이는 동안 객체의 나머지는 강체로 유지되는 개인화된 다중 뷰 운동 비디오를 환각 (hallucinate) 합니다.

2. 3D 운동 축 최적화

두 번째 단계는 생성된 2D 다중 뷰 운동을 3D 공간으로 다시 전이하여 관절 매개변수 (운동 축과 원점) 를 추정합니다.

• 미분 가능 렌더링: 입력 메시는 3D 가우스 집합으로 매개변수화됩니다. 미분 가능 렌더러는 이러한 가우스를 확산 모델의 잠재 공간으로 투영합니다.
• 스코어 디스틸레이션 샘플링 (SDS): 시스템은 렌더링된 잠재 공간과 텍스트 프롬프트 및 마스크에 의해 안내된 개인화된 확산 모델이 예측하는 노이즈 간의 차이를 최소화함으로써 3D 표현을 최적화합니다. 이는 3D 기하학을 타당한 2D 운동 사전 지식과 정렬시킵니다.
• 알고리즘적 정제: 재구성된 희소 점 구름의 노이즈를 처리하기 위해, 저자들은 운동 축 추정을 위한 알고리즘적 접근 방식을 제안합니다. 연속 회귀 대신, 그들은 움직이는 부분을 방향성 경계 상자 (OBB) 로 근사화하고 OBB 의 주성분에서 파생된 가능한 축 원점과 방향의 이산 집합을 검색합니다. 가장 적합한 것은 관절화된 점 구름에 대한 Chamfer 거리를 최소화하여 선택됩니다.

주요 기여

1. 주석 없는 최초의 프레임워크: ATOP 은 인간이 주석 단 3D 부분 운동을 요구하지 않고 텍스트 프롬프트에서 정적 3D 객체에 대한 타당하고 정확한 부분 관절을 생성할 수 있는 최초의 학습 프레임워크로 제시됩니다.
2. 퓨샷 파인튜닝을 통한 운동 개인화: 이 논문은 소수의 참조 샘플을 사용하여 확산 모델에 관절 인식을 주입하는 방법을 소개합니다. 이 접근 방식은 다중 뷰 일관성을 유지하면서 특정 객체 모양에 맞는 운동 생성을 개인화합니다.
3. 부분 수준의 공간 제어: 부분 마스크를 입력 조건으로 활용함으로써, 텍스트 전용 또는 드래그 기반 제어의 모호성을 극복하고 특정 객체 부분의 정밀한 애니메이션을 가능하게 합니다.
4. 강건한 2D 에서 3D 로의 전이: 개인화된 다중 뷰 생성과 SDS 기반 최적화의 결합은 2D 비디오에서 3D 매개변수 추정으로의 운동을 충실하게 전이하여, 2 단계 파이프라인 (I2V + V2MV) 보다 우수한 성능을 발휘합니다.

결과

저자들은 ATOP 을 PartNet-Mobility 및 ACD 데이터셋에서 정량적으로 평가하고, Objaverse에서 정성적으로 평가했습니다.

• 정량적 성능: PartNet-Mobility 에서 ATOP 은 평균 각도 오차 (MAE) 와 평균 위치 오차 (MPE) 측면에서 Shape2Motion (S2M) 및 OPD 와 같은 베이스라인을 크게 능가합니다. 예를 들어, 평균 MAE 는 S2M 의 약 7.04 와 OPD 의 약 12.15 에서 ATOP 의 2.63으로 감소합니다.
• 비디오 생성 품질: 다중 뷰 비디오 생성에서 ATOP 은 FVD (베이스라인의 >1300 대비 938.97), PSNR (약 11-12 대비 20.87), LPIPS (약 0.49 대비 0.128) 에서 우수한 점수를 달성하여 더 나은 시간적 일관성, 텍스트 정렬 및 공간적 일관성을 나타냅니다.
• 일반화: 이 방법은 훈련 중 보지 못한 구조적으로 구별되는 객체를 포함하는 ACD 데이터셋에서 강력한 제로샷 일반화를 보여줍니다. 이는 훈련 샘플과 구조적으로 큰 차이가 있는 옷장 및 야간 탁상과 같은 객체에 대한 운동 매개변수를 성공적으로 추정합니다.
• 애블레이션 연구: 실험은 알고리즘적 최적화 (이산 검색) 가 직접적인 연속 최적화보다 더 정확한 결과를 산출함을 확인시켜 줍니다. 또한, 데이터 증강으로 학습될 때 이 방법은 노이즈가 있는 마스크에 대해 강건합니다.

중요성 및 주장

이 논문은 ATOP 이 방대한 기존 정적 3D 자산 라이브러리를 애니메이션화하는 방향으로 중요한 한 걸음을 내디뎠다고 주장합니다. 확산 모델의 생성적 사전 지식을 활용하고 퓨샷 학습을 통해 이를 개인화함으로써, 이 방법은 대규모이고 값비싼 3D 운동 데이터셋의 필요성을 우회합니다.

저자들은 그들의 접근 방식이 새로운 관절형 자산을 생성하는 작업 (예: CAGE, NAP) 과 구별된다고 강조합니다. 대신 ATOP 은 동적 속성을 추론함으로써 기존 정적 메시를 향상시킵니다. 현재 방법은 회전 및 프리즘 관절로 제한되며 복잡한 계층적 운동학 사슬을 모델링하지는 않지만, 확장 가능한 텍스트 기반 3D 애니메이션을 위한 기초를 마련합니다. 저자들은 많은 3D 모델에서 "내부 부재" 문제가 여전히 과제라고 언급하지만, 이 방법은 다양한 모양의 외부 관절을 성공적으로 처리한다고 밝힙니다.