기술 요약: Sketch2Motion

문제 정의

2D 손으로 그린 스케치를 3D 시퀀스로 애니메이션화하는 작업은 2D 표현에 내재된 모호성, 희소성, 그리고 명시적인 깊이 단서의 부재로 인해 상당한 어려움을 겪습니다. 3D 애니메이션은 자연스럽게 가림 현상과 복잡한 운동을 처리하지만, 2D 입력으로부터 타당한 3D 구조와 운동을 추론하는 것은 어렵습니다. 기존 방법들은 종종 특정 운동 카테고리 (예: 두 발로 걷기), 사전 정의된 템플릿, 또는 대규모 쌍을 이루는 데이터셋에 의존하여 다양한 캐릭터 유형과 스타일화된 스케치에 대한 적용 가능성을 제한합니다. 또한, 최근의 텍스트-to-3D 접근법들은 종종 물리 기반 제약과 연체체 (soft-body) 역학을 결여하고 있어, 의미론적으로는 정렬되었을지라도 물리적으로 불가능하거나 시간적으로 일관성이 없는 애니메이션을 초래합니다.

방법론

저자들은 텍스트 프롬프트를 사용하여 2D 스케치로부터 스키네이트 기반 3D 애니메이션을 합성하는 확산 유도 프레임워크인 Sketch2Motion을 제안합니다. 이 파이프라인은 고전적인 캐릭터 애니메이션 기법과 심층 생성적 사전 지식을 통합합니다.

1. 파이프라인 개요

프로세스는 2D 스케치를 텍스처가 입혀진 3D 메시로 팽창시키는 것으로 시작합니다. 이 기하학으로부터 운동학적 스키네이트와 관절 계층 구조가 자동으로 추론됩니다. 그런 다음 시스템은 쌍을 이루는 운동 데이터가 필요 없이 텍스트 프롬프트에 guided 되어 스키네이트 운동 파라미터 (관절 회전, 루트 이동, 로컬 오프셋) 를 최적화합니다.

2. 운동 표현 및 초기화

• 표현: 운동은 글로벌 루트 이동, 관절 회전 (축 - 각도 형태), 그리고 비강체 2 차 역학을 모델링하기 위한 로컬 병진 오프셋을 사용하여 파라미터화됩니다.
• 초기화: 처음부터 최적화할 때 발생하는 퇴화된 국소 최소값을 피하기 위해, 이 방법은 운동 초기화 모듈을 사용합니다. 이 모듈은 캐릭터의 형태 (두 발, 네 발 등) 와 의미론적 동작 (걷기, 점프) 을 분류하여 정현파 원시 함수를 사용하여 절차적 기본 운동을 생성합니다. 이러한 밀집 궤적은 **비균일 유리 B-스플라인 (NURBS)**을 사용하여 저차원 매니폴드에 투영되어 시간적 부드러움을 보장하고 최적화를 위한 물리적으로 타당한 시작점을 제공합니다.

3. 확산 유도 최적화 (MoSDS)

이 방법의 핵심은 사전 훈련된 텍스트 - 비디오 (T2V) 확산 모델을 의미론적 사전 지식으로 활용하는 것입니다. 비디오를 직접 생성하는 대신, 이 모델은 **운동 인식 점수 증류 샘플링 (MoSDS)**을 통해 스키네이트 파라미터의 최적화를 안내합니다.

• 분리: 시간적 깜빡임을 유발할 수 있는 표준 점수 증류 샘플링 (SDS) 과 달리, MoSDS 는 노드 잔차를 외관 기울기 (시간 평균) 와 운동 기울기 (프레임별 편차) 로 분리합니다.
• 최적화: 시스템은 운동 기울기에 높은 가중치를 두어, 최적화기가 확산 모델을 운동학적 비평가로 취급하도록 강제합니다. 이는 3D 기하학의 구조적 무결성을 유지하면서 텍스트 프롬프트의 운동 역학과 일치하도록 스키네이트 파라미터를 업데이트합니다.

4. 물리 영감 정규화

물리적 타당성과 안정성을 보장하기 위해 최적화 목적 함수에는 여러 정규화 항이 포함됩니다:

• 시간적 부드러움: 속도와 가속도의 고주파수 진동을 패널티화합니다.
• 위상적 제약: 양측 캐릭터의 관절 한계 (운동 범위) 와 대칭성을 강제합니다.
• 주기적 일관성: 주기적 운동에 대한 매끄러운 루핑을 보장합니다.
• 환경 상호작용: 지면 침투 패널티와 발 접촉 손실을 포함하여 발 미끄러짐을 방지하고 적절한 체중 이동을 보장합니다.

5. 2 차 운동 시뮬레이션

현실감을 높이기 위해 프레임워크는 스프링 - 질량 시뮬레이터를 통합합니다. 메시는 스키닝 가중치에 기반하여 강체 (스키네이트) 와 변형 가능 (연체체) 영역으로 자동 분할됩니다. 동적 정점 (예: 머리카락, 천, 꼬리) 은 스프링 힘, 구조적 제약 및 감쇠를 사용하여 시뮬레이션되어 follow-through 와 오버래핑 액션과 같은 자연스러운 2 차 운동 효과를 생성합니다.

주요 기여

1. 확산 유도 스키네이트 최적화: T2V 확산 모델에서 운동 인식 점수 증류를 적용하여 스키네이트 운동 파라미터를 직접 최적화하는 프레임워크로, 쌍을 이루는 데이터 없이 다양한 관절화된 개체에 대한 의미론적 운동 합성을 가능하게 합니다.
2. NURBS 조건부: NURBS 를 사용하여 운동 궤적을 초기화하고 부드럽게 하는 새로운 운동학적 조건부 프레임워크로, 확산 유도 최적화 프로세스를 안정화합니다.
3. 물리 영감 제약: 안정적이고 현실적인 애니메이션 생성에 필수적인 정규화 항 (부드러움, 관절 한계, 접촉, 대칭) 의 포괄적인 집합.
4. 2 차 운동 통합: 객체 구성 요소에 2 차 운동 효과를 추정하고 적용하는 스프링 - 질량 시뮬레이션 프레임워크로, 운동학적 생성과 동적 시뮬레이션 간의 간극을 메웁니다.
5. 데이터셋: 두 발, 네 발, 비생물적 객체 등 다양한 객체 카테고리와 구조적 복잡성을 아우르는 100 개의 손으로 그린 스케치로 구성된 데이터셋 공개.

결과 및 평가

저자들은 정성적 및 정량적 지표를 사용하여 Sketch2Motion 을 AnimateAnyMesh 및 BiMotion을 포함한 최첨단 방법들과 비교 평가했습니다.

• 정량적 지표:
  • 텍스트 - 비디오 정렬 (T2VA): Sketch2Motion 은 가장 높은 점수 (0.2120) 를 기록하여 베이스라인 대비 텍스트 프롬프트와의 우수한 의미론적 정렬을 나타냈습니다.
  • 메시 라플라시안 왜곡 (MLD): 이 방법은 가장 낮은 왜곡 (0.3523) 을 달성하여 AnimateAnyMesh(0.6796) 보다 우수한 기하학적 안정성과 표면 보존을 입증했습니다.
  • 다중 뷰 특징 일관성 (MVFC): 이 접근법은 가장 높은 일관성 (0.8933) 을 보여 다양한 시점에서 일관된 3D 구조를 확인시켰습니다.
• 정성적 분석: 시각적 결과는 베이스라인이 종종 구조적 불일치, 발 미끄러짐, 또는 2 차 운동의 부재로 고통받는 반면, Sketch2Motion 은 스키네이트 제약을 존중하고 자연스러운 2 차 역학을 보여주는 시간적으로 일관되고 물리적으로 타당한 애니메이션을 생성함을 보여줍니다.
• 절대 연구: 운동 초기화를 제거하면 수렴 문제와 아티팩트 (예: 공중에 떠 있는 기하학) 가 발생합니다. 물리 정규화를 제거하면 물리적으로 일관되지 않은 운동 (예: 부러진 관절, 미끄러지는 발) 이 발생합니다. 2 차 운동을 제거하면 유기적인 "follow-through"가 결여된 뻣뻣하고 인위적인 애니메이션이 됩니다.

의의

이 논문은 Sketch2Motion 이 제어 가능한 3D 애니메이션을 위한 일반화되고, 완전히 미분 가능하며, 모듈식인 솔루션을 제공한다고 주장합니다. 그 의의는 확산 모델의 생성적 유연성과 고전적 애니메이션 파이프라인의 구조적 엄격함 사이의 간극을 성공적으로 메우는 데 있습니다. 쌍을 이루는 데이터셋이나 암시적 변형에 의존하는 대신 명시적 스키네이트 파라미터를 최적화함으로써, 이 방법은 두 발, 네 발, 그리고 비생물적 관절 객체로 일반화됩니다. 물리 영감 제약과 2 차 역학을 통합함으로써 기존 텍스트 -to-3D 방법의 중요한 한계를 해결하여, 의미론적으로 정렬될 뿐만 아니라 물리적으로 타당하고 시간적으로 안정적인 애니메이션을 생성합니다. 저자들은 해당 분야의 추가 연구를 촉진하기 위해 코드와 데이터셋을 공개할 것이라고 명시했습니다.