기술 요약: Rigel3D

문제 제기

최근 3D 생성 모델의 발전은 이미지, 텍스트, 잠재 분포로부터 고품질 정적 에셋을 합성할 수 있게 했습니다. 그러나 중요한 한계가 여전히 존재합니다: 이러한 출력물은 표준 애니메이션 파이프라인에 필요한 스켈레톤 리그, 조인트 계층 구조, 그리고 스키닝 가중치를 결여하고 있습니다. 그 결과, 생성된 메시는 게임, 영화, 시뮬레이션, 그리고 embodied AI 에서 사용하기 위해 "애니메이션 준비 완료" 상태가 되기 위해 상당한 후처리를 필요로 합니다.

기존의 자동 리깅 방법들 (예: Pinocchio, RigNet, TARig, 그리고 최근의 템플릿 프리 접근법) 은 완성된 정적 형태에 대해 스켈레톤과 스키닝 가중치를 예측함으로써 이 격차를 메우려 시도합니다. 본 논문은 이러한 사후적 (post-hoc) 접근법이 근본적으로 제한적이라고 주장합니다. 생성된 출력물의 기하학적 구조, 토폴로지, 그리고 부분 구조가 종종 하류 리거들의 학습 분포와 크게 다르기 때문에, 리깅을 형태 생성 이후의 별도 단계로 취급하는 것은 불일치를 초래합니다. 핵심적인 과제는 이질적인 본질에도 불구하고 기하학과 리그 구조를 공동으로 생성하는 것입니다: 표면 기하학은 밀집되고 국소적인 반면, 스켈레톤은 희소하고 계층적이며 내부에 위치합니다. 또한, 실용적인 애니메이션 워크플로는 모션 리타게팅을 위한 의미론적 조인트 레이블을 요구하며, 이는 템플릿 프리 생성기들이 일반적으로 제공하지 못합니다.

방법론

저자들은 애니메이션 준비 완료 3D 에셋 (메시, 스켈레톤, 스키닝 가중치, 그리고 조인트 레이블) 을 엔드 - 투 - 엔드 방식으로 생성하는 Rigel3D라는 생성 프레임워크를 소개합니다. 이 방법은 TRELLIS 의 구조화된 잠재 (Structured LATent, SLAT) 표현을 확장하여 두 개의 결합된 잠재 집합을 학습합니다:

1. 표면 SLats: 기하학과 외관을 포착합니다.
2. 스켈레톤 SLats: 내부 관절 구조를 포착합니다.

1. 리그 인식 오토인코더

시스템의 핵심은 리그된 메시를 이러한 결합된 잠재 표현으로 매핑하고 이를 다시 완전한 에셋으로 디코딩하는 리그 인식 오토인코더입니다.

• 인코더:
  • 표면 인코더: TRELLIS 표면 인코더를 적응시켜 입력 메시를 볼록화하고 다중 뷰 DINOv2 특징을 집계하여 표면 SLats 를 생성합니다.
  • 리그 인코더: 각 뼈에 영향을 받는 꼭짓점들의 DINOv2 특징을 스키닝 가중치 평균하여 뼈 특징을 구성합니다. 이러한 특징들은 볼록 격자에 래스터화되고 별도의 희소 인코더에 의해 처리되어 스켈레톤 SLats 를 생성합니다.
• 디코더:
  • 메시 디코더: FlexiCubes 파라미터를 예측하도록 TRELLIS 디코더를 확장합니다. 핵심적으로, 이는 내부 리그 구조에 기반한 표면 재구성을 조건부로 만들기 위해 표면 토큰에서 스켈레톤 토큰으로의 크로스 어텐션을 통합합니다.
  • 스켈레톤 디코더: 스켈레톤 토폴로지를 디코딩하기 위해 자기회귀 트랜스포머를 사용합니다. 스켈레톤을 너비 우선 탐색 순서로 정렬된 조인트 좌표와 부모 인덱스의 이산 토큰 시퀀스로 표현합니다. 생성은 크로스 어텐션을 통해 표면과 스켈레톤 SLats 모두에 의해 조건부화됩니다.
  • 스키닝 가중치 디코더: 점 - 뼈 유사성을 계산하여 스키닝 가중치를 예측하는 어텐션 기반 모듈입니다. 메시 점과 뼈 좌표를 공유 공간에 임베딩하고, 자기 어텐션과 잠재 표현에 대한 크로스 어텐션을 통해 이를 정제합니다. 이를 통해 모델은 가변적인 수의 뼈를 가진 스켈레톤을 처리할 수 있습니다.

2. 애니메이션 준비 완료 에셋 생성

이미지로부터 에셋을 생성하기 위해 Rigel3D 는 표면과 스켈레톤 SLats 모두에 적용되는 (TRELLIS 에서 영감을 받은) 2 단계 잠재 생성 모델을 사용합니다:

• 1 단계 (점유): 정류 흐름 (rectified-flow) 트랜스포머가 입력 이미지 특징에 조건부화되어 희소 볼록 점유 격자 (어떤 볼록이 활성화되는지) 를 생성합니다.
• 2 단계 (잠재 코드): 두 번째 흐름 트랜스포머가 활성화된 볼록에 부착된 로컬 잠재 코드를 생성합니다.
  생성된 잠재 표현 ($Z_{surf}$ 및 $Z_{skel}$) 은 각각의 디코더로 전달되어 메시, 스켈레톤, 그리고 스키닝 가중치를 동시에 합성합니다.

3. 오픈 - 어휘 조인트 라벨링

모션 리타게팅을 지원하기 위해, 논문은 생성된 조인트에 의미론적 레이블을 할당하는 모듈을 소개합니다.

• 폐쇄형 집합 분류기 대신, 모델은 생성된 조인트를 공유 비전 - 언어 공간 (고정된 OpenCLIP 텍스트 인코더 사용) 에 임베딩합니다.
• 조인트 좌표, 계층 구조, 그리고 이전 레이블 임베딩에 조건부화되어 조인트 임베딩을 예측하는 자기회귀 트랜스포머를 활용합니다.
• 이를 통해 생성된 리그는 고정된 어휘에 구애받지 않고, 최근접 이웃 검색을 통해 임의의 후보 레이블 집합 (예: 특정 리타게팅 템플릿) 과 매칭될 수 있습니다.

주요 기여

1. Rigel3D 프레임워크: 메시, 선택적 외관, 스켈레톤, 그리고 스키닝 가중치를 순차적이 아닌 공동으로 생성하는 애니메이션 준비 완료 3D 에셋을 위한 엔드 - 투 - 엔드 생성 방법.
2. 결합된 잠재 표현: 결합된 표면 및 스켈레톤 SLats 를 활용하는 리그 인식 오토인코더로, 스켈레톤 조건부 메시 디코더, 자기회귀 스켈레톤 디코더, 그리고 어텐션 기반 스키닝 디코더를 특징으로 함.
3. 오픈 - 어휘 라벨링: 생성된 조인트를 공유 비전 - 언어 공간의 텍스트 레이블과 매칭하여 모션 리타게팅을 가능하게 하는 새로운 모듈로, 재학습 없이 임의의 템플릿을 지원함.
4. 최첨단 성능: 대규모 리그된 에셋 데이터셋의 여러 지표에서 기존 자동 리깅 베이스라인 (Anymate, Puppeteer) 및 동시 생성 방법 (AniGen) 보다 우수한 성능을 입증함.

결과 및 평가

이 방법은 Anymate 및 ModelsResource 데이터셋에서 평가되었습니다.

• 정량적 성능: Rigel3D 는 스켈레톤 지표 (J2J, J2B, B2B) 및 스키닝 지표 ($\ell_1$, $\ell_2$, KL 발산) 에서 베이스라인 (Anymate, Puppeteer) 을 능가했습니다. 특히, 뼈 수준 구조 (B2B) 와 스키닝 분포 정렬 (KL) 에서 상당한 개선을 보였습니다.
• AniGen 과의 비교: 동시 방법인 AniGen 과 비교했을 때, Rigel3D 는 스키닝 예측에서 경쟁력 있는 성능을 유지하면서도 스켈레톤 정확도에서 상당한 개선을 이루었습니다 (예: ArticulationXL 에서 J2J 의 32.8% 상대적 감소).
• 정성적 결과: 시각적 비교는 Rigel3D 가 사후 리깅 방법들에 비해 더 정확한 조인트 배치, 일관된 연결성, 그리고 더 매끄러운 스키닝 전환을 생성함을 보여주었습니다.
• 라벨링 정확도: 오픈 - 어휘 라벨링 모듈은 조인트에 의미론적 레이블을 할당하는 데 높은 Top-1 및 Top-3 정확도를 달성하여, 비자기회귀 변형들을 능가했습니다.

중요성

본 논문은 Rigel3D 가 정적 3D 생성과 리그 기반 애니메이션 워크플로우 간의 격차를 좁힌다고 주장합니다. 상호 의존적인 기하학과 리그 구조를 공동으로 모델링함으로써, 이 방법은 사후 리깅에 내재된 분포 불일치를 피합니다. 오픈 - 어휘 조인트 라벨링의 도입은 다양한 하류 모션 리타게팅 파이프라인과의 직접적인 호환성을 가능하게 함으로써 실용적 유용성을 더욱 향상시킵니다. 저자들은 이 작업을 정적 형태가 아닌 완전히 리그되고 애니메이션 가능한 개체로서의 출력을 산출하는 완전 자동화된 프로덕션 준비 3D 에셋 생성을 향한 한 걸음으로 위치시킵니다.

한계

저자들은 몇 가지 한계를 인정합니다:

• 생성된 리그는 여전히 누락된 조인트, 불필요한 가지, 또는 불완전한 연결성을 포함할 수 있습니다.
• 모델이 긴 모션 시퀀스에 의해 지도되지 않기 때문에, 극단적인 포즈 하에서 스키닝 변형이 덜 자연스러울 수 있습니다.
• 오픈 - 어휘 레이블은 반복되는 구조 (예: 손가락, 꼬리) 에 대해 모호할 수 있습니다.
• 이 방법은 모호하거나 가려진 입력 뷰에 대한 민감성과 같은 이미지 조건부 3D 생성의 한계를 물려받습니다.