TGRHuman: Text-Guided Realistic 3D Human Generation via Diffusion Renderer

기술 요약: TGRHuman

문제 정의

현실적인 3D 인간 생성은 몰입형 VR/AR, 게임, 영화 분야에서 매우 중요하지만, 현재의 방법들은 고품질 기하 구조(geometry), 고해상도 텍스처, 3D 일관성, 그리고 추론 효율성을 동시에 달성하는 데 어려움을 겪고 있다. 기존의 접근 방식은 크게 두 가지 범주로 나뉘며, 두 방식 모두 상당한 한계를 지닌다:

1. 네이티브 3D 생성 모델: 이들은 3D 표현형(예: tri-planes, SDFs)에 직접 학습한다. 강력한 3D 인지 능력을 갖추고 있지만, 3D 데이터의 높은 차원으로 인해 사전 학습된 2D 확산 모델(diffusion models)을 활용하기 어렵고, 종종 높은 계산 비용을 수반하며 처음부터 학습해야 하는 경우가 많다. 또한, 실제 3D 인간 데이터셋의 부족은 일반화 성능을 저해한다.
2. 2단계 생성 방법: 이들은 사전 학습된 2D 확산 모델과 점수 증류 샘플링(Score Distillation Sampling, SDS)에 의존하여 NeRF나 DMTet과 같은 3D 표현형을 최적화한다. 2D 사전 지식(prior)을 활용할 수 있다는 장점이 있지만, SDS 기반 최적화는 시간이 매우 오래 걸리며(종종 인스턴스당 수 시간 소요), 뷰 일관성이 떨어지거나 다중 얼굴 아티팩트(multi-face artifacts), 과도한 평활화(over-smoothing) 현상이 빈번하게 발생한다. 또한, 많은 NeRF 기반 방법들은 고품질 기하 구조와 텍스처를 분리하지 못하며, SMPL 기반 변위(displacement) 방식은 고정된 토폴로지로 인해 헐렁한 옷(loose clothing)을 지원하지 못하는 경우가 많다.

방법론

TGRHuman은 명시적인 2D 관측 생성 및 차원 상승(dimension elevation)을 통해 기하 구조와 텍스처 생성을 분리함으로써 이러한 문제를 해결하며, SDS 기반 방법의 긴밀한 결합과 느린 최적화를 피한다. 이 프레임워크는 두 가지 주요 단계로 구성된다:

1. 기하 구조 생성 단계

• 다중 뷰 법선(Normal) 생성: 이 방법은 고해상도 생성 모듈을 사용하여 1024 해상도의 일관된 4면(전면, 후면, 좌측, 우측) 법선 맵을 생성한다. 이 모듈은 SMPL 잠재 변수(포즈 및 형태 가이드용), 텍스트 임베딩(CLIP 경유), 그리고 카메라 파라미터를 조건으로 하는 사전 학습된 잠재 확산 모델(LDM)을 활용한다. 뷰 일관성을 보장하기 위해, 모델은 확산 과정 중에 교차 뷰 상호작용(cross-view interaction)을 채택하여 모든 뷰의 전역적 세부 사항을 어텐션 메커니즘에 통합한다.
• 기하 구조 카빙(Geometry Carving): 희소한 뷰(sparse views)나 초해상도 후처리(super-resolution post-processing)에 의존하는 대신, TGRHuman은 기하 구조 카빙 전략을 사용한다. 이 방법은 생성된 고해상도 법선 맵과 미분 가능한 래스터라이저(differentiable rasterizer)로부터 렌더링된 메시를 비교하여 초기 SMPL 메시를 변형한다. 최적화 과정은 관측된 법선과 렌더링된 메시 사이의 픽셀 정렬 오차를 최소화한다. 결정적으로, 최적화 중에 토폴로지가 동적으로 조정(리메싱을 통해)되므로, 별도의 정제 과정 없이도 헐렁한 옷을 입은 인간을 지원할 수 있다.

2. 텍스처 생성 단계

• 텍스처 사전 지식 습득: 희소한 뷰가 자기 가려짐(self-occlusion) 영역을 커버할 수 없다는 점을 인식하여, 이 방법은 먼저 SMPL UV 공간을 기반으로 견고한 텍스처 사전 지식을 구축한다.
  • 형태 가이드 확산 모델이 기하 구조와 정렬된 거친 전면 외형을 생성한다.
  • 이 전면 뷰는 SMPL UV 공간으로 언랩(unwrap)된다.
  • UV 인페인팅 모델(미세 조정된 Stable Diffusion)이 UV 맵의 누락된 영역을 완성하여 완전한 SMPL UV 텍스처 맵을 생성한다.
• 자유 뷰 렌더링을 위한 확산 렌더러: 임의의 시점에서 고해상도의 일관된 텍스처를 생성하기 위해, TGRHuman은 확산 렌더러를 도입한다.
  • 구조: 렌더러는 메인 RenderNet과 ReferenceNet으로 구성된다. RenderNet은 카메라 파라미터, 초기 RGB, 법선 맵을 입력으로 받는다. ReferenceNet은 초기 전면 뷰 관측값과 법선 맵을 처리하여, 합산된 셀프 어텐션 입력을 통해 RenderNet에 정체성 일관성이 있는 특징을 주입한다.
  • 프로세스: 렌더러는 텍스처 사전 지식에 의해 가이드되어 조밀한 360도 RGB 관측치를 합성한다.
  • 최적화: 미분 가능한 래스터라이저는 렌더링된 이미지와 확산 생성된 관측치 사이의 L1, SSIM 및 총 변동(total variation) 손실을 최소화함으로써 최종 텍스처 맵을 최적화하여, 구조적 유사성과 매끄러움을 보장한다.

주요 기여

1. 분리된 생성 전략: 명시적인 2D 관측 생성 및 차원 상승을 통해 기하 구조와 텍스처 생성을 분리하는 새로운 접근 방식이다. 이는 다양성을 유지하면서도 SDS 기반 방법의 느린 암묵적 감독을 피한다.
2. 고해상도 기하 구조 모듈: 다중 뷰 법선을 위한 고해상도 생성 모듈과 뷰 일관성을 유지하며 별도의 정제 과정 없이 헐렁한 옷을 효과적으로 지원하는 기하 구조 카빙 전략을 제공한다.
3. 텍스처 사전 지식 및 확산 렌더러: SMPL UV 인페인팅을 통해 견고한 텍스처 사전 지식을 획득하는 전략과, 뷰 일관성을 보장하고 고해상도 텍스처 합성을 위한 조밀한 전방위 RGB 관측을 가능하게 하는 특화된 확산 렌더러를 제안한다.

실험 결과

• 정량적 성능: TGRHuman은 기하 구조와 텍스처 품질 모두에서 기존의 최첨단 방법들(HumanNorm, En3D, TADA, Chupa 포함)을 능가한다. 법선(29.48)과 RGB(25.36)에서 가장 낮은 FID 점수를 기록했으며, 텍스트-3D 일관성 측면에서 가장 높은 CLIP 점수를 달성했다.
• 효율성: 이 방법은 SDS 기반 접근 방식에 비해 상당한 속도 우위를 보여준다. 경쟁 모델들이 인스턴스당 보통 1~2시간 이상이 소요되는 반면, TGRHuman은 A800 GPU에서 약 5분 만에 전체 파이프라인(기하 구조, 사전 지식, 텍스처)을 완료한다.
• 새로운 뷰 합성: 새로운 뷰 합성 작업에서, 확산 렌더러는 PSNR(28.3), SSIM(0.951), LPIPS(0.043) 측면에서 MagicMan, Wonder3D, SV3D와 같은 베이스라인 모델들을 크게 앞선다.
• 정성적 품질: 시각적 비교 결과, TGRHuman은 특히 헐렁한 옷과 복잡한 텍스처를 처리함에 있어 다른 방법들에서 흔히 나타나는 다중 얼굴 아티팩트나 과도한 평활화 없이, 더 현실적이고 일관된 3D 인간을 생성한다.

의의 및 주장

본 논문은 TGRHuman이 텍스트 기반 3D 인간 생성에서 성능과 효율성의 균형을 성공적으로 맞추었다고 주장한다. 기하 구조와 텍스처를 분리하고 암묵적인 SDS 최적화 대신 명시적인 다중 뷰 관측을 활용함으로써, 고품질의 다양하고 일관된 3D 인간을 효율적으로 생성한다. 저자들은 이 방식이 많은 SMPL 기반 변위 방법들의 한계인 헐렁한 옷을 지원한다는 점을 강조하며, 애니메이션 및 텍스처 편집과 같은 다운스트림 그래픽 애플리케이션에 용이한 명시적인 메시와 텍스처 맵을 출력한다고 밝힌다. 연구는 현재 텍스트-to-3D에 초점을 맞추고 있으나, 이 프레임워크가 본질적으로 유연하여 이미지 조건부 설정으로 확장 가능하다는 결론을 내린다.