기술 요약: MeshReGen: 통합 3D 기하학 재생성 프레임워크

문제 정의

현재의 3D 생성 모델들은 주로 텍스트나 단일 이미지를 3D 객체로 변환하는 "원샷(one-shot)" 방식으로 작동합니다. 초기 생성에는 효과적이지만, 이러한 모델들은 제어 가능성이 부족하며 복잡한 다단계 3D 아티스트 워크플로우와 통합하는 데 어려움을 겪습니다. 실제 3D 창작은 거친 기하학을 정제하거나, 불완전한 스캔 (예: 포토그램메트리) 에서 객체를 재구성하거나, 기존 메시의 특정 영역을 편집하는 과정을 자주 포함합니다. 이러한 작업들은 거칠거나, 노이즈가 있거나, 왜곡되었거나, 일부만 존재할 수 있는 "저정보" 3D 형태 ($y_L$) 를 "고정보" 3D 형태 ($x_H$) 로 매핑하는 것을 요구합니다.

기존 접근법들은 이러한 특정 사례 (향상, 재구성, 편집) 를 처리하기 위해 맞춤형, 작업별 아키텍처를 사용합니다. 또한, 저품질과 고품질 3D 형태의 쌍으로 구성된 훈련 데이터셋의 부족은 범용 재생성기를 훈련하는 능력을 제한합니다. 본 논문은 작업별 설계나 비싼 수동 주석이 필요 없이 다양한 3D 재생성 작업을 처리할 수 있는 통합 아키텍처와 학습 공식화의 부재를 지적합니다.

방법론

핵심 개념: 3D 형태 재생성

저자들은 3D 재생성을 보조 저정보 3D 형태 (예: 거친 메시, 포인트 클라우드, 또는 마스킹된 영역) 인 $y_L$과 선택적 2D 이미지 가이드 $I$가 주어졌을 때, 고충실도 형태 $x_H$를 분포 $p(x_H | y_L, I)$에서 샘플링하는 것으로 정의합니다.

모델 아키텍처

MeshReGen 은 VecSet [78] 을 사용하여 컴팩트한 3D 잠재 공간에서 작동하는 사전 훈련된 잠재 확산 모델에 기반합니다.

1. 잠재 표현: 대상 고품질 형태 ($x_H$) 와 조건부 저품질 형태 ($y_L$) 모두 동일한 VecSet 인코더를 사용하여 잠재 벡터 ($z_H$ 및 $z_L$) 로 인코딩됩니다. VecSet 은 샘플링된 포인트 클라우드에서 파생된 $K$개의 잠재 벡터 집합으로 3D 형태를 표현합니다.
2. 통합 조건부 메커니즘: 이전 작업들이 조건부 처리를 위해 별도의 교차 주의 (cross-attention) 경로를 사용하는 것 (밀집 입력에는 비효율적일 수 있음) 과 달리, MeshReGen 은 조건부 토큰 $z_L$을 노이즈가 있는 대상 토큰 $z_H^t$와 직접 연결 (concatenate) 합니다.
   • 토큰 전처리: 모델이 새로운 제어 토큰의 도입에 "충격"을 받지 않도록 방지하기 위해, 조건부 토큰 $z_L$은 제로 초기화된 가중치를 가진 다층 퍼셉트론 (MLP) 을 통과합니다 (ControlNet 과 유사). 위치 임베딩도 $z_L$에 추가되어 모델이 공간적 위치를 구분하는 데 도움이 됩니다.
   • 확산 과정: 확산 트랜스포머 (DiT) 가 이미지 $I$와 시간 단계 $t$에 조건부로 연결된 입력 $z_H^t \oplus \text{MLP}(z_L + \text{PE})$의 노이즈를 제거합니다.
3. 효율성: VecSet 의 주요 장점은 토큰 수 $K$를 형태 복잡도에 따라 조정할 수 있다는 점입니다. 거친 입력 ($y_L$) 은 대상보다 훨씬 적은 토큰 ($C \ll K$) 으로 인코딩될 수 있어, 자기 주의 (self-attention) 의 2 차 복잡도로 인해 계산 효율성이 향상됩니다.

데이터 구성 (자기지도식 전제 작업)

쌍으로 된 3D 데이터의 부족을 극복하기 위해, 저자들은 수동 주석 없이 일반 3D 데이터셋 (예: Objaverse 류 컬렉션) 을 훈련 삼중항 $(z_H, z_L, I)$로 변환하는 자동 데이터 엔지니어링 파이프라인을 제안합니다. 구체적인 증강 전략은 대상 작업에 따라 달라집니다.

• 구성적 향상 (Compositional Enhancement): 고품질 객체들이 그리드에 배치되어 단일 잠재 공간으로 인코딩됩니다. 노이즈가 특정 수준 $t^*$에서 장면 토큰에 추가된 후 $t=0$까지 다시 탈노이즈됩니다. 결과적으로 생성된 "열화된" 장면은 디코딩되고, 개별 객체들은 원래 고품질 객체 ($x_H$) 에 해당하는 저품질 쌍 ($y_L$) 으로 추출됩니다. 이는 구성적 생성에서 흔히 발생하는 세부 정보 손실을 시뮬레이션합니다.
• 가이드 이미지-to-3D (재구성): 정답 (Ground-truth) 객체들이 1~4 개의 뷰로 렌더링됩니다. 이러한 뷰들은 VGGT 와 같은 순방향 재구성 네트워크에 입력되어 희소하고 불완전한 포인트 클라우드 ($y_L$) 를 생성합니다. 이들은 훈련 쌍을 형성하기 위해 정답과 정렬됩니다.
• 3D 형태 편집: 3D 마스크가 정답 객체에 적용되어 영역을 제거합니다. 나머지 기하학은 인코딩되고, 누락된 영역은 잠재 공간에서 초기화된 학습 가능한 "마스크 토큰"으로 표현됩니다. 가이드 이미지 $I$는 렌더링된 뷰의 마스킹된 영역을 텍스트-to-2D 모델을 사용하여 인페인팅하여 생성됩니다.

주요 기여

1. 통합 프레임워크: MeshReGen 은 3D 향상, 희소 뷰에서의 재구성, 3D 편집을 수행할 수 있는 단일 아키텍처를 도입하여, 이전에는 이질적인 모델들이 처리하던 작업을 통합합니다.
2. 새로운 조건부 메커니즘: 본 논문은 밀집되거나 노이즈가 많은 입력에 대해 교차 주의 대안을 능가하는 VecSet 잠재 공간 내의 3D 조건부 처리를 위한 간단하면서도 효과적인 연결 전략을 제안합니다.
3. 확장 가능한 데이터 프로토콜: 저자들은 자기지도식 증강을 통해 일반 3D 데이터셋에서 작업별 쌍 훈련 데이터를 자동으로 생성하는 프로토콜을 보여주어, 비싼 수동 페어링의 필요성을 제거합니다.
4. 최첨단 성능: 이 프레임워크는 작업별 베이스라인에 비해 기하학적 일관성과 미세한 세부 정보 복구에서 우수한 결과를 달성합니다.

결과 및 평가

저자들은 MeshReGen 을 세 가지 주요 작업에 대해 평가합니다.

• 구성적 3D 향상: 분해된 장면 객체에 대해 MeshReGen 은 기하학적 충실도 (ULIP-3D) 와 지각적 품질 (MV-ImageReward) 에서 베이스라인 (DetailGen3D 포함) 을 크게 능가합니다. 한 번의 패스로 대규모 장면을 생성할 때 손실된 세부 정보를 성공적으로 복구합니다.
• 가이드 이미지-to-3D (재구성): GSO 데이터셋을 사용하여 MeshReGen 과 VGGT 를 결합한 것 (VGGT+MeshReGen) 은 최첨단 재구성 지표 (CD, F-score, IoU, PSNR) 를 달성합니다. 단일 뷰 생성기를 현저히 능가하며, 더 적은 입력 뷰를 사용하더라도 TRELLIS 및 MeshLRM 과 같은 다뷰 전용 모델과 맞먹거나 능가합니다. 이는 가시적인 기하학을 유지하면서 가려진 영역을 효과적으로 채웁니다.
• 3D 형태 편집: Edit3D-Bench 데이터셋에서 평가된 MeshReGen 은 원래 객체의 정체성과 전역 구조를 유지하면서 특정 3D 영역을 편집할 수 있음을 보여줍니다. 2D-to-3D 리프팅 방법에서 흔히 발생하는 아티팩트와 뷰 불일치를 피합니다.

어블레이션 연구:

• 조건부 메커니즘: 제안된 제로 초기화 MLP 를 사용한 토큰 연결은 CLAY 에서 영감을 받은 별도의 교차 주의 블록이나 Hunyuan3D-Omni 에서 영감을 받은 확장된 교차 주의를 사용한 설계보다 우수합니다.
• 확산 파라미터화: 표준 확산 공식은 재구성 작업에서 정류 흐름 (rectified flow) 베이스라인보다 우수합니다.
• 일반화: 기존 생성 프레임워크 (TRELLIS, Hunyuan3D-Omni) 는 미세 조정 없이 열화된 입력을 가진 재생성 작업으로 일반화되지 못하며, 이는 전용 재생성 공식과 데이터의 필요성을 강조합니다.

중요성 및 주장

본 논문은 MeshReGen 이 통합되고, 일반화 가능하며, 다목적인 3D 재생성 사전 지식을 향한 중요한 단계라고 주장합니다. 단일 아키텍처가 통합 조건부 메커니즘과 자기지도식 데이터 구성을 통해 향상, 재구성, 편집과 같은 다양한 하위 작업을 처리할 수 있음을 보여줌으로써, 이 연구는 작업별 3D 모델이라는 지배적인 경향에 도전합니다.

저자들은 그들의 접근 방식이 전역 기하학 (자세, 거친 형태) 에 대한 명시적 제어를 가능하게 하면서 미세한 세부 정보를 개선한다고 강조하며, 생성형 AI 의 유연성과 전문 3D 워크플로우에 필요한 정밀성 사이의 간극을 메웁니다. 그들은 MeshReGen 을 단순한 생성기가 아닌, 기존 3D 자산을 업그레이드, 수리, 수정할 수 있는 "재생성" 도구로 위치시켜 3D 콘텐츠 제작을 더 접근 가능하고 효율적으로 만듭니다.