기술 요약: MeshFlow: 등변량 플로우 매칭을 이용한 메쉬 생성 (Mesh Generation with Equivariant Flow Matching)

문제 정의

고품질 3D 메쉬를 직접 생성하는 것은 메쉬 표현의 복잡한 구조적 특성으로 인해 매우 어려운 과제입니다. 점 구름(point clouds)이나 암시적 함수(implicit functions)와 달리, 메쉬는 고유한 대칭성을 가집니다. 즉, 면(face)의 **순열 불변성(permutation invariance)**과 각 면 내에서 정점(vertex)들의 순열 불변성이 존재합니다. 기존 방식들은 다음과 같은 뚜렷한 한계점을 가집니다:

• 2단계 파이프라인: 중간 표현(예: 점 구لود, 복셀, 암시적 함수)을 생성한 후 메쉬로 변환하는 방식은 과도한 테셀레이션(over-tessellation)이나 날카로운 특징의 손실과 같은 아티팩트를 유발할 수 있으며, 예술가가 의도한 테셀레이션을 재현하는 데 실패하곤 합니다.
• 자기 회귀 모델(Auto-regressive models): 최근의 연구들(예: MeshGPT, MeshXL)은 데이터로부터 직접 고품질 메쉬를 생성하지만, 느린 추론 속도, 생성 제어의 어려움, 그리고 긴 시퀀스에서의 오차 누적이라는 병목 현상을 겪습니다.
• 표준 확산/플로우 매칭(Standard Diffusion/Flow Matching): 메쉬에 확산 모델을 직접 적용하는 것은 자기 회귀 방식의 품질을 따라잡는 데 어려움을 겪어왔습니다. 이는 기존 방식들이 면과 정점의 고유한 대칭성을 고려하지 못해 비효율적인 학습과 최적화되지 않은 생성을 초래하기 때문입니다.

방법론

저자들은 **등변량 최적 운송 플로우 매칭(equivariant optimal-transport flow matching)**을 사용하여 인간이 큐레이션한 데이터셋으로부터 삼각형 메쉬를 직접 생성하는 법을 학습하는 모델인 MeshFlow를 제안합니다. 이 방법은 메쉬를 순서가 없는 삼각형 면들의 집합으로 정의되는 트라이앵글 수프(triangle soup) 표현법 위에서 작동하며, 각 면은 세 개의 순서 없는 정점으로 구성됩니다.

1. 표현 및 대칭성

모델은 메쉬를 $x = \{f_1, \dots, f_N\}$인 집합으로 취급하며, 여기서 각 면 $f_i$는 세 개의 정점으로 구성됩니다. 이 표현은 두 단계의 순열 대칭성을 보입니다:

• 면 수준(Face-level): $N$개의 삼각형 집합은 임의로 순열될 수 있습니다 (대칭군 $S_N$).
• 정점 수준(Vertex-level): 단일 삼각형 내의 세 정점의 순서는 무관합니다 (대칭군 $S_3$).
  결합된 대칭군은 wreath product $G = S_3 \wr S_N$입니다.

2. 등변량 아키텍처 (Equivariant Architecture)

이러한 대칭성을 준수하기 위해, 저자들은 표준 Diffusion Transformer (DiT) 아키텍처를 **등변량 DiT (EquiDiT)**로 수정했습니다:

• 정점 인코더 (Vertex Embedder): NeRF와 유사하게 사인형 위치 인코딩(sinusoidal positional encoding)을 사용하여 정점 좌표를 인코딩합니다.
• 등변량 DiT 블록 (Equivariant DiT Block): 모든 $3N$개의 정점에 셀프 어텐션을 적용하는 대신(이는 계산 비용이 많이 들고 지나치게 제한적임), 모델은 평균 풀링(mean pooling)을 통해 각 면 내의 정점 특징을 집계하여 면 특징을 생성합니다.
  • 면 셀프 어텐션 (Face Self-Attention): 표준 셀프 어텐션 레이어가 위치 인코딩 없이 면 특징 집합을 처리합니다.
  • 정점 복원 (Vertex Restoration): 어텐션이 적용된 면 특징을 원래의 정점 임베딩에 다시 더하여 정점 수준의 등변량을 보존합니다.
  • 피드 포워드 네트워크 (FFN): 2층 FNF가 각 정점 특징을 독립적으로 처리합니다.
• 면 컨디셔닝 (Face Conditioning): 가변적인 메쉬 해상도를 처리하기 위해, 네트워크는 타겟 면의 개수에 명시적으로 컨디셔닝되며, 이는 Adaptive LayerNorm (adaLN) 파라미터에 추가되는 임베딩을 통해 이루어집니다.

3. 대칭 인식 학습 목적 함수 (Symmetry-Aware Training Objectives)

모델은 노이즈와 데이터 사이에 직선적인 속도장을 정의하기 위해 최적 운송(Optimal Transport, OT) 플로우 매칭을 활용합니다.

• 중첩 결합 (Nested Coupling): 표준 플로우 매칭은 종종 노이즈와 데이터 사이의 독립적인 결합을 사용합니다. MeshFlow는 노이즈 샘플 $x_0$를 타겟 데이터 $x_1$과 정렬시키는 최적의 군 작용(group action) $g \in G$를 찾음으로써 운송 비용을 최소화하는 중첩 결합 전략을 도입합니다.
  • 이는 면을 매칭하기 위한 선형 할당 문제(Hungarian 알고리즘 사용)를 해결한 다음, 매칭된 각 면 내에서 최적의 정점 순열($S_3$)을 찾는 과정을 포함합니다.
  • 비용 함수는 $C(x_0, x_1) = \min_{g \in G} \|x_1 - g \cdot x_0\|^2$로 정의됩니다.
• 손실 함수 (Loss Function): 모델은 상수 속도장 $u_t = x_1 - \tilde{x}_0$를 예측하도록 학습됩니다. 여기서 $\tilde{x}_0$는 최적의 군 작용을 적용한 후의 노이즈 샘플입니다. 이는 대칭성을 위반하는 학습 신호를 제거하고 더 직선적인 적분 경로를 결과로 가져옵니다.

4. 후처리 (Post-Processing)

플로우 매칭 모델의 연속적인 출력에는 거의 일치하는 정점들이 클러스터링되어 나타날 수 있으므로, 2단계 후처리 파이프라인이 적용됩니다:

1. 뉴럴 디노이저 (Neural Denoiser): 메쉬의 가우시안 노이즈를 제거하도록 학습된 경량 네트워크로, 로우 레벨의 기하학적 아티팩트를 교정하기 위해 원시 출력에 적용됩니다.
2. 클러스터링 및 중복 제거 (Clustering and Deduplication): 임계 거리(0.015) 내의 정점들을 병합하고 동일한 면을 제거하여 깨끗한 매니폴드 메쉬를 생성합니다.

주요 기여

1. 새로운 메쉬 생성 프레임워크: 트라이앵글 수프 표현법에 등변량 최적 운송 플로우 매칭을 직접 적용한 최초의 방법으로, 중간 표현이나 자기 회귀 시퀀싱을 우회합니다.
2. 등변량 DiT 아키텍처: 면 수준과 정점 수준의 순열 불변성을 모두 존중하는 확장 가능한 네트워크 수정을 통해, 대칭성을 깨뜨리지 않고 속도장을 효율적으로 모델링할 수 있게 합니다.
3. 중첩 최적 운송 손실 (Nested Optimal Transport Loss): 중첩 순열 전략(면 및 정점)을 통해 노이즈와 데이터를 결합함으로써 OT 비용을 크게 줄이고 학습을 안정화합니다.
4. 효율성 및 품질: 자기 회귀 모델과 대등한 수준의 고품질 메쉬를 달성하는 동시에 상당한 속도 향상을 제공합니다.

결과

실험은 네 가지 ShapeNet 카테고리(Chair, Table, Bench, Lamp)에 대해 수행되었습니다.

• 품질: MeshFlow는 상태 최고(SOTA) 자기 회귀 모델(MeshXL, MeshGPT, PolyGen)과 대등하거나 더 나은 1-최근접 이웃 정확도 (1-NNA) 점수를 달성했습니다. 예를 들어, Chair 카테고리에서 MeshFlow는 54.51의 1-NNA를 기록하여 MeshXL(55.32)과 대등한 성능을 보였으며, PolyDiff(79.91)와 같은 확산 기반 베이스라인 모델들을 크게 압도했습니다.
• 위상적 품질 (Topological Quality): 이 방법은 다른 확산 기반 접근 방식에 비해 현저히 적은 자기 교차(self-intersections)를 가진 메쉬를 생성합니다. 후처리는 자기 교차율($R_i$)을 약 56% 추가로 감소시킵니다.
• 추론 속도: MeshFlow는 고품질 메쉬를 **1초 미만(0.877초)**에 생성하며, 이는 가장 느린 자기 회귀 베이스라인(예: MeshXL, 28.9초) 대비 18.55배 빠른 속도입니다.
• 절제 연구 (Ablation Studies): 등변량 아키텍처나 중첩 결합을 제거하면 성능이 저하되고 수렴 속도가 느려지며, 이는 두 구성 요소의 필요성을 확인시켜 줍니다.

의의

본 논문은 MeshFlow가 등변량 플로우 매칭을 통해 2단계 파이프라인과 자기 회귀 모델의 한계를 극복할 수 있음을 보여준다고 주장합니다. 메쉬 데이터에 내재된 대칭성을 명시적으로 모델링함으로써, 이 접근 방식은 상호작용형 컴퓨터 그래픽스 애플리케이션에 필요한 높은 충실도와 의도된 테셀레이션 품질을 희생하지 않으면서도 1초 미만의 추론 속도를 달로 달성합니다. 이 연구는 데이터의 대칭성을 존중하는 것이 복잡한 기하학적 구조에 확산 기반 방법을 성공적으로 적용하는 데 결정적인 요소임을 시사합니다.