LATO: 3D Mesh Flow Matching with Structured TOpology Preserving LAtents

이 논문은 격자 기반의 구조화된 잠재 공간과 흐름 매칭 (Flow Matching) 을 활용하여 등면적 추출이나 휴리스틱 메시링 없이도 복잡한 기하학과 잘 형성된 위상을 가진 3D 메시를 효율적으로 생성하는 새로운 방법인 LATO 를 제안합니다.

핵심

LATO: 3D 모델링의 '레고'를 다시 발명하다

이 논문은 LATO라는 새로운 기술을 소개합니다. 쉽게 말해, LATO는 컴퓨터가 3D 물체 (캐릭터, 가구, 건물 등) 를 만들 때, 기존 방식의 단점을 해결하고 예술가가 그린 것처럼 깔끔하고 정확한 3D 모델을 빠르게 만들어내는 혁신적인 방법입니다.

이 기술을 이해하기 위해 몇 가지 비유를 들어보겠습니다.

---

1. 기존 방식의 문제점: "진흙 덩어리"와 "조각난 퍼즐"

지금까지 컴퓨터가 3D 물체를 만드는 방식은 크게 두 가지로 나뉘었는데, 둘 다 큰 문제가 있었습니다.

• 방식 A (진흙 덩어리): 컴퓨터가 먼저 물체의 겉모양을 '진흙'처럼 부풀게 만든 뒤, 그 진흙을 칼로 깎아내어 (마칭 큐브스 알고리즘) 표면을 만듭니다.
  • 문제: 진흙을 깎아내면 표면이 너무 거칠고, 필요한 부분에는 불필요한 조각들이 너무 많이 붙어 있습니다. 마치 진흙으로 만든 동상을 조각칼로 다듬으려다, 표면에 너무 많은 흠집과 불필요한 돌기가 생기는 것과 같습니다. 게임이나 애니메이션에서 이 모델을 쓰면 캐릭터가 움직일 때 엉망이 됩니다.
• 방식 B (조각난 퍼즐): 컴퓨터가 물체를 하나하나 조각 (면) 을 쌓아 올리며 만듭니다.
  • 문제: 조각이 너무 많으면 컴퓨터가 감당하지 못해, 퍼즐을 다 맞추기 전에 지쳐서 중간에 멈추거나, 조각이 떨어져 나가는 (구멍이 생기는) 현상이 발생합니다.

2. LATO 의 해결책: "스마트한 레고 블록"

LATO 는 이 두 가지 문제를 동시에 해결합니다. 핵심은 **'T-Voxels(T-블록)'**라는 새로운 레고 블록을 발명한 것입니다.

• 기존 레고 vs LATO 의 T-블록:
  • 일반적인 3D 모델링은 물체의 '겉모양'만 기억합니다.
  • 하지만 LATO 의 T-블록은 물체의 겉모양뿐만 아니라, **"어떤 점 (꼭짓점) 이 어디에 있고, 어떤 점끼리 선으로 연결되어 있는지"**라는 구조와 연결 정보를 처음부터 기억하고 있습니다.
  • 마치 레고 블록 하나하나에 "이 블록은 왼쪽 다리다", "이 블록은 오른쪽 팔이다"라고 미리 라벨이 붙어 있고, 어떻게 조립해야 하는지 지도가 함께 있는 것과 같습니다.

3. LATO 가 작동하는 원리 (3 단계 과정)

LATO 는 3 단계로 3D 물체를 만들어냅니다.

1 단계: 뼈대 그리기 (구조 합성)

컴퓨터는 먼저 물체의 대략적인 '뼈대'를 그립니다. 이때 물체가 구멍이 뚫린 상태인지, 비어있는지 등 거친 구조를 먼저 결정합니다.

비유: 건축가가 건물의 대략적인 외형과 층수를 먼저 스케치하는 단계입니다.

2 단계: 디테일 채우기 (흐름 매칭)

이제 뼈대 위에 살을 붙입니다. LATO 는 **유동성 있는 흐름 (Flow Matching)**이라는 기술을 사용합니다.

비유: 물이 흐르듯 자연스럽게 구멍을 메우고, 표면의 굴곡을 부드럽게 다듬어 나가는 과정입니다. 이때 T-블록들이 서로 연결되어야 할 위치를 정확히 찾아냅니다.

3 단계: 완성 (메쉬 생성)

마지막으로, 컴퓨터는 T-블록들이 가진 정보를 바탕으로 정확한 점 (Vertex) 의 위치를 찍고, 어떤 점끼리 선 (Edge) 으로 연결될지를 결정합니다.

비유: 이제 완성된 건물의 벽돌 하나하나가 제자리에 딱 맞게 놓이고, 창문과 문이 정확히 어디에 있을지 결정되어 최종 건물이 완성됩니다.

4. LATO 가 특별한 이유

• 구멍 없는 완성도: 기존 방식들은 자주 구멍이 뚫리거나 조각이 떨어졌지만, LATO 는 처음부터 연결 구조를 알고 만들기 때문에 구멍이 없는 완벽한 3D 모델을 만듭니다.
• 빠른 속도: 조각을 하나하나 나열하는 방식이 아니라, 전체적인 흐름을 한 번에 계산하므로 매우 빠르게 결과를 만들어냅니다. (수십 분 걸리던 것이 몇 초~몇 분으로 단축됨)
• 예술가 친화적: 게임 개발자나 애니메이터가 바로 사용할 수 있도록, 불필요한 조각이 없고 깔끔하게 정리된 모델을 제공합니다.

5. 실생활 적용 예시: "거대한 도시 만들기"

논문에서는 LATO 를 이용해 거대한 도시를 만드는 실험을 보여주었습니다.

비유: LATO 는 개별적인 건물을 하나씩 만드는 것이 아니라, 레고 블록처럼 각 건물을 따로 만들어낸 뒤, 이들을 자연스럽게 연결하여 거대한 도시 전체를 한 번에 조립할 수 있습니다. 기존 방식으로는 상상도 못 했던 규모와 디테일을 구현할 수 있습니다.

요약

LATO는 3D 물체를 만들 때, "진흙을 깎아내는" 방식이나 "조각을 하나하나 붙이는" 방식 대신, 물체의 구조와 연결 정보를 처음부터 알고 있는 '스마트한 레고' 방식을 도입했습니다. 그 결과, 구멍 없이 깔끔하고, 빠르며, 게임이나 영화에 바로 쓸 수 있는 고품질 3D 모델을 대량으로 만들어낼 수 있게 되었습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

최근 3D 생성 모델 (3D Generative Modeling) 은 가상 현실, 산업 디자인 등 다양한 분야에서 급격히 발전하고 있습니다. 그러나 기존 주류 방법론들은 다음과 같은 근본적인 한계를 가지고 있습니다.

• 위상적 정보의 부재 (Topology Degradation): 대부분의 최신 방법 (3DShape2VecSet, TRELLIS 등) 은 3D 형상을 압축된 잠재 공간 (Latent Space) 으로 인코딩한 후, SDF(부호 거리 함수) 나 Occupancy Field 같은 암시적 필드 (Implicit Fields) 로 디코딩합니다. 최종 메쉬는 Marching Cubes 와 같은 등면적 추출 (Isosurfacing) 알고리즘을 통해 얻어지는데, 이 과정에서 명시적인 메쉬 위상 (Explicit Mesh Topology, 즉 정점과 에지의 연결 관계) 이 손실됩니다.
• 부적합한 메쉬 품질: 결과적으로 생성된 메쉬는 불규칙하고 과도하게 밀집된 삼각형 메시 (Triangulation) 로 구성되어, 애니메이션 리깅 (Rigging), 변형 (Deformation), 게임 엔진 배포 등 다운스트림 작업에 직접 사용하기 어렵습니다.
• 데이터 제약: 암시적 필드는 '방수성 (Watertightness)'을 가정하므로, 열린 표면 (Open Surfaces) 이나 비다양체 (Non-manifold) 자산은 학습 데이터에서 제외되거나 처리가 어렵습니다.
• 기존 명시적 생성 방법의 한계: 메쉬 연결성을 명시적으로 학습하려는 시도 (PolyDiff, MeshGPT 등) 는 토큰 시퀀스 모델링을 사용하지만, 메쉬 복잡도가 증가함에 따라 계산 비용이 기하급수적으로 늘어나 메모리 병목 현상을 겪고, 잘린 시퀀스로 인해 메쉬가 끊어지거나 조각나는 문제가 발생합니다.

2. 제안 방법론 (Methodology)

이 논문은 LATO (3D Mesh Flow Matching with Structured TOpology Preserving LAtents) 를 제안합니다. LATO 는 확장 가능한 플로우 매칭 (Flow Matching) 기반 생성과 명시적인 메쉬 위상 보존을 동시에 달성하기 위해 다음과 같은 핵심 기술을 도입합니다.

가. 정점 변위장 (Vertex Displacement Field, VDF)

기존의 점 구름이나 Occupancy 보크셀과 달리, LATO 는 메쉬의 위상 정보를 명시적으로 인코딩하기 위해 VDF 를 사용합니다.

• 메쉬 표면의 임의의 점 $p$에 대해, 해당 점이 속한 삼각형 면의 세 정점 (Vertices) 으로 향하는 상대 변위 벡터 (Relative Displacement Vectors) 집합을 정의합니다.
• 이 방식은 정점의 위치를 정확히 국소화하고, 변위 벡터의 불연속성을 통해 에지 (Edge) 의 경계를 자연스럽게 표현하여, 위상 정보를 연속적이고 밀도 높은 신호로 제공합니다.

나. 위상 보존 희소 보크셀 잠재 (T-Voxels)

VDF 를 생성 모델에 적합하도록 압축하기 위해 희소 보크셀 VAE (Sparse Voxel VAE) 를 설계했습니다.

• 인코더: 표면에서 샘플링된 점들의 VDF 특징을 희소 보크셀 그리드로 변환하고, Sparse Transformer 를 통해 전역 컨텍스트를 학습하여 T-Voxels라는 구조화된 잠재 표현을 생성합니다.
• 디코더 (계층적 분할 및 가지치기):
  • 잠재 보크셀을 재귀적으로 분할 (Subdivision) 하고, 학습 가능한 가지치기 (Pruning) 메커니즘을 통해 빈 보크셀을 제거하며 정점의 정확한 위치를 점진적으로 구체화합니다.
  • 연결성 예측 헤드 (Connection Head): 최종 정점 쌍에 대해 에지 연결 여부를 직접 예측합니다. 이는 등면적 추출 없이도 명시적인 메쉬 위상을 복원할 수 있게 합니다.

다. 2 단계 플로우 매칭 생성 파이프라인

이미지 기반 3D 생성을 위해 TRELLIS 에서 영감을 받은 2 단계 플로우 매칭 전략을 사용합니다.

1. 구조 합성 (Structure Synthesis): 이미지로부터 coarse 한 구조 보크셀 (Spatial Occupancy) 을 생성합니다. 이 단계는 열린 표면과 비다양체 자산도 학습할 수 있도록 설계되었습니다.
2. 위상 특징 정제 (Topology Refinement): 생성된 구조 보크셀을 공간적 앵커로 사용하여, T-Voxels 의 위상 특징을 세밀하게 생성합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 위상 보존 표현 (T-Voxels): 암시적 필드의 한계를 극복하고, 생성 모델이 직접 학습 가능한 위상 정보를 내포한 희소 보크셀 잠재 (T-Voxels) 를 최초로 제안했습니다.
2. 명시적 위상 복원: 등면적 추출 (Isosurface extraction) 이나 휴리스틱 메시링 없이, 학습된 연결성 헤드를 통해 정점 간 에지 연결을 직접 예측하여 아티스트 친화적인 (Artist-friendly) 위상을 가진 메쉬를 생성합니다.
3. 확장성과 효율성: 자동 회귀 (Autoregressive) 방식의 계산 병목 현상을 해결하고, 암시적 모델의 효율성을 유지하면서도 복잡한 기하학적 디테일과 잘 형성된 위상을 동시에 제공합니다.
4. 데이터 다양성 지원: 열린 표면과 비다양체 자산의 학습을 가능하게 하여 3D 생성 데이터의 희소성 문제를 완화합니다.

4. 실험 결과 (Results)

• 정량적 평가:
  • VAE 재구성: MeshGPT, PivotMesh 등 기존 명시적 방법 및 암시적 방법 대비 Chamfer Distance(CD), Hausdorff Distance(HD), Normal Consistency(NC) 모든 지표에서 우수한 성능을 보였습니다.
  • 생성 품질: MeshAnything-v2, BPT 등 최신 위상 인식 생성 모델 대비 더 낮은 CD/HD 값을 기록하며, 더 정교한 위상 구조를 생성함을 입증했습니다.
• 추론 효율성:
  • 자동 회귀 모델들이 고해상도 메쉬 생성 시 수 분의 시간이 소요되는 반면, LATO 는 병렬 플로우 매칭 솔버를 사용하여 3~10 초 내에 고품질 메쉬를 생성합니다.
• 정성적 평가:
  • 기존 암시적 모델 (TRELLIS, CLAY 등) 이 생성한 불규칙하고 밀집된 삼각형 메시와 달리, LATO 는 자연스러운 에지 흐름 (Edge Flow) 을 가진 깔끔한 메쉬를 생성합니다.
  • 잘린 시퀀스로 인해 발생하는 메쉬 구멍 (Holes) 이나 끊어진 부분이 없으며, 도시 규모의 대규모 장면 생성 (City Synthesis) 에서도 모듈러한 조립이 가능함을 시연했습니다.

5. 의의 및 결론 (Significance)

LATO 는 3D 생성 분야에서 확장성 (Scalability) 과 명시적 위상 학습 (Explicit Topological Learning) 사이의 오랜 딜레마를 해결한 획기적인 프레임워크입니다.

• 산업적 적용 가능성: 생성된 메쉬가 게임 엔진, 애니메이션, 3D 프린팅 등에 바로 활용 가능한 '아티스트 친화적' 위상을 가지므로, 실제 산업 파이프라인에 통합하기 용이합니다.
• 기술적 패러다임 전환: 암시적 필드에 의존하던 기존 패러다임에서 벗어나, 위상 정보를 명시적으로 모델링하는 새로운 표준을 제시했습니다.
• 미래 전망: 현재 희소 보크셀 그리드의 해상도 제약이 존재하지만, 향후 옥트리 (Octree) 기반 표현을 도입하여 초정밀 기하학적 디테일까지 표현할 수 있는 가능성을 열어두었습니다.

결론적으로 LATO 는 고품질의 3D 메쉬를 빠르고 효율적으로 생성하면서도, downstream 작업에 필수적인 위상 구조를 완벽하게 보존하는 강력한 솔루션을 제공합니다.