기술 요약: MeshFIM

문제 정의

자기회귀 (AR) 모델은 점 구름으로부터 고품질, 아티스트급 저폴리 메시를 생성하는 능력을 입증해 왔습니다. 그러나 기존 AR 생성기는 "전부 아니면 전무" 방식으로 작동합니다: 단일 로컬 영역을 수정하려면 전체 메시를 처음부터 다시 생성해야 합니다. 이 접근 방식은 계산적으로 낭비적이며, 영향을 받지 않는 영역에서 만족스러운 토폴로지를 방해합니다. furthermore, 고전적인 로컬 편집 기술 (예: 구멍 채우기, 세분화) 은 메시 구조가 단순한 표면 이산화가 아닌 특정 의미론적 정보를 인코딩하는 저폴리 환경에서 토폴로지적 일관성이나 설계 의도를 보존하는 데 종종 실패합니다.

AR 모델을 로컬 편집에 적용하는 데 있어 핵심적인 과제는 3D 메시의 고유한 기하학적 및 토폴로지적 제약에 있습니다:

1. 직렬화 순서: 메시는 3D 공간에 내장된 2D 복합체입니다. AR 생성을 위해 평탄한 토큰 시퀀스로 직렬화될 때, 공간적으로 인접한 이웃은 지역적 순서를 잃게 되어 모델이 엣지 흐름과 밀도 전이를 보존하기 어렵게 만듭니다.
2. 정확한 경계 부착: 생성된 패치는 노출된 경계 꼭짓점을 정확히 재사용해야 합니다. 심지어 서브-양자화 좌표 불일치조차도 눈에 보이는 균열이나 T-접합을 초래합니다.
3. 생성 오버플로우: 엄격한 제약이 없으면 생성된 면이 의도된 대상 영역을 넘어 넘쳐날 수 있습니다.
4. 학습 - 추론 간극: 학습 컨텍스트는 깨끗한 ground-truth 메시에서 추출되는 반면, 추론 컨텍스트는 이전 단계나 사용자 선택에서 파생된 아티팩트를 포함할 수 있어 견고성 문제를 초래합니다.

방법론: MeshFIM

저자들은 코드 완성 모델에서 자기회귀 메시 생성에 적응된 Fill-in-the-Middle (FIM) 프레임워크인 MeshFIM을 소개합니다. MeshFIM 은 로컬 메시 편집을 조건부 채우기 작업으로 간주하며, 여기서 대상 영역 $B$는 주변 컨텍스트 $A\setminus B$와 참조 기하학 $P$를 기반으로 재생성됩니다.

이 프레임워크는 메시 편집의 특정 과제를 해결하기 위해 다섯 가지 보완적인 설계 선택을 채택합니다:

1. 경계 꼭짓점 마커

정확한 부착을 강제하기 위해, 모델은 노출된 경계 ($V_\partial$) 의 꼭짓점에 해당하는 컨텍스트 토큰을 명시적으로 표시합니다. 이러한 임베딩은 학습된 마커 벡터 ($m_{bdry}$) 를 추가하여 수정됩니다. 이는 디코더에게 어떤 컨텍스트 꼭짓점이 스티칭 앵커로 재사용되어야 하는지에 대한 명시적 단서를 제공하여 매끄러운 연결성을 보장합니다.

2. 확장된 컨텍스트 너비

생성 오버플로우 (대상 영역을 넘어선 면의 넘침) 를 방지하기 위해 컨텍스트 창이 확장됩니다. 최소 이웃 대신 모델은 더 넓은 컨텍스트 (예: 세 개의 너비 우선 탐색 링) 를 활용합니다. 이는 더 많은 주변 기하학을 노출시켜 모델이 지역적 곡률과 엣지 흐름을 추론할 수 있는 충분한 증거를 제공함으로써 생성을 국소화합니다.

3. 컨텍스트 위치 임베딩

직렬화가 메시지를 평탄하게 만들기 때문에, 모델은 컨텍스트를 순서 없는 꼭짓점의 가방으로 취급할 위험이 있습니다. 지역적 토폴로지 구조를 복원하기 위해 학습된 위치 임베딩이 직렬화된 컨텍스트 시퀀스에 추가됩니다. 이는 모델이 엣지 흐름과 면 밀도와 같은 주변 패턴을 보존하는 데 도움이 됩니다.

4. 게이트형 뺄셈이 있는 저폴리 기하학 인코더

표준 점 구름 조건부 인코더는 참조 표면을 인코딩하지만 기존 저폴리 메시가 이미 무엇을 덮고 있는지에 대한 지식이 부족합니다. MeshFIM 은 이를 연결하는 메커니즘을 도입합니다:

• 공유 Perceiver-IO 인코더는 동일한 일련의 쿼리 위치를 사용하여 참조 점 구름 ($P_{gt}$) 과 대상 영역이 제거된 기존 저폴리 메시 ($P_{lp}$) 를 모두 인코딩합니다.
• 경량 게이트 네트워크는 정렬된 잠재 변수 ($z_{gt}$ 및 $z_{lp}$) 간의 차이를 기반으로 벡터 $g$를 생성합니다.
• 최종 조건부 신호는 참조 잠재 변수의 감쇠입니다: $\hat{z} = (1 - g) \cdot z_{gt}$.
• 메커니즘: 기존 메시가 참조 표면을 잘 덮고 있는 곳에서는 게이트가 참조 신호를 억제합니다. 메시가 결손된 곳 (구멍) 에서는 게이트가 전체 참조 잠재 변수가 통과하도록 허용하여 생성을 특히 결손 영역으로 유도합니다.

5. 컨텍스트 증강

학습 - 추론 간극을 해소하기 위해 학습 과정에는 컨텍스트 증강이 포함됩니다. 컨텍스트 꼭짓점 좌표는 무작위 오프셋으로 교란되고 경계 꼭짓점도 유사하게 교란됩니다. 이는 학습 중 모델이 노이즈가 있고 불완전한 컨텍스트에 노출되도록 하여 추론 중 견고성을 향상시킵니다.

주요 기여

• 최초의 로컬 저폴리 메시 편집기: MeshFIM 은 전체 재생성 없이 자기회귀 생성을 사용하여 저폴리 메시의 정확한 로컬 편집을 가능하게 하는 최초의 프레임워크입니다.
• 3D 를 위한 FIM 적응: 비자명한 기하학적 및 토폴로지적 제약이 있는 3D 데이터에 고유한 Fill-in-the-Middle 패러다임을 3D 메시에 성공적으로 적응시켰습니다.
• 새로운 아키텍처 구성 요소: 경계 매칭, 오버플로우, 토폴로지적 일관성 문제를 collectively 해결하는 경계 마커, 게이트형 뺄셈, 컨텍스트 증강과 같은 특정 메커니즘을 도입했습니다.
• 이중 응용: 이 프레임워크는 인터랙티브 브러시 기반 편집과 자동 결함 수리 파이프라인을 모두 지원합니다.

실험 결과

저자들은 고전적인 구멍 채우기, 신경 세분화, 그리고 스티치백 방식을 사용한 전체 메시 생성을 포함한 다양한 베이스라인에 대해 MeshFIM 을 평가했습니다.

• 정량적 성능: MeshFIM 은 경계 정확도 (평균 꼭짓점 매칭 비율 99.75% 대 기타 <34%) 와 기하학적 품질 (체이퍼 거리 양수율 95.54%) 에서 베이스라인을 크게 능가했습니다. 또한 주변 기하학에 최소한의 영향을 미치는 우수한 국소성을 보여주었습니다.
• Ablation 연구: 상세한 ablation 은 각 구성 요소의 필요성을 확인합니다. 경계 꼭짓점 마커는 완벽한 매칭 비율에서 가장 큰 단일 향상을 제공했습니다. 컨텍스트 너비를 확장하면 오버플로우 비율이 급격히 감소했습니다. 저폴리 기하학 인코더는 오버플로우를 추가로 억제하고 생성 품질을 향상시켰습니다.
• 응용:
  • 인터랙티브 편집: 웹 기반 인터페이스를 통해 사용자가 대상 영역을 페인트하면 매끄럽게 재생성됩니다.
  • 자동 수리: 그래픽 휴리스틱을 사용하는 파이프라인이 결함 (예: 누락된 면, 뒤집힌 법선) 을 감지하고 MeshFIM 을 사용하여 반복적으로 수리하여 손상된 메시에서 네 번의 라운드 후 88.9% 의 수리율을 달성했습니다.

중요성과 주장

이 논문은 MeshFIM 이 실용적인 3D 모델링 워크플로우에서 중요한 도약이라고 주장합니다. 기존 토폴로지를 파괴하지 않고 로컬 편집을 가능하게 함으로써, 이는 전문 모델링의 반복적 성격과 부합합니다. 저자들은 그들의 방법이 AR 모델의 고품질 토폴로지 생성과 로컬 편집에 필요한 정밀도를 결합한 최초의 방법임을 강조하며, 생성형 AI 와 실용적인 메시 조작 사이의 간극을 효과적으로 연결한다고 말합니다. 이 연구는 미래의 3D 자산 생성이 "모든 것을 재생성"하는 접근 방식에서 벗어나 표적화된, 컨텍스트 인식 정제 방향으로 이동할 수 있음을 시사합니다.