NeuMesh++: Towards Versatile and Efficient Volumetric Editing with Disentangled Neural Mesh-based Implicit Field

기술 요약: NeuMesh++

문제 정의

NeRF와 같은 신경 암시적 렌더링(neural implicit rendering) 기술은 높은 렌더링 품질을 바탕으로 새로운 시점 합성 및 3D 장면 재구성에 있어 상당한 성공을 거두었으나, 3D 모델링 및 편집 워크플로에서는 한계를 보입니다. 기존의 편집용 신경 렌더링 방식들은 강체 변환(rigid transformations)이나 특정 카테고리에 국한된 작업에 머물러 있습니다. 이들은 비강체 기하학 변형(non-rigid geometry deformation), 세밀한 텍스처 편집(교체, 채우기, 페인팅), 그리고 의미론적 조작(semantic manipulation)을 선호하는 아티스트들이 요구하는 정밀도와 유연성을 갖추지 못했습니다. 또한, 기존 방식들은 세밀한 편집을 위해 광범위한 수동 주석(manual annotations)을 필요로 하며, 단순한 메쉬 정점(mesh vertices) 보간을 사용할 때 발생하는 국소적 공간 구별성 문제(예: 메쉬 면의 안쪽과 바깥쪽 지점을 구분하는 문제)를 해결하는 데 어려움을 겪습니다.

방법론

저자들은 메쉬 스캐폴드(mesh scaffold) 위에 신경 암시적 필드를 인코딩하는 새로운 메쉬 기반 신경 복사 표현법인 **NeuMesh++**를 제안합니다. 이 접근 방식은 볼륨 기반 신경 렌더링과 전통적인 메쉬 기반 모델링 사이의 간극을 메워줍니다.

핵심 표현 (Core Representation)

장면은 일련의 국소적이고 정점에 구속된 복사 필드(radiance fields)로 분해됩니다. 메쉬 스캐폴드의 각 정점 $v$는 네 가지 별도의 학습 가능한 파라미터를 저장합니다:

1. 기하 코드 ($l_g$): 국소 기하 구조를 인코딩합니다.
2. 텍스처 코드 ($l_t$): 국소 외관을 인코딩합니다.
3. 의미 코드 ($l_s$): 의미론적 속성을 인코딩합니다.
4. 수정 색상 ($c_m$): 텍스처 편집의 충실도를 높이기 위한 뷰 독립적(view-independent)이며 디코더가 필요 없는 색상 속성입니다.

렌더링 파이프라인

카메라 광선(ray)을 따르는 쿼리 지점 $x$에 대하여:

1. 국소 공간 파라미터화 (Local Space Parameterization): 시스템은 $K$개의 인접한 메쉬 정점을 식별합니다. 글로벌 좌표를 사용하는 대신, $x$를 각 이웃의 법선(normal) 위로 투영하여 국소 지표(local indicator) $h_k = (p_k, w_k)$를 계산합니다. 여기서 $p_k$는 투영 거리이고 $w_k$는 정규화된 역거리입니다. 이는 SDF(Signed Distance Field) 없이도 공간 구별성(안/밖 문제) 문제를 해결합니다.
2. 디코딩 (Decoding): 기하 및 복사 디코더($F_G, F_R$)는 국소 코드와 지표를 입력으로 받아 각 이웃의 밀도 $\sigma_k$와 색상 $c_k$를 예측합니다. 최종 색상은 수정 색상을 포함합니다: $c_k = F_R(l_t^k, h_k, d, n_k) + c_m^k$.
3. 후보간 보간 (Post-Interpolation): 공간 보간 전략은 이웃 정점들의 기여도를 융합하여 지점 $x$에서의 최종 밀도 $\sigma$와 색상 $c$를 얻습니다. 이를 통해 각 정점 주변에 "국소 복사 필드"를 생성하며, 이는 메쉬 토폴로지(닫히지 않은 메쉬 포함)에 무관하게 작동합니다.

편집 기능

표현 방식의 분리된 특성은 다음과 같은 편집 기능을 가능하게 합니다:

• 메쉬 가이드 기하 편집 (Mesh-Guided Geometry Editing): 복사 필드가 메쉬에 정렬되어 있으므로, 메쉬 정점을 변형(예: ARAP 또는 물리 시뮬레이션)하면 재학습 없이도 렌더링된 객체가 직접 변형됩니다.
• 텍스처 교체 (Texture Swapping): Umeyama 및 ARAP를 사용하여 소스 메쉬와 타겟 메쉬를 정렬함으로써, 유클리드 근접성에 따라 정점 간에 텍스처 코드와 수정 색상을 전달합니다.
• 텍스처 채우기 (Texture Filling): UV 공간에서의 타일 기반 접근 방식을 사용하여, 사전에 캡처된 모델로부터 템플릿 텍스처를 타겟 영역에 반복 적용합니다.
• 텍스처 페인팅 (Texture Painting): 사용자는 2D 뷰에서 페인팅을 수행합니다. **공간 인지 최적화 전략(spatial-aware optimization strategy)**은 프로빙 레이(probing rays)를 통해 영향을 받는 수정 색상을 식별하고, 이 특정 색상들만을 미세 조정하여 단일 뷰에 대한 과적합을 방지하고 뷰 의존적 효과를 보존합니다.
• 의미론적 가이드 편집 (Semantic-Guided Editing): 의미 코드는 2D 오픈 보캐블러리 세그멘테이션(예: DINO, SAM)으로부터 추출됩니다. 전파 메커니즘을 통해 사용자의 2D 클릭을 3D 의미론적 마스크로 전달하여, 단 한 번의 클릭으로 영역 선택 및 편집을 가능하게 합니다.

주요 기여

1. 새로운 메쉬 기반 표현: 기하, 텍스처, 의미 코드가 분리된 메쉬 정점 상의 신경 복사 필드를 제공하여 메쉬 기반 워크플로와의 원활한 통합을 가능하게 합니다.
2. 안정성 및 충실도를 위한 기술적 향상:
   • 국소 공간 파라미터화: 사전 학습된 교사 모델 없이도 학습을 안정화하고 공간 구별성을 개선하기 위해 국소 지표와 후보간 보간을 사용하는 새로운 방법입니다.
   • 학습 가능한 수정 색상: 각 정점에 뷰 독립적인 색상 파라미터를 두어, 특히 디코더가 학습한 스펙트럼 외의 색상에 대해 텍스처 편집의 충실도를 높입니다.
   • 공간 인지 최적화: 뷰 간 일관성을 유지하면서 수정 색상을 선택적으로 미세 조정하는 텍스처 페인팅 전략입니다.
3. 의미론적 전파 (Semantic Propagation): 2D 의미론적 사전 정보를 3D 정점 코드로 집계하는 메커니즘을 통해, 단일 클릭 상호작용만으로 손쉬운 영역 선택을 가능하게 합니다.
4. 효율성: 압축된 잠재 코드(latent codes)와 점유 가이드 샘플링(occupancy-guided sampling)을 사용하여 실시간 렌더링(약 15 fps)과 빠른 편집(기하/텍스처 작업에 수 초 소요)을 달상합니다.

결과

실제 데이터셋(DTU)과 합성 데이터셋(NeRF 360°)에 대해 광범위한 실험을 수행했습니다.

• 렌더링 품질: NeuMesh++는 PSNR, SSIM, LPIPS 측면에서 다른 편집 가능한 신경 렌더링 방식(NeuTex, NeuManifold, BakedSDF, NeuMesh)보다 우수한 성능을 보였습니다. Neuralangelo나 DVGO와 같은 비편집형 최신 기술(SOTA)에 필적하는 품질을 달성하는 동시에, 더 뛰어난 편집 능력을 제공합니다.
• 편집 성능:
  • 기하: 재학습 없이도 성공적인 비강체 변형 및 물리 시뮬레이션(예: 흔들리는 의자, 흔들리는 식물)을 입증했습니다.
  • 텍스처: 흐릿하거나 왜곡된 결과를 자주 보이는 NeuMesh와 비교하여, 텍스러 교체 및 채우기에서 우수한 디테일 보존 능력을 보여주었습니다. 수정 색상을 통해 표준 디코더가 생성할 수 없는 색상(예: 불포화 녹색)을 고충실도로 페인팅할 수 있었습니다.
  • 의미론적: 단일 2D 클릭을 통한 3D 영역 선택 및 편집을 성공적으로 수행했습니다.
• 효율성: NeuMesh++는 800x800 이미지를 약 15 fps로 렌더링하며, 이는 Neuralangelo(28초)나 NeuMesh(99초)보다 훨씬 빠릅니다. 편집 작업(기하 변형, 텍스처 교체/채우기, 페인팅)은 약 1~2초가 소요됩니다.

의의

본 논문은 NeuMesh++가 볼륨 기반 신경 렌더링과 전통적인 메쉬 기반 3D 모델링 사이의 장벽을 성공적으로 허물었다고 주장합니다. 분리된 코드를 가진 메쉬 스캐폴드 상에 신경 필드를 인코딩함으로써, 기하 변형, 텍스처 교체/채우기/페인팅, 그리고 의미론적 편집이라는 다채로운 편집 기능들을 효율적이고 높은 충실도로 제공합니다. 이 방법은 의미론적 편집을 위한 광범위한 수동 주석의 필요성을 제거하고, 사전 학습된 교사 모델에 대한 의존성을 없앰으로써 기존 메쉬 기반 암시적 필드의 차선적인 수렴 문제를 피합니다. 저자들은 이 접근 방식이 편집을 위한 실용적이고 아티스트 친화적인 워크플로를 제공한다고 강조합니다.