Semantic Segmentation of Textured Non-manifold 3D Meshes using Transformers

1. 문제 정의 (Problem Statement)

• 배경: 텍스처가 입혀진 3D 메시는 기하학적 구조, 위상, 외관 (색상, 패턴, 재질) 을 통합적으로 표현하므로 포인트 클라우드나 볼륨 그리드보다 문화유산 보존 및 지리공간 분석 분야에서 유리합니다.
• 도전 과제:
  • 비정형 구조: 3D 메시의 불규칙한 구조로 인해 기존 딥러닝 (CNN 등) 을 직접 적용하기 어렵습니다.
  • 비매니폴드 (Non-manifold) 제약: 기존 메시 처리 방법들은 대부분 '매니폴드 (manifold)'라는 위상적 제약을 전제로 하는데, 실제 자동 사진측량으로 생성된 메시는 이를 위반하는 경우가 많아 적용 범위가 제한됩니다.
  • 텍스처 정보의 부재: 기존 비매니폴드 메시 처리 방법들은 기하학적 특징에 집중하거나, 텍스처 정보를 단순히 평균 색상이나 히스토그램 같은 저차원 통계량으로만 표현하여 고주파 세부 정보 (세밀한 패턴) 를 놓치는 문제가 있습니다.
  • 과도한 평활화 (Over-smoothing): 기존 트랜스포머 기반 방법 (예: Heidarianbaei et al., 2025) 은 클러스터 토큰 간의 크로스 어텐션을 사용하는데, 이는 면 (face) 단위 특징을 가중 평균으로 업데이트하여 분류 결과의 세부 사항을 흐리게 만들 수 있습니다.

2. 제안된 방법론 (Methodology)

저자들은 텍스처 인식 트랜스포머 (Texture-aware Transformer) 와 계층적 학습 방식을 결합한 새로운 아키텍처를 제안합니다.

A. 특징 추출 브랜치 (Feature Extraction Branch)

각 메시 면 (face) 에 대해 기하학적 특징과 텍스처 특징을 결합한 벡터를 생성합니다.

• 기하학적 브랜치: 정규화된 좌표, 법선 벡터, 면적, 인접 면과의 각도 등 16 개의 수동 설계 (hand-crafted) 특징을 MLP 를 통해 임베딩합니다.
• 텍스처 브랜치 (핵심): 각 면에 매핑된 원시 픽셀 데이터 (Raw Pixels) 를 직접 처리합니다.
  • 면에 해당하는 텍스처 이미지 영역의 픽셀을 추출합니다.
  • 학습 가능한 '텍스처 토큰 (Texture Token)'을 추가하고, 트랜스포머 블록 (Multi-head Self-attention) 을 통해 모든 픽셀과 상호작용시킵니다.
  • 최종적으로 해당 면의 텍스처 정보를 압축한 하나의 특징 벡터로 추출합니다. 이는 통계적 요약이 아닌 고해상도 텍스처 패턴을 보존합니다.

B. Two-Stage Transformer Block (TSTB)

계산 효율성을 높이고 장기적 의존성을 포착하기 위해 제안된 핵심 모듈입니다.

• 공간 클러스터링: K-means 를 사용하여 메시를 $K$개의 클러스터로 분할합니다.
• 2 단계 처리 구조:
  1. Local Block (국소 블록): 각 클러스터 내부에서만 셀프 어텐션 (Self-attention) 을 수행합니다. 면 토큰과 클러스터 토큰 간의 상호작용을 통해 국소적 기하학적 맥락을 포착합니다.
  2. Cross-Cluster Block (교차 클러스터 블록): 클러스터 토큰들끼리만 셀프 어텐션을 수행하여 전역적 맥락을 학습합니다.
     • 기존 방법과의 차이: 기존 방법은 면 토큰을 직접 클러스터 토큰과 크로스 어텐션하여 업데이트했으나, 이는 세부 정보를 희석시킵니다. 제안된 방법은 클러스터 토큰이 전역 정보를 학습한 후, 이를 다시 해당 클러스터의 면 토큰으로 전파하는 방식으로, 전역 맥락을 유지하면서도 국소적 세부 특징 (세밀한 구조) 을 보존합니다.

C. 분류 헤드 (Classification Head)

최종 TSTB 블록의 출력에서 클러스터 토큰과 패딩된 토큰을 제거하고, 각 면의 특징 벡터에 대해 소프트맥스 (Softmax) 를 적용하여 클래스 확률을 예측합니다.

3. 주요 기여 (Key Contributions)

1. 통합 트랜스포머 아키텍처: 기하학적 특징과 원시 픽셀 기반의 텍스처 특징을 면 (triangle) 수준에서 직접 통합하여 학습하는 최초의 트랜스포머 기반 아키텍처 중 하나입니다. (기존 연구들은 통계적 요약이나 정사영 이미지에 의존함)
2. 과도한 평활화 방지 메커니즘: 클러스터 토큰 간의 셀프 어텐션과 국소 블록 간의 정보 흐름을 개선하여, 전역 컨텍스트를 포착하면서도 미세한 기하학적 세부 사항을 보존하는 새로운 계층적 어텐션 메커니즘을 제안했습니다.
3. 다양한 도메인 검증: 도시 분류 (SUM 벤치마크) 와 문화유산 손상 감지 (새로운 CH 데이터셋) 두 가지 서로 다른 분야에서 모델의 유효성을 입증했습니다.

4. 실험 결과 (Results)

두 가지 데이터셋에서 기존 방법 (DiffusionNet, NoMeFormer 등) 보다 압도적인 성능을 보였습니다.

• SUM 데이터셋 (도시 분류):
  • mF1: 81.9% (기존 최선인 NoMeFormer 대비 15.3% 향상)
  • OA (전체 정확도): 94.3%
  • 건물, 고목, 지형 등 주요 클래스에서 92% 이상의 F1 점수를 기록했습니다.
• CH 데이터셋 (문화유산 손상 감지):
  • mF1: 49.7% (기존 NoMeFormer 대비 15.6% 향상)
  • OA: 72.8%
  • 생물학적 침식 (Biological Colonization) 과 같은 흔한 손상 유형에서 높은 성능을 보였으며, 희소 클래스에서도 개선된 결과를 나타냈습니다.
• Ablation Study (성분 분석):
  • 원시 텍스처 사용: 기하학적 특징만 사용할 때보다 텍스처 정보를 직접 포함했을 때 성능이 크게 향상됨 (mF1 +15% 이상).
  • TSTB 구조: 제안된 '클러스터 토큰 기반 셀프 어텐션 (S-A)'이 기존 '크로스 어텐션 (C-A)' 방식보다 CH 데이터셋에서 mF1 을 3.4% 향상시켰으며, 세부 구조의 흐려짐을 방지함을 확인했습니다.

5. 의의 및 결론 (Significance)

• 텍스처 정보의 중요성 재확인: 3D 메시 분할에서 기하학적 구조뿐만 아니라, 원시 픽셀 수준의 텍스처 정보를 직접 학습하는 것이 유사한 기하학적 형태를 가진 클래스 (예: 손상된 벽과 건강한 벽) 를 구분하는 데 필수적임을 입증했습니다.
• 비매니폴드 메시 처리의 실용성: 실제 현장에서 자주 발생하는 비매니폴드 구조의 메시를 처리할 수 있으며, 계산 효율성과 정확도 사이의 균형을 잘 맞춘 아키텍처를 제시했습니다.
• 문화유산 보존 기여: 드론 촬영 데이터 등을 활용한 정밀한 3D 모델링과 자동화된 손상 탐지 기술의 발전에 기여하여, 문화유산 보존 분야의 디지털화 (Digital Heritage) 를 가속화할 수 있는 가능성을 보여줍니다.

이 연구는 3D 메시 기반 의미론적 분할 분야에서 트랜스포머 아키텍처의 한계를 극복하고, 기하학과 텍스처의 시너지를 극대화하는 새로운 패러다임을 제시했다는 점에서 중요한 의미를 가집니다.