1. 연구 배경 및 문제 정의 (Problem)

최근 3D 가우스 스플래팅 (3DGS) 은 실시간 신관 합성 (Novel-view synthesis) 을 넘어 대규모 장면 재구성과 렌더링에 널리 사용되고 있습니다. 그러나 도시 환경에서의 의미론적 (Semantic) 이해를 위해 기존 3DGS 에 구조화된 도시 의미론을 통합하는 데에는 다음과 같은 한계가 존재합니다.

• 2D 기반 모델의 한계: 기존의 의미론적 3DGS 방법들은 주로 2D 기반 모델 (Foundation Models) 에 의존합니다. 이는 일반적인 객체 탐지에는 효과적이지만, 반복적인 패턴, 반사 재질, 복잡한 전경, 강한 가림 (Occlusion) 이 있는 도시 외관 (Facade) 요소 (창문, 문, 벽 등) 에서는 경계가 모호하고 구조적 일관성이 부족합니다.
• 데이터 표현의 불일치: CityGML 과 같은 구조화된 3D 도시 모델은 계층적 의미론 (건물, 벽, 창문 등) 과 기하학적 세부 사항을 포함하고 있으나, 이는 명시적인 다각형 표면 (Polygonal Surfaces) 에 부착되어 있습니다. 반면, 3DGS 는 알파 합성 (Alpha-composited) 된 가우스 원시 (Primitives) 를 사용하여 장면을 표현하므로, 도시 모델의 라벨을 가우스에 직접 매핑하는 것은 신뢰성이 낮고 불안정합니다.
• 계층적 구조의 부재: 도시 이해는 단순한 객체 분류를 넘어, 창문, 문, 벽, 지붕, 전체 건물 간의 '부분 - 전체 (Part-Whole)' 계층적 관계를 정확히 파악해야 하는데, 기존 방법들은 이를 일관되게 유지하기 어렵습니다.

2. 제안 방법론 (Methodology: GS4City)

GS4City 는 3DGS 장면에 구조화된 도시 모델 (CityGML LoD3) 의 사전 지식 (Priors) 을 통합하여 계층적 도시 이해를 가능하게 하는 새로운 프레임워크입니다. 주요 프로세스는 다음과 같습니다.

A. 도시 모델 기반 의미 추출 (Two-Pass Raycasting)

• 전처리: CityGML 데이터를 삼각형 메시로 변환하고, 카메라 좌표계에 정렬하며, XML 계층 구조를 시맨틱 테이블로 평탄화합니다. 각 삼각형 면은 건물 (Feature), 표면 (Surface), 부분 (Part) 수준의 ID 를 상속받습니다.
• 2-pass 레이캐스팅:
  1. Global Pass: 전체 메시를 레이캐스팅하여 가장 앞쪽 면을 선택하고 계층적 라벨을 할당합니다.
  2. Part Pass: 외관의 개구부 (창문, 문 등) 가 벽 면에 가려지는 문제를 해결하기 위해, 부모 - 자식 관계를 활용하여 부분 (Part) 수준의 기하학에 대해 두 번째 레이캐스팅을 수행합니다. 깊이 차이 ($\tau$) 와 부모 표면 ID 일치를 기준으로 유효한 부분 라벨을 복원합니다.
• 이를 통해 단일 패스보다 결손이 적은 정밀한 이미지 정렬 마스크를 생성합니다.

B. 마스크 퓨전 및 인스턴스 연결 (Mask Fusion & Instance Linking)

• 마스크 필터링: 도시 모델은 건물 영역만 정확히 커버하므로, 비건물 영역 (차량, 사람, 나무 등) 을 위해 2D 기반 모델 (Foundation Model) 의 예측 마스크를 사용합니다. 도시 모델 영역과 겹치는 마스크는 비건물 객체인지 건물 객체인지 Vision-Language 모델로 구분하여 필터링합니다.
• 교차 뷰 연결 (Cross-view Association): Gaga 와 같은 3D 인지 기반 그룹화 방식을 차용하여, 여러 뷰에서 동일한 가우스 군집 (Gaussian Groups) 에 속하는지 기하학적 중첩과 Vision-Language 특징을 통해 확인하고 일관된 인스턴스 ID 를 할당합니다.
• 퓨전: 도시 모델 마스크 (건물 및 세부 요소) 와 필터링된 이미지 기반 마스크 (비건물 객체) 를 통합하여 전체 장면을 아우르는 일관된 라벨 맵을 생성합니다.

C. 가우스 정체성 학습 (Gaussian Identity Learning)

• 정체성 인코딩: 사전 학습된 3DGS 의 기하/외관 파라미터는 고정하고, 각 가우스에 학습 가능한 정체성 코드 (Identity Code) 를 추가합니다.
• 학습 목표:
  • 2D 정체성 감독 (2D Identity Supervision): 생성된 퓨전 마스크와 렌더링된 가우스 특징 간의 교차 엔트로피 손실을 최소화합니다.
  • 3D 공간 정규화 (3D Spatial Regularization): 3D 공간에서 인접한 가우스 간의 의미론적 일관성을 강제하여 2D 관측이 부족한 영역의 불확실성을 줄입니다.
• 최종적으로 각 가우스는 계층적 도시 모델의 속성 (건물 ID, 표면 ID, 부분 ID 등) 과 연결된 일관된 정체성을 갖게 됩니다.

3. 주요 기여 (Key Contributions)

1. GS4City 프레임워크 제안: 도시 모델의 구조화된 사전 지식을 통합하여 계층적 도시 이해를 가능하게 하는 의미론적 3DGS 방법론을 제시했습니다.
2. 강건한 감독 파이프라인: 2-pass 레이캐스팅과 다중 소스 마스크 퓨전을 통해, 구조화된 도시 모델 의미론을 신뢰할 수 있는 이미지 정렬 감독으로 변환하고 장면 일관성 있는 인스턴스 대응을 확립했습니다.
3. 정밀한 의미론적 리프팅: 2D 감독과 3D 공간 정규화를 결합한 컴팩트한 가우스 정체성 인코딩을 통해, 도시 장면에서 정밀한 건물 분할, 세부 의미론적 분할, 그리고 오픈 보카불러리 쿼리가 가능한 시스템을 구현했습니다.

4. 실험 결과 (Results)

데이터셋: TUM2TWIN 및 Gold Coast LoD3 데이터셋.
비교 대상: LangSplat (특징 증류 기반), Gaga (마스크 리프팅 기반).

• 정량적 성능:
  • ** coarse level (건물/비건물):** GS4City 는 두 데이터셋 모두에서 가장 높은 IoU 를 기록했습니다 (TUM2TWIN: 93.1%, Gold Coast: 95.4%). 기존 방법 대비 최대 15.8 IoU 포인트 향상.
  • Fine-grained level (세부 요소): 평균 mIoU 에서 LangSplat(21.0%) 및 Gaga(22.3%) 대비 TUM2TWIN 에서 30.5%, Gold Coast 에서 44.4% 로 크게 향상되었습니다 (최대 14.2 mIoU 포인트 향상).
  • 특히 지붕, 벽, 창문, 차량 등 구조화된 객체에서 성능 향상이 두드러졌습니다.
• 정성적 성능:
  • LangSplat 은 전경에 노이즈가 많고 기하학적 경계가 모호한 반면, Gaga 는 복잡한 외관 요소 (창문 등) 를 분리하지 못하고 벽으로 흡수하는 경향이 있었습니다.
  • GS4City 는 건물과 비건물 영역을 명확히 분리하고, 창문, 문, 지붕 등 미세한 건물 부품을 정확하게 분할하며, 불확실한 비건물 영역에 잘못된 라벨을 할당하는 오류를 줄였습니다.
• Ablation Study: 교차 뷰 연결 시 최소 뷰 수 필터 ($m_{view}$) 를 조절하여 정확도와 효율성의 균형을 최적화했습니다 ($m_{view}=3$ 설정이 가장 좋은 시간 정규화 mIoU 를 보임).

5. 의의 및 결론 (Significance)

GS4City 는 구조화된 도시 모델 (CityGML) 과 사실적인 3DGS 렌더링 간의 간극을 성공적으로 연결했습니다.

• 계층적 이해: 단순한 객체 분류를 넘어, 건물 - 표면 - 부분 간의 계층적 관계를 보존하여 디지털 트윈 및 도시 자산 관리에 필수적인 구조적 일관성을 제공합니다.
• 정밀한 경계 및 쿼리: 반복적인 패턴이나 가림이 있는 복잡한 도시 환경에서도 기하학적으로 정렬된 경계와 오픈 보카불러리 쿼리를 동시에 지원합니다.
• 미래 방향: 도시 모델의 정렬 및 업데이트 메커니즘을 더 견고하게 하고, LoD2 와 같은 약한 사전 지식을 활용하는 연구로 확장할 수 있습니다.

결론적으로, GS4City 는 3DGS 를 단순한 '시각적 렌더링' 도구에서 '구조화된 도시 이해'를 위한 강력한 플랫폼으로 진화시킨 획기적인 연구입니다.