기술 요약: FSTM – 실내 재구성을 위한 효율적인 기하학 및 의미 학습

문제 정의

부호화 거리 함수 (SDF) 를 사용하는 신경 표면 재구성은 실내 3D 재구성의 표준이 되었습니다. 그러나 로봇 공학, 편집, 상호작용과 같은 많은 하위 응용 분야는 기하학적 충실도뿐만 아니라 객체별 의미론적 이해도 필요로 합니다. 의미를 통합하는 기존 접근 방식은 종종 다중 SDF 공식화(예: ObjectSDF++, RICO)에 의존하며, 여기서 각 객체는 별도의 SDF 로 표현됩니다. 이러한 방법들은 세 가지 주요 한계를 겪습니다:

1. 계산 오버헤드: 정규화 항 (Eikonal, 부드러움) 이 모든 객체 SDF 에 대해 계산되어야 하므로, 훈련 시간이 장면 복잡도에 따라 비효율적으로 증가합니다.
2. 최적화 불안정성: 객체 SDF 를 장면 표현으로 병합하기 위해 min-풀링을 사용하는 것은 기울기 불연속성을 초래하여 훈련 불안정성과 느린 수렴을 유발합니다.
3. 혼잡한 장면에서의 낮은 확장성: 다중 SDF 아키텍처는 복잡하고 다중 객체 환경에서 디테일과 재현율 (recall) 을 유지하는 데 어려움을 겪으며, 종종 작은 객체를 놓치거나 관찰이 부족한 영역에서 과도하게 단순화된 기하학을 생성합니다.

또한, 단일 네트워크 내에서 기하학과 의미를 단순하게 결합하여 최적화하는 것은 재구성 품질을 저하시키는 경향이 있습니다. 초기 의미론적 감독이 기하학적 정확성을 희생하면서 의미론적 일관성으로 기하학 네트워크를 편향시키기 때문입니다.

방법론: FSTM

저자들은 FSTM(First Shape, Then Meaning)을 제안합니다. 이는 단일 글로벌 SDF를 사용하여 2 단계 훈련 전략을 통해 기하학과 의미를 학습하는 통합 프레임워크입니다.

1. 통합 표현

다중 SDF 접근 방식과 달리, FSTM 은 단일 학습 가능한 SDF($SDF_\theta$) 로 전체 장면을 표현합니다. 의미 추정을 가능하게 하기 위해 아키텍처는 MonoSDF 백본에 의미 디코더 헤드를 확장합니다. 3D 쿼리 점 $x$에 대해, 기하학 MLP 는 SDF 값과 특징 벡터 $g(x)$를 출력하며, 이는 의미 로그트 (logits) $s_C(x)$로 매핑됩니다. 이러한 분포는 밀집된 레이별 의미 감독을 가능하게 하기 위해 볼륨 렌더링을 통해 카메라 레이를 따라 통합됩니다.

2. 2 단계 훈련 전략

기하학적 최적화와 의미론적 최적화 간의 충돌을 해결하기 위해 FSTM 은 단계적 접근 방식을 사용합니다:

• 1 단계: 기하학 워밍업: 네트워크는 의미 감독을 비활성화 ($\lambda_5 = 0$) 한 채 기하학적 단서 (RGB, 단안 깊이, 정규 사전 지식) 만으로 훈련됩니다. 이는 잠재적으로 노이즈가 있거나 충돌하는 의미 신호에 의해 편향되지 않고 기하학이 고품질 상태로 수렴하도록 보장합니다.
• 2 단계: 결합 최적화: 의미 감독이 도입되며, 네트워크는 나머지 훈련 기간 동안 기하학과 의미에 대해 결합되어 최적화됩니다.

3. 3D 분할

테스트 시, 객체 수준의 분할은 경량 후처리 단계를 통해 달성됩니다. 등면 추출 (예: Marching Cubes) 은 단일 SDF 의 영수준 집합 (zero-level set) 에서 메쉬를 생성합니다. 각 메쉬 면에 대해, 면 중심에서 법선 방향을 따라 레이를 발사하여 학습된 의미 필드를 쿼리합니다. 면은 통합된 확률이 가장 높은 클래스를 할당받으며, 이는 별도의 객체별 네트워크를 필요로 하지 않는 밀집된 객체 수준 라벨링을 가능하게 합니다.

주요 기여

• 단일 SDF 공식화: 복잡하고 다중 SDF 아키텍처 대신 단일 글로벌 SDF 가 고품질 객체 인식 재구성에 충분함을 입증합니다. 이는 기울기 불연속성을 방지하고 계산 오버헤드를 줄입니다.
• 2 단계 최적화: 초기 의미 기울기의 파괴적 간섭을 방지하는 기하학 우선 훈련 일정을 도입하여, 기존 결합 최적화보다 더 안정적인 수렴과 고품질 재구성을 달성합니다.
• 효율적인 의미 통합: 의미 사전 지식이 단순한 재구성의 부산물이 아니라, 적절하게 스케줄링될 때 기하학적 충실도를 능동적으로 정제할 수 있음을 보여줍니다.
• 확장성: 이 방법은 장면 복잡도에 따라 효율적으로 확장되며, 다중 SDF 설계에서 객체 수와 관련된 훈련 시간의 선형 증가를 피합니다.

실험 결과

이 방법은 Replica(합성) 및 ScanNet++(실제 세계) 데이터셋에서 평가되었습니다.

• Replica 성능: FSTM 은 장면 수준 및 객체 수준 지표 (Chamfer Distance, F-Score, Normal Consistency) 모두에서 최첨단 방법 (ObjectSDF++, RICO, MonoSDF) 보다 우수한 성능을 발휘합니다. 다중 SDF 베이스라인 대비 훈련 시간에서 2.3 배의 속도 향상을 달성합니다.
• ScanNet++ 성능: FSTM 은 흐린 프레임, 포즈 오류와 같은 실제 세계의 결함에 대한 뛰어난 견고성을 보여줍니다. 베이스라인보다 훨씬 더 많은 객체를 복구하며 (밀집된 장면에서 최대 6 배), 더 높은 재현율을 유지합니다.
• 정성적 개선: FSTM 은 다중 SDF 방법이 종종 놓치거나 과도하게 단순화하는 정교한 기하학적 디테일 (예: 의자 다리) 과 작은 객체를 복구합니다.
• 제한된 감독: 희소한 의미 감독 하에서도 FSTM 은 안정적인 장면 수준 재구성 품질을 유지하는 반면, 단순한 결합 최적화 및 다중 SDF 방법은 크게 저하됩니다.

중요성 및 주장

이 논문은 FSTM 이 확장 가능하고 의미론적으로 정보화된 3D 장면 이해를 위한 간소화된 기반을 확립한다고 주장합니다. 기하학과 의미 학습을 분리함으로써 저자들은 다음을 보여줍니다:

1. 의미는 기하학을 향상시킵니다: 적절하게 통합된 의미 감독은 모호하거나 관찰이 부족한 영역에서 특히 기하학적 충실도를 향상시킵니다.
2. 단순함이 효과적입니다: 고품질 객체 인식 재구성을 위해 복잡한 다중 객체 조정이 필수적인 것은 아닙니다. 구조화된 훈련 일정을 가진 단일 SDF 만으로 충분합니다.
3. 효율성: 이 접근 방식은 3D 가우스 스플래팅 방법의 실시간 추론을 희생하면서도 산업 검사 및 수술 계획에 필요한 고충실도, 위상학적으로 정확한 표면을 달성하며, 기존 다중 SDF 신경 표면 방법보다 훨씬 빠르고 견고합니다.

저자들은 한계를 인정하며, 이 방법은 3D 프린팅과 같은 응용 분야를 위한 후처리가 필요한 개별 객체를 위한 방수 메쉬를 기본적으로 생성하지 않으며, 2D 의미 주석이 극도로 부족한 경우 (예: 10 개 미만의 뷰) 기하학적 개선이 감소한다고 명시합니다.