FlatLands: 단일 시점 (Single-View) 에서의 생성적 플로어맵 완성 (Generative Floormap Completion) 기술 요약

이 논문은 FlatLands라는 새로운 데이터셋과 벤치마크를 소개하며, 단일 시점의 시선 중심 (Egocentric) RGB 이미지로부터 완전한 메트릭 (Metric) 기반의 이동 가능 (Traversability) 플로어맵을 생성하는 문제를 다룹니다. 실내 자율주행 및 로봇 내비게이션에서 부분 관측성 (Partial Observability) 으로 인한 불확실성을 해결하고, 생성적 모델을 활용한 불확실성 인식 (Uncertainty-aware) 맵핑의 중요성을 강조합니다.

1. 문제 정의 (Problem Definition)

• 배경: 실내 자율주행 로봇은 센서 데이터가 불완전하고 노이즈가 많으며 시점에 제한을 받습니다. 단일 시점의 RGB 이미지로는 카메라 시야각 (Frustum) 밖의 넓은 바닥 영역을 볼 수 없어, 충돌 방지 및 경로 계획을 위한 완전한 이동 가능 지도를 얻기 어렵습니다.
• 목표: 하나의 시선 중심 RGB 이미지를 입력받아, 관측된 영역의 바닥 정보를 정확히 유지하면서 관측되지 않은 영역 (Unobserved Region) 에 대한 이동 가능 지도 (BEV Floormap) 의 확률 분포를 추정하는 것입니다.
• 핵심 난제: 단일 이미지로부터 바닥을 완성하는 것은 본질적으로 모호한 (Ambiguous) 역문제 (Inverse Problem) 입니다. 하나의 정답이 존재하지 않고, 여러 가지 합리적인 바닥 레이아웃이 가능할 수 있으므로, 단일 점 추정 (Point Estimate) 이 아닌 다중 가설 (Multi-hypothesis) 샘플링이 필요합니다.

2. 방법론 (Methodology)

2.1 FlatLands 데이터셋 및 벤치마크

• 데이터 구성: 6 개의 기존 실내 3D 데이터셋 (ScanNet, Matterport3D, ZInD 등) 에서 추출한 17,656 개의 실제 실내 장면과 270,575 개의 관측 데이터로 구성됩니다.
• 정합 (Alignment): 각 관측 데이터는 RGB 이미지, 깊이 지도, 바닥 분할, 관측된 바닥 (F_obs), 유효한 관측되지 않은 영역 마스크 (U), 그리고 정답 (Ground Truth) BEV 지도가 정렬되어 제공됩니다.
• 평가 프로토콜:
  • In-Distribution (ID): 학습 데이터와 동일한 분포의 테스트 세트.
  • Out-of-Distribution (OOD): 학습에 사용되지 않은 ScanNet++ 데이터셋으로, 모델의 일반화 능력을 평가합니다.
  • 전체 파이프라인: RGB 이미지 $\rightarrow$ 깊이/분할 추정 $\rightarrow$ BEV 투영 $\rightarrow$ 생성적 완성 (End-to-End Monocular Pipeline) 을 평가합니다.

2.2 모델 아키텍처 및 비교 대상

저자는 11 가지 방법을 비교 평가했습니다:

1. 무학습 (Training-free) 베이스라인: 모든 장애물, 모든 바닥, 최근접 이웃 복사, 균일 무작위 등.
2. 결정론적 모델 (Deterministic): U-Net, PartialConv UNet, LaMa (이미지 인페인팅 모델).
3. 앙상블 (Ensemble): LaMa 를 서로 다른 시드로 4 개 학습하여 다양성을 확보한 LaMa-Ensemble.
4. 확률적 생성 모델 (Stochastic Generative Models):
   • Diffusion: 확산 모델을 활용한 후방 샘플링.
   • Flow Matching: 오일러-오일러 흐름 매칭을 통한 생성.
   • FM+XAttn: Flow Matching 에 크로스 어텐션 (Cross-Attention) 을 추가하여 조건부 입력 (F_obs, U) 을 더 효과적으로 활용하는 모델.

2.3 학습 및 추론 파이프라인

• 2 단계 접근:
  1. 지각 (Perception): RGB 이미지에서 깊이와 바닥 분할을 추출하여 BEV 그리드에 투영 (관측된 바닥 $F_{obs}$ 생성).
  2. 완성 (Completion): 조건부 생성 모델이 $F_{obs}$와 마스크 $U$를 조건으로 받아 관측되지 않은 영역의 바닥을 생성합니다.
• 손실 함수: 관측된 영역은 고정 (Hard Clamping) 하고, 유효한 관측되지 않은 영역 ($R_{eval}$) 에서만 이진 교차 엔트로피 (Masked BCE) 를 최소화합니다.

3. 주요 기여 (Key Contributions)

1. FlatLands 벤치마크 출시: 단일 시점 실내 BEV 플로어 완성을 위한 최초의 대규모 표준 벤치마크를 제공했습니다. 27 만 개 이상의 관측 데이터와 정밀한 메타데이터 (가시성, 유효성, 정답) 를 포함합니다.
2. 포괄적인 평가 체계:
   • 신뢰도 (Fidelity): IoU, F1 점수, UMR(Unobserved-region Mismatch Rate).
   • 다양성 및 보정 (Diversity & Calibration): **MES (Masked Energy Score)**라는 새로운 지표를 도입하여 생성된 샘플들이 정답에 얼마나 가까운지 (신뢰도) 와 샘플 간에 얼마나 다양한지 (다양성) 를 동시에 평가합니다.
   • 단일 파이프라인 평가: RGB 입력부터 최종 지도 생성까지의 전체 파이프라인 성능을 검증했습니다.
3. 실험적 발견:
   • 확률적 생성 모델 (Stochastic Generators) 이 결정론적 모델보다 관측 조건부 완성의 불확실성을 더 잘 포착하며 전반적인 성능이 우수함을 입증했습니다.
   • FM+XAttn이 가장 우수한 성능을 보였으며, 불확실성을 구조적으로 모호한 경계 영역 (Boundary) 에 집중시키는 능력이 뛰어났습니다.
   • 앙상블 방법 (LaMa-Ens) 은 시드 (Seed) 에 따른 분산이 전체 레이아웃에 고르게 퍼지는 반면, 생성 모델은 실제 구조적 모호성에 따라 불확실성을 국소화함을 발견했습니다.

4. 실험 결과 (Results)

• 성능 비교:
  • 결정론적 모델: U-Net 과 PConv-UNet 이 결정론적 모델 중에서는 가장 좋았으나, LaMa 는 적대적 학습의 특성상 왜곡이 발생하여 성능이 낮았습니다.
  • 확률적 모델: 오라클 (Oracle) 기반의 Best-of-K(K=4) 선택 시, 모든 확률적 생성 모델이 결정론적 모델을 능가했습니다. 특히 FM+XAttn이 MES(신뢰도 + 다양성 균형) 에서 가장 높은 점수를 기록했습니다.
  • OOD 일반화: 학습 데이터와 다른 ScanNet++ 데이터셋에서도 모델 순위가 유지되어, 학습된 레이아웃 사전 지식이 다양한 건축 양식으로 잘 전이됨을 확인했습니다.
• 불확실성 분석:
  • 경계 분산 (Boundary Variance): FM+XAttn 은 바닥과 장애물 사이의 경계 (구조적 모호성) 에서만 높은 분산을 보인 반면, LaMa-Ensemble 은 내부 영역까지 불필요하게 높은 분산을 보여 실제 불확실성과는 거리가 있음을 보였습니다.
• End-to-End 평가: 실제 RGB 이미지 (Depth Pro, SegFormer 사용) 를 입력으로 할 때, 전단 (Front-end) 의 노이즈로 인해 성능이 일부 저하되지만, 확률적 모델의 순위는 유지되었습니다. 이는 생성 모델의 성능이 전단 추정 오류에 의해 제한받음을 시사합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실내 내비게이션의 혁신: 단일 이미지에서 불확실성을 고려한 확률적 지도를 생성함으로써, 로봇이 "어디로 갈 수 있는지"뿐만 아니라 "어디에 위험이 있을지"에 대한 확률적 판단을 내릴 수 있게 합니다.
• 생성적 AI 의 적용: 이미지 인페인팅 기술을 2D 이진 지도 완성 문제에 적용하여, 단순한 텍스처 복원이 아닌 기하학적 구조와 이동 가능성 추론에 생성 모델이 효과적임을 증명했습니다.
• 향후 방향:
  • 현재는 이진 이동 가능 지도 (Binary Traversability) 에만 초점을 맞추고 있으나, 계단, 경사면 등 다양한 이동 가능성 등급 (Graded Traversability) 으로 확장 가능합니다.
  • 다중 시점 (Multi-view) 입력 및 실시간 계획 (Planning) 과의 통합이 다음 단계로 제시되었습니다.

이 논문은 FlatLands를 통해 생성적 AI 와 로봇 내비게이션의 교차점에서 중요한 벤치마크를 제시하며, 불확실성 하에서의 안전한 자율주행을 위한 강력한 도구와 평가 기준을 마련했습니다.