Mapping the Unseen: Unified Promptable Panoptic Mapping with Dynamic Labeling using Foundation Models

기술 요약: 파운데이션 모델을 이용한 동적 레이블링 기반 통합 프롬프트 가능 파놉틱 매핑

문제 정의
파놉틱 매핑(Panoptic mapping)은 로봇이 구조화된 환경에서 기하학적 구조와 의미론적 정보를 모두 추론할 수 있도록 하는 데 필수적입니다. 그러나 기존 시스템은 중대한 트레이드오프에 직면해 있습니다. 사전 정의된 카테고리 세트에 의존하는 전통적인 방식(폐쇄형 어휘, closed-vocabulary)은 의미론적 표현력이 부족하며, 최근의 개방형 어휘(open-vocabulary) 접근 방식은 종종 일관되지 않은 레이블을 생성합니다. 개방형 어휘 모델은 동일한 객체에 대해 서로 밀접하게 연관되거나 동의어인 레이블(예: "식탁", "나무 탁자", "주방 책상")을 빈번하게 생성합니다. 이러한 불일치하는 레이블들이 3D 맵으로 융합될 때, 이는 파놉틱 엔티티를 파편화하고, 볼륨 일관성을 저하시키며, 개방형 어휘 예측과 볼륨 우선순위(volumetric priors) 또는 객체 규모 간의 조율에 실패하게 만듭니다. 현재의 솔루션들은 장면당 오프라인 학습을 요구하거나, 그래프 기반 추론에 의존하거나, 혹은 동의어를 일관된 카테고리 구조로 통합하면서 기하학적 정확성을 유지하는 데 실패합니다.

방법론
제안된 통합 프롬프트 가능 파놉틱 매핑(Unified Promptable Panoptic Mapping, UPPM) 프레임워크는 개방형 어휘 인식을 일관된 3D 파놉틱 매핑으로 연결하는 동적 디스크립터(Dynamic Descriptor) 메커니즘을 도입하여 이러한 과제를 해결합니다. 이 파이프라인은 장면당 학습이나 신경 복사 필드(Neural Radiance Fields) 없이 오프더셸(off-the-shelf) 파운데이션 모델을 활용하여 다단계 프로세스로 작동합니다:

1. 시각-언어 특징 추출++ (VL_FE++): 시스템은 Tag2Text를 사용하여 RGB 입력을 처리함으로써 이미지 캡션과 객체 수준의 태그를 생성합니다. 이 태그들은 형태론적 변이(예: "chairs"를 "chair"로)를 정규화하기 위해 품사(POS) 태깅 및 표제어 추출(lemmatization) 과정을 거쳐 파싱되며, 이를 통해 개방형 어휘 후보 레이블 세트를 생성합니다.
2. 의미론적 검색 (Semantic Retrieval, SR): 레이블 파편화를 해결하기 위해, SR은 MPNet 임베딩을 이용한 코사인 유사도를 사용하여 개방형 어휘 레이블을 고정된 통합 의미 카테고리(COCO-Stuff 클래스 기반)로 매핑합니다. 결정적으로, 각 통합 카테고리는 상속된 볼륨 크기 우선순위(작음, 중간, 또는 큼)를 가집니다. 이 단계는 원래의 개방형 어휘 레이블, 통합된 카테고리, 그리고 크기 우선순위를 포함하는 **기초 디스크립터(Elementary Descriptors, $e_i = \langle o_i, \hat{c}_i, \hat{\nu}_i \rangle$)**를 생성합니다.
3. 개방형 어휘 파놉틱 세그멘테이션: Grounding-DINO는 개방형 어휘 레이블을 사용하여 객체를 탐지하고, Segment Anything Model (SAM)은 세그멘테이션 마스크를 생성합니다. 의미적으로 유사한 프롬프트로부터 발생하는 중복을 처리하기 위해 커스텀 비최대 억제(Custom Non-Maximum Suppression, NMS) 전략이 사용됩니다. 전통적인 IoU 기반 NMS와 달리, 이 방법은 근접한 바운딩 박스를 억제하기 위한 좌표 기반 근접성 기준과 중첩된 박스를 처리하기 위한 포함 관계 기반 억제를 사용하여 중복된 연관성을 크게 줄입니다.
4. 통합 파놉틱 융합 (Unified Panoptic Fusion, UPF): 시스템은 기하학과 의미론을 다중 해상도 다중 TSDF 맵으로 융합합니다. 융합 과정에서 동일한 3D 서브맵(객체)과 연관된 기초 디스크립터들은 하나의 **동적 디스크립터(Dynamic Descriptor)**로 집계됩니다. 이 디스크립터는 관찰된 모든 개방형 어휘 레이블을 시간에 따라 축적하는 동시에, 단일하고 안정적인 통합 카테고리와 크기 우선순위를 유지합니다. 연관성은 예측된 마스크와 렌더링된 마스크 사이의 Intersection-over-Union (IoU)에 의해 결정되며, 허위 연결을 방지하기 위해 최소 임계값을 적용합니다.

주요 기여

1. 파놉틱 동적 디스크립터 메커니즘: UPPM은 탐지 시점이 아닌 융합 시점에 객체 수준에서 개방형 어휘 레이블을 집계하는 새로운 데이터 구조를 도입합니다. 이를 통해 시스템은 풍부한 개방형 어휘 표현력(예: "연갈색 테이블" 또는 "식사용 테이블"과 같은 쿼리 가능)을 보존하는 동시에, 범주적 일관성(이들을 "테이블" 아래로 통합)과 기하학적 크기 우선순위를 강제할 수 있습니다.
2. 학습이 필요 없는 파이프라인: 본 시스템은 장면당 학습, 그래프 기반 추론, 또는 신경 복사 필드 없이도 기하학적으로 정확하고 의미론적으로 일관된 3D 파놉틱 맵을 구축하며, 이는 실시간 로봇 애플리케이션에 적합합니다.
3. 포괄적인 평가 및 절제 연구: 저자들은 ScanNet v2, RIO, Flat 데이터셋에 대해 세 가지 정량적 체계(Segmentation-to-Map, Map-to-Map, Segmentation-to-Segmentation)로 UPPM을 평가합니다. 절제 연구를 통해 통합 의미론, 커스텀 NMS, 그리고 블러 프레임 필터링 구성 요소가 시스템 성능에 핵심적임을 확인했습니다.

결과
실험 결과, UPPM은 최신 폐쇄형 세트 및 개방형 어휘 베이스라인 모델들과 비교하여 우수한 전반적 성능을 달ำ했습니다:

• 기하학적 재구성: Flat 데이터셋에서 UPPM은 0.61 cm의 정확도와 1.10 cm의 완결성을 달성하여 Kimera 및 PanMap과 같은 경쟁 모델을 능가했습니다. 노이즈가 많은 실제 환경인 RIO 데이터셋에서 UPPM은 모션 블러에 대한 강건함을 보여주었으며, Chamfer distance 5.65 cm 및 Hausdorff distance 10.05 cm를 기록하여 다른 개방형 어휘 방식보다 유의미하게 우수한 성능을 보였습니다.
• 파놉틱 세그멘테이션 품질: UPPM은 Flat 데이터셋에서 가장 높은 파놉틱 품질(PQ: 0.414)과 인식 품질(RQ: 0.475)을 달성했습니다.
• 절제 연구 통찰: 통합 의미론(PPM)을 제거하면 레이블이 모호해지고 재구성 정확도가 낮아졌습니다. 커스텀 NMS는 개방형 어휘 설정에서 완결 비율을 8.27% 향상시키고 허위 음성(false negatives)을 16.9% 감소시켰습니다. 블러 프레임 필터링은 노이즈가 많은 RIO 데이터셋에서 성능을 눈에 띄게 개선했습니다.
• 효율성: UPPM은 2.28 FPS로 작동하여(비전-언어 처리로 인해 폐쇄형 세트 베이스라인보다 느림) 프레임 레이트를 희생하는 대신, 재학습 없이 개방형 어휘 능력과 향상된 파놉틱 품질을 제공합니다.

의의
본 논문은 UPPM이 탐지 시점의 레이블링에서 융합 시점의 의미론적 집계로의 패러다임 전환을 나타낸다고 주장합니다. 파운데이션 모델의 롱테일(long-tailed) 의미론과 파놉틱 매핑의 일관성 요구 사항을 조율함으로써, UPPM은 로봇이 지속적이고 쿼리가 가능한 3D 맵을 유지할 수 있게 합니다. 이 시스템은 동의어 및 패러프레이즈를 이용한 언어 조건부 객체 검색을 가능하게 하여 개방형 어휘 프롬프트의 해석 가능성을 보존하는 동시에, 강력한 기하학적 정확도를 전달하고 기존 개방형 어휘 매핑 방식의 고질적인 문제인 인스턴스 파편화를 방지합니다. 저자들은 이를 무거운 장면당 최적화에 의존하지 않는 견고하고 실시간적인 장면 이해를 향한 단계로 포지셔닝합니다.