기술 요약: 3D 인식 기하학적 제약을 활용한 오픈 보캐블러리(Open-Vocabulary) BEV 세그멘테이션

문제 정의

조류 시점(Bird's-eye view, BEV) 인지는 객체 탐지 및 경로 계획과 같은 작업을 위한 통합 멀티 센서 퓨전을 가능하게 함으로써 자율 주행의 근간이 되는 패러다임입니다. 그러나 기존의 최첨단 BEV 시스템은 폐쇄 집합 가정(closed-set assumption) 하에서 작동하며, 이는 사전에 정의된 유한한 의미론적 클래스만을 인식할 수 있음을 의미합니다. 실제 시나리오에서 자율 주행 차량은 학습 과정에서 정답 레이블(ground-truth labels)이 없는 새로운 객체(예: 건설 차량, 휠체어 또는 유모차)를 빈번하게 마주하게 됩니다. 현재의 방식들은 이러한 "오픈 보캐블러리(open-vocabulary, OV)" 카테고리를 묵인하며 무시하는데, 이는 BEV 지도에 의미론적 공백 영역을 생성하여 안전 위험을 초래합니다.

BEV 인지를 오픈 보캐블러리 환경으로 확장하는 데 있어 주요한 기술적 병목 현상은 **2D-to-3D 언프로젝션(unprojection)의 부적절한 문제(ill-posed nature)**입니다. 2D 비전-언어 모델(VLM)의 예측을 깊이 추정(depth estimation)을 통해 3D 공간으로 들어 올리는(lifting) 단순한 접근 방식은 기하학적 불안정성을 겪습니다. 2D 로컬라이제이션이나 의미론적 분류에서의 작은 오류는 리프팅 과정에서 증폭되어, 특히 희소한 뷰(sparse-view)를 가진 실외 환경에서 왜곡된 BEV 표현과 일관되지 않은 다중 뷰 기하 구조를 초래합니다.

방법론: OVBEVSeg

저자들은 표준적인 기하학적 추론 방향을 역전시키는 기하학 인지 프레임워크인 OVBEVSeg를 제안합니다. 이 방법은 노이즈가 있는 2D 예측을 3D로 들어 올리는 대신, 신뢰할 수 있는 3D 구조를 2D 및 BEV 공간으로 투영합니다. 이 프레임워크는 **3D 가우시안 스플래팅(3D Gaussian Splatting, GS)**을 활용하며 세 가지 시너지 단계로 작동합니다.

1. 오픈 보캐블러리 의사-BEV 레이블링 (PBL)

정답 없이 미학습 클래스에 대한 학습 신호를 생성하기 위해, 저자들은 3D 투영을 통해 일관된 2D-BEV 대응 관계를 구축합니다.

• 비지도 3D 탐지: 클래스 불가지론적(class-agnostic) 3D 바운딩 박스를 생성하기 위해 비지도 3D 탐지기(UNION)를 사용합니다.
• 투영 및 그라운딩: 이 3D 박스들을 2D 이미지 평면에 투영하여 기초 세그멘테이션 모델(SAM)을 통해 픽셀 수준의 인스턴스 마스크를 복구합니다.
• 의미론적 정렬: 각 세그먼트된 2D 객체에 대해 CLIP 기반 이미지 임베딩을 추출하고, 이를 텍스트 프롬프트(기본 및 신규 클래스 모두 포함)와 매칭하여 의사 레이블(pseudo-labels)을 할당합니다.
• 매핑: 이 레이블들을 대응하는 3D 박스로 다시 매핑하고 BEV 공간으로 투영함으로써, 직접적인 2D-to-3D 리프팅에서 발생하는 오류를 우회하여 기본 및 신규 카테고리에 대한 일관된 의사 레이블 세트를 생성합니다.

2. BEV 인지 3D 가우시안 스플래팅 (BAGS)

기하학적 불일치를 해결하기 위해, 저자들은 3D 기하학적 제약을 강제하는 장면별 최적화(per-scene optimization) 단계를 도입합니다.

• 결합 최적화: 광도 일관성(color)만을 최적화하는 표준 3DGS와 달리, BAGS는 2D 이미지 뷰와 BEV 평면 모두에서 **점유 일관성(occupancy consistency)**을 최적화합니다.
• 손실 함수: 이 프레임워크는 광도 손실(photometric loss), 깊이 정규화(depth regularization), 그리고 PBL로부터 유도된 2D 및 BEV 점유 맵을 정렬하는 Smooth L1 손실로 구성된 결합 손실을 최소화합니다.
• 언어 임베딩 (Lang-BAGS): OV 이해를 지원하기 위해, 이 방법은 엉킴 분리 증류(disentanglement distillation) 손실을 통합합니다. 이는 3D 가우시안이 표준 잠재 공간 투영에서 흔히 붕괴되는 차량 하위 클래스(예: "트럭"과 "자동차"의 구분)에 대해 구별된 의미론적 특징을 유지하도록 보장합니다.

3. BEV 인지 가우시안 증류 (BAGD)

실시간 추론 효율성을 보장하기 위해, 오프라인 BAGS 최적화로부터 얻은 고충실도 기하학적 지식을 **피드 포워드 학생 네트워크(feed-forward student network)**로 증류합니다.

• 교사-학생 정렬: 최적화된 3D 가우시안(교사)은 조밀한 감독 신호 역할을 합니다.
• 게이팅 메커니즘: Top-1 가우시안 게이팅 메커니즘은 렌더링 기여도에 따라 각 픽셀에 대해 가장 영향력 있는 교사 가우시안을 선택하여, 연속적인 3D 기하 구조를 학생 네트워크의 이산 그리드로 매핑합니다.
• 증류 손실: 대칭형 KL 발산(KL divergence) 손실은 학생이 예측한 BEV 특징을 교사의 분포와 정렬시켜, 빠른 온라인 추론을 가능하게 하면서도 기하학적 정확도를 보존합니다.

주요 기여

1. 태스크 정의: 2D 비전을 넘어 BEV 도메인으로 OV 인식을 확장하는 새로운 태스크인 **오픈 보캐블러리 BEV 세그멘테이션(OVBS)**을 도입했습니다.
2. 기하학적 패러다임 전환: 표준 언프로젝션 워크플로우를 역전시켜 신뢰할 수 있는 3D 구조를 사용하여 2D 및 BEV 의미론을 가이드함으로써, 리프팅 문제를 해결하는 새로운 "3D 투영 우선(3D projection-first)" 원칙을 제시했습니다.
3. OVBEVSeg 프레임워크: OV 일반화, 정밀한 기하학적 재구성, 실시간 효율성을 동시에 달축하는 PBL, BAGS, BAGD가 통합된 통합 프레임워크를 제안했습니다.
4. 분리 전략: 언어 임베딩이 포함된 3D 재구성 과정에서 차량 하위 클래스 간의 의미론적 엉킴을 방지하는 특정 손실 공식(Lang-BAGS)을 제공했습니다.

실험 결과

nuScenes 데이터셋에서 평가된 OVBEVSeg는 기존 베이스라인 대비 유의미한 개선을 보여줍니다.

• 신규 클래스 성능: 미학습 카테고리에 대해 최첨단 성능을 달성하였으며, 이전의 최고 폐쇄 집합 방식인 TaDe보다 신규 클래스에서 15.3 mIoU 더 높은 성능을 기록했습니다.
• 효율성: 이 방법은 투영 기반 방식보다 2.5배 빠르고 메모리를 0.22배만 소비합니다.
• 레이블 효율성: 놀랍게도, 신규 클래스에 대한 정답 레이블이 전혀 없음에도 불구하고, OVBEVSeg는 최대 **40%**의 정답 주석을 사용하는 준지도 및 자기지도 베이스라인과 경쟁할 만한 성능을 유지합니다.
• 기하학적 충실도: 정성적 결과는 BAGS가 일반적인 3DGS에서 흔히 나타나는 "분산된 스플랫(dispersed splats)"과 경계 왜곡을 해결하여, 날카롭고 기하학적으로 일관된 BEV 예측을 생성함을 보여줍니다.

의의 및 주장

본 논문은 OVBEVSeg가 견고한 오픈 월드 멀티모달 3D 인지를 위한 확장 가능한 토대를 구축한다고 주장합니다. 2D-3D-BEV 연속체 전반에 걸쳐 기하학적 일관성을 강제함으로써, 이 연구는 자율 주행의 핵심적인 안전 격차인 예측 불가능하고 보이지 않는 객체를 인지하고 추론하지 못하는 문제를 해결합니다. 저자들은 BEV 인지를 오픈 월드 환경에 맞춰 재구성하는 것이 선택이 아니라, 실제 자율 주행의 의미론적 완전성과 안전을 보장하기 위한 필수 요소라고 주장합니다. 이 프레임워크는 피드 포워드 모델의 효율성과 per-scene 최적화의 기하학적 충실도 사이의 간극을 성공적으로 메움으로써, 동적이고 비정형화된 환경에서의 실질적인 배포를 위한 길을 열었습니다.