기술 요약: BiMoSG – 오픈셋 태스크를 위한 이중 모드 3D 씬 그래프

문제 정의

오픈셋(Open-set) 태스크 수행을 위해서는 로봇이 사전 정보 없이도 복잡한 환경 내의 새로운 객체들을 탐색할 수 있어야 합니다. 오픈 보캐블러리(Open-vocabulary) 3D 씬 그래프(SAM, CLIP, LLaVa와 같은 대규모 시각 기초 모델 활용)는 강력한 인스턴스 분할 및 분류 기능을 제공하지만, 이동 로봇의 실시간 배포에는 상당한 장벽이 존재합니다. 이러한 장벽에는 기초 모델의 막대한 계산 요구량, 제한된 엣지 컴퓨팅 자원, 그리고 높은 에너지 비용이 포함되며, 이는 운영 시간을 제한할 수 있습니다.

본 논문은 태스크가 진행되는 전체 시간 동안 고정밀 오픈 보캐블러리 씬 그래프를 생성하는 것은 불필요하다고 주장합니다. 대신, 로봇은 항해와 일반적인 기능 판단을 위해 대략적인 의미론적(semantic) 정보만을 필요로 하며, 태스크 관련 객체가 포함될 가능성이 높은 특정 영역에 대해서만 세밀한 오픈 보캐블러리 분석을 수행하면 됩니다. 이러한 접근 방식은 인간의 인지적 구분인 빠른 직관적 "시스템 1(System 1)" 사고와 느리고 신중한 "시스템 2(System 2)" 사고를 모방합니다.

방법론: BiMoSG

저자들은 태스크 컨텍스트에 따라 "빠른(fast)" 모드와 "느린(slow)" 모드 사이를 매끄럽게 전환하도록 설계된 이중 모드 3D 씬 그래프 생성 프레임워크인 BiMoSG를 제안합니다.

1. 이중 모드 아키텍처

• 빠른 모드 (기본값): 폐쇄형 보캐블러리(closed-vocabulary) 설정을 사용하여 거친(coarse) 3D 씬 그래프를 생성합니다. 이는 분할을 위해 Mask2Former(ADE20K-150 학습)에 의존하며, 혁신적인 **프리즘 형태의 볼륨 표현(prismatic volumetric representation)**을 사용합니다. 이 모드는 대규모 기초 모델을 피함으로써 계산량과 에너지 비용을 획기적으로 줄입니다.
• 느린 모드 (온디맨드): 시스템이 태스크와 관련될 가능성이 높은 영역이나 객체를 식별했을 때 트리거됩니다. 이 모드는 SmolVLM2 및 LangSAM과 같은 시각-언어 모델(VLM)을 활용하여 상세한 오픈 보캐블러리 설명을 생성하고 객체 레이블을 정교화하는 오픈 보캐블러리 기술을 채택합니다.

2. 프리즘 형태 볼륨 객체 표현 (Prismatic Volumetric Object Representation)

"빠른" 모드에서 속도를 달성하기 위해, BiMoSG는 새로운 기하학적 추상화를 도입합니다.

• 밀집 포인트 클라우드(계산 비용이 높고 시점 변화에 민감함)를 처리하는 대신, 시스템은 분할 마스크로부터 객체의 윤곽선(contour)을 추출합니다.
• 이 윤곽선들은 월드 프레임으로 투영되고 노이즈가 제거된 후, XY-폴리곤(볼록 껍질 또는 알파 셰이프)과 Z-범위($z_{min}, z_{max}$)로 정의되는 **다각형 프리즘(polygonal prisms)**으로 변환됩니다.
• 이 표현 방식은 병합 및 중복 제거의 계산 복잡성을 크게 낮추며($O(n^3)$인 복셀화된 포인트 클라우드 대비 $O(n+m)$), 희소한 시점 간의 볼륨 중첩 매칭을 개선합니다.

3. 근접 기반 객체 관계 (Vicinity-Based Object Relations)

프레임워크는 근접 기반 접근 방식을 사용하여 계층적 씬 그래프를 구축합니다.

• 가시성 행렬 (Visibility Matrix): 객체들이 동일한 프레임 내에 얼마나 자주 함께 나타나는지 추적합니다.
• 계층적 분할 (Hierarchical Partitioning): 객체들은 "부피(girth, 부피의 세제곱근)"와 인접한 객체와의 상대적 크기에 따라 정렬됩니다. 이를 통해 "근접 구역(vicinities, 로컬 클러스터)"과 "존(zones, 방 단위 근사치)"을 설정하기 위한 유향 비순환 그래프(DAG)가 형성됩니다.
• 관계 생성 (Relation Generation): 이러한 근접 구역 내에서 객체 프리즘의 근접성과 교차를 기반으로 자연어 관계(예: ON, IN, BESIDE)가 생성됩니다.

4. LLM 플래너 통합

대규모 언어 모델(LLM) 플래너(구체적으로 GPT-4o)는 인지적 가교 역할을 합니다.

• 1단계 (분해): 상위 수준의 태스크를 분석하여 폐쇄형 객체를 위한 "트리거 레이블(trigger labels)"을 생성합니다.
• 2단계 (모니터링): 씬 그래프를 모니터링합니다. 만약 트리거 레이블이 감지된 객체와 일치하면, InspectAt 액션을 호출합니다.
• 3단계 (확인): VLM이 객체 레이블을 정교화하며, LLM은 하위 실행 전 해당 객체의 태스크 관련성을 확인합니다. 이는 시각적으로 유사하지만 문맥적으로 무관한 객체로 인한 거짓 양성(false positive)을 방지합니다.

두 가지 방식의 오픈셋 식별 모드가 지원됩니다:

• 하이브리드 모드 (Hybrid Mode): CLIP 임베딩을 사용하여 폐쇄형 마스크를 처리함으로써 암묵적으로 오픈셋 의미론을 다룹니다.
• 스위칭 모드 (Switching Mode): LLM이 상세 조사를 요청할 때 VLM 기반 분할(LangSAM)로 명시적으로 전환합니다.

주요 기여

1. BiMoSG 프레임워크: 효율성과 의미적 풍부함 사이의 균형을 맞추기 위해 폐쇄형(빠른) 모드와 오픈형(느린) 모드 사이를 동적으로 전환하는 새로운 3D 씬 그래프 생성 접근 방식입니다.
2. 프리즘 형태 볼륨 표현: 포인트 클라우드 기반 방식에 비해 계산 복잡성을 줄이고 빠른 병합 및 중복 제거를 가능하게 하는 새로운 기하학적 추상화입니다.
3. 근접 기반 계층 구조: 가시성과 상대적 크기를 기반으로 객체 관계 및 계층적 분할(근접 구역 및 존)을 설정하는 새로운 방법으로, 구조화된 추론을 용이하게 합니다.
4. 성능 검증: "빠른" 모드가 ConceptGraphs와 같은 최신 오픈 보캐블러리 방식보다 약 3배 더 빠르면서도 견고함을 유지한다는 실증적 증거를 제시합니다.
5. 실제 환경 배포: 박물관 환경의 Clearpath Jackal 로봇에서 프레임워크를 검증하여, 사전 매핑 없이도 성공적인 태스크 수행(의심스러운 객체 식별)을 입증했습니다.

실험 결과

• 계산 효율성: RTX 4090에서 BiMoSG의 빠른 모드는 프레임을 평균 0.1초 내에 처리하며, 이는 ConceptGraphs의 0.4초, BBQ의 0.2초와 비교됩니다.
• 기하학적 정확도: Replica 데이터셋 평가에서 약 57%의 평균 GT 커버리지와 약 61%의 선형 mIoU를 기록하며 수용 가능한 기하학적 정확도를 보여주었습니다. 낮은 정밀도는 볼륨 표현 자체보다는 분할 아티팩트(segmentation artifacts)에 기인합니다.
• 태스크 수행 시간: Habitat Matterport3D 시뮬레이션에서 BiMoSG는 오픈셋 및 폐쇄형 태스크 모두에서 Clio 베이스라인을 지속적으로 능가했습니다. 예를 들어, 오픈셋 태스크에서 BiMoSG는 키보드를 찾는 데 걸리는 시간을 약 1:45(Clio)에서 2.13초로 단축했는데, 이는 태스크 완료 전 전체 환경을 매핑하는 것을 피했기 때문입니다.
• 수렴성: 고수준 태스크(예: "아이스크림을 어디에 두어야 할까?")에서 시스템은 현저히 단축된 실행 시간(예: 아이스크림 태스크에 19초)과 함께 높은 수렴율(80–90%)을 달면했습니다.

의의 및 주장

본 논문은 BiMoSG가 인간의 인지적 효율성을 모방함으로써 오픈셋 태스크 수행을 위한 실시간, 에너지 효율적 솔루션을 제공한다고 주장합니다. 거친 폐쇄형 보캐블러리 표현을 기본으로 사용하고 필요한 경우에만 계산 비용이 많이 드는 오픈 보캐블러리 모델을 가동함으로써, 시스템은 다음을 가능하게 합니다:

• 씬 그래프 생성과 태스크 수행 간의 매끄러운 통합.
• 사전 매핑 없이 미지의 환경에서의 견고한 작동.
• 순수 오픈 보캐블러리 방식에 비해 현저히 짧은 태스크 수행 시간 달성 및 유사한 성공률 유지.

저자들은 이 이중 모드 설계가 실시간 로봇 인지, 항해 및 추론에 있어 경쟁력이 있으며, 속도가 필요한 모바일 로보틱스와 오픈셋 태스크에 필요한 의미적 깊이 사이의 트레이드오프를 효과적으로 해결한다고 결론짓습니다.