기술 요약: OptiSight

문제 정의

비정형 환경에서의 자율 실내 내비게이션은 두 가지 능력을 동시에 갖추어야 합니다: 충돌 없는 이동을 위한 정밀한 기하학적 제어 능력과, "방에서 나가라"와 같은 고수준의 지시를 해석할 수 있는 시맨틱(semantic) 이해 능력입니다. SLAM(Simultaneous Localization and Mapping)과 기하학적 경로 계획에 의존하는 기존 내비게이션 시스템은 오픈 보캐블러리(open-vocabulary) 시맨틱 개념이나 자연어 지시를 해석하는 능력이 부족합니다. 반대로, 시각-언어 모델(VLM)은 강력한 제로샷 시맨틱 추론과 오픈 보캐블러리 인지 능력을 제공하지만, 계산 비용이 많이 들고 추론 지연 시간이 길며, 실시간 연속 동작 제어에 필요한 기하학적 정밀도가 부족합니다. 기존의 접근 방식들은 엔드 투 엔드(end-to-end) 강화 학습(sim-to-real 전이 문제 발생)을 통해 이 간극을 메우려 하거나, 내비게이션 내내 VLM을 지속적으로 호출(과도한 계산 오버헤드 발생)하는 방식을 취합니다. 본 연구가 다루는 핵심 과제는 엣지 디바이스 배포를 가로막는 지연 시간이나 리소스 비용을 초래하지 않으면서, VLM의 시맨틱 추론 능력과 결정론적 기하학 제어의 효율성 및 견고성을 어떻게 통합할 것인가 하는 점입니다.

방법론

저자들은 고수준의 시맨틱 추론과 저수준의 기하학적 제어를 분리하는 하이브리드 자율 내비게이션 프레임워크인 OptiSight를 제안합니다. 이 시스템은 AI Habitat 시뮬레이션 환경 내에서 작동하며, "방에서 나가라(Get out of the room)"라는 지시를 수행하도록 설계되었습니다.

1. 유한 상태 머신(FSM) 아키텍처

OptiSight는 **Search(탐색), Find(발견), Scan(스캔), Navigate(주행), Recover(복구)**의 다섯 가지 뚜렷한 상태로 구성된 상태 기반 사고 연쇄(Chain-of-Thought, CoT) 아키텍처를 채택합니다.

• Search (탐색): VLM은 현재 RGB 이미지를 분석하여 시맨틱 타겟(예: 문)이 보이는지 판단합니다. 보이지 않을 경우, 로봇은 타겟을 찾을 때까지 자율 스캐닝 절차(9회의 10° 회전)를 수행합니다.
• Find (발견): 타겟이 감지되면, Grounded-SAM이 오픈 보캐블러리 세그멘테이션을 수행하여 타겟을 국지화합니다. 세그멘테이션은 안정성을 확보하기 위해 여러 번의 추론 패스를 거쳐 정교화됩니다. 이후 2D 이미지 좌표는 3D 카메라 참조 프레임으로 투영되어 공간적 위치를 추정합니다.
• Scan (스캔): 바닥 가시성을 극대화하기 위해 카메라를 아래로 40° 기울입니다. Grounded-SAM은 잠재적 장애물을 세그멘테이션하고, 이를 3D 공간으로 투영합니다. 만약 장애물이 0.50m 안전 마진 내에 있으면 충돌 없는 우회 궤적을 생성하고, 그렇지 않으면 직접 궤적을 계산합니다.
• Navigate (주행): 로봇은 3D 웨이포인트를 기반으로 비례 시각 서보잉(proportional visual servoing)을 사용하여 계획된 궤적을 따릅니다. 시스템은 경로를 지속적으로 모니터링합니다. 웨이포인트는 로봇이 0.30m 이내로 접근하면 폐기됩니다.
• Recover (복구): 타겟을 놓치거나 경로가 유효하지 않게 되면, 시스템은 Search 상태로 돌아가 VLM을 다시 호출하여 목표를 재확립합니다.

2. 선택적 VLM 통합

핵심적인 설계 선택은 **이중 격리 시스템 아키텍처(dual-isolated system architecture)**입니다. VLM(별도의 환경에서 실행)은 지속적으로 호출되는 대신, 특정 상태 전환 시(주로 Search 및 Recover 단계)에만 호출됩니다. 이를 통해 기하학적 내비게이션 파이프라인(FSM, 카메라 제어, 경로 계획)이 결정론적이고 실시간으로 작동하는 동안 시맨틱 추론은 백그라운드에서 수행될 수 있습니다.

3. 기하학적 제어

본 프레임워크는 미분 가능한 카메라 투영 기하학을 활용하여 시각적 관측을 내비게이션 명령($\theta, \alpha$)으로 직접 변환합니다. 이는 조밀한 시맨틱 맵핑이나 신경망 기반 장면 재구성을 필요로 하지 않으므로, 낮은 계산 비용으로 정밀한 폐루프 시각 서보잉을 가능하게 합니다.

주요 기여

• 하이브리드 프레임워크: OptiSight는 VLM 기반의 오픈 보캐블러리 그라운딩과 결정론적 시각 서보잉을 결합하여 시맨틱 추론과 기하학적 제어 사이의 가교 역할을 합니다.
• 상태 기반 CoT: 본 논문은 VLM 추론을 중요한 결정 시점으로 제한하는 유한 상태 머신을 도입하여, 지속적 추론 방식에 비해 계산 오버헤드를 크게 줄였습니다.
• 효율적인 시맨틱-기하학 변환: 시스템은 조밀한 맵핑이나 광범적인 학습 데이터셋 없이도 Grounded-SAM과 카메라 투영을 활용하여 시맨틱 타겟을 3D 내비게이션 명령으로 변환합니다.
• 이중 격리 아키텍처: 소켓 기반 인터페이스를 통해 VLM과 로보틱스 파이프라인을 분리함으로써, 현대적인 멀티모달 모델과 레거시 로보틱스 소프트웨어 간의 호환성을 달면서 8 GB VRAM 예산 내에서 작동할 수 있게 합니다.

실험 결과

본 프레임워크는 AI Habitat에서 두 가지 서로 다른 VLM인 Qwen3.5-2B(실험 01–12)와 Moondream2-2B(실험 13–24)를 사용하여 24개의 다양한 실내 내비게이션 시나리오에서 평가되었습니다. 테스트된 시나리오에는 단일/이중 장애물 회피, 시맨틱 모호성, 부분적 관측 가능성, 극단적인 시점, 반사 표면 등의 도전 과제가 포함되었습니다.

• 성공률: 프레임워크는 Qwen3.5-2B를 사용했을 때 12개 시나리오 중 8개에서, Moondream2-2B를 사용했을 때 12개 중 7개에서 미션 성공(10회 실행 중 최소 50% 이상 임무 완수 기준)을 달est했습니다. 일부 시나리오(예: Exp 03, 07, 09, 19, 20, 23, 24)에서는 100% 성공률을 기록했습니다.
• 효율성: 성공적인 시나리오들은 대개 1~3회의 VLM 요청만을 필요로 하여, 상태 기반 접근 방식의 효과를 입증했습니다. 반면, 실패한 시나리오들은 더 높은 VLM 요청 횟수(최대 8회)와 여러 번의 복구 동작을 수반했습니다.
• 견고성: 시스템은 장애물 회피와 시맨틱 모호성을 성공적으로 처리했습니다. 그러나 극단적인 기하학적 왜곡이나 매우 가까운 장애물 근접 상황(예: 최소 장애물 거리 < 0.15 m)에서는 성능이 저하되어 충돌 및 미션 실패로 이어졌습니다.
• 리소스 사용량: 시스템은 지정된 8 GB VRAM 제한 내에서 작동하여, 리소스가 제한된 엣지 플랫폼에 대한 적합성을 검증했습니다.

의의 및 주장

본 논문은 OptiSight가 엔드 투 엔드 정책 학습이나 계산 비용이 많이 드는 조밀한 맵핑에 의-존하지 않고도 제로샷 시맨틱 내비게이션을 위한 실행 가능한 솔루션을 제공한다고 주장합니다. 고수준 인지와 저수준 제어를 분리함으로써, 프레임워크는 VLM의 시맨틱 유연성과 클래식한 기하학적 내비게이션의 실시간 성능 사이의 균형을 달성합니다.

저자들은 본 방식이 구조화된 상태 전이를 통해 **설명 가능한 내비게이션(explainable navigation)**을 가능하게 하는 동시에, NVIDIA Jetson과 같은 엣지 디바이스 배포에 필요한 계산 효율성을 유지한다고 강조합니다. 결과는 많은 임바디드(embodied) 내비게이션 작업에서 지속적인 VLM 추론이 반드시 필요한 것은 아니며, 전략적인 상태 트리거형 추론과 결정론적 기하학 제어를 결합하는 것이 복잡한 실내 환경의 자율 에이전트를 위한 더 실용적이고 견고한 경로임을 시사합니다. 향후 연구는 프레임워크를 더 넓은 작업으로 확장하고 물리적 로봇 검증을 수행하는 데 집중할 것임을 명시했습니다.