기술 요약: IROS - 실시간 VLM 기반 실내 내비게이션을 위한 이중 프로세스 아키텍처

1. 문제 정의

실내 모바일 로봇 내비게이션은 **의미론적 추론(semantic reasoning)**과 실시간 응답성(real-time responsiveness) 사이의 근본적인 트레이드오프에 직면해 있습니다.

• 기하학적 접근 방식 (예: SLAM): 신뢰할 수 있는 위치 추정과 낮은 지연 시간을 제공하지만, 복잡한 실내 추론에 필수적인 인간 중심의 의미론적 단서(예: 방 번호, 표지판, 게시판)를 해석하는 능력이 부족합니다.
• 시각-언어-행동(VLA) 모델: 의미론적 접지(semantic grounding) 능력을 제공하지만, 엄격하게 반응적(reactive)이며 현재 프레임에만 기반하여 결정을 내립니다. 이들은 장기적인 추론이나 멀리 떨어진 텍스트 단서에 기반한 미관측 목표를 추론하는 데 어려움을 겪습니다.
• 시각-언어 모델(VLM): 광범위한 세상에 대한 지식과 맥락적 추론 능력을 갖추고 있어, 목표와 부분적으로 관찰된 공간에 대해 추론할 수 있습니다. 그러나 높은 계산 지연 시간으로 인해 임베디드 하드웨어(예: NVIDIA Jetson)에서 연속적인 실시간 운영을 수행하기에는 부적합합니다. 지속적인 VLM 추론은 "생각하는 멈춤(thinking pauses)"을 생성하여 안전과 사용자 경험을 저해합니다.

기존 솔루션들은 VLMs의 깊은 맥락적 추론 능력과 역동적인 환경에서 안전한 물리적 작동을 위해 요구되는 초 단위 미만의 응답성을 동시에 제공하지 못합니다.

2. 방법론: IROS 아키텍처

저자들은 인지 과학의 **이중 프로세스 이론(Dual Process Theory)**에서 영감을 받은 실시간 내비게이션 프레임워크인 IROS를 제안합니다. IROS는 내비게이션을 두 가지 별도의 경로, 즉 **시스템 원(System One, 빠르고 반사적인 지각)**과 **시스템 투(System Two, 느리고 숙고적인 추론)**로 분리합니다. 이 시스템은 외부 연결 없이 저비용 온디바이스 하드웨어에서 완전히 작동합니다.

시스템 원: 빠른 지각 (반사적)

시스템 원은 실시간 응답성을 보장하기 위해 즉각적이고 모호함이 낮은 결정을 처리합니다.

• 핵심 프레임 비교 (Key Frame Compare, KFC): 패치 수준의 임베딩(SigLIP과 같은 비전 인코더 활용)을 사용하는 경량 게이팅 메커니즘으로, 전역적인 의미 변화보다는 구조적 변화(예: 모퉁이, 교차로)를 감지합니다. 이는 정적인 복도와 같은 환경에서 불필요한 추론을 피하면서, 시각적 장면이 의미 있게 변할 때만 시스템 투를 트리거합니다.
• 공간 및 텍스트 증강: 소형 VLMs의 제한된 공간 인지 능력을 보완하기 위해, 시스템 원은 다음을 사용합니다:
  • 세그멘테이션 (SegFormer-b0): 소실점(vanishing points)을 감지하고 장면을 내비게이션 존(앞, 왼쪽, 오른쪽, 아래)으로 분할하여 구조화된 공간 기술자를 생성합니다.
  • OCR (docTR): 표준 비전 인코더가 놓칠 수 있는 원거리 텍스트 단서(방 번호, 표지판)를 추출합니다.
• 조건 매칭: 시스템은 현재 장면의 구조화된 기술자를 사전 계산된 **조건-행동 테이블(Condition-to-Action Table)**과 코사인 유사도를 사용하여 비교합니다.
  • 고유한 행동(예: "전진")이 식별되면 즉시 실행됩니다.
  • 장면이 모호하거나(제로 또는 다수의 매칭 행동) 중복될 경우, 결정은 시스템 투로 격상됩니다.
  • 목적지 도착 확인: 현재 뷰가 목표 텍스트와 일치하는지 확인하여 도착을 선언합니다.

시스템 투: 숙고적 추론 (인지적)

시스템 투는 시스템 원이 고유한 행동을 결정할 수 없거나 더 깊은 의미론적 이해가 필요할 때만 호출되는 인지 핵심 역할을 합니다.

• 오프라인 조건-행동 생성: 초기화 시, VLM(예: Gemma3 4B)은 시작 위치와 목표 설명을 분석하여 잠재적인 환경 조건과 그에 따른 행동을 "가설적으로 추론"하고, 시스템 원에서 사용할 조건-행동 테이블을 생성합니다.
• 실시간 추가 사고: 격상되었을 때, 시스템 투는 목표, 현재 이미지, 그리고 시스템 원으로부터 전달받은 증강된 공간/텍스트 기술자를 전달받습니다.
  • 프롬프트 엔지니어링: VLM은 최대 토큰 예산(예: 150 토큰)에 의해 제한되며, 한계에 도달함에 따라 비-행동(non-action) 토큰을 억제하기 위해 **로짓 프로세싱(logit processing)**을 사용하여 적시에 출력을 강제합니다.
  • 폴백 메커니즘 (Fallback Mechanism): VLM이 행동을 생성하지 못할 경우, 시스템은 키-값 캐시를 복구하고 생성을 재개하여 최소한의 지연 시간으로 행동 완결을 보장합니다.

실행 모듈

유한 상태 머신(finite-state machine)은 선택된 행동(전진, 좌회전/우회전, 후진)을 실행합니다. 이 모듈은 로봇의 광학 중심을 의도한 방향으로 조향하기 위해 소실점(Vanishing Point, VP) 트래커를 활용하여 정밀한 360° 기동을 보장합니다.

3. 주요 기여

1. 이중 프로세스 내비게이션 아키텍처: 빠른 지각(시스템 원)과 숙고적 추론(시스템 투)을 분리한 디커플링된 시스템을 제공합니다. 이를 통해 VLM의 의미론적 지능을 보존하면서도 필요한 경우에만 VLM을 호출하여 실시간 응답성을 확보합니다.
2. 효율성을 위한 조건부 추론: 핵ful 프레임 비교 및 비전-조건 매칭 모듈은 의미 있는 환경 변화가 있을 때만 VLM 추론을 트리거하여 지연 시간을 크게 줄입니다.
3. 공간 및 텍스트 정보 증강: 소형 온디바デバイス VLM의 공간 인지 한계를 해결하기 위해, 기하학적 세그멘테이션에서 유도된 명시적 공간 기술자와 OCR을 통한 텍스트 단서로 프롬프트를 증강합니다.
4. 엔드 투 엔드 실세계 구현: 시스템은 NVIDIA Jetson Orin NX를 탑재한 모바일 로봇에 구현되었으며, 5개의 다양한 실제 실내 환경에서 평가되어 인간과 유사한 의사결정 능력을 입증했습니다.

4. 실험 결과

테스트베드 로봇을 사용하여 5개의 환경(대학교 건물 3곳, 오피스 단지 1곳, 주거용 건물 1곳)에서 120회의 에피소드(2,455미터의 비디오)를 통해 평가를 진행했습니다.

• 지연 시간 감소: IROS는 연속적인 VLM 기반 내비게이션에 비해 평균 이동 시간을 66% 단축했습니다.
• 의사결정 정확도:
  • IROS는 **90.2%**의 의사결정 정확도를 달성하여, VLM 전용 베이스라인(47.5%)을 크게 상회했습니다.
  • 공간 및 텍스트 정보 증강의 추가는 VLM의 기동 결정 정확도를 48.2%에서 64.3%로 향상시켰습니다.
• 시스템 효율성:
  • 시스템 원은 모든 내비게이션 결정의 **53.6%**를 1초 미만의 지연 시간(0.7~0.9초)으로 처리했습니다.
  • 시스템 투는 복잡하거나 모호한 경우에만 호출되며, 지연 시간은 표준 VLM 추론(~20초)과 비슷하지만 사용 빈도가 최소화되었습니다.
• 턴오버 메커니즘: 시스템 원은 약 72%의 사례에서 시스템 투로 위임해야 할 시점을 정확히 식별했습니다. 시스템 원은 필요한 턴오버를 놓치지 않는(결코 실패하지 않는) 100%의 재현율(recall)을 보였으나, 안전을 위해 관리 가능한 케이스를 가끔 위임하는 보수적인 성향(False Positives)을 보였습니다.
• 모델 용량: 실험 결과, **4B 파라미터 모델(Gemma3)**이 신뢰할 수 있는 내비게이션 추론을 위한 최소 가용 용량임을 나타냈습니다. 더 작은 모델(예: 1.1B TinyLLaVA)은 유효한 결정을 생성하는 데 실패했습니다.

5. 의의 및 주장

본 논문은 IROS가 VLM의 추론 능력과 실제 로봇 내비게이션의 엄격한 실시간 요구사항 사이의 간극을 성공적으로 메웠다고 주장합니다. 이중 프로세스 아키텍처를 채택함으로써, 시스템은 속도나 안전을 희생하지 않고도 루틴한 작업에는 빠른 반사를, 복잡한 작업에는 느린 숙고를 사용하는 "인간처럼 생각하는" 방식을 통해 효율적으로 작동할 수 있습니다.

저자들은 다음을 강조합니다:

• 저렴한 온디바이스 하드웨어에서도 의사결정 품질을 희생하지 않고 견고한 저지연 VLM 기반 내비게이션이 가능하다는 점입니다.
• 단순히 모델을 축소하는 것만으로는 불충분하며, 계산 병목 현상을 극복하기 위해서는 지각과 추론을 분리하는 시스템 레벨의 아키텍처 재설계가 필요하다는 점입니다.
• 제안된 프레임워크는 경량 지각과 무거운 의미론적 추론의 상호 보완적인 강점을 활용하여, 로봇이 인간 중심의 환경에서 안전하고 효율적으로 작동할 수 있게 하는 **범용 체화된 AI(General Embodied AI)**를 향한 단계입니다.

논문은 IROS가 견고한 내비게이션을 달erm하지만, 동적인 환경을 위한 명시적인 장애물 회피(예: 깊이 센싱 또는 강화 학습 활용)를 통합하고, 이중 프로세스 설계를 조작(manipulation) 작업으로 확장하는 것에 대한 향후 연구가 필요함을 언급하며 마무리합니다.