기술 요약: VLM 통합 실내 이동 로봇을 위한 의미적 자율성 프레임워크

1. 문제 제기

ROS 2 Navigation 2(Nav2)와 같은 프레임워크를 사용하여 거리 기반 항법에서 높은 신뢰성을 달성한 자율형 실내 이동 로봇은, 특정 좌표가 아닌 의도를 표현하는 자연어 명령을 해석할 능력이 부족합니다. 시각 - 언어 모델 (VLM) 은 이러한 격차를 해소하는 데 필요한 의미적 추론을 제공하지만, 실제 물리적 로봇에 배포하기 위해서는 다음과 같은 세 가지 주요 장벽에 직면해 있습니다:

1. 추론 지연: 소비자 등급 VLM 추론은 결정당 2~9 초가 소요되어 "실험실로 가라"와 같은 일상적이고 모호하지 않은 명령에도 비실용적입니다.
2. 세션 기억상실: 현재 시스템은 종료 시 학습된 패턴 (운영자 선호도, 성공적인 경로) 을 폐기하여 매 세션마다 재학습을 강요합니다.
3. 제한된 물리적 검증: 기존 연구는 종종 시뮬레이션 또는 단일 로봇 배포에 의존하며, 실제 세계의 다중 로봇 환경에서 로봇 간 지식 이전을 검증하지 못했습니다.

2. 방법론: 의미적 자율성 스택 (SAS)

저자들은 의미적 자율성 실내 항법을 위해 설계된 6 계층 참조 프레임워크 (L0~L5) 인 **의미적 자율성 스택 (Semantic Autonomy Stack, SAS)**을 제안합니다. 이 프레임워크는 하드웨어 (L0) 에서 운영 지능 (L5) 까지 관심사를 분리하는 플랫폼 중립적입니다.

핵심 아키텍처

• L0~L2 (기반): 이동, 국소화 (AMCL), 경로 계획 (Nav2), 그리고 지각 (센서 퓨전, 영구적 의미 매핑) 을 처리합니다. 이러한 계층들은 이전 연구에서 검증되었습니다.
• L3 (의미적 추론): 이 논문의 새로운 기여로, 이중 처리 이론에 기반한 하이브리드 결정론적 - VLM 추론 아키텍처를 구현합니다:
  • L3a (결정론적 고속 경로): VLM, 카메라, GPU 를 호출하지 않고 0.1ms 미만으로 명령을 해결하는 7 단계 매개변수 캐스케이드입니다. 이는 그래프 구조, 정적 관심사 (POI) 속성, 그리고 학습된 선호도를 활용합니다.
  • L3b (심층적 경로): L3a 가 모호하지 않은 해결책을 도출하지 못할 때만 활성화됩니다. 카메라 이미지를 획득하고, 맥락을 포함한 구조화된 프롬프트를 구성한 후 VLM(Qwen 3.5:4b) 에 쿼리를 수행합니다.
  • 실행 계약: 안전성과 모델 중립성을 보장하기 위해 affordance(행위 가능성), 관찰, 행동 검증, 감사 로그를 공식화하는 인터페이스 ($\langle A, O, V, L \rangle$) 입니다.
• L4 (미션 인터페이스): 외부 입력 (자연어, 산업 프로토콜) 을 내부 표현으로 변환합니다.
• L5 (운영 지능 및 기억): 명시적 범위 분류를 갖춘 5 가지 범주의 의미 기억 프레임워크 (M1~M5) 입니다:
  • M1 (환경): 글로벌 지식 (방문 통계, 성공률).
  • M2 (시간적 패턴): 글로벌 시각 장면 패턴.
  • M3 (운영자 선호도): 명령에서 목표로의 글로벌 운영자별 매핑.
  • M4 (플랫폼 능력): 로봇별 하드웨어/소프트웨어 사양.
  • M5 (작업 기록): 로봇별 결정 로그.
  • 메커니즘: 학습된 VLM 해결책은 빈도와 일관성 임계값을 충족하면 M3 로 "승격"되어 결정론적 규칙이 됩니다. 이러한 규칙은 로봇 간에 공유되는 경량 요약본 ($\le$ 500 토큰) 으로 컴파일됩니다.

실험 설정

• 플랫폼: Raspberry Pi 5 에서 실행되는 두 대의 커스텀 차동 구동 로봇 (Xplorer-B 및 Xplorer-C, L0~L2 는 CPU 만 사용).
• 연산: VLM 추론 (L3b) 및 기억 관리 (L5) 는 NVIDIA RTX 5050 GPU 가 장착된 공유 워크스테이션에서 실행됩니다.
• 환경: 18 개의 정적 POI 가 있는 대학 복도에 있는 24 노드 항법 그래프.
• 프로토콜: 학습 주기 (VLM $\to$ 결정론적), 로봇 간 이전, 그리고 동시 작동을 테스트하는 82 개의 시나리오 수준 결정을 포함하는 세 가지 세션.

3. 주요 기여

이 논문은 네 가지 주요 기여를 주장합니다:

1. 의미적 자율성 스택 (SAS): 의미적 추론과 실행을 분리하여 체계적인 구성 요소 교체 및 플랫폼 간 이식성을 가능하게 하는 검증된 6 계층 프레임워크.
2. 하이브리드 결정론적 - VLM 추론: 명령의 88% 에 대해 VLM 추론을 우회하여 지연 시간을 초 단위에서 밀리초 미만으로 줄이는 7 단계 해결기. VLM 매개 결정을 재학습 없이 결정론적 규칙으로 변환합니다.
3. 교차 로봇 적응형 기억: 공유 컴파일 요약본을 통해 한 로봇에서 학습된 운영자 선호도를 다른 로봇으로 이전할 수 있는 프레임워크로, 로봇별 구성 없이 100% 의미 이전 정확도를 달성합니다.
4. 물리적 다중 로봇 검증: 상용 엣지 하드웨어를 갖춘 두 대의 이종 로봇에서 수행된 실험적 검증으로, 동시 작동과 VLM 추론에서 결정론적 재사용까지의 완전한 학습 주기를 입증합니다.

4. 결과

• 지연 시간 감소: 하이브리드 접근 방식은 결정 지연 시간을 약 103,000 배 감소시켰습니다. VLM 추론 평균은 6,733ms 였으며, 결정론적 L3a 경로 (M3 선호도 매칭 포함) 평균은 0.065ms 였습니다.
• 해결 정확도: 시스템은 모든 시나리오에서 100% 의미 해결 정확도(41/41 결정) 를 달성했습니다.
• 교차 로봇 이전: 로봇 C 에서 학습된 선호도가 로봇 B 로 성공적으로 이전되었습니다. 로봇 B 의 모든 33 개 M3 선호도 해결이 정확했습니다 (100%, 95% CI [0.894, 1.000]).
• 항법 성공: 전체 항법 완료율은 88%(36/41) 였습니다. 저자들은 12% 실패율을 잘못된 의미적 목표 선택이 아닌 AMCL 국소화 드리프트 (실패 시 평균 XY 오차 3.77m 대 성공 시 0.30m) 로 귀인하여, 추론 계층 (L3) 이 항법 계층 (L1) 과 독립적임을 검증했습니다.
• 학습 주기: "나를 앉아서 쉴 수 있는 곳으로 데려가 줘"라는 명령은 로봇 C 에서 VLM 에 의해 해결됨 (일관성 0.86), M3 기억으로 승격된 후, 로봇 B 에서 0.060ms 만에 결정론적으로 해결되었습니다.

5. 중요성 및 주장

이 논문은 의미적 자율성 실내 항법이 모든 운영자 명령에 대해 VLM 호출을 필요로 하지 않는다고 주장합니다. 결정론적 그래프 기반 해결, 선택적 VLM 추론, 그리고 범위 지정된 의미 기억을 결합함으로써, 제안된 프레임워크는 다음과 같은 실용적인 경로를 제공합니다:

• 적응형 시스템: 경험에서 학습하고 시간이 지남에 따라 응답 시간을 개선하는 로봇.
• 감사 가능한 운영: 모든 결정이 전체 맥락과 함께 기록되어 의미적 오류와 항법 실패를 구분합니다.
• 이전 가능한 지식: 재학습이나 수동 규칙 공학 없이 로봇 군집 간에 학습된 선호도를 공유할 수 있는 능력.

저자들은 그들의 기여가 새로운 VLM 모델이나 순수 개념적 분류가 아니라, 물리적 자원 제약 하드웨어에서 현재 VLM 기반 항법의 지연 및 기억상실 문제를 해결하는 작동하고 검증된 계층형 아키텍처의 인스턴스라고 강조합니다. 그들은 단일 환경 검증, 선호도 해석을 위한 어휘 매칭 의존성, 그리고 현재 워크스테이션 기반 GPU 필요성과 같은 한계를 인정하며, 이를 핵심 아키텍처 개념의 결함이 아닌 향후 작업의 목표로 규정합니다.