SysNav: Multi-Level Systematic Cooperation Enables Real-World, Cross-Embodiment Object Navigation

이 논문은 시맨틱 추론, 내비게이션 계획, 운동 제어를 계층적으로 분리하여 다양한 로봇 플랫폼에서 복잡한 실외 환경의 대규모 장거리 객체 탐색을 성공적으로 수행하는 새로운 시스템 'SysNav'를 제안합니다.

핵심

SysNav: 로봇이 건물을 거뜬히 찾아다니는 '초능력의 비서' 이야기

이 논문은 로봇이 복잡한 현실 세계에서 "침실의 흰색 의자"나 "거실의 냉장고" 같은 특정 물건을 찾아내는 문제 (Object Navigation) 를 어떻게 해결했는지 소개합니다. 기존 로봇들은 미로 같은 건물에서 길을 잃거나, 너무 천천히 움직여 실패하는 경우가 많았죠.

저자들은 이 문제를 해결하기 위해 SysNav라는 새로운 시스템을 만들었습니다. 이 시스템을 이해하기 위해 마치 **"고급 로봇을 위한 3 단계 지휘 체계"**라고 상상해 보세요.

---

🏢 1. 문제: 로봇은 왜 길을 잃을까?

기존 로봇들은 마치 **"눈이 먼 채로 벽을 더듬어가는 사람"**처럼 행동했습니다.

• 단점: 모든 것을 한 번에 처리하려다 보니 (End-to-End), 복잡한 건물 구조를 이해하지 못하거나, "냉장고는 부엌에 있을 것"이라는 상식 (Semantic Reasoning) 을 활용하지 못해 엉뚱한 방을 헤매는 경우가 많았습니다.
• 현실의 어려움: 시뮬레이션 (가상 세계) 에서는 잘 작동해도, 실제 건물의 복잡한 구조와 센서 노이즈 앞에서 쉽게 무너졌습니다.

🧠 2. 해결책: SysNav 의 3 단계 지휘 체계

저자들은 로봇을 한 명의 천재가 모든 일을 하게 하는 대신, 세 명의 전문가 팀으로 나누어 일을 시켰습니다.

1 단계: 고위급 지휘관 (High-Level) - "VLM(시각 - 언어 모델) 비서"

• 역할: 전체 지도를 보고 "어디로 가야 할지" 큰 그림을 그립니다.
• 비유: 마치 여행 가이드처럼 행동합니다. "우리가 찾는 '흰색 의자'는 보통 '침실'이나 '서재'에 있을 거야. 부엌이나 화장실은 일단 제외하자"라고 판단합니다.
• 핵심: 로봇이 방 전체를 다 뒤지는 게 아니라, 방 (Room) 단위로 결정을 내립니다. VLM 의 뛰어난 상식 능력을 활용하되, 너무 세세한 것 (예: 의자가 테이블 옆에 있는지) 까지 신경 쓰지 않게 해서 효율을 높였습니다.

2 단계: 중위급 계획관 (Mid-Level) - "탐색 전략가"

• 역할: 지휘관이 정한 "다음 방"으로 가는 경로를 설계합니다.
• 비유: 탐험대장입니다. "지휘관이 '침실'로 가라고 했으니, 침실 문까지 가는 길을 짜고, 침실 안에서는 효율적으로 구석구석 훑어보자"라고 명령합니다.
• 핵심:
  • 방 안 (In-room): 전통적인 알고리즘을 써서 빠르고 정확하게 방 안을 다 훑습니다. (VLM 이 개입하지 않음)
  • 방 사이 (Cross-room): VLM 의 지시를 받아 다음 방을 선택하거나, "아, 이 방에는 없네. 바로 다른 방으로 가자!"라고 미리 멈추는 (Early-stop) 지능적인 결정을 내립니다.

3 단계: 저위급 조종사 (Low-Level) - "운동 제어부"

• 역할: 계획된 경로를 실제로 움직이는 것입니다.
• 비유: 운전 기사입니다. "앞으로 10 미터 가라", "좌회전 하라"는 명령을 받으면 바퀴나 다리를 움직여 충돌 없이 안전하게 이동합니다.
• 핵심: 바퀴 로봇, 4 발 로봇 (강아지), 2 발 로봇 (인간형) 등 모든 종류의 로봇에 적용할 수 있도록 설계되어 있어, 로봇의 몸체 (Embodiment) 가 달라도 똑같이 작동합니다.

---

🌟 3. 핵심 기술: "구조화된 장면 지도"

이 시스템의 가장 큰 특징은 로봇이 세상을 보는 방식입니다.

• 기존 방식: 카메라로 찍은 이미지나 점 (Point Cloud) 덩어리를 그대로 봅니다.
• SysNav 방식: 세상을 **그래프 (Graph)**로 정리합니다.
  • **방 (Room)**이라는 큰 박스를 만들고, 그 안에 **시점 (Viewpoint)**과 **물체 (Object)**를 넣습니다.
  • "부엌에는 냉장고가 있고, 냉장고 옆에 식탁이 있다"는 식으로 관계를 저장합니다.
  • 이렇게 정리된 지도를 VLM 비서에게 보여주면, 비서는 "아, 냉장고가 있는 부엌을 먼저 가보자"라고 쉽게 추론할 수 있습니다.

---

🚀 4. 성과: 현실 세계에서의 압도적인 승리

이 시스템은 실제 실험에서 놀라운 결과를 보여주었습니다.

• 다양한 로봇: 바퀴 달린 로봇, 강아지 로봇 (Unitree Go2), 인간형 로봇 (Unitree G1) 등 3 가지 다른 로봇에서 모두 성공했습니다.
• 거대 규모: 하나의 건물을 통째로 돌아다니며 (Building-scale) 물건을 찾았습니다.
• 실험 결과:
  • 190 번의 실제 실험을 진행했고, 성공률이 기존 방법보다 4~5 배나 빨라졌습니다.
  • 특히 어려운 상황 (여러 방을 거쳐야 하는 경우) 에서도 98% 이상의 성공률을 기록했습니다.
  • 시뮬레이션 (가상 환경) 테스트에서도 최상위권 (State-of-the-Art) 성적을 냈습니다.

💡 5. 요약: 왜 이것이 중요한가?

이 연구는 로봇이 **"생각 (Reasoning)"**과 **"움직임 (Control)"**을 분리해서 처리함으로써, 복잡한 현실 세계에서 길을 잃지 않고 빠르게 목표를 달성할 수 있음을 증명했습니다.

한 줄 요약:

"SysNav 은 로봇에게 '지도'와 '상식'을 가르쳐, 복잡한 건물을 헤매지 않고 목적지까지 가장 빠른 길로 찾아갈 수 있게 한 혁신적인 시스템입니다."

이 기술은 앞으로 재해 구조, 물류 배송, 혹은 우리 집 안의 물건을 찾아주는 로봇 서비스 등 다양한 분야에서 큰 역할을 할 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem Definition)

이 논문은 실제 환경 (Real-world) 에서의 객체 탐색 (Object Navigation, ObjectNav) 문제를 다룹니다. 로봇이 알려지지 않은 환경에서 특정 객체 (예: "침실의 흰색 의자", "거실의 냉장고") 를 찾아야 하는 과제로, 다음과 같은 주요 난제들이 존재합니다.

• 복잡한 공간 구조 및 장기 계획: 건물의 규모 (Building-scale) 에 걸친 긴 거리 이동과 복잡한 공간 구조를 이해해야 합니다.
• 시맨틱 이해 (Semantic Understanding): 단순히 객체의 카테고리뿐만 아니라 색상, 상태, 다른 객체와의 공간적 관계 (예: "소파 위에 앉은 사람") 와 같은 복잡한 제약 조건을 이해해야 합니다.
• 실제 환경의 한계: 최근의 비전 - 언어 모델 (VLM) 은 뛰어난 시맨틱 추론 능력을 갖췄지만, 3D 공간 이해력이 부족하고 실제 로봇 데이터의 부족으로 인해 단일 엔드 - 투 - 엔드 (End-to-End) 정책으로는 실제 환경에서 안정적이고 효율적인 탐색이 어렵습니다.
• 교차 구현체 (Cross-Embodiment) 일반화: 바퀴형 로봇, 4 발 보행 로봇, 휴머노이드 등 다양한 로봇 플랫폼에서 작동할 수 있는 시스템이 필요합니다.

2. 방법론 (Methodology)

저자들은 ObjectNav 를 단일 학습 문제가 아닌 시스템 레벨의 문제로 재정의하고, SysNav라는 3 단계 계층적 시스템을 제안했습니다. 이 시스템은 시맨틱 추론, 탐색 계획, 운동 제어를 분리하여 각 모듈이 고유한 강점을 발휘하도록 설계되었습니다.

A. 고수준 (High-level): 시맨틱 추론 (Semantic Reasoning)

• 구조화된 장면 표현 (Structured Scene Representation): 환경을 3 단계 계층의 그래프 구조로 모델링합니다.
  • Room Node (방 노드): 환경의 기본 단위로, 벽 구조 분석을 통해 방을 식별하고 분류 (주방, 침실 등) 합니다.
  • Viewpoint Node (시점 노드): 로봇이 방문한 위치를 저장하며, 해당 위치의 360 도 이미지와 커버리지 정보를 포함합니다.
  • Object Node (객체 노드): 탐지된 객체의 3D 점군, 속성 (색상, 재질 등), 위치 정보를 저장합니다.
  • Edge (연결): 방 - 방, 방 - 시점, 방 - 객체, 객체 - 객체 간의 공간적/시각적 관계를 그래프 엣지로 연결합니다.
• VLM 추론: 위 구조화된 정보를 바탕으로 VLM(비전 - 언어 모델) 이 시맨틱 제약 조건을 분석하고, 다음에 탐색할 방을 선택하거나 탐색을 중단할지 결정하는 시맨틱 기반 내비게이션 가이드를 제공합니다.

B. 중수준 (Mid-level): 방 기반 내비게이션 (Room-based Navigation)

• 계층적 전략: VLM 의 추론 능력을 방 (Room) 단위 의사결정에만 국한시키고, 방 내부 탐색에는 효율적인 고전적 알고리즘을 사용합니다.
  • 실내 탐색 (In-room Exploration): 각 방 내에서 자유 공간을 효율적으로 커버하기 위해 국소 (Local) 및 전역 (Global) 계획 (TSP 해결 등) 을 수행합니다.
  • 방 간 탐색 (Cross-room Navigation):
    • Early-stop: 새로운 방을 발견했을 때, VLM 이 해당 방이 목표 객체와 관련이 있는지 판단하여 불필요한 탐색을 중단하고 방을 전환합니다.
    • Room-query: 현재 방 탐색이 완료되었을 때, VLM 이 미탐색 방들의 속성을 분석하여 목표 객체가 있을 확률이 높은 다음 방을 선택합니다.

C. 저수준 (Low-level): 베이스 자율성 (Base Autonomy)

• 구현체 특화 운동 제어: 계획된 웨이포인트를 로봇의 물리적 특성 (바퀴, 4 발, 휴머노이드) 에 맞는 운동 제어 모듈로 변환합니다.
• 안전성 보장: 웨이포인트 추종, 충돌 회피, 지형 통과성 분석을 통해 안전한 이동을 보장합니다.

3. 주요 기여 (Key Contributions)

1. 시스템 레벨 접근법: ObjectNav 를 단일 정책 학습이 아닌, 시맨틱 추론, 계획, 제어를 분리한 3 단계 시스템으로 접근하여 실제 환경의 복잡성을 해결했습니다.
2. 교차 구현체 일반화: 바퀴형 로봇, Unitree Go2(4 발), Unitree G1(휴머노이드) 등 3 가지 완전히 다른 로봇 플랫폼에서 성공적으로 배포되었습니다.
3. 건물 규모 (Building-scale) 탐색: 복잡한 실제 건물 환경에서 장거리 객체 탐색을 신뢰성 있게 수행한 최초의 시스템입니다.
4. 효율적인 VLM 활용: VLM 의 3D 공간 이해 한계를 보완하기 위해, VLM 을 방 단위 고수준 의사결정에만 활용하고 방 내부는 효율적인 고전적 알고리즘으로 처리하는 하이브리드 전략을 도입했습니다.

4. 실험 결과 (Results)

• 실제 환경 실험:
  • 190 회의 실제 환경 실험을 수행했습니다.
  • 기존 베이스라인 대비 4~5 배의 탐색 효율성 향상을 보였습니다.
  • 난이도별 성능: 'Hard' 난이도 (3 개 방 이상, 교차 탐색 필요) 에서 성공률 (SR) 이 61.1%, 시간 가중 성공률 (SPT) 이 51.1% 향상되었으며, 평균 소요 시간 (AT) 은 29.8 초 단축되었습니다.
  • 다양한 시맨틱 제약 조건 (색상, 공간 관계 등) 하에서도 높은 정확도를 보였습니다.
• 시뮬레이션 벤치마크:
  • HM3D-v1, HM3D-v2, MP3D, HM3D-OVON 등 4 가지 주요 벤치마크에서 State-of-the-Art (SOTA) 성능을 달성했습니다.
  • 특히 HM3D-OVON 에서 성공률 (SR) 54.9%, 경로 길이 가중 성공률 (SPL) 26.1% 를 기록하여 기존 방법들을 압도했습니다.

5. 의의 및 중요성 (Significance)

• 실용적 진전: 이 연구는 로봇이 실제 복잡한 건물 환경에서 인간과 유사한 시맨틱 이해력을 바탕으로 장거리 탐색을 수행할 수 있음을 증명했습니다.
• 확장성: 단일 로봇에 국한되지 않고 다양한 형태의 로봇 (Embodiment) 에 적용 가능한 아키텍처를 제시하여 로봇 기술의 보편성을 높였습니다.
• VLM 활용의 새로운 패러다임: VLM 을 모든 단계에 적용하는 것이 아니라, 그 강점 (시맨틱 추론) 이 발휘되는 고수준 단계에 집중하고 하위 단계에는 효율적인 알고리즘을 결합하는 '적절한 수준의 통합' 모델을 제시했습니다.

결론적으로, SysNav는 실제 세계의 복잡성과 불확실성을 극복하면서도 VLM 의 지능을 효과적으로 활용하여, 로봇이 대규모 환경에서 목표 객체를 빠르고 정확하게 찾을 수 있는 새로운 기준을 제시한 연구입니다.