💻 computer science

IntentNav: Learning Spatial-Visual Object Navigation from Human Demonstrations

IntentNav는 프런티어 기반 레이블링을 통해 데모로부터 고수준의 탐색 의도를 추론하고, 근거가 있는 후보군을 선택하도록 VLM을 학습시킴으로써 인간과 유사한 객체 내비게이션 정책을 학습하는 공간-시각 모방 프레임워크로, 다양한 로봇 플랫폼에 걸쳐 최첨단 성능과 제로샷 전이를 달성한다.

원저자: Yuxin Cai, Zongtai Li, Maonan Wang, Muyi Bao, Haokun Zhu, Ruofei Bai, Ding Zhao, Zirui Li, Wenshan Wang, Wei-Yun Yau, Ji Zhang, Chen Lv

게시일 2026-06-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuxin Cai, Zongtai Li, Maonan Wang, Muyi Bao, Haokun Zhu, Ruofei Bai, Ding Zhao, Zirui Li, Wenshan Wang, Wei-Yun Yau, Ji Zhang, Chen Lv

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 친구의 집에 처음 방문했을 때, 친구가 커피 머그컵을 찾아달라고 부탁받았다고 상상해 보세요. 당신은 모든 방의 모든 서랍을 하나하나 다 뒤지며 목적 없이 헤매지 않습니다. 대신 당신은 "머그컵은 보통 주방에 있어"라고 생각하며 똑똑한 추측을 사용합니다. 그래서 먼저 주방으로 향하죠. 만약 복도가 보인다면, 그곳이 식사 공간처럼 보이는지 살짝 들여다봅니다. 이미 거실을 확인했는데 아무것도 찾지 못했다면, 그것을 기억하고 다시 그곳으로 돌아가지 않습니다. 당신은 보이는 것(시각적 단서)과 다녀온 곳(공간 기억) 사이의 균형을 맞추며 효율적으로 물건을 찾습니다.

이 논문인 IntentNav는 로봇에게 바로 이 능력을 가르칩니다. 이 시스템은 경직되고 미리 프로그래밍된 규칙을 따르는 대신, 인간이 어떻게 물건을 찾는지 관찰함으로써 물건을 찾는 법을 학습하도록 만듭니다.

이 기술이 어떻게 작동하는지 쉬운 비유를 통해 설명해 드리겠습니다.

1. 문제점: 로봇은 자신의 생각 속에서 "길을 잃는다"

현재의 로봇들은 종종 이 작업에 어려움을 겪습니다. 로봇은 다음과 같은 행동을 할 수 있습니다:

제자리에서 뱅글뱅글 돌기: 마치 자기 꼬리를 쫓는 강아지처럼, 새로운 영역을 넓히지 못한 채 작고 반복적인 움직임만 반복합니다.
다녀온 곳을 잊어버리기: 방금 확인했던 방에 다시 들어가면서, 그곳을 마치 처음 보는 새로운 곳인 것처럼 행동합니다.
세부 사항에 집착하기: (마치 한 켤로의 신발만 뚫어지게 쳐다보는 사람처럼) 눈앞의 즉각적인 시야에 너무 집중한 나머지, 집 전체의 구조라는 큰 그림을 놓칩니다.

2. 해결책: "IntentNav" (로봇의 내면 나침반)

연구진은 **인간의 시연(demonstrations)**으로부터 배우는 시스템을 구축했습니다. 이것은 마치 로봇 견습생가 숙련된 탐험가를 관찰하는 것과 같습니다.

"인간 의도(Human-Intent)" 번역기: 인간의 움직임은 매끄럽지만, 로봇은 아주 작은 단계들의 긴 목록(앞으로 이동, 왼쪽으로 회전, 앞으로 이동 등)으로 인식합니다. 이 시스템은 **프런티어 기반 인간 의도 라벨링(Frontier-based Human-Intent Labeling)**이라는 영리한 기술을 사용합니다.
- 비유: 누군가 집을 뒤지는 영상을 보고 있다고 상상해 보세요. 시스템은 단순히 발의 움직임만을 보는 것이 아니라, 그 사람이 다음에 어디로 향하고 있는지를 앞서서 봅니다. 그리고 "왜 저기서 왼쪽으로 돌았지? 아, 주방 문을 봤구나!"라고 판단합니다. 그런 다음 그 회전을 로봇에게 가르치기 위한 "똑똑한 결정"으로 라벨을 붙입니다.
"조감도" 지도 (BEV): 로봇이 1인칭 비디오 게임처럼 자신의 눈으로만 세상을 보는 대신, 시스템은 탑다운 맵(Top-Down Map)(구글 지도의 뷰와 같은 형태)을 구축합니다.
- 이 지도 위에서 로봇은 세 가지를 표시합니다:
  1. 탐사된 구역: "여기는 이미 와 본 곳이다."
  2. 알 수 없는 프런티어(경계선): "아직 가보지 않은 곳이다."
  3. 잠재적 목표물: "저건 냉장고처럼 보인다!"
- 이 지도는 로봇이 한눈에 전체 그림을 볼 수 있게 해주는 공유된 "의사결정 게시판" 역할을 합니다.

3. 로봇의 결정 방식: "메뉴" 시스템

로봇은 다음의 아주 작은 움직임(예: "왼쪽으로 5도 회전")을 예측하는 대신, 지도 위의 특정 목적지(웨이포인트) 목록을 살펴봅니다.

메뉴: 시스템은 로봇에게 다음에 갈 흥미로운 지점들의 목록을 제시합니다 (예: "주방 입구", "복도 끝", "거실 모퉁이").
두뇌 (VLM): 강력한 AI 두뇌(시각-언어 모델, Vision-Language Model)가 지도와 목적지 목록, 그리고 로봇이 그 지점들을 처음 보았을 때 무엇을 "보았는지"를 종합하여 가장 좋은 목적지를 선택합니다.
"의도 정렬(Intent-Aligned)" 학습: 로봇은 단순히 인간이 선택한 정확한 지점을 고르는 것이 아니라, 그와 같은 방향에 있는 지점을 고르도록 훈련받습니다.
- 비유: 만약 인간이 주방을 향해 걸어간다면, 로봇이 주방 안의 어떤 지점을 선택하더라도 그것은 성공입니다. 로봇이 인간이 밟은 정확한 타일을 밟느냐는 중요하지 않습니다. 중요한 것은 그들이 같은 의도를 가지고 있느냐 하는 것입니다.

4. 결과: 실제로 "이해하는" 로봇

이 논문은 이 방법이 매우 효과적임을 보여줍니다:

더 나은 탐색: 로로봇은 다른 학습 기반 로봇들보다 더 빠르게 물건을 찾으며, 더 효율적인 경로를 이동합니다. 제자리에서 뱅글뱅글 돌거나 이미 확인한 방을 다시 방문하는 일이 사라집니다.
제로샷 전이 (Zero-Shot Transfer): 이 부분이 가장 인상적입니다. 로봇은 컴퓨터 시뮬레이션 속의 집 데이터를 사용하여 훈련되었습니다. 그런데 연구진이 동일한 두뇌를 실제 물리적 로봇인 바퀴 달린 로봇, 네 발 달린 로봇 개, 그리고 휴머노이드 로봇에 적용했을 때, 별도의 추가 학습 없이도 즉시 작동했습니다.
- 비유: 이는 마치 조종사에게 비행 시뮬레이터로 비행법을 가르친 뒤, 그 조종사가 헬리콥터나 배, 혹은 자동차에 올라탔을 때 새로운 레슨 없이도 정확하게 길을 찾아가는 것과 같습니다.

요약

IntentNav는 로봇에게 탐색을 가르치는 새로운 방식입니다. 로봇에게 모든 단계를 암기하도록 강요하는 대신, 다음과 같은 능력을 가르칩니다:

큰 그림 보기 (탑다운 지도를 활용하여)
인간의 직관으로부터 배우기 (인간이 왜 그곳으로 갔는지 이해함)
목적지 목록에서 똑똑한 지점 선택하기 (작은 움직임을 추측하는 대신)

그 결과, 로봇은 인간처럼 목적을 가지고, 효율적이며, 루프(반복)에 빠지지 않고 새로운 환경을 탐색할 수 있게 되었습니다.

기술 요약: IntentNav

문제 정의

객체 탐색(ObjectNav)은 에이전트가 부분 관측 가능성(partial observability) 하에서 미관측된 타겟 객체를 미지의 환경 내에서 찾아내야 하는 과제입니다. 핵심적인 도전 과제는 장기적(long-horizon)이고 타겟에 조건화된 탐색을 수행하는 것입니다. 즉, 에이전트는 부분적인 관측으로부터 유망한 탐색 방향을 추론해야 하며, 전수 조사를 수행하지 않고도 새로운 증거가 나타남에 따라 전략을 적응시켜야 합니다.

최근의 시각-언어 모델(VLM)은 강력한 의미론적 추론 능력을 제공하지만, 기존 방식들은 안정적인 장기 탐색을 수행하는 데 어려움을 겪습니다. 1인칭 RGB 관측에 의존하는 방법들은 명시적인 공간 구조가 부족하여, 국소적으로는 그럴듯하지만 전역적으로는 일관성이 없는 전략(예: 반복적인 되돌아오기 또는 제자리 회전)을 보이기 쉽습니다. 반대로, 지도 매개 추론(map-mediated reasoning) 방식은 공간 지도를 텍스트로 변환함으로써 미세한 시각적 세부 사항을 추상화하여, 구조화된 기억에 필요한 기하학적 맥락을 상실합니다. 또한, 많은 학습 기반 정책들은 오라클 최단 경로 궤적(oracle shortest-path trajectories)에 대해 학습되어, 부분 관측 가능성 하에서의 고차원적 탐색 의도(search intent)를 모델링하기보다는 완전 관측 가능성 하에서의 목표 도달 최적화에 치중되어 있습니다.

방법론: IntentNav

IntentNav는 인간의 시연으로부터 후보 수준(candidate-level)의 ObjectNav 결정을 학습하는 공간-시각 모방 프레임워크입니다. 이 시스템은 탐색 프런티어(exploration frontiers)와 타겟 가설(target hypotheses)을 모두 정립하는 통합된 조감도(Bird's-Eye-View, BEV) 결정 공간 내에서 작동합니다.

1. 프런티어 기반 인간 의도 라벨링 (Frontier-based Human-Intent Labeling)

저수준의 인간 행동 시퀀스와 고수준의 웨이포인트(waypoint) 결정 사이의 간극을 메우기 위해, 저자들은 탐색 의도를 추론하는 라벨링 전략을 도입했습니다.

메커니로즘: 시스템은 시뮬레이터에서 인간의 시연을 재생합니다. 만약 타겟이 보인다면, 라벨은 타겟 후보가 됩니다. 만약 보이지 않는다면, 시스템은 미래의 프런티어 진화 과정을 미리 살펴봅니다.
로직: 현재의 프런티어 집합이 유의미하게 변화(발산)하는 가장 이른 미래의 단계를 식별합니다. 현재 집합 중 미래의 프런티어 집합과 가장 불일치하는 후보(즉, 인간이 선택하지 않은 경로)를 식별하고, 인간의 지속적인 탐색 방향과 가장 잘 일치하는 후보를 정답(ground truth) 라벨로 선택합니다.
결과: 이를 통해 저수준 궤적을 데몬스트레이터의 고차원적 탐색 의도를 포착하는 후보 수준의 대리 감독(proxy supervision)으로 변환합니다.

2. BEV 기반 공간-시각 후보 정책 (BEV-Grounded Spatial-Visual Candidate Policy)

정책은 지속적인 BEV 맵에 정의된 통합 후보 집합으로부터 다음 웨이포인트를 선택합니다.

후보 표현: 각 후보 $x_i$ $x_{i}$ 는 두 가지 상호 보완적인 특징에 의해 정립됩니다:
- 자기 중심적 시각 기억 (Egocentric Visual Memory): 후보가 처음 생성되었을 때 캡처된 RGB 이미지로, 국소적인 의미론적 맥락(예: 방의 유형, 주변 객체)을 제공합니다.
- 에이전트 중심 기하 구조 (Agent-Centric Geometry): 후보의 현재 포즈로부터의 정규화된 거리와 상대적 방위각을 인코딩하는 특징입니다.
아키텍처: VLM(InternVL3-2B에서 파인튜닝됨)은 BEV 맵, 직렬화된 후보 블록(시각 기억 및 기하 구조 포함), 그리고 타겟 카테고리를 입력으로 받습니다.
출력: 모델은 자유 형식의 좌표를 생성하는 대신, 예약된 "Candidate-ID" 토큰을 예측하여 웨이포인트 선택을 제어된 분류 작업으로 변환합니다.

3. 의도 정렬 목적 함수 (Intent-Aligned Objective)

인간과 유사한 탐색을 장려하기 위해, 학습 목적 함수는 표준 교차 엔트로피를 넘어섭니다.

각도 소프트 타겟 (Angular Soft Target): 프런티어 후보의 경우, 각도 근접성에 따라 데몬스트레이션된 방향 근처의 후보들에 부분적인 점수를 부여하는 손실 함수를 적용합니다. 이는 모델이 인접한 유효한 대안을 선택했을 때 과도하게 처벌받는 것을 방지합니다.
하드 커밋먼트 (Hard Commitment): 검증된 타겟 후보의 경우, 결정적인 몰입을 유도하기 위해 표준 하드 교차 엔트로피를 사용합니다.
결합 손실 (Combined Loss): 하드 후보 손실과 각도 소프트 타겟 손실의 가중 합을 통해 정책이 방향성 있게 일관된 탐색을 하도록 유도합니다.

주요 기여

프런티어 기반 인간 의도 라벨링: 미래 프런티어 진화를 추론함으로써 저수준 인간 궤적으로부터 후보 수준의 감독 신호를 도출하는 새로운 방법을 제시하여, 인간의 탐색 의도를 학습할 수 있게 합니다.
BEV 기반 공간-시각 정책: 지속적인 BEV 공간 프레임과 자기 중심적 시각 기억, 에이전트 중심 기하 구조를 결합하여, VLM이 의미론적 증거, 공간적 관계, 탐색 이력을 동시에 추론할 수 있게 하는 통합된 결정 인터페이스를 제공합니다.
최첨단 성능 및 제로샷 전이 (Zero-Shot Transfer): 본 프레임워크는 표준 벤치마크에서 최고 성능을 달 achievement하며, VLM의 추가적인 파인튜닝 없이도 다양한 로봇 형태(바퀴형, 4족 보행, 휴머노이드) 간의 제로샷 전이 능력을 입증했습니다.

실험 결과

저자들은 세 가지 Habitat ObjectNav 벤치마크(MP3D, HM3D-v1, HM3D-v2)에서 IntentNav를 평가했습니다.

벤치마크 성능: IntentNav는 모든 데이터셋에서 학습 기반 방법들 중 최첨단(SOTA) 결과를 달성했습니다.
- MP3D: 성공률(SR) 53.8%, 경로 길이 가중 성공률(SPL) 23.1%.
- HM3D-v1: SR 70.5%, SPL 34.6%.
- HM3D-v2: SR 82.2%, SPL 38.5%.
- 이러한 결과는 트레이닝 프리(training-free) VLM 시스템과 다른 학습 기반 정책들을 모두 능가하며, 특히 SPL의 큰 향상은 더 효율적인 탐색 행동을 나타냅니다.
탐색 행동 분석: 궤적 수준의 지표에 따르면, IntentNav는 에고센트릭(egocentric) 액션 베이스라인에 비해 탐색 커버리지 비율(ECR)을 크게 높이고 중복 재방문 비율(RRR)을 줄였습니다. 정책은 무작위 또는 표준 베이스라인보다 더 목적 있는 탐색 동작을 보이며 국소적 스캐닝을 적게 수행합니다.
실제 환경 배포: 동일한 MP3D 학습 체크포인트를 바퀴형 로봇, Unitree Go2 4족 보행 로봇, Unitree G1 휴머노이드에 배포했습니다. 시스템은 추가적인 파인튜닝 없이 10개의 실제 장면과 8개의 타겟 카테고리에 대해 실시간(스텝당 약 0.8초 추론)으로 작동했습니다.

의의 및 주장

본 논문은 IntentNav가 현재 VLM 기반 내비게이션의 결정적 한계인 '부분 관측 가능성 하에서의 일관된 장기 탐색 전략 유지 불가능' 문제를 해결한다고 주장합니다. 결정을 통합된 BEV 공간에 정립하고, 최단 경로가 아닌 인간의 탐색 의도로부터 직접 학습함으로써, 보다 효율적이고 견고한 행동을 생성합니다.

저자들은 **후보 수준의 인터페이스(candidate-level interface)**가 이 성공의 핵심이라고 강조합니다. 이는 고차원적 의사결정과 저수준 제어를 분리하여, 동일한 정책이 추가 학습 없이도 다양한 물리적 형태(바퀴형, 4족 보행, 휴머노이드) 간에 전이될 수 있도록 합니다. 이 연구는 인간의 시연을 적절히 구조화하여 고차원적 의도를 포착할 때, 순수 학습 기반 방식이나 트레이닝 프리 VLM 방식보다 뛰어난 내비게이션 정책을 얻을 수 있음을 보여줍니다.

저자가 언급한 한계점:

시스템은 환경이 대체로 정적임을 가정합니다. 동적인 변화는 저장된 맵 영역과 시각적 기억을 노후화시킬 수 있습니다.
고수준 웨이포인트 선택은 저수준 실행과 분리되어 있습니다. 실행 실패나 로컬 플래너의 제약 조건이 VLM 정책으로 명시적으로 피드백되지 않습니다.