💻 computer science

LangMap: A Human-Verified Benchmark for Hierarchical Open-Vocabulary Goal Navigation

이 논문은 기존의 개방형 어휘 언어 조건부 목표 탐색 평가의 한계를 해결하기 위해, 네 가지 목표 수준에 걸쳐 인간이 검증한 계층적 의미론적 주석을 특징으로 하는 최초의 실제 환경 3D 실내 내비게이션 벤치마크인 LangMap과 함께 PlaNaVid 베이스라인을 소개한다.

원저자: Bo Miao, Weijia Liu, Jun Luo, Lachlan Shinnick, Jian Liu, Thomas Hamilton-Smith, Yuhe Yang, Zijie Wu, Vanja Videnovic, Feras Dayoub, Anton van den Hengel

게시일 2026-06-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bo Miao, Weijia Liu, Jun Luo, Lachlan Shinnick, Jian Liu, Thomas Hamilton-Smith, Yuhe Yang, Zijie Wu, Vanja Videnovic, Feras Dayoub, Anton van den Hengel

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대하고 복잡한 집 안에서 벌어지는 고난도의 "숨바꼭질" 게임을 하고 있다고 상상해 보세요. 당신은 눈이 가려진 상태이며, 오직 바로 눈앞에 보이는 것만 볼 수 있습니다. 친구는 무전기를 통해 당신에게 어디로 가야 할지 지시를 외치고 있습니다.

이 논문은 이 게임의 훨씬 더 어렵고 훨씬 더 공정한 새로운 버전과, 이를 플레이하기 위한 새로운 전략을 소개합니다.

문제점: "나쁜 지도" 문제

과거에 연구자들은 로봇에게 언어를 기반으로 물건을 찾는 법을 가르치려 노력했습니다. 하지만 그들에게는 중대한 결함이 있었습니다. 그들이 사용한 "지도(지시 사항)"가 집 구조를 제대로 이해하지 못하는 AI(시각-언어 모델)에 의해 작성되는 경우가 많았기 때문입니다.

이렇게 생각해 보세요. 만약 당신이 의자가 가득한 방에서 특정 빨간색 의자를 찾아달라고 AI에게 요청한다면, AI는 "빨간 의자를 찾아라"라고 말할 것입니다. 하지만 만약 빨간 의자가 세 개 있다면, 이 지시는 쓸모가 없습니다. 또한 AI는 창문 근#에 있는 의자를 찾으라고 말할 수도 있지만, 실제로는 창문이 다른 방에 있을 수도 있어 혼란을 겪을 수 있습니다. 이 논문은 AI가 생성한 지시 사항의 거의 **40%**가 틀렸거나 혼란스러웠다는 것을 발견했습니다. 이는 마치 자기 방을 한 번도 벗어나 본 적 없는 사람이 그린 지도를 가지고 도시를 항해하는 것과 같습니다.

해결책: LangMap (인간이 검증한 지도)

이를 해결하기 위해 저자들은 LangMap을 만들었습니다. AI에게 지시 사항을 추측하게 하는 대신, 인간을 고용하여 실제 집의 3D 스캔 데이터를 보고 지시 사항을 작성하게 했습니다.

그들은 단순히 "의자를 찾아라"라고 하지 않았습니다. 마치 난이도가 높아지는 비디오 게임처럼, 그들은 4단계의 계층 구조를 만들었습니다:

장면 수준 (쉬움 모드): "집 전체에서 아무 의자나 찾아라." (건초더미 속에서 바늘을 찾는 것과 같지만, 어떤 바늘인지 상관하지 않는 상태입니다.)
방 수준 (중간 모드): "주방에 있는 의자를 찾아라." (이제 주방이 어떻게 생겼는지 알아야 합니다.)
구역 수준 (어려움 모드): "파란색 카펫이 깔린 침실에 있는 의자를 찾아라." (이제 두 개의 서로 다른 침실을 구별해야 합니다.)
개체 수준 (전문가 모드): "창문 옆에 있고 왼쪽 다리에 흠집이 있는 특정 의자를 찾아라." (이는 미세한 디테일을 포착하고 정확히 어떤 물체인지 식별하는 능력을 요구합니다.)

저자들은 이를 HieraNav(계층적 내비게이션)라고 부릅니다. 그들은 414가지의 서로 다른 유형의 물체를 아우르는 18,000개 이상의 작업이 포함된 방대한 데이터셋을 구축했습니다. 모든 지시 사항은 고유하고 정확한지 확인하기 위해 인간의 검수를 거쳤습니다. 이는 흐릿한 복사본 지도가 아니라, 고해상도의 손으로 그린 보물 지도의 차이와 같습니다.

새로운 플레이어: PlaNaVid

이 논문은 또한 새로운 로봇 플레이어인 PlaNaVid를 소개합니다.

이 문제를 해결하려는 대부분의 로봇은 3D 모델을 구축하기 위해 값비싼 3D 센서(LiDAR 등)나 깊이 카메라에 의존합니다. 이는 로봇이 방의 "골격"을 볼 수 있게 해주는 첨단 헬멧을 쓰고 있는 것과 같습니다.

PlaNaVid는 다릅니다. 이 로봇은 인간의 눈처럼 일반적인 카메라(RGB)만을 사용합니다. 3D 모델을 구축하지도 않고, 물체까지의 정확한 거리도 알지 못합니다. 그렇다면 어떻게 승리할까요?

이 로봇은 **Bounded Diverse Memory (BDM)**라는 영리한 기술을 사용합니다.

비유: 당신이 미로를 걷고 있다고 상상해 보세요. 당신의 뇌가 모든 발걸음을 기억하는 것이 너무 벅차다면, 당신은 여정 중 가장 흥미롭거나 특징적인 부분들을 몇 장의 스냅샷으로 찍어둡니다.
전략: 로봇이 다음 행선지를 결정할 때, 단순히 눈앞에 보이는 것만 보는 것이 아닙니다. 로봇은 자신이 방문했던 독특한 장소들의 "정신적 사진 앨범"을 "넘겨봅니다." 로봇은 스마트한 플래너(AI 브레인)를 사용하여 이 사진들을 살펴보고 이렇게 말합니다. "아, 이 사진에서 주방으로 이어지는 복도를 봤던 게 기억나네. 그쪽으로 가자."

이를 통해 로봇은 값비싼 3D 하드웨어 없이도 복잡한 다단계 작업(예: "컵을 찾은 다음, 커피 머신으로 가서, 책을 찾아라")을 계획하고 수행할 수 있습니다.

결과

이 새로운 설정을 테스트했을 때 다음과 같은 결과가 나왔습니다:

지도: 인간이 작성한 지시 사항이 AI가 작성한 것보다 훨씬 우수했습니다. 컴퓨터가 묘사와 실제 물체를 일치시킬 수 있는지 테스트한 결과, 인간이 작성한 지시 사항은 **81%**의 정확도를 보였으나, 기존의 AI 지시 사항은 **58%**에 그쳤습니다.
로봇: 일반 카메라와 "사진 앨범" 메모리를 사용하는 PlaNaVid는 시장에 나온 거의 모든 로봇을 이겼습니다. 이 로봇은 복잡한 다단계 작업에서 **42.6%**의 성공률을 기록하며, 값비싼 3D 센서를 사용하는 로봇들보다 뛰어난 성능을 보였습니다.

여전히 어려운 점은 무엇인가요?

이 새로운 지도와 로봇이 있음에도 불구하고, 논문은 여전히 어려운 과제들이 남아 있음을 인정합니다:

"롱 테일(Long Tail)": 만약 로봇이 매우 희귀한 물건(예: 특정 종류의 빈티지 토스터기)을 찾으라는 요청을 받으면, 학습 데이터가 부족하여 어려움을 겪습니다.
작고 멀리 있는 물체: 대상이 아주 작거나 멀리 떨어져 있으면 포착하기가 어렵습니다.
연쇄 반응: 만약 로봇이 다단계 작업의 첫 번째 단계(예: 컵을 찾는 것)에서 실패하면, 전체 미션이 실패합니다. 이는 여전히 해결하기 매우 어려운 문제입니다.

요 요약

요약하자면, 저자들은 로봇 내비게이션을 위해 "의자를 찾아라"부터 "파란 방에 있는 그 흠집 난 특정 의자를 찾아라"까지 로봇을 시험할 수 있는 더 나은, 인간이 검증한 지도를 만들었습니다. 또한, 일반 카메라와 영리한 메모리 시스템만을 사용하여 복잡한 세상을 탐험할 수 있는 스마트한 로봇을 구축함으로써, 훌륭한 길잡이가 되기 위해 반드시 값비싼 3D 센서가 필요한 것은 아니라는 점을 증명했습니다.

기술 요약: LangMap 및 HieraNav

문제 정의

언어 조건부 목표 탐색(Language-conditioned goal navigation, LGN)은 체화된 에이전트가 단계별 안내 없이 3D 환경에서 사용자가 지정한 목표를 찾아내는 것을 요구합니다. 기존 벤치마크들은 주로 범주 수준의 목표(예: "의자를 찾아라")에 집중하거나 시각-언어 모델(VLM)이 생성한 인스턴스 설명에 의존하고 있으나, 이러한 접근 방식은 다음과 같은 중대한 한계를 가집니다:

의미론적 모호성: VLM이 생성한 설명은 고유성이 부족하여 의미론적 오류를 포함하거나, 동일한 장면 내에서 시각적으로 유사한 인스턴스들을 구별하지 못하는 경우가 많습니다.
제한된 세밀도: 현재의 벤치마크들은 더 미세한 의미 수준(지역 또는 인스턴스)이나 혼합 수준의 다중 목표 에피소드를 지원하는 경우가 드뭅니다.
평가의 신뢰성: 자동화된 주석(annotation)의 노이즈는 특히 정교한 공간 및 의미론적 추론을 요구하는 작업에서 에이전트 성능의 체계적이고 신뢰할 수 있는 평가를 저해합니다.

방법론

1. LangMap 벤치마크 및 HieraNav 태스크

저자들은 HM3D 스캔을 기반으로 구축된 실제 세계의 3D 실내 탐색 벤치마크인 LangMap과 계층적 오픈 보캐블러리 목표 탐색 태스크인 HieraNav를 소개합니다.

4단계 의미론적 수준: HieraNav는 네 가지 뚜렷한 세밀도 수준에 걸쳐 목표를 정의합니다:
- 장면 수준(Scene-level): 장면 내 특정 타겟 범주의 모든 객체.
- 방 수준(Room-level): 특정 방 유형 내의 타겟 범주 객체.
- 지역 수준(Region-level): 맥락적 단서(예: "기하학적 무늬 카펫이 있는 침실")에 의해 구별되는 특정 방 인스턴스 내의 객체.
- 인스턴스 수준(Instance-level): 변별적 속성이나 관계에 의해 식별되는 고유한 객체 인스턴스(예: "Bluey 침대 위의 전화기").
대조적 주석 프로토콜(Contrastive Annotation Protocol): 고품질의 인간 검증 데이터를 보장하기 위해, 저자들은 엄격한 대조적 주석 과정을 채택했습니다:
- 주석가들은 장면 내의 동일 범주 지역과 인스턴스를 비교하여 타겟을 고유하게 식별하는 **변별적 설명(discriminative descriptions)**을 작성합니다.
- 설명은 간결한(concise) 스타일(두드러진 단서 강조)과 상세한(detailed) 스타일(풍부한 맥락 제공)로 분류됩니다.
- 데이터셋은 414개의 객체 범주를 다루며, 이 중 349개가 18,000개 이상의 탐색 태스크를 구성하는 데 사용되었습니다.
통계: LangMap은 926개의 변별적 지역 설명과 7,510개의 인스턴스 설명을 포함합니다. 이는 이전 벤치마크에 비해 작은 객체의 비율(평균 IoU < 3.3%인 객체가 22.2%)이 더 높아, 위치 파악 능력에 대한 더욱 현실적인 평가를 제공합니다.

2. PlaNaVid 베이스라인

깊이 센서나 3D 장면 표현 없이 다중 목표 탐색을 위한 강력한 베이스라인의 부재를 해결하기 위해, 저자들은 분리된 RGB 전용 프레임워크인 PlaNaVid를 제안합니다.

아키텍처: 시스템은 두 단계로 구성됩니다:
1. 메모리 유도 계획(Memory-Guided Planning): LLM 플래너(Qwen2.5-VL-7B)가 현재 목표에 대한 초기 웨이포인트와 방향을 선택합니다. 이는 유계 다양성 메모리(Bounded Diverse Memory, BDM) 모듈에 의해 유도됩니다.
2. 반응형 정책(Reactive Policy): 반응형 탐색 정책(Uni-NaVid)이 RGB 관측을 기반으로 저수준 동작을 실행합니다.
유계 다양성 메모리(BDM): 제한된 LLM 컨텍스트 창 내에서 장기 에피소드(최대 2,500 스텝)를 처리하기 위해, BDM은 제한된 수의 RGB 스냅샷( $N_{max}=50$ $N_{ma x} = 50$ )을 유지합니다.
- 전역 균등 업데이트(Global-Uniform Update, GUU): 버퍼가 가득 찼을 때 로컬 시간 간격이 가장 작은 항목을 제거함으로써 거의 균등한 시간적 커버리지를 보장합니다.
- 의미론적 다양성 추출(Semantic-Diverse Retrieval, SDR): 그리디 맥스-민(greedy max-min) 전략을 사용하여 의미론적 다양성을 극대화하는 메모리 상태의 하위 집합을 선택함으로써, 중복 없이 정보가 풍부한 맥락을 플래너에게 제공합니다.
제약 사항: PlaNaVid는 깊이 입력, 3D 장면 표현(예: 점유 지도), 또는 객체 마스크 없이 작동합니다.

주요 결과

벤치마크 평가

주석 품질: 텍스트-뷰 매칭 작업에서, LangMap의 인간 검증 인스턴스 설명은 약 5개의 단어를 사용하여 81.3%의 정확도를 달성한 반면, GOAT-Bench의 VLM 생성 설명은 약 21개의 단어를 사용하여 **58.4%**를 기록했습니다. LangMap의 설명은 94%의 사례에서 열등하지 않았으며 훨씬 더 간결했습니다.
탐색 성능:
- PlaNaVid는 평가된 방법들 중 가장 높은 성공률(SR)을 달 기록했습니다: 다중 목표 탐색에서 42.6%, 단일 목표 탐색에서 31.4%.
- 이는 이전의 최고 RGB 전용 방법인 Uni-NaVid보다 다중 목표 SR에서 8.5%, SeqSR@2에서 4.0% 더 높은 성능을 보였습니다.
- 깊이 입력을 결여했음에도 불구하고 3D 기반 방법(예: MTU3D)보다 다중 목표 SR에서 우수한 성과를 거두어, 메모리 유도 계획 방식의 효용성을 입증했습니다.

절제 연구(Ablation Studies)

메모리 구성 요소: BDM을 제거하면 다중 목표 SR이 42.6%에서 34.1%로 감소했습니다. GUU와 SDR의 조합은 성능 저하 없이 메모리를 약 13배(약 656 프레임에서 50 프레임으로) 압축하는 데 결정적이었습니다.
설명 스타일: 상세한 설명은 지역 및 인스턴스 수준에서 성능을 향상시켰으나, 간결한 설명 또한 효과적이었습니다.
과제: 성능은 롱테일 범주, 작은 객체(낮은 가시성), 먼 타겟, 그리고 다중 목표 완료 시퀀스에서 일관되게 저하되었으며, 이는 향후 해결해야 할 과제로 남았습니다.

의의 및 주장

본 논문은 LangMap과 HieraNav가 언어 기반 체화된 탐색을 위한 엄격하고 인간에 의해 검증된 테스트베드를 구축하며, 기존 연구의 노이즈 섞인 자동 주석 및 제한된 의미론적 세밀도의 문제를 해결한다고 주장합니다. 네 가지 계층적 수준에 걸친 변별적 설명을 제공함으로써, 본 벤치마크는 에이전트의 시공간적 추론 및 모호성 해소 능력을 체계적으로 평가할 수 있게 합니다.

나아가, PlaNaVid는 RGB 입력과 메모리 유도 계획만을 사용하여 고성능 다중 목표 탐색이 가능하다는 것을 보여줌으로써, 복잡한 탐색 작업에서 깊이 센서와 명시적인 3D 장면 재구성의 필요성에 도전합니다. 저자들은 본 연구를 장기 추론, 롱테일 범주 처리, 그리고 실제 환경에서의 강건한 다중 목표 완수를 위한 미래 연구의 토대로 제시합니다.