🤖 AI

LifelongCrossNav: Persistent 3D Semantic Memory for Cross-Floor Multi-Object Navigation

LifelongCrossNav는 지속적인 공유 희소 3D 시맨틱 복셀 메모리를 유지하고 특화된 계단 이동 능력을 통합함으로써 미지의 실내 환경 내 여러 층을 가로지르는 순차적 다중 객체 내비게이션을 가능하게 하는 프레임워크이며, 새롭게 도입된 HM3D-MFMON 벤치마크에서 기존의 평면 기반 베이스라인들을 능가한다.

원저자: Zehui Li, Zihao Sun, Jiawei Xu, Zheqi He, Xiaoqiang Zhang, Jing-Shu Zheng, Lu Liu, Dahui Gao, Xiuwan Chen

게시일 2026-08-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zehui Li, Zihao Sun, Jiawei Xu, Zheqi He, Xiaoqiang Zhang, Jing-Shu Zheng, Lu Liu, Dahui Gao, Xiuwan Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

집 안을 돌아다니며 리모컨을 찾고, 그다음엔 고양이를, 마지막으로 토스터기를 찾아내는 로봇을 상상해 보세요. 이 로봇은 길을 잃거나 벽에 부딪히지 않습니다. 이것이 바로 컴퓨터가 단순히 사진을 보는 것을 넘어, 실제로 움직이며 일을 수행하는 '체화된 AI(embodied AI)'의 꿈입니다. 오랫동안 이러한 로봇들은 기억력이 매우 짧고 계단을 무서워하는 사람과 같았습니다. 단일 층에서 물건 하나는 찾을 수 있었지만, 세 가지 물건을 차례로 찾아달라고 하거나 다음 물건이 위층에 있는 경우, 그들은 종 eyes 혼란에 빠지거나 이미 살펴본 곳을 잊어버리거나, 혹은 단순히 계단을 오르기를 거부하곤 했습니다. 그들은 세상을 평면 지도로 취급하여 2층을 1층 위에 겹쳐 놓았는데, 이는 비디오 게임에는 적합할지 몰라도 계단이 있는 실제 집에는 끔찍한 방식입니다.

과학자들이 던져온 핵심 질문은 이것입니다: 어떻게 하면 로봇에게 사물이 어떻게 생겼는지뿐만 아니라, 각 층이 어떻게 연결되어 있는지도 이해하는 '평생(lifelong)' 기억력을 줄 수 있을까? 만약 로봇이 거실에서 의자를 발견했다면, 주방에 가서 숟가락을 찾는 동안에도 그 의자를 기억해야 합니다. 또한 만약 숟가락이 위층 침실에 있다면, 로봇은 1층에서 뱅뱅 도는 대신 계단이 존재하며 어떻게 사용하는지를 알아야 합니다. 이것은 단순히 로봇에게 예의를 갖추는 문제가 아닙니다. 여러 층에서 활동이 일어나는 복잡한 다층 주택, 병원, 또는 사무실에서 실제로 도움을 줄 수 있는 기계를 만드는 것에 관한 문제입니다.

여기에 강력한 메모리를 갖춘 궁극의 가사 로봇이 되도록 설계된 새로운 프레임워크, LifelongCrossNav가 등장했습니다. 이것은 로봇에게 집 전체의 3D 모델을 주는 것과 같습니다. 이 모델은 벽, 바닥, 그리고 까다로운 계단의 기하학적 구조까지 형성하는 작은 투명 블록(복셀, voxels)들로 쌓아 올려진 형태입니다. 기존의 로봇들이 세상을 2D 종이 지도로 펼치려 했던 것과 달리, LifelongCrossNav는 진정한 3D 구조를 구축합니다. 이 로봇은 단순히 무엇이 '어디에' 있는지뿐만 아니라, 그것이 어떻게 '지지되고 있는지'도 기억합니다. 바닥이 지면에 의해 지지되기 때문에 단단하다는 것을 알지만, 공중에 떠 있는 틈은 걸을 수 없는 곳임을 압니다. 결정적으로, 이 로봇은 계단을 무서운 장애물이 아니라 서로 다른 층을 연결하는 특별한 종류의 경로로 취급합니다.

이 시스템은 마치 노트를 든 호기심 많은 탐험가처럼 작동합니다. 로봇은 움직이면서 방의 모양과 벽의 질감에 대한 세부 정보를 지속적으로 업데이트하며 3D 지도를 작성합니다. 또한 '시각-언어(vision-language)' 메모리를 사용하는데, 이는 마치 초고성능 도서관 카탈로그와 같습니다. 로봇에게 "TV를 찾아라"라고 명령하면, 단순히 상자를 찾는 것이 아니라 이전에 보았을지도 모르는 TV의 시각적 및 텍축적 단서를 자신의 메모리에서 검색합니다. 만약 이전에 거실에서 TV를 발견했다면, 그 위치를 기억합니다. 만약 다음 임무가 침대를 찾는 것이고 그 침대가 위층에 있다면, 로봇은 당황하지 않습니다. 3D 지도를 확인하여 계단을 보고, 위로 올라가는 경로를 계획합니다.

이것이 실제로 작동하는지 테스트하기 위해, 연구진은 HM3D-MFMON이라는 새로운 챌린지를 만들었습니다. 36개의 서로 다른 다층 주택이 있는 비디오 게임 레벨을 상상해 보세요. 연구진은 로봇이 특정 순서대로 세 가지 서로 다른 물건을 찾아야 하는 927개의 시나리오를 설정했습니다. 이 중 288개의 시나리오에서는 임무를 완수하기 위해 반드시 위층이나 아래층으로 이동해야만 했습니다. 즉, 한 층에서 해결할 방법이 없었습니다. 이는 층간 이동과 장기 기억 능력을 검증하기 위한 궁극의 스트레스 테스트였습니다.

결과는 명확했습니다. 평면 2D 지도를 사용하는 표준 로봇(베이스라인)과 비교했을 때, LifelongCrossNav는 전체 작업 시퀀스를 완료하는 데 훨씬 더 뛰어난 성능을 보였습니다. 평면 지도를 사용하는 로봇은 층간 이동이 필요할 때 자주 막히거나 완전히 실패했는데, 이는 펼쳐진 세상 속에서 계단을 '볼' 수 없었기 때문입니다. 반면 LifelongCrossாLifelongCrossNav는 이러한 층간 도전 과제들을 성공적으로 수행했습니다. 단순히 물건을 찾는 것에 그치지 않고, 더 효율적으로 찾아냈습니다. 이미 살펴본 곳을 기억함으로써(역사적 관심 지점, 즉 History POIs 활용), 같은 복도를 다시 걷는 것을 피하여 시간과 에너지를 절약했습니다.

이 논문은 이러한 접근 방식이 중요한 진전임을 시사합니다. 로봇에게 환경에 대한 지속적인 3D 이해력(계단의 기하학적 구조와 서로 다른 층에 있는 물건의 위치를 기억하는 능력)을 부여하는 것이 실세계의 과제를 처리하는 능력을 크게 향상시킨다는 것을 입증했습니다. 비록 로봇이 여전히 실수(예를 들어 침대를 소파로 혼동하는 등)를 하기도 하지만, 지도를 처음부터 다시 만들지 않고도 여러 층을 이동하고 과거의 발견을 기억하는 능력은 기존 방식에 비해 확실하고 측정 가능한 개선을 보여줍니다. 아직 완벽한 로봇은 아니지만, 다층 주택에서 살아가는 법을 진정으로 이해하는 첫 번째 로봇입니다.

기술 요약: LifelongCrossNav

문제 정의

객체 목표 탐색(Object-Goal Navigation, ObjectNav)은 단일 층 또는 평면 환경 내에서의 의미론적 인지 및 탐사 측면에서 크게 발전했습니다. 그러나 실제 환경의 Embodied Agent(체화된 에이전트)는 기존 방법론들이 각각 별도로 다루고 있는 두 가지 뚜렷한 과제에 직면해 있습니다: 바로 다중 객체 탐색(단일 에피소드 내에서 일련의 객체를 찾는 것)과 층간 이동 탐색(계단을 통해 층 사이를 이동하는 것)입니다.

현재의 다중 객체 방법론들은 대개 평면 또는 버드 아이 뷰(Bird's-eye-view) 지도에 의존하며, 이는 수직으로 중첩된 공간이나 계단 연결 구조를 표현하는 데 실패합니다. 반대로, 층간 이동 방법론들은 종종 단일 객체 목표에 집중하며 미래의 쿼리를 위한 지속적인 의미론적 메모리를 유지하지 못합니다. 따라서 미지의 다층 실내 환경에서 순차적인 다중 객체 탐색을 수행하면서, 하위 작업 전반에 걸쳐 기하학적 및 의미론적 정보를 유지할 수 있는 통합된 프레임워크가 부족한 실정입니다.

방법론: LifelongCrossNav

저자들은 미지의 다층 환경에서 순차적인 다중 객체 ObjectNav를 위해 설계된 프레임워크인 LifelongCrossNav를 제안합니다. 이 시스템은 에이전트가 순서대로 정렬된 객체 목표( $g_1, \dots, g_K$ )를 받는 에피소드 내에서 작동하며, 현재 목표가 완료된 후에만 다음 목표가 공개됩니다.

1. 지속적인 3D 의미론적 메모리 (Persistent 3D Semantic Memory)

이 프레임워크의 핵심은 지도를 다시 구축하지 않고도 객체 목표 하위 작업 전반에 걸쳐 정보를 축적하는 **공유된 희소 3D 복셀 메모리(shared sparse 3D voxel memory)**입니다.

지지 구조 인지형 3D 복셀 매핑 (Support-Aware 3D Voxel Mapping): 평면 투영과 달리, 이 시스템은 높이를 보존하는 희소 3D 복셀 표현을 사용합니다. 시스템은 복셀을 네 가지 기능적 유형으로 분류합니다: 점유됨(Occupied) (표면), 이동 가능(Traversable) (지지되는 자유 공간), 미지지(Unsupported) (지지 구조가 없는 자유 공간), 계단(Stair) (확인된 계단 표면).
계단 특화 인지 (Stair-Specific Perception): 시스템은 계단을 식별하기 위해 의미론적-기하학적 접근 방식을 사용합니다. SegFormer-B2 모델을 사용하여 픽셀 수준의 계단 마스크를 생성하고, 이를 깊이(depth)와 포즈(pose)를 이용해 3D로 들어 올린 후, 국부적 높이 변화와 공간적 연속성을 통해 검증합니다. 계단 복셀은 에이전트가 "계단 탐사(Stair Explore)" 모드에 진입한 후에만 이동 가능한 연결로 확정됩니다.
지속적인 시각-언어 메모리 (Persistent Vision-Language Memory): 시스템은 SED 기반의 조밀한 인코딩으로부터 유도된 목표 독립적인 시각-언어 특징을 3D 복셀 그리드에 저장합니다. 새로운 객체 목표가 주어지면, 시스템은 텍스트 임베딩을 사용하여 저장된 특징들을 쿼리함으로써 3D 유사도 필드를 생성합니다. 이를 통해 환경을 재탐사하지 않고도 **과거 관심 지점(History Points of Interest, POIs)**을 검색할 수 있습니다.

2. 통합 내비게이션 정책 (Unified Navigation Policy)

단일 정책이 후보 선택에 따라 네 가지 내비게이션 모드를 조정합니다:

기본 프런티어 (Basic Frontiers): 이동 가능 영역(현재 층의 경계), 하강(잠재적인 하향 전환), 상승(잠재적인 상향 계단 입구)을 포함합니다.
계단 프런티어 (Stair Frontiers): 확인된 계단 클러스터로부터 추출된 방향성 경계로, 계단을 따라 연속적인 탐사를 가능하게 합니다.
과거 POI (History POIs): 현재 목표 텍스트를 기반으로 지속적 메모리에서 검색됩니다.
실시간 POI (Live POIs): YOLOv7(표준 카테고리용) 또는 YOLO-World(오픈 보캐블러리 쿼리용)를 사용하여 실시간으로 탐지됩니다.

정책은 기하학적 프런티어보다 의미론적 후보(Live/History POIs)를 우선시합니다. 시스템은 다음과 같은 계층적 모드 전환 메커니즘을 활용합니다:

기본 탐사 (Basic Explore): 현재 층의 탐사를 우선시합니다.
계단 탐사 (Stair Explore): 계단 입구가 확인되면 활성화되며, 새로운 착륙 지점(landing)에 도달할 때까지 제어를 유지합니다.
POI 내비게이션 (POI Navigation): 특정 타겟으로 이동하며, 타겟이 다른 층에 있는 경우 이미 구축된 계단 연결성을 재사용합니다.
타겟 접근 (Target Approach): 성공 여부를 확정하기 전, 탐지 신뢰도, 마스크 품질, 시야 방향을 사용하여 객체를 검증합니다.

3. 평가 프로토콜: HM3D-MFMON

여러 유효한 타겟 인스턴스가 존재하는 순차적 내비게이션의 복잡성을 해결하기 위해, 저자들은 HM3D 장면을 기반으로 구축된 벤치마크인 HM3D-MFMON을 도입합니다.

데이터셋: 36개의 다층 장면에서 추출된 927개의 에피소드로 구성되며, 각 장면은 세 개의 순차적인 객체 목표를 포함합니다. 특히 **층간 이동 필수(Cross-Floor-Required, CFR)**라는 특정 하위 집합은 시퀀스를 완료하기 위해 적어도 한 번의 층 전환을 강제합니다.
사후 단계별 평가 (Post-hoc Stage-Wise Evaluation): 하위 작업의 시작 위치가 이전 궤적에 의존한다는 점을 인식하여, 저자들은 조건부 평가 프로토콜을 제안합니다. 그들은 현재 하위 작업의 실제 시작 지점에서 가장 가까운 유효 타겟 인스턴스까지의 최단 경로를 계산하며, 이때 미래(보이지 않은) 목표를 정답 계산에 사용하지 않도록 합니다.
지표: 성공률(SR), 경로 길이 가중 성공률(SPL), 진행률(PR), 경로 길이 가중 진행률(PPL)을 전체 및 조건부(특정 단계에 도달한 에피소드 대상)로 보고합니다.

주요 기여

HM3D-MFMON 벤치마크: 다층 환경에서의 순차적 다중 객체 내비게이션을 위해 설계된 새로운 데이터셋 및 평가 프로토콜로, 층간 이동이 필요한 하위 집합을 포함합니다.
LifelongCrossNav 프레임워크: 지원 구조 인지형 3D 복셀 매핑, 지속적인 시각-언어 메모리, 계단 인지 내비게이션을 통합한 통합 시스템입니다. 이를 통해 에이전트는 순차적인 목표들에 대해 기하학적 및 의미론적 관측치를 재사용할 수 있습니다.
경험적 검증: 지속적인 3D 의미론적 메모리와 명시적인 층간 이동 가능성 모델링이 복잡한 다층 순차 작업에서 평면 기반 베이스라인보다 우수한 성능을 보임을 입증했습니다.

실험 결과

전체 성능: 전체 HM3D-MFMON 벤치마크에서 LifelongCrossNav는 시퀀스 레벨 SR 29.13% 및 SPL **9.64%**를 달 기록했으며, 이는 평면 지속성 베이스라인(OneMap: SR 16.83%, SPL 6.95%)을 능가하는 수치입니다.
층간 이동 능력: 층간 이동 필수(CFR) 하위 집합에서 OneMap은 전체 시퀀스를 완료하는 데 모두 실패(SR 0.00%)한 반면, LifelongCrossNav는 **7.99%**의 SR과 **2.35%**의 SPL을 달성했습니다. 이는 층 전환이 필요한 작업에서 명시적인 3D 계단 모델링의 필요성을 강조합니다.
절제 연구 (Ablation Study): 과거 POI를 제거했을 때(w/o H-POI), 성공률은 약간 상승(29.77% vs 29.13%)했으나 경로 효율성(SPL 8.46% vs 9.64%)은 크게 떨어졌습니다. 이는 역사적 정보 검색이 때때로 잘못된 탐지를 유발하여 실패율을 약간 높일 수는 있지만, 후속 작업에서 반복적인 탐사를 줄임으로써 경로 효율성을 크게 개선함을 나타냅니다.
단일 객체 성능: 표준 HM3D ObjectNav에서 LifelongCrossNav는 온라인 LLM 추론에 의존하지 않고도 경쟁력 있는 결과(SR 59.7%, SPL 28.0%)를 보여주었으며, 다른 최첨단 제로샷 방법론들과 대등한 성능을 보였습니다.

의의

본 논문은 LifelongCrossNav가 다중 객체 내비게이션과 층간 이동 내비게이션 사이의 간극을 효과적으로 메운다고 주장합니다. 지속적인 지원 구조 인지형 3D 의미론적 메모리를 유지함으로써, 이 프레임워크는 에이전트가 내부 지도를 초기화하지 않고도 복잡한 다층 환경을 순차적으로 탐색할 수 있게 합니다. 연구 결과는 다음을 시사합니다:

수직 이동 가능성이 결정적이다: 층간 이동이 필요한 환경에서는 평면 표현이 불충พอ하며, 지지 구조와 계단에 대한 명시적인 3D 모델링이 성공적인 내비게이션에 필수적입니다.
메모리 재사용이 효율성을 높인다: 과거의 의미론적 관측치를 다시 쿼리하는 것은 층간 이동이 포함된 상황에서도 후속 목표에 대한 경로 길이를 크게 단축시킵니다.
통합된 접근 방식: 단일 정책이 탐사, 계단 내비게이션, 의미론적 검색을 효과적으로 조정할 수 있음을 보여주며, 이는 실제 다층 실내 환경을 위한 더 강력한 Embodied Agent를 향한 실행 가능한 경로를 제시합니다.

저자들은 시스템이 유망한 성과를 보였으나, 향후 연구는 실제 환경 배포 및 층간 이동 내비게이션의 견고성 향상에 집중할 것이라고 결론지었습니다.