💻 computer science

User-Centric Object Navigation: A Benchmark with Integrated User Habits for Personalized Embodied Object Search

이 논문은 사용자 중심의 객체 탐색(UcON)을 소개하는데, 이는 개인화된 체화된 객체 탐색을 평가하고 개선하기 위해 사용자 특유의 객체 배치 습관을 포함하는 최초의 대규모 벤치마크로서, 이러한 습관을 통합하는 것이 기존 방식들에 비해 탐색 성공률을 유의미하게 향상시킨다는 것을 입증한다.

원저자: Hongcheng Wang, Jinyu Zhu, Hao Dong

게시일 2026-02-09

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hongcheng Wang, Jinyu Zhu, Hao Dong

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 선글라스를 잃어버렸다고 상상해 보세요. 당신은 어제 점심을 먹을 때 선글라스를 쓰고 있었다는 사실을 알고 있습니다. 만약 당신이 일반적인 로봇에게 그것을 찾아달라고 부탁한다면, 로봇은 "알겠습니다, 선글라스는 보통 테이블이나 선반 위에 있습니다"라고 말하며 거실을 뒤지기 시작할 것입니다. 하지만 만약 당신만의 습관이 식사를 하는 장소인 주방 카운터에 선글라스를 두는 것이라면 어떨까요? 일반적인 규칙에만 의존하는 표준 로봇은 아마도 그것을 놓칠 것입니다.

이 논문은 단순히 일반적인 규칙이 아니라 당신만의 특정 습관을 학습함으로써 로봇이 물건을 찾는 법을 가르치는 새로운 방법을 소개합니다. 이들의 연구를 간단히 정리하면 다음과 같습니다.

1. 문제점: "일률적인" 로봇

오늘날 대부분의 로봇은 도시의 일반적인 규칙(예: "침대는 침실에 있다")을 알고 있는 관광객과 같습니다. 이들은 모든 것이 완벽하게 정리된 호텔이나 전시관에서는 잘 작동합니다. 하지만 실제 가정집은 무질서하고 개인적입니다.

비유: 친구의 집을 찾는다고 상상해 보세요. 관광객은 일반적인 규칙에 따라 빨간 문이 있는 집을 찾을 수도 있습니다. 하지만 당신의 친구는 빨간색을 싫어하기 때문에 파란 문이 있는 집에 살 수도 있습니다. 만약 로봇이 오직 "빨간 문 규칙"만 알고 있다면, 결코 친구의 집을 찾을 수 없을 것입니다.
문제점: 현재의 로봇들은 당신이 항상 열쇠를 냉장고에 넣어둔다거나, 당신이 신문을 식탁이 아닌 소파에서 읽는다는 사실을 알지 못합니다.

2. 해결책: "습관 라이브러리" (UcON)

연구진은 UcON(사용자 중심 객체 내비게이션)이라는 새로운 테스트 환경을 구축했습니다. 이것을 "사용자 습관"의 거대한 도서관이라고 생각하면 됩니다.

단순히 "책은 어디에 있나요?"라고 묻는 대신, 로봇에게 "이 사용자는 소파에서 책을 읽는다" 또는 *"이 사용자는 바나나를 신선하게 유지하기 위해 냉장고에 보관한다"*와 같은 요약 정보를 제공합니다.
그들은 489개의 서로 다른 객체에 대해 22,600개 이상의 다양한 습관을 만들었습니다. 이는 로봇에게 일반적인 집의 지도 대신, 특정 사람이 어떻게 살아가는지를 기록한 일기를 주는 것과 같습니다.

3. 과제: 너무 많은 정보

로봇에게 일기 전체를 주는 것은 매우 벅찬 일입니다. 만약 당신이 로봇에게 "신문"을 찾아달라고 요청했는데, 로봇에게 커피를 어떻게 보관하는지, 신발을 어디에 두는지, 아침 식사로 무엇을 먹었는지 등 300가지의 습관 목록을 준다면 로봇은 혼란에 빠질 것입니다. 이는 마치 누군가가 300가지의 사실을 외치고 있는 와중에 건초더미 속에서 바늘을 찾는 것과 같습니다.

병목 현상: 로봇의 "두뇌"(대규모 언어 모델)는 지시 사항이 너무 길어지면 지치고 실수를 저지르게 됩니다.

4. 비결: "습관 검색기(Habit Retriever)"

이 문제를 해결하기 위해 저자들은 **습관 검색 모듈(Habit Retrieval Module)**이라는 특별한 도구를 추가했습니다.

비유: 당신이 잃어버린 열쇠를 찾고 있다고 상상해 보세요. 500페이지 분량의 일기 전체를 읽는 대신, *"나는 보통 현관 옆에 열쇠를 둔다"*라고 적힌 페이지를 즉시 펼쳐 보여주는 똑똑한 조수가 있는 것입니다. 이 조수는 지난 화요일에 당신이 점심으로 무엇을 먹었는지에 관한 페이지는 무시합니다.
작동 방식: 로봇이 특정 객체를 찾아야 할 때, 이 모듈은 "습관 라이브러리"를 빠르게 스캔하여 해당 객체와 관련된 관련 습관만을 뽑아냅니다. 이를 통해 로봇의 작업은 훨씬 쉽고 똑똑해집니다.

5. 연구 결과

그들은 이 기술을 로봇(컴퓨터 시뮬레이션 및 실제 집 안의 로봇 개)을 대상으로 테스트했습니다.

습관이 없을 때: 로봇들은 "상식"(예: "책은 도서관에 있다")에 의존했기 때문에, 사용자의 실제 습관과 일치하지 않아 자주 틀렸습니다.
습관이 있을 때: 로봇들은 물건을 찾는 능력이 훨씬 좋아졌습니다.
"검색기"가 있을 때: 로봇들은 최고의 성능을 보였습니다. 노이즈를 걸러내고 관련 있는 습관에만 집중함으로써, 더 빠르고 정확하게 물건을 찾아냈습니다.

핵심 요약

이 논문은 로봇이 우리 집에서 진정으로 도움이 되기 위해서는 단순히 일반적인 규칙을 따르는 것만으로는 부족하다는 것을 보여줍니다. 로봇은 우리의 특정한 버릇을 배워야 합니다. 하지만 로봇이 한꺼번에 우리의 인생 전체를 읽을 수는 없기에, 당면한 과제에 딱 맞는 특정 습관을 찾아내는 똑똑한 방법이 필요합니다. 저자들은 로봇이 이 방식을 사용할 때 잃어버린 물건을 훨씬 더 잘 찾을 수 있다는 것을 증명했습니다.

기술 요약: 사용자 중심 객체 내비게이션 (UcON)

문제 정의

기존의 객체 내비게이션(Object Navigation, ON) 벤치마크는 주로 일반적인 장면 사전 지식(scene priors)에 의존하며, 객체의 배치가 상식적인 규범(예: 침대는 침실에, 소파는 TV 근처에)을 따른다고 가정합니다. 그러나 실제 가정 환경에서 객체 배치는 보편적인 규칙보다는 개인의 습관에 의해 결정되는 경우가 많습니다. 예를 들어, 사용자는 책을 서재가 아닌 소파 위에 두는 습관이 있을 수 있습니다. 이러한 불일치는 개인화된 환경에서 내비게이션 에이전트의 적응력을 제한합니다. 상식적인 사전 지식을 바탕으로 추론하기 위해 대규모 언어 모델(LLM)을 활용하는 현재의 최첨단(SOTA) 방법들은 이러한 특정 습관 기반 배치를 고려하지 못하며, 이로 인해 객체가 상식적인 위치에 있지 않을 때 상당한 성능 저하를 겪게 됩니다.

방법론

1. UcON 벤치마크

저자들은 개인화된 환경에서의 객체 탐색을 평가하고 개선하기 위해 설계된 새로운 벤치마크인 **사용자 중심 객체 내비게이션(User-centric Object Navigation, UcON)**을 소개합니다.

규모 및 범위: UcON은 489개의 고유한 객체 카테데리를 다루며 약 22,600개의 사용자 습관을 포함합니다. 이는 습관에 따른 객체 내비게이션을 이 정도 규모로 명시적으로 공식화하고 평가한 첫 번째 벤치마크입니다.
태스크 생성: 이 벤치마크는 GPT-4를 사용하는 3단계 파이프라인을 활용하여 자연어 사용자 습관과 그에 상응하는 객체 배치를 생성합니다. 이러한 배치는 Omnigibson 시뮬레이터 내에서 물리적 타당성과 의미론적 일관성을 검증받습니다.
환경: 각 에피소드는 샘플링된 **사용자 습관 지식 베이스(User Habit Knowledge Base, UHKB)**에 따라 특정 객체들이 재배치된 "습관 형성 장면(habit-shaped scene)"에서 시작됩니다. 에이전트는 300단계의 제한 내에서 일련의 행동(이동, 회전, 보기, 열기, 완료)을 사용하여 대상 객체로 이동해야 합니다.
도전 과제: 핵심적인 어려움은 여러 습관이 공존할 때 발생하는 공간적 충돌을 해결하는 것이며, 에이전트는 일반적인 장면 사전 지식보다 올바른 습관 기반 위치를 우선시하기 위해 탐색 증거를 사용해야 합니다.

2. 습관 검색 모듈 (Habit Retrieval Module, HRM)

수백 개의 습관이 포함된 긴 프롬프트를 처리하는 데 있어 LLM의 한계를 해결하기 위해, 저자들은 **습관 검색 모듈(HRM)**을 제안합니다.

메커니즘: 검색 증강 생성(RAG)에서 영감을 받은 HRM은 BGE-M3 모델을 사용하여 쿼리 템플릿(예: "{TargetObject}에 관한 습관 검색")과 저장된 UHKB 내의 습관 사이의 유사도를 계산합니다.
기능: 이는 파운데이션 모델을 위한 프롬프트에 포함할 가장 관련성이 높은 상위- $p$ 개의 습관을 선택합니다. 이를 통해 무관한 정보를 필터링하고 LLM이 작업 관련 행동에 집중하게 함으로써 추론 과정을 단순화합니다.

3. 실험 설정

시뮬레이션: Omnigibson의 22개 장면에 대해 수행되었습니다.
실제 환경 검증: Astra Pro Plus RGB-D 카메라가 장착된 Unitree GO2 Edu 로봇을 사용하여 소비자급 하드웨어(RTX 3090 워크스테이션)에서 실험을 진행했습니다.
베이스라인: 본 연구는 PixelNav, LGX, L3MVN, VTN, ZSON과 같은 SOTA 방법들을 평가합니다. 이 방법들은 사용자 습관을 입력으로 받도록 수정되었으며, 상한선(upper bound)을 설정하기 위해 일부 구성 요소(객체 탐지기 등)는 정답(ground truth)으로 대체되었습니다.

주요 결과

SOTA의 성능 저하: 현재의 SOTA 방법들은 전통적인 ON 벤치마크와 비교했을 때 UcON 벤치마크에서 상당한 성능 저하를 보입니다. 엔드 투 엔드 방식(VTN, ZSON)과 파운데이션 모델 기반 방식(PixelNav, LGX) 모두 상식에 기반한 추론을 하기 때문에, 습관에 의한 객체 배치로 인해 상식이 깨지는 상황에서 어려움을 겪습니다.
사용자 습관의 이점: 사용자 습관을 통합하면 대부분의 방법에서 성공률(Success Rate, SR)과 경로 길이 가중 성공률(Success weighted by Path Length, SPL)이 유의미하게 향 향상됩니다. 예를 들어, GPT-4를 사용한 LGX 방식은 습관이 없을 때 25.1%였던 SR이 전체 습관 사용 시 27.8%, 검색된 습관 사용 시 30.6%로 증가했습니다.
HRM의 효과성: 제안된 습관 검색 모듈(HRM)은 대상 객체에 대한 직접적인 습관만 제공되는 "정답(Ground Truth)" 습로 설정보다 더 나은 성능을 보였습니다. 저자들은 이것이 검색 메커니즘이 간접적으로 관련된 습관(예: "티백"을 찾을 때 "아침 식사 테이블"에 관한 습관)을 표면화하여 중요한 맥락적 랜드마크를 제공함으로써 더 효율적인 탐색 전략을 가능하게 하기 때문이라고 가설을 세웠습니다.
실제 환경 실행 가능성: 소규모 및 대규모 실제 환경에서의 사례 연구는 검색된 습관을 사용하는 에이전트가 사용자 행동을 추론함으로써 즉각적인 시야에서 가려진 객체를 성공적으로 찾아낼 수 있음을 보여줍니다(예: 사용자가 거기서 책을 읽기 때문에 소파 근처를 탐색함). 반면 습관이 없는 에이전트는 실패하거나 목적 없이 탐색합니다.

의의 및 주장

본 논문은 UcON이 광범위한 객체 카테고리와 개인화된 행동 패턴을 독특하게 결합하여 습관 통합 내비게이션을 위한 최초의 종합적인 평가 프레임框架임을 주장합니다.

저자들은 다음을 강조합니다:

사용자 습관은 중요한 신호이다: 효과적인 홈 서비스 에이전트는 객체가 상식적인 배치를 벗어날 때, 효율적인 객체 탐색을 촉진하기 위해 사용자 습관을 인식할 뿐만 아니라 활용할 수 있어야 합니다.
추론의 한계: 긴 습관 목록에 대해 추론하기 위해 LLM에만 의 Relying 하는 것은 불충분하며, 특히 작은 모델의 경우 추론 정확도를 높이기 위해 검색 메커즘이 필요합니다.
향atic 방향: 본 연구는 습관 활용(알려진 습관 세트에 대한 추론)에 초점을 맞추고 있지만, 습관 습득(장기 관찰을 통한 습관 학습)과 문맥 인식 검색을 향후 연구를 위한 중요한 방향으로 식별합니다.

결론적으로, 이 논문은 사용자 습관을 통합하고 검색 모듈을 활용하는 것이 역동적인 실제 가정 환경에서 인간을 보조할 수 있는 견고하고 개인화된 임보디드 에이전트(embodied agents)를 만드는 데 필수적인 단계임을 밝히고 있습니다.