TrajRAG: Retrieving Geometric-Semantic Experience for Zero-Shot Object Navigation

기술 요약: TrajRAG – 제로샷 객체 내비게이션을 위한 기하 - 의미 경험 검색

문제 제기
기존의 제로샷 객체 목표 내비게이션 (ObjectNav) 방법들은 종종 대규모 언어 모델 (LLM) 이나 비전 - 언어 모델 (VLM) 에서 도출된 상식 지식에 의존합니다. 그러나 이러한 지식은 일반적으로 embodied 3D 공간 경험보다는 인터넷 규모의 텍스트에 기반을 두고 있습니다. furthermore, 일부 방법은 내비게이션 중에 수집된 에피소드적 관측을 활용하지만, 이러한 관측들은 각 에피소드가 종료된 후 폐기되어 평생 경험의 축적을 방해합니다. 결과적으로 에이전트들은 중복된 탐색에 시달리며, 보이지 않는 환경에서 의사 결정을 안내하기 위한 장면 특유의 기하 - 의미 사전 지식을 검색할 능력이 부족합니다.

방법론
저자들은 내비게이션 경험의 '장기' 기억을 구축하도록 설계된 검색 증강 생성 (Retrieval-Augmented Generation) 프레임워크인 TrajRAG(Trajectory RAG) 를 제안합니다. 이 시스템은 세 가지 핵심 메커니즘을 통해 작동합니다:

1. 위상 - 극좌표 (Topo-Polar) 궤적 표현:
   재방문, 루프, 공간적 중첩으로 인해 발생하는 원시 RGB-D 관측 궤적의 중복성을 해결하기 위해, TrajRAG 는 연속적인 관측을 컴팩트하고 구조화된 표현으로 변환합니다.

   • 골격화 (Skeletonization): RGB-D 데이터로부터 의미 지도를 구축하고, 이동 가능한 영역을 골격화하여 위상 노드를 추출합니다.
   • 극좌표 인코딩 (Polar Encoding): 각 위상 노드에 대해 주변 공간을 12 개의 극좌표 섹터 (각 30°) 로 이산화합니다. 각 섹터는 관측된 의미 레이블 (객체, 장애물, 미확인, 또는 자유 공간) 을 기록합니다. 이는 에이전트의Heading 차이에 강건한 국소 기하 - 의미 레이아웃의 '지문'을 생성합니다.
   • 가지치기 (Pruning): 시스템은 연속된 동일한 노드를 병합하고 시간적 루프를 제거하여 저장된 궤적이 효율적이고 루프가 없도록 보장합니다.

2. 계층적 청킹 및 검색 아키텍처:
   TrajRAG 는 이러한 위상 - 극좌표 궤적을 계층적 구조로 조직화하여 효율적인 coarse-to-fine 검색을 가능하게 합니다:

   • 청크 (Chunks): 각 청크는 단일 위상 - 극좌표 궤적에 해당하며, 위상 구조, 자연어 설명, 그리고 학습된 임베딩을 포함합니다.
   • Coarse Index(요약): 유사한 위상 구조를 가진 궤적들은 그룹화되어 통합된 '위상 - 극좌표 요약 (topo-polar summaries)'으로 병합됩니다. 이러한 요약들은 그룹의 전체 레이아웃을 설명하는 기술자 역할을 합니다.
   • Fine Index(궤적 인코더): 노드 임베딩을 위한 인코더 전용 트랜스포머와 순차적 의존성을 위한 디코더 전용 트랜스포머를 결합한 특수 궤적 인코더가 개별 궤적을 임베딩합니다. 이 인코더는 동일한 내비게이션 목표를 가진 궤적들이 임베딩 공간에서 서로 가깝게 위치하도록 대비 학습 (contrastive learning) 을 통해 훈련됩니다.
   • 검색 과정: 내비게이션 중, 후보 탐색 경로가 궤적 가설을 생성합니다. 시스템은 먼저 위상 - 극좌표 요약에 대해 coarse matching을 수행하여 관련 그룹을 식별한 다음, 해당 그룹 내에서 fine-grained matching을 수행하여 특정 궤적 청크를 검색합니다.

3. 내비게이션 및 점진적 학습:

   • 추론: 각 시간 단계에서 에이전트는 의미 지도를 구축하고 프론티어를 식별합니다. 후보 경로가 생성되면, TrajRAG 는 최적의 다음 웨이포인트를 선택하는 플래너 (예: LLM) 를 지원하기 위해 관련 과거 경험 (기하 - 의미 레이아웃) 을 검색합니다.
   • 축적: 에피소드가 종료된 후, 새로운 궤적은 TrajRAG 에 점진적으로 통합됩니다. 기존 요약에 대해 의미적 및 기하학적 매칭을 수행합니다. 기존 그룹과 일치하면 요약을 업데이트하고, 그렇지 않으면 새로운 그룹을 생성합니다. 이를 통해 시스템은 평생 내비게이션 경험을 축적할 수 있습니다.

주요 기여

• 위상 - 극좌표 표현: 공간 레이아웃과 의미적 맥락을 컴팩트하게 인코딩하는 새로운 방법으로, 원시 에피소드 관측의 중복성을 효과적으로 제거하면서도 독특한 기하 - 의미 지문을 보존합니다.
• 계층적 검색 프레임워크: 장면 레이아웃 (요약) 으로 먼저 필터링한 후 특정 궤적 세부 사항 (임베딩) 으로 필터링함으로써 효율성과 정확성의 균형을 맞추는 coarse-to-fine 검색 전략입니다.
• 평생 경험 축적: 에피소드적 기억을 장기 지식 베이스로 지속적으로 통합하여 에이전트가 여러 에피소드와 장면에서 과거 상호작용을 학습할 수 있게 하는 메커니즘입니다.
• 상식과 경험의 연결: 대규모 모델의 장면 무관 추론과 에이전트 자신의 역사에서 검색된 장면 특유의 기하 - 의미 경험을 통합하는 프레임워크입니다.

실험 결과
저자들은 Habitat 시뮬레이터 내의 MP3D, HM3D-v1, HM3D-v2데이터셋을 사용하여 제로샷 ObjectNav 벤치마크에서 TrajRAG 를 평가했습니다.

• 성능: TrajRAG 는 모든 벤치마크에서 최첨단 성능을 달성하여 기존 LLM/VLM 기반 방법 및 기타 RAG 공식 (GraphRAG 및 텍스트 기반 RAG 등) 을 능가했습니다.
  • HM3D-v2에서 성공률 (SR) 은 78.1%, 경로 길이 가중 성공률 (SPL) 은 **40.2%**를 기록했습니다.
  • HM3D-v1에서 SR 은 62.5%, SPL 은 **33.9%**였습니다.
  • MP3D에서 SR 은 42.6%, SPL 은 **18.0%**였습니다.
• Ablation 연구: 실험은 위상 - 극좌표 표현에서 기하 및 의미 단서의 조합이 텍스트 전용 또는 기하 전용 특징을 사용하는 것보다 우수함을 확인했습니다. 또한, 계층적 검색 전략 (coarse-to-fine) 이 결정적임이 입증되었는데, coarse 단계를 제거하거나 일반 텍스트 임베딩을 사용할 경우 성능이 크게 저하되었습니다.
• 교차 데이터셋 일반화: 한 데이터셋 (예: HM3D-v1) 에서 구축된 검색 코퍼스가 다른 데이터셋 (예: MP3D) 에서의 내비게이션을 효과적으로 안내하여, 학습된 위상 - 의미 표현의 전이 가능성을 입증했습니다.

의의
본 논문은 TrajRAG 가 현재 제로샷 ObjectNav 의 근본적인 한계인 축적된 장면 특유 경험의 부재를 해결한다고 주장합니다. 사전 훈련된 상식에만 의존하는 대신 기하 - 의미 경험을 검색함으로써 TrajRAG 는 에이전트가 복잡하고 보이지 않는 환경에서 더 정보에 입각한 의사 결정을 내릴 수 있게 합니다. 이 연구는 구조화된 평생 기억 시스템을 통해 대규모 모델 추론과 embodied 3D 경험 간의 간극을 연결함으로써 내비게이션 정확도와 효율성을 크게 향상시킨다는 것을 보여줍니다. 저자들은 이를 단기 기억이 장기 지식으로 점진적으로 통합되어 미래 의사 결정을 지원하도록 하는 embodied 에이전트의 지속적 학습을 향한 한 걸음으로 위치시킵니다.