기술 요약: LASAR: 잠재적 인지 지도를 통한 시공간 추론을 향해

문제 제기

현재 신체화 AI(Embodied AI) 연구는 에이전트가 공간 구조에 대한 진정한 이해를 가지고 있는지, 아니면 단순히 작업별 전문가 궤적을 모방하는 것인지를 구분하는 데 근본적인 도전에 직면해 있습니다. 기존 접근법은 종종 행동 중심 작업(예: 비전 - 언어 내비게이션, VLN)과 추론 중심 작업(예: 신체화 질문 응답, EQA)으로 양분되는데, 전자는 의사결정을 우선시하지만 전문가 경로 내의 피상적인 통계적 편향에 과적합될 수 있고, 후자는 대규모 언어 모델의 언어적 사전 지식을 의존하지만 세계 모델의 부재로 인해 복잡한 공간 작업에서 실패하는 경우가 많습니다.

식별된 핵심 한계는 장거리의 단편적인 경험을 통해 에이전트가 미세한 공간 관계 (위상, 거리, 관계) 를 인코딩하도록 강제하는 학습 신호의 부재입니다. 결과적으로 에이전트는 새로운 환경과 지시사항에 걸쳐 견고한 일반화를 위해 필요한 시간적으로 일관된 고차원 공간 표현을 구축하는 데 어려움을 겪습니다.

방법론

1. MindCraft 작업 프레임워크

행동과 추론 간의 간극을 메우기 위해 저자들은 표준 내비게이션 에피소드에 동시 온라인 인지 쿼리를 주입하는 통합 작업 프레임워크인 MindCraft를 도입합니다. 전통적인 VLN 과 달리, MindCraft 는 에이전트가 내비게이션 행동을 수행하는 동시에 공간 쿼리에 답하도록 요구합니다. 이러한 쿼리는 3 단계 계층으로 분류됩니다:

• 회고적 (Retrospective): 과거 관찰에 대한 기억을 탐구 (예: 객체 속성 회상).
• 내성적 (Introspective): 현재 상태에 대한 이해를 탐구 (예: 자기 위치 확인, 국소 공간 관계).
• 예측적 (Prospective): 예측 또는 계획 능력을 탐구 (예: 위상적 인접성, 미래 랜드마크).

데이터셋은 Matterport3D 환경 내의 VLN-CE 전문가 궤적에서 절차적으로 생성되어, 쿼리가 에이전트의 실제 감각 역사에 기반하도록 보장합니다.

2. LASAR 아키텍처

LASAR(LAten SpAtial Reasoner)는 이중 기억 시스템을 유지하도록 설계된 LLM 기반 에이전트입니다:

• 에피소드 기억 (Episodic Memory): 과거 관찰에서 파생된 기하학적 인식을 갖춘 시각적 표현 ($F'_{vis}$) 의 고정밀 시간 순서 시퀀스입니다. 이는 근거 증거로 작용합니다.
• 잠재적 인지 지도 (Latent Cognitive Map, 의미 기억): 학습 가능한 공간 의미 아틀라스($E_{world}$) 를 쿼리하여 생성된 구조화된 추상 표현 ($m_t$) 입니다. 이 아틀라스는 "소파 근처의 램프"와 같은 세계 원시 (primitives) 의 코드북 역할을 합니다. 지도는 에피소드 기억에서 주의 풀링된 컨텍스트 벡터를 사용하여 크로스 어텐션을 통해 아틀라스를 쿼함으로써 형성됩니다.

아키텍처는 다음을 통해 입력을 처리합니다:

1. 입력 인코더: 시각적 의미에 대한 고정된 Siglip 모델과 2D 이미지에서 추론된 기하학적 특징에 대한 VGGT 모델입니다. 이들은 학습 가능한 크로스 어텐션 레이어를 통해 융합되어 기하학적 인식을 갖춘 시각적 특징을 생성합니다.
2. 통합 결정 헤드 (Unified Decision Head): 언어 지시사항, 에피소드 기억, 잠재적 인지 지도를 통합하여 내비게이션 행동과 쿼리 답변을 모두 출력하는 LLM 백본 (Qwen2-7B) 입니다.

3. 시공간 문맥 표현 학습 (ST-CRL)

학습을 위한 핵심 혁신은 잠재적 인지 지도를 조각하는 데 설계된 대비적 목적 함수인 ST-CRL입니다.

• 메커니즘: LLM 은 특수 [MAP] 토큰으로 주입된 잠재적 지도 $m_t$를 처리하여 특정 쿼리의 "렌즈"를 통해 지도를 나타내는 활성화된 인지 지도($m'_t$) 를 생성합니다.
• 대비적 목적 함수: ST-CRL 은 훈련 중에만 사용 가능한 특권 시뮬레이터 정보 (영역 ID) 를 사용하여 샘플 쌍을 구성합니다. 이는 의미적으로 동등한 쿼리 (양수) 의 표현을 끌어당기고 다음을 밀어냅니다:
  • 공간적 하드 네거티브: 동일한 쿼리 의미이지만 다른 공간 문맥 (다른 정답).
  • 의미적 하드 네거티브: 동일한 공간 영역이지만 다른 쿼리 의미.
  • 무관한 방해 요소: 다른 영역과 쿼리.
• 보조 손실 함수: 이 프레임워크는 벡터 양자화를 사용하여 아틀라스 원시들이 시각적 특징과 일치하도록 보장하는 의미 아틀라스 손실과 궤적별 특징이 구별되도록 보장하는 에피소드 판별성 손실도 포함합니다.

주요 기여

1. LASAR 프레임워크: 잠재적 인지 지도를 통해 공간에서 추론하는 새로운 LLM 기반 에이전트로, 에피소드 기억과 구조화된 의미 기억을 통합합니다.
2. ST-CRL 목적 함수: 단편화된 신체화 경험에서 시공간 논리 구조를 정제하여 잠재적 지도가 단순한 공발생 통계가 아닌 견고한 공간 논리를 인코딩하도록 강제하는 대비적 학습 방법입니다.
3. MindCraft 작업 및 데이터셋: 내비게이션에 동시 인지 쿼리를 주입하는 통합 작업 프레임워크 및 데이터셋으로, 에이전트를 시공간 추론을 위해 훈련시키는 데 필요한 감독 신호를 제공합니다.

실험 결과

저자들은 LASAR 을 세 가지 벤치마크에서 평가했습니다: MindCraft-Test(도메인 내 추론), VLN-CE/R2R/RxR(하류 내비게이션), 그리고 VSI-Bench(제로샷 추론 일반화).

• MindCraft 성능: LASAR(본 연구) 은 **65.3%**의 쿼리 정확도 (QA-Acc) 와 **70.4%**의 목표 조건 정확도 (GCA) 를 달성하여, 단순 다중 작업 베이스라인 (LASAR IL+QA) 보다 각각 **4.7%**와 7.2% 더 높은 성능을 보였습니다. 또한 **75.8%**의 더 높은 인지 지도 일관성 (CMC) 을 입증했습니다.
• 하류 내비게이션: VLN-CE val-unseen 분할에서 LASAR 은 NaVILA 와 같은 강력한 베이스라인에 비해 R2R 에서 성공률 (SR) 을 2.2% 향상시키고 경로 길이로 가중된 성공률 (SPL) 을 4.9% 향상시켰습니다.
• 제로샷 일반화: 훈련 중에는 보지 못한 VSI-Bench 에서 LASAR 은 평균 점수 48.9를 달성하여, 44.8인 베이스라인 LASAR(IL+QA) 과 37.8인 내비게이션 전용 모델보다 현저히 우수한 성능을 보였습니다. 이는 ST-CRL 이 공간 위상에 대한 전이 가능한 이해를 촉진함을 나타냅니다.
• 애블레이션 연구: ST-CRL 목적 함수를 제거하면 성능이 크게 저하되어 이것이 성과 향상의 주요 동인임을 확인했습니다. 기하학적 인코더나 이중 기억 구조를 제거해도 특히 일관성과 목표 조건 정확도에서 심각한 악화를 초래했습니다.
• 정성적 분석: t-SNE 시각화는 베이스라인 모델이 혼란스러운 잠재 공간을 생성하는 반면, LASAR 은 방 유형별로 조직화된 명확하고 의미 있는 클러스터를 형성하여 ST-CRL 의 구조적 영향을 검증했습니다.

중요성과 주장

이 논문은 행동 중심 작업과 추론 중심 작업의 분리가 일반화 가능한 공간 지능에 대한 중요한 장벽이라고 주장합니다. 저자들은 견고한 공간 이해는 행동과 추론의 폐쇄 루프 내에서 학습되어야 한다고 주장합니다.

MindCraft 와 ST-CRL 을 도입함으로써 이 연구는 에이전트가 단순히 궤적을 모방하는 것이 아니라 공간 구조의 내부 모델을 구축하도록 훈련할 수 있음을 보여줍니다. 제안된 방법은 하류 벤치마크에 대한 미세 조정이 필요 없이 내비게이션과 공간 추론 작업 모두에서 우수한 일반화를 달성하는, 보고 - 추론 - 행동을 연결하는 신체화 에이전트를 구축하기 위한 구체적인 경로를 제공합니다. 저자들은 계산 오버헤드와 정적 환경 가정과 관련된 한계를 인정하면서도, 이 작업을 진정한 적응형 신체화 지능을 향한 기초적인 단계로 위치시킵니다.