기술 요약: Ask When It Pays: 인스턴스 목표 탐색을 위한 비용 인식형 개방형 상호작용

1. 문제 정의

본 논문은 에이전트가 불충분하게 명시된 자연어 지침에 따라 동일 범주의 방해 요소들 사이에서 특정 객체 인스턴스(예: "왼쪽에 있는 빨간색 컵")를 찾아내야 하는 인스턴스 목표 탐색(Instance Goal Navigation, IGN) 문제를 다룹다. 경로를 주로 명시하는 시각-언어 탐색(VLN)이나, 범주의 어떤 인스턴스라도 상관없는 표준 객체 탐색(ObjectNav)과 달리, IGN은 인스턴스 수준의 모호성을 해결해야 한다.

저자들은 다음과 같은 이유로 지각(perception)과 거친 수준의 지침만으로는 충분하지 않다는 점을 지적한다:

• 불확실한 방의 경계.
• 동일 범주의 여러 인스턴스가 방해 요소로 작용함.
• 서로 다르지만 겉보기에 유효해 보이는 후보들로 이어지는 경로.

오라클(지식이 풍부한 엔티티)과의 상호작용은 모호성 해소를 위한 자연스러운 메커니즘이지만, 기존의 상호작용 방식은 두 가지 결정적인 결함을 가지고 있다:

1. 질의의 균등한 취급: 가벼운 명료화 질문(예: "그것이 빨간색인가요?")과 정보량이 높은 경로 안내 질문(예: "어느 방향인가요?")을 동일하게 취급한다.
2. 비용을 고려하지 않은 평가: 에이전트가 상호작용의 "비용"에 대한 페널티 없이 반복적으로 고정보량 질문을 던짐으로써 성공률(SR)을 높이는 것을 허용한다. 이는 효율적인 모호성 해소와 오라클에 대한 과도한 의존을 구분하지 못한다.

본 논문은 상호작적인 IGN을 비용 민감형 불확실성 감소 문제로 재정의하며, 여기서 에이전트는 특정 질문 유형과 관련된 페널티를 감수할 만큼 기대되는 탐색 불확실성 감소량이 클 때만 질문을 던져야 한다.

2. 방법론

2.1 질문 효용 모델링 및 분류

비용 민감형 프레임워크를 구축하기 위해, 저자들은 기존의 인간 작성 내비게이션 코퍼스(R2R, REVERIE, RxR, CVDN, SOON)에 대한 정보 이득(information-gain) 기반 분석으로부터 질문 분류 체계와 관련 페널티를 도출한다.

• 마이닝 과정: 고정된 스키마를 가진 LLM 스코러가 내비게이션 기록을 분석하여 타겟 또는 공간적 모호성을 줄이는 단서들을 식별한다.
• 분류 체계: 단서들은 네 가지 별도의 질문 유형으로 압축되며, 각 유형은 코퍼스 통계(중요도, 고이득 빈도 및 순위)로부터 도출된 **고정된 비용 계수($w_t$)**를 갖는다:
  1. 유형 1 (외형): 동일 범주 인스턴스들 사이에서 타겟의 정체성을 해결함 ($w_1 = 0.182$).
  2. 유형 2 (영역): 탐색할 방 또는 영역을 해결함 ($w_2 = 0.162$).
  3. 유형 3 (방향/경로): 분기점, 복도 또는 레이아웃 방향을 해결함 ($w_3 = 0.240$).
  4. 유형 4 (확인): 가시적인 후보가 타겟인지 검증함 ($w_4 = 0.103$).
• 비용 로직: 더 많은 정보를 제공하는 질문 유형(예: 유형 3)은 오라클 가이드에 대한 과도한 의존을 억제하기 위해 더 높은 페널티를 부과한다.

2.2 벤치마크 구축

저자들은 이 비용 민감형 평가를 지원하기 위해 Isaac Sim에서 새로운 상호작적 IGN 벤치마크를 구축한다:

• 근거 있는 답변 (Grounded Answers): 오라클은 질문 유형에 엄격히 종속된 답변을 제공한다 (예: 유형 3 답변은 점유 지도와 경로 렌더링에서 도출된 자연어 경로 힌트이며, 미터법 좌표나 나침반 각도가 아니다).
• 제어된 난이도: 에피소드는 방해 요소 수, 동일 실내 방해 요소, 맥락적 모호성, 초기 경로 거리에 따라 쉬움(Easy), 중간(Medium), 어려움(Hard)으로 층화된다.
• 지표: **가중 성공률(Weighted Success Rate, WSR)**이 도입된다. 이는 질문된 모든 질문의 비용의 지수 합에 의해 에피소드의 성공을 할인한다:
  $$\text{Weighted SR} = \mathbb{1}_{d_e \le \tau} \exp\left(-\sum_{i=1}^{N_e} w_{\text{type}(q_{e,i})}\right)$$
  이 지표는 에이전트가 과도한 질문을 통해 단순히 성공을 "구매"할 수 없도록 보장한다.

2.3 TANDEM: 분리된 계획 및 메트릭 그라운딩을 갖춘 2단계 탐색

저자들은 이 프로토콜 하에서 작동하도록 설계된 모듈형 제로샷 멀티모달 대규모 언어 모델(MLLM) 내비게이터인 TANDEM을 제안한다.

• 아키텍처:
  • 내비게이터 (플래너): 관측값, 기호적 공간 메모리, 축적된 오라클 사실을 바탕으로 추론하는 MLLM이다. 이는 언제 질문할지, 무엇을 질문할지, 그리고 어디로 이동할지를 결정한다. 미터법 액션이 아닌 의미론적 결정(Ask, Move, Stop)을 출력한다.
  • 그라운더 (Grounder): 내비게이터의 의미론적 계획(예: "거실으로 이동하라")을 $8 \times 8$ 그리드의 로컬 웨이포인트로 매핑한다.
  • 결정론적 실행기 (Deterministic Executor): 레이캐스팅(raycasting)과 바닥 평면 기하학을 사용하여 충돌 회피, 동작 제어 및 포즈 업데이트를 처리한다.
• 상호작용 정책: 에이전트는 "질문 예산"과 "사실 기반(Fact Base)"을 유지한다. 에이전트는 예상되는 불확실성 감소(미해결 단서 기반)가 비용을 정당화할 때만 오라클에게 질의한다. 오라클은 절대 미터법 좌표를 제공하지 않으며, 이를 통해 에이전트가 내비게이션을 우회하는 것을 방지한다.

3. 주요 기여

1. 정식화: 상호작적 IGN을 데이터 기반 페널티를 가진 4가지 유형의 질문 분류 체계를 도입하여, 비용 민감형 불확실성 감소 문제로 재구성하였다.
2. 벤치마크: 근거 있는 오라클 답변, 균형 잡힌 난이도 분할, 그리고 상호작용 효율성을 진단하기 위한 가중 성공률 지표를 갖춘 제어 가능한 인스턴스 수준의 IGN 벤치마크를 구축하였다.
3. 베이스라인: 비용 인식형 프로토콜 하에서 비용 인식형 상호작용, 구조화된 공간 메모리, 분리된 그라운딩이 내비게이션 성능을 향상시킨다는 것을 입증하는 모듈형 제로샷 MLLM 베이스라인인 TANDEM 에이전트를 제안하였다.

4. 실험 결과

실험은 고정된 500개 에피소드 풀(Easy/Medium/Hard)에서 수행되었으며, 기존 벤치마크(CVDN, SOON, REVERIE)에서 검증되었다.

• 베이스라인 대비 성능: TANDEM은 비용 인식형 프로토콜 하에서 기존 제로샷 에이전트(GTA, MapGPT, NavGPT, COIN)를 크게 앞선다.
  • 어려운(Hard) 서브셋에서, TANDEM은 31.0% SR@1.5 및 21.4% WSR@1.5를 달려 달성하였으며, 이는 SR@1.5 기준 두 번째로 좋은 방법(GTA)보다 9.3 포인트 높다.
  • 나이브한 상호작용(제한 없는 질문)은 상호작용 비용이 누적됨에 따라 종종 성능이 저하되는 반면, TANDEM의 선택적 질의는 높은 효율성을 유지한다.
• 절제 연구 (Ablation Studies):
  • QA 상호작용을 제거하면 SR@1.5가 35.3%에서 20.0%로 떨어지며, 이는 완전한 초기 설명이 있더라도 표적화된 상호작용이 모호성 해결에 필수적임을 나타낸다.
  • 공간 메모리를 제거하면 SR@1.5가 28.0%로 감소하여, 탐색된 공간에 대한 맥락을 유지하는 것의 중요성을 강조한다.
  • 두 구성 요소를 모두 제거하면 나이브한 제로샷 내비게이터(14.0% SR@1.5)가 된다.
• 백본 스케일링: 성능은 MLLM의 강도(예: GPT-5.4 > Qwen3.5-8B > Qwen3.5-4B)와 일관되게 비례하여 확장되며, 이는 강력한 추론 능력이 상호작용에 대한 의존도를 높이지 않고도 내비게이션 성능을 직접적으로 향상시킴을 시사한다.
• 상호작용 분석:
  • 타이밍: 유형 1(외형) 및 유형 2(영역) 질문은 타겟을 고정하기 위해 에피소드 초반(첫 30-40%)에 발생한다. 유형 3(방향) 질문은 교차점에서 공간적 혼란을 해결하기 위해 전반에 걸쳐 균등하게 발생한다. 유형 4(확인)는 타겟을 검증하기 위해 후반(약 80%)에 정점을 찍는다.
  • 효율성: TANDEM은 나이브한 에이전트보다 평균적으로 적은 질문을 던지면서도 더 높은 성공률을 달성한다. 유형 3 질문은 어려운 에피소드에서 가장 효과적이며, 탐색 공간의 불확실성을 최대 **47.5%**까지 감소시킨다.

5. 의의 및 주장

본 논문은 상호작용은 일반적인 백업 수단이 아니라, 유형화되고 선택적으로 사용될 때 가장 유용하다고 주장한다. 상호작용을 비용 민감형 자원으로 취급함으로써, 제안된 프레임워크는 다음과 같은 성과를 거둔다:

• 에이전트가 과도한 질의를 통해 성공률을 "조작"하는 것을 방지한다.
• 구조화된 공간 메모리와 비용 인식형 정책을 통해 제로샷 MLLM이 특정 작업 학습 없이도 복잡하고 모호한 환경을 효과적으로 탐색할 수 있음을 보여준다.
• 타겟 정체성, 공간적 불확실성, 또는 비효효율적인 오라클 사용 중 무엇으로 인해 실패했는지를 진단할 수 있는 도구(WSR 및 질문 유형 분석을 통해)를 제공한다.

저자들은 이 접근 방식이 정보의 가치와 획득 비용 사이의 균형을 맞추는 것이 효율적인 모호성 해소에 필수적임을 강조하며, 향 \후 Embodied AI 연구를 위한 견고한 베이스라인을 제공한다고 결론짓는다.