VLN-NF: Feasibility-Aware Vision-and-Language Navigation with False-Premise Instructions

1. 문제 정의 (Problem)

기존의 VLN (Vision-and-Language Navigation) 벤치마크 (R2R, REVERIE 등) 는 모든 지시 명령이 실현 가능하고, 언급된 목표 객체가 해당 공간에 존재한다고 가정합니다. 그러나 실제 로봇 적용 시, 사용자는 종종 잘못된 정보를 제공하거나 (예: "부엌 테이블 위의 접시를 가져오라"고 말하지만 접시는 실제로 거실에 없음), 객체의 위치를 잘못 기억하는 경우가 많습니다.

• 핵심 문제: 에이전트가 지시된 목표 객체가 존재하지 않는 경우, 무작정 탐색을 계속하거나 잘못된 객체를 착각하여 발견했다고 보고하는 (Hallucination) 것이 아니라, 충분한 증거를 바탕으로 탐색을 종료하고 '찾지 못함 (NOT-FOUND)'을 명시적으로 보고해야 합니다.
• 도전 과제: 부분 관측 가능성 (Partial Observability) 하에서 단일 시점으로는 목표의 부재를 확인할 수 없으므로, 에이전트는 해당 방을 체계적으로 탐색한 후 결정을 내려야 합니다.

2. 제안된 벤치마크: VLN-NF

이 논문은 실현 불가능한 목표 (False Premise) 를 가진 지시 명령을 포함하는 새로운 벤치마크 VLN-NF를 구축했습니다.

• 데이터 구성: 기존 REVERIE 데이터셋을 기반으로 합니다.
  • LLM 기반 재작성: 기존 지시문에서 목표 객체를 해당 방에 존재하지 않지만 현실적으로 plausible 한 다른 객체로 대체합니다.
  • VLM 기반 검증: 생성된 지시문의 목표 객체가 해당 방의 모든 파노라마 뷰에서 실제로 존재하지 않음을 시각적 모델 (VLM) 로 검증합니다.
  • 품질 관리: 인간 평가 결과, 생성된 데이터의 오류율이 2% 미만으로 매우 높음을 확인했습니다.
• 태스크: 에이전트는 지시된 방에 도달하고, 해당 방을 탐색한 후 목표가 있으면 FOUND, 없으면 NOT-FOUND 를 출력해야 합니다.

3. 평가 지표: REV-SPL

기존의 성공률 (Success Rate) 과 최단 경로 효율성 (SPL) 은 불완전한 탐색이나 조기 종료 (Premature Termination) 를 적절히 평가하지 못합니다. 이를 보완하기 위해 REV-SPL (Reach-Explore-Verify SPL) 을 제안했습니다.

• Reach (도달): 목표 방에 도달했는지 여부.
• Explore (탐색): 방 내부에서 얼마나 체계적으로 탐색했는지 (객체 커버리지).
• Verify (검증): FOUND 또는 NOT-FOUND 결정의 정확성.
• 특징: 불필요한 탐색을 벌이고도 정답을 맞춘 경우나, 충분한 탐색 없이 NOT-FOUND 를 선언하는 경우를 패널티로 부과하여, 증거 기반의 신중한 결정을 장려합니다.

4. 방법론: ROAM (Room-Object Aware Movement)

VLN-NF 의 난이도를 해결하기 위해 두 단계 하이브리드 프레임워크인 ROAM을 제안합니다.

1. Room-Level Navigator (방 수준 내비게이터):
   • 약한 감독 학습 (Weakly Supervised Learning) 을 사용하여 목표 방 (Target Room) 까지 이동하는 데 최적화됩니다.
   • 기존 VLN 모델 (DUET 등) 을 활용하여 방 식별 및 도달에 집중하며, 방 내부 탐색은 수행하지 않습니다.
2. In-room Explorer (방 내부 탐색기):
   • 목표 방에 도달한 후, LLM/VLM 을 활용하여 객체를 탐색하고 FOUND/NOT-FOUND 를 결정합니다.
   • FREE (Free-space Raycasting Estimation Engine): LLM 의 공간 추론 약점을 보완하기 위해, 현재 시점에서의 이동 가능 거리 (Free-space clearance) 를 레이캐스팅으로 계산하여 제공합니다. 이를 통해 에이전트가 더 넓은 미탐색 영역으로 이동하도록 유도하여 탐색 효율성을 높입니다.
   • 결정 로직: 객체 탐지기의 신뢰도가 임계값을 넘으면 FOUND, 충분한 탐색 후에도 증거가 없으면 NOT-FOUND 를 출력합니다.

5. 실험 결과

VLN-NF 의 검증 세트 (val-unseen) 에서 다양한 베이스라인과 비교 실험을 수행했습니다.

• 성능 비교:
  • ROAM: REV-SPL 6.1 (최고 성능).
  • Supervised Baseline (DUET): REV-SPL 4.2. (방 도달은 잘하지만, 방 내부 탐색이 부족하여 조기 종료하는 경향이 있음).
  • LLM-only Baselines (NavGPT, SoM 등): REV-SPL 1.0~1.5. (부분 관측 하에서 방을 찾지 못하거나, 공간 추론이 부족하여 비효율적인 탐색을 함).
• 주요 발견:
  • ROAM 은 기존 지도 학습 기반 에이전트보다 45% 향상된 성능을 보였으며, 이는 방 도달과 증거 기반 결정을 모두 잘 수행했기 때문입니다.
  • FREE 모듈을 추가함으로써 탐색 커버리지가 증가하고 REV-SPL 이 더욱 향상됨을 확인했습니다.
  • 기존 VLN (실현 가능한 명령만 있는 REVERIE) 에서도 ROAM 이 성능을 향상시켜, 제안된 방법이 일반 VLN 태스크에도 유용함을 보였습니다.

6. 의의 및 기여 (Significance & Contributions)

1. 새로운 벤치마크 (VLN-NF): 현실적인 오류 (False Premise) 를 다루는 VLN 태스크를 정립하고, 이를 위해 자동화된 데이터 생성 파이프라인을 구축했습니다.
2. 새로운 평가 지표 (REV-SPL): 단순 도달이 아닌, 탐색의 충실도와 결정의 정확성을 종합적으로 평가하는 지표를 제안했습니다.
3. 효과적인 아키텍처 (ROAM): 지도 학습 (Room Navigation) 과 LLM/VLM 기반 추론 (In-room Exploration) 을 결합한 하이브리드 접근법이 부분 관측 하의 불확실한 명령 처리에 효과적임을 입증했습니다.
4. 실제 적용 가능성: 로봇이 잘못된 지시를 받았을 때 무작정 수행하지 않고, "찾을 수 없다"고 명확히 보고할 수 있는 능력을 함양함으로써, 실제 환경에서의 로봇 신뢰성을 높이는 중요한 첫걸음을 제시했습니다.

이 연구는 VLN 분야에서 불확실성 관리 (Uncertainty Management) 와 거부 (Abstention) 능력을 체계적으로 연구하는 중요한 이정표가 될 것으로 기대됩니다.