Learning Goal-Oriented Vision-and-Language Navigation with Self-Improving Demonstrations at Scale

1. 문제 정의 (Problem)

기존의 비전 - 언어 내비게이션 (VLN) 연구는 주로 인간이 제공하는 상세한 경로 지시 (예: "복도를 따라가서 왼쪽으로 꺾고 냉장고 앞에 멈춰라") 에 의존해 왔습니다. 그러나 실제 응용 환경에서는 인간이 **"부엌에서 숟가락을 가져와 줘"**와 같이 목표만 제시하고 구체적인 경로는 탐색하도록 요구하는 목표 지향적 (Goal-Oriented) 내비게이션이 더 일반적입니다.

이러한 목표 지향적 태스크에서 에이전트는 미지의 환경에서 목표를 찾기 위해 탐색 (Exploration) 능력이 필수적입니다. 하지만 기존 방법론들은 다음과 같은 한계를 가집니다:

• 최단 경로 의존성: 대부분의 학습 데이터가 최단 경로 (Shortest Path) 에 기반하여 생성됨. 이는 에이전트가 실패를 경험하고 오류를 수정하는 탐색 전략을 학습할 기회를 박탈함.
• 탐색 사전 지식 부족: 최단 경로만 모방하는 학습은 미지의 환경에서 에이전트가 효율적으로 탐색하거나 유사한 장소를 구별하는 능력을 기르지 못하게 함.
• 비용 문제: 고품질의 탐색 데이터를 얻기 위해 인간이 직접 시뮬레이션에서 경로를 표시하는 것은 비용이 매우 많이 들고 확장성이 떨어짐.

2. 방법론 (Methodology)

이 논문은 **SID (Self-Improving Demonstrations)**라는 새로운 학습 패러다임을 제안합니다. 이는 에이전트 스스로가 생성한 성공적인 탐색 데이터를 '자신만의 시연 (Demonstration)'으로 활용하여 점진적으로 성능을 향상시키는 반복적 자기 개선 (Iterative Self-Improving) 프로세스입니다.

핵심 단계:

1. 기초 에이전트 학습 (Base Agent Training):
   • Matterport3D (MP3D) 환경에서 최단 경로 데이터를 기반으로 초기 내비게이션 에이전트 (DUET 모델 사용) 를 학습시킵니다.
2. 자기 개선 시연 생성 (Self-Improving Demonstrations Generation):
   • 학습된 에이전트가 새로운 경로를 탐색하도록 합니다.
   • 필터링: 에이전트가 목표에 도달하지 못하거나 경로 길이를 초과하는 실패 시나리오는 제외하고, 성공적으로 목표를 찾은 탐색 경로만 선별합니다.
   • 이 과정에서 에이전트는 유사한 방을 구별하거나 잘못된 방향으로 갔다가 돌아오는 등, 최단 경로에는 없는 강력한 탐색 전략을 학습하게 됩니다.
3. 반복적 학습 (Iterative Training):
   • 필터링된 성공적인 탐색 데이터를 새로운 학습 데이터셋으로 사용하여 에이전트를 재학습 (Pretraining 및 Finetuning) 합니다.
   • 이 과정을 여러 번 반복하면 에이전트는 더 나은 탐색 전략을 학습하고, 더 고품질의 시연 데이터를 생성하는 선순환 구조가 형성됩니다.
4. 확장 및 전이 (Scaling & Transfer):
   • MP3D 에서 수렴한 후 HM3D 등 새로운 환경으로 데이터를 확장하여 860 개 이상의 환경에서 4,600 만 개 이상의 대규모 탐색 궤적을 생성합니다.
   • VLM 캡션 증강: 생성된 이미지 - 목표 궤적에 Vision-Language Model (InternVL) 을 사용하여 상세한 텍스트 설명 (Caption) 을 생성합니다. 이를 통해 이미지 목표 탐색을 **언어 목표 탐색 (REVERIE, SOON 등)**으로 전환합니다.

3. 주요 기여 (Key Contributions)

• SID 프레임워크 제안: 인간 시연에 의존하지 않고, 에이전트 스스로의 성공적인 탐색 궤적을 통해 탐색 전략을 학습하는 최초의 대규모 자기 개선 학습 방법론을 제시했습니다.
• 대규모 탐색 데이터셋 (SID-VLN): 860 개의 환경에서 생성된 4,600 만 개 이상의 언어 - 목표 탐색 궤적을 공개했습니다. 이는 기존 데이터셋 (AutoVLN, NavRAG 등) 대비 약 20 배 이상 확장된 규모이며, 단순한 경로가 아닌 강력한 탐색 전략을 포함합니다.
• SOTA 성능 달성: 목표 지향적 VLN 태스크 (REVERIE, SOON) 에서 새로운 최첨단 (State-of-the-Art) 성능을 기록했습니다. 특히 SOON 벤치마크에서 unseen validation 기준 50.9% 의 성공률을 달성하여 기존 최고 성능보다 13.9% 포인트 이상 향상되었습니다.
• 강력한 전이 능력: 생성된 SID-VLN 데이터는 객체 목표 내비게이션 (Object-Goal Nav) 과 연속 환경 내비게이션 (VLN-CE) 으로도 효과적으로 전이되어 성능을 향상시킵니다.

4. 실험 결과 (Results)

• 성능 향상:
  • SOON: Validation Unseen 기준 SR (Success Rate) 50.9%, SPL (Success weighted by Path Length) 38.4% 달성 (기존 SOTA 대비 압도적 우위).
  • REVERIE: Validation Unseen 기준 SR 59.4%, RGSPL 29.7% 달성.
  • VLN-CE: StreamVLN 모델에 SID 데이터를 적용했을 때, 탐색 능력 향상으로 인해 NE (Navigation Error) 와 SR 이 크게 개선되었습니다.
• 탐색 능력 분석:
  • SID 로 학습된 에이전트는 최단 경로만 학습한 에이전트보다 더 많은 방을 탐색하고, 유사한 장소를 구별하는 능력이 뛰어났습니다.
  • 반복 학습을 거칠수록 에이전트의 평균 경로 길이는 줄어들고 (효율성 향상), 성공률은 지속적으로 증가했습니다.
• 자기 개선 효과:
  • 무작위 탐색 데이터나 최단 경로 데이터만 추가한 경우와 비교했을 때, 에이전트 스스로 생성한 **탐색 시연 (Exploration Demonstrations)**이 성능 향상의 핵심 요인임을 입증했습니다.

5. 의의 및 중요성 (Significance)

• 데이터 수집 비용 절감: 고비용의 인간 시연 데이터 없이도 에이전트 스스로가 고품질의 탐색 데이터를 생성하고 학습할 수 있는 체계를 마련했습니다.
• 실제 적용 가능성: 실제 로봇이나 에이전트가 복잡한 환경에서 목표를 찾기 위해 필요한 능동적 탐색 (Active Exploration) 능력을 효과적으로 학습시켜, 실세계 적용 가능성을 높였습니다.
• 확장성: 다양한 환경 (MP3D, HM3D) 과 태스크 (이미지 목표, 언어 목표, 객체 목표) 로 확장 가능하여, 통합된 목표 지향적 내비게이션 학습의 새로운 표준을 제시합니다.
• 자기 개선 에이전트의 진화: 로봇 공학 및 embodied AI 분야에서 에이전트가 외부 개입 없이 스스로의 경험을 통해 지속적으로 진화할 수 있는 가능성을 보여주었습니다.

이 논문은 목표 지향적 내비게이션 분야에서 탐색 전략의 학습이 단순한 경로 추종보다 훨씬 중요함을 입증하고, 이를 해결하기 위한 대규모 자기 개선 학습 프레임워크를 성공적으로 구현했다는 점에서 큰 의의를 가집니다.