기술 요약: VANDERER

문제 정의

자율 이동 에이전트는 미지의 환경을 탐사하고 작업을 계획하기 위해 효율적인 탐사 전략을 필요로 한다. 전통적인 방식은 전역 점유 지도(global occupancy map)를 구축하는 데 의존하며, 이는 정밀한 위치 추정 및 고성도 센서(예: LiDAR, IMU, 깊이 카메라)를 필요로 한다. 이러한 하드웨어 요구 사항은 단안 카메라(monocular camera)로 제한된 센서 제약 환경에서 상당한 제약을 가한다. 또한, 실외 환경에서는 기하학적 틈새(geometric gaps)가 주행 가능한 프런티어로 오인될 수 있으며, 의미론적 또는 법적 제약(예: 교통 규정)은 기하학적 접근 가능성과 관계없이 이동을 제한하기도 한다.

강화 학습(RL)을 사용하는 기존의 학습 기반 방법들은 특히 환경 특화된 훈련과 대규모 데이터셋을 필요로 하는 경우가 많다. 확산 정책(diffusion policies)이 일반화 측면에서 유망한 대안으로 등장했지만, 이들은 주로 정책의 분산(variance)에 의존하여 발견(discovery)을 수행하며 장기적 탐사에 필요한 전역 정보를 결여하고 있다. 근본적인 과제는 다음과 같다: 어떻게 하면 명시적인 전문가 탐사 데이터(전문가 데이터는 희귀하며 단일한 최적 행동으로 정의하기 어렵다)에 의존하지 않고 대용량 모델이 탐사적으로 행동하도록 훈련할 것인가?

방법론

본 논문은 단안 RGB 데이터만을 사용하여 실외 환경을 위한 맵 프리(map-free) 탐사 프레임워크인 VANDERER를 제안한다. 이 시스템은 **시각적 호기심 모듈(Visual Curiosity Module, VCM)**에 의해 유도되는 사전 훈련된 확산 정책을 활용하는 "생성 후 최적화(generate-then-optimize)" 접근 방식을 채택한다.

핵심 구성 요소

1. 확산 정책 (Diffusion Policy):

   • 이 정책은 궤적 데이터를 모방하도록 훈련되며, RGB 관측으로부터 직접 실행 가능한 안전한 행동 시퀀스(2D 탑다운 투영에서의 웨이포인트)를 예측한다.
   • 현재 및 과거 프레임을 잠재 상태(latent states)로 인코딩하기 위해 변이형 오토인코더(VAE)를 사용한다.
   • 컨텍스트 트랜스포머(context transformer)는 이러한 상태들을 처리하여 UNet 스타일의 확산 모델에 조건을 부여하며, 이 모델은 잠재 행동 시퀀스를 반복적으로 디노이징(denoising)한다.

2. 시각적 호기심 모듈 (Visual Curiosity Module, VCM):

   • 미래 상태 예측: VCM은 내비게이션 월드 모델(Navigation World Model, NWM)을 사용하여 확산 정책에서 생성된 후보 행동 시퀀스로 인해 발생할 미래의 잠재 상태를 예측한다.
   • 호기심 기반 비용 함수: 전역 지도 없이 미래 상태의 "탐사 가치"를 정량화하기 위해, 시스템은 예측된 미래 상태를 이전에 관찰된 상태들의 데이터베이스($S$)와 비교한다. 참신함(novelty)은 MASt3R를 통한 패치 수준 특징의 **빠른 상호 근접 이웃 매칭(fast reciprocal nearest neighbor matching)**을 통해 평가된다. 비용($L_c$)은 예측된 상태와 가장 유사한 데이터베이스 내 상태 사이의 최소 거리로 정의된다. 낮은 비용은 더 높은 참신함을 나타낸다.
   • 확산 유도 (Diffusion Guidance): 최적의 행동을 탐욕적으로 선택하는 대신, VCM은 초기 노이즈 분포를 최적화함으로써 확산 과정을 유도한다. 샘플링 기반 전략(교차 엔트로피 방법, Cross-Entropy Method)을 사용하여 여러 노이즈 샘플을 평가하고, 호기심 비용에 따라 상위 성능 후보를 선택한 뒤 노이즈 분포의 평균과 분산을 업데이트한다. 이를 통해 환경 커버리지를 최대화하면서 생성 안정성을 유지하도록 샘플링 과정을 유도한다.

추론 전략

추론 단계에서 에이전트는 확산 정책으로부터 여러 행동 후보를 생성한다. VCM은 이러한 행동의 결과를 예측하고, 호기심 비용을 계산하며, 샘플링에 사용되는 노이즈 분포를 정제한다. 이를 통해 사전 훈련된 정책이 추가적인 훈련이나 특화된 전문가 데이터 없이도 탐사 목적에 적응할 수 있게 한다.

주요 기여

1. 새로운 프레임워크: 단안 RGB 데이터를 사용하는 시각적 호기심 유도 확산 정책을 갖춘 엔드투엔드 맵 프리 실외 탐사 프레임워크를 제안하며, 복잡한 매핑과 값비싼 센서의 필요성을 제거하였다.
2. 시각적 호기심 모듈: 월드 모델을 통해 행동의 결과를 예측하고, 참신함 비용에 기반하여 노이즈 분포를 최적화함으로써 더 높은 탐사 잠재력을 가진 출력을 생성하도록 확산 정책을 유도하는 모듈을 제안하였다.
3. 추론 단계 최적화: 추가적인 훈련이나 특화된 탐사 데이터셋 없이도 사전 훈련된 확산 정책을 효율적인 탐사를 위해 적응시키는 전략을 제시하였다.
4. 실증적 검증: VANDERER가 탐사 효율성 측면에서 최신 베이스라인 모델들을 능가함을 광범ale한 실험을 통해 입증하였다.

결과

본 방법은 CARLA 시뮬레이터 내의 5가지 다양한 "Town" 환경에서 NoMaD(RGB 전용 확산 방식), NoMaD*(공정한 비교를 위해 유사한 아키텍처를 가진 수정된 NoMaD), 그리고 DP-RND(선택 메트릭으로 Random Network Distillation을 사용)와 같은 기존 베이스라인들과 비교 평가되었다.

• 탐사 효율성: VANDERER는 모든 베이스라인을 일관되게 능가했다. 5개 환경 전체에서 VANDERER는 NoMaD보다 평균 13.4% 더 넓은 영역을 탐사했다.
• 경로 길이당 면적 (Area Per Path Length, APL): VANDERER는 가장 높은 APL 점수를 기록했으며, 이는 이동 거리 대비 더 효율적인 커버리지를 달성했음을 나타낸다.
• 강건성: NoMaD가 일부 사례에서 약간 더 높은 커버리지를 보였으나, VANDERER에 비해 현저히 높은 정책 실패율(충돌)을 겪었다. VANDERER는 수정된 NoMaD*와 유사한 낮은 실패율(약 0.046%)을 유지했다.
• 절제 연구 (Ablation Studies):
  • 빠른 상호 매칭(fast reciprocal matching) 모듈을 제거했을 때 성능 저하가 발생하였으며, 이는 기하학적 변이에 따른 시각적 유사성을 처리하는 데 있어 해당 모듈의 필요성을 확인시켜 주었다.
  • 확산 정책을 표준 가우시안 분포(순수하게 CEM 최적화에 의존)로 대체했을 때, 최적의 행동을 생성하지 못하고 빈번한 충돌이 발생했으며 실행 시간이 4배 증가하였다. 이는 확산 사전 확률(diffusion prior)의 중요성을 강조한다.
  • 탐욕적 선택(greedy selection) 베이스라인과의 비교에서, 탐욕적 접근 방식은 종종 반복적인 루핑과 진동을 유발하는 반면, VANDERER의 유도 메커니즘은 견고한 탐사를 위한 필수적인 확률성을 유지함을 보여주었다.

의의 및 주장

본 논문은 시각적 호기심이 전역 지도나 오도메트리(odometry)가 없는 상황에서도 탐사를 주도하는 강력한 지표임을 입증함으로써, 센서 제약이 있는 탐사의 결정적인 한계를 해결한다고 주장한다. 본 연구는 실외 환경에서 시각적 호기심과 기하학적 호기심 사이의 직접적인 상관관관계를 확립하였으며, 에이전트가 단안 카메라만을 사용하여 효율적인 탐사를 위해 이 관계를 효과적으로 활용할 수 있음을 증명하였다.

나아가 저자들은 사전 훈련된 확산 모델이 특화된 전문가 데이터 없이도 복잡한 탐사 목적을 향해 유도될 수 있다는 잠재력을 강조한다. 모델을 재학습시키는 대신 추론 과정을 최적화함으로써, VANDERER는 대규모의 미지도 실외 환경에서 작동하는 자율 에이전트를 위한 확장 가능한 솔루션을 제공한다.