기술 요약: WorldVLN

문제 정의

본 논문은 폐루프 인식과 행동을 통해 3D 환경 (실내 및 실외 모두) 을 항해하기 위해 자연어 지시를 따라야 하는 에이전트를 대상으로 하는항공 비전 - 언어 항해 (VLN)작업을 다룹니다. 저자들은 관찰과 지시를 직접 행동으로 매핑하는 기존비전 - 언어 - 행동 (VLA)모델이 제한된 일반화 능력을 가진다고 주장합니다. 이는 표준 VLA 모델이 객체 인식 및 지시 구문 분석에 대한 사전 지식을 계승하지만, 에이전트의 움직임에 반응하여 환경이 어떻게 진화하는지, 즉행동 조건부 세계 역학을 명시적으로 모델링하지 못하기 때문입니다.

본 논문은 항공 VLN 을예측 주도 세계 - 행동 문제로 정의합니다. 직접적인 조건부 매핑 대신, 에이전트는 잠재적 세계의 진화를 예상하고 예측된 결과에 기반하여 행동을 선택해야 합니다. 이 접근법은 항해가 본질적으로 예측적이라는 생물학적 공간 지능과 강력한 예측 능력을 보여주는 최근의 비디오 생성 모델의 발전에 영감을 받았습니다.

방법론: WorldVLN

저자들은 항공 VLN 에 특화된 최초의 자기회귀 세계 행동 모델 (WAM) 인WorldVLN을 제안합니다. 이 시스템은 특정 모델 아키텍처와 2 단계 훈련 프레임워크로 구성됩니다.

1. 모델 아키텍처

WorldVLN 은 사전 훈련된잠재 자기회귀 비디오 트랜스포머(구체적으로 InfinityStar) 를 세계 백본으로 재사용합니다. 전체 시각적 클립을 렌더링하는 전통적인 비디오 생성 모델과 달리, WorldVLN 은 예측된 잠재 표현을단거리 세계 상태 전이로 취급합니다.

• 입력: 모델은 언어 지시 ($\ell$) 와 인코딩된 잠재 관찰의 역사 ($z_{\le t}$) 를 입력받습니다.
• 예측: 백본은 미래 상태 진화를 나타내는 다음 잠재 세계 세그먼트 ($\hat{z}_{t+1:t+K}$) 를 예측합니다.
• 행동 디코딩: 이러한 잠재들을 RGB 프레임으로 디코딩하는 대신, 전용행동 디코더($D_\phi$) 가 잠재 전이를 직접 실행 가능한 웨이포인트 행동 ($a_{t:t+K-1}$) 으로 매핑합니다. 이는 상대적인 3D 이동 및 요 (yaw) 변화로 정의됩니다.
• 폐루프: 행동을 실행한 후 에이전트는 실제 관찰을 받으며, 이는 새로운 잠재로 인코딩되어 자기회귀 컨텍스트로 피드백됩니다. 이는 환상적인 비디오 프레임이 아닌 실제 세계 상태에 기반한 후속 예측을 가능하게 하는 연속적인관찰 - 행동 - 업데이트루프를 생성합니다.

2. 2 단계 훈련 프레임워크

비디오 생성 사전 지식을 항해 역학과 정렬하기 위해 WorldVLN 은 2 단계 훈련 프로세스를 사용합니다:

• 1 단계: 지도 학습 그라운딩

  • 백본: 지시 - 비디오 쌍에 대한 지도 미세 조정 (SFT) 을 통해 훈련되어, 지시와 과거 관찰에 조건부인 미래 잠재 세그먼트를 예측합니다.
  • 행동 디코더: 잠재 세계 전이에서 전문가 웨이포인트 행동을 복원하도록 훈련됩니다. 수렴을 가속화하기 위해 비디오 디코더 및 시각적 오도메트리 백본의 사전 지식을 사용하여 초기화됩니다.
  • 목표: 잠재 세계 표현을"행동 디코딩 가능"하게 만들고 지시 조건부 항해 역학에 그라운딩하는 것입니다.

• 2 단계: 행동 인식 GRPO

  • 저자들은 자기회귀 WAM 에 특화된 강화 학습 방법인**행동 인식 그룹 상대 정책 최적화 (GRPO)**를 소개합니다.
  • 프로세스: 모델은 시뮬레이터에서 온라인 자기회귀 롤아웃을 수행합니다.
  • 보상: 복합 보상 함수가 사용됩니다:
    • 궤적 보상: 전문가 행동과의 기하학적 일관성을 측정합니다.
    • 작업 보상: 최종 목표 도달 성공 여부를 평가합니다.
    • 참고 보상: 정책이 원래 비디오 생성 사전 지식에서 벗어나는 것을 정규화하여"상상"능력을 유지합니다.
  • 시간적 감쇠: 보상에 감쇠 가중치 ($\gamma$) 를 적용하여 초기 결정을 강조합니다. 이는 초기 결정이 더 긴 미래 관찰 및 행동 체인에 영향을 미치기 때문입니다.
  • 목표: 하류 결과에 기반하여 웨이포인트 결정을 최적화하고, 현재 행동이 미래 항해 성공에 어떻게 영향을 미치는지 모델에게 학습시키는 것입니다.

주요 기여

1. 항공 VLN 을 위한 최초의 자기회귀 WAM: 본 논문은 잠재 세계 표현을 시간적으로 예측하고, 이를 저수준 행동으로 디코딩하며, 실제 관찰에 기반한 결정으로 루프를 닫는 모델을 제안합니다.
2. 행동 인식 GRPO: 온라인 롤아웃을 통해 잠재 세계 - 행동 표현을 항해 결과와 정렬하는 최초의 RL 방법을 도입했습니다.
3. 최첨단 성능: 이 모델은 실외 및 실내 벤치마크 모두에서 기존 VLA 베이스라인보다 상당한 개선을 달성했습니다.
4. 제로샷 실세계 이전: 추가 미세 조정 없이 시뮬레이션에서 실제 드론 배포로 이전할 수 있는 능력을 입증했습니다.

실험 결과

저자들은 WorldVLN 을 두 가지 공개 벤치마크인UAV-Flow(실외) 와IndoorUAV(실내) 에서 평가했습니다.

• 정량적 향상:

  • UAV-Flow-Sim에서 WorldVLN 은 고정 템플릿 및 오픈 어휘 지시에 대해 각각79.12%및78.02%의 평균 성공률 (SR) 을 달성했습니다. 이는 가장 강력한 VLA 베이스라인 (예: OpenVLA 및 $\pi_0$) 보다12% 이상의 개선을 의미합니다.
  • IndoorUAV-VLA에서 전체 테스트 세트에서41.76%의 SR 을 달성하여 최상위 베이스라인보다14.60 퍼센트 포인트더 높은 성능을 보였습니다.
  • 이 모델은 어려운 경우 (예: 실내 항해의"Hard"분할) 와 공간적으로 정밀한 작업 (예: 착륙, 이동, 상승/하강) 에서 특히 큰 개선을 보였습니다.

• Ablation 연구:

  • WAM 대 VLA: 처음부터 훈련된 OpenVLA 와 비교하여 WorldVLN 은 더 적은 훈련 단계로 더 높은 성공률에 도달했으며, 이는 WAM 공식이 항공 VLN 에 더 효과적인 학습 구조임을 시사합니다.
  • 자기회귀의 필요성: 자기회귀 업데이트를 제거하고 전체 시퀀스 예측을 사용한 경우 의미론적 드리프트와 장면 붕괴가 발생하여, 일관된 시각 - 공간 표현을 유지하기 위해 폐루프 업데이트가 필수적임을 확인했습니다.
  • 행동 인식 GRPO: SFT 포화 후 RL 단계를 추가하면 10 점 이상의 추가 성능 향상을 제공하여 복잡한 기동 (예: 원형 궤적) 에서 기하학적 정확도를 향상시켰습니다.

• 실세계 배포:

  • 이 모델은 Jetson Orin NX 와 PX4 비행 컨트롤러를 갖춘 맞춤형 쿼드콥터 (250mm 휠베이스) 에 배포되었습니다.
  • 시뮬레이션 데이터만으로 훈련되었음에도 불구하고, WorldVLN 은 실내 (MoCap 장비 구비 아레나) 와 실외 (GPS/LiDAR) 환경 모두에서 언어 지시를 성공적으로 따랐으며, 제로샷 일반화를 입증했습니다.

중요성과 주장

본 논문은WorldVLN 이 직접 관찰 - 행동 매핑에서 예측 주도 세계 - 행동 모델링으로 패러다임을 전환함으로써 공간 행동 작업에 유망한 경로를 제공한다고 주장합니다.

• 핵심 논거: 저자들은 생물학적 항해가 예측적이며, 비디오 기반 세계 모델이 표준 VLM 기반 VLA 가 부족한 운동, 시점 전환, 물리적 진화와 같은 필요한 시공간 사전 지식을 보유하고 있다고 주장합니다.
• 겸손한 주장: 저자들은 실험이 현재상대적으로 단거리항공 항해에서만 검증되었다는 한계를 인정합니다. 장거리 VLN 과 복잡한 다단계 지시는 아직 탐구되어야 한다고 명시합니다.
• 배포 현실: 실세계 결과는 유망하지만, 백본의 계산 비용으로 인해 현재 배포는서버 측 추론에 의존하며, 이는 완전한 온보드 실행을 제한합니다. 또한 시스템은 인간 감독과 안전 제약 없이 공공 또는 안전 중요 환경에 무감독 배포될 준비가 되지 않았음을 강조합니다.

요약하자면, WorldVLN 은 자기회귀 세계 예측과 강화 학습을 통합함으로써 항공 항해 에이전트의 일반화 및 공간 추론 능력을 크게 향상시킬 수 있음을 보여주며, 더 복잡한 구체화 작업의 기반을 제공합니다.