기술 요약: VISTA – 액션 히스토리 컨디셔닝을 통한 스케일 인지형 시각적 내비게이션

1. 문제 정의

시각 내비게이션 파운데이션 모델(VNMs)은 다양한 로봇 형태와 환경에서 제로샷 배포가 가능한 엔드 투 엔드 학습 정책을 제공하는 것을 목표로 한다. 이러한 일반성을 달기 위해, 현재의 최첨단 모델들(예: ViNT, NoMaD)은 2D 웨이포인트(waypoint)를 훈련 데이터셋에서 관찰된 평균 웨이포인트 간격으로 나눈 **정규화된 액션(normalized actions)**을 예측한다.

그러나 이러한 정규화는 배포 시 결정적인 취약점인 **메트릭 불일치(metric misalignment)**를 유발한다.

• 모호성: 의도된 물리적 스텝 크기에 대한 명시적인 지식 없이, 모델은 오직 순차적인 이미지 관측값으로부터 스케일을 추론해야 한다.
• 결과: 동일한 정규화된 궤적에 서로 다른 스케일링 계수(로봇 속도나 제어 빈도에 따라 결정됨)를 적용하면 물리적 기하 구조가 변하게 된다. 이는 잘못된 물리적 궤적, 내비게이션 성능 저하, 그리고 특히 시각적 반복성이 있거나 구별력이 낮은 환경에서의 충돌 위험 증가로 이어진다.
• 인코더의 한계: 순수 시각 모델은 명시적인 기하학적 이해의 부족과 취약한 특징 추출로 인해 특징이 없는 환경(예: 균일한 복도, 눈밭)에서 어려움을 겪는 경우가 많다.

2. 방법론: VISTA 아키텍처

저자들은 물리적 스케일에 액션 예측을 접지(grounding)시키는 동시에 교차 임보디먼트(cross-embodiment)의 일반성을 유지하도록 설계된 새로운 아키텍처인 VISTA(Scale-Aware Visual Navigation via Action History Conditioning)를 제안한다. 이 방법은 두 가지 주요 방식으로 기존 VNMs를 수정한다.

A. 액션 히스토리 컨디셔닝 (Action History Conditioning)

VISTA는 단순히 시각적 관측($O_t$)과 목표 이미지($o_g$)에만 의존하는 대신, 정규화된 액션 히스토리($H_t$)에 정책을 컨디셔닝한다.

• 정의: $H_t = \{a_{t-k+1}, \dots, a_{t-1}\}$이며, 여기서 각 $a_i$는 스텝 크로 정규화된 과거 로봇 변위(displacement)를 나타낸다.
• 메커니즘: MLP는 이 히스토리를 토큰으로 인코딩한다. $H_t$에 컨디셔닝함으로써, 모델은 관찰된 시각적 변위와 물리적 스텝 크 사이의 관계를 학습한다.
• 이점: 이를 통해 모델은 로봇의 최대 속도($v_{max}$) 및 제어 빈도($f_{ctrl}$)의 변화에도 견고하게 유지되는 메트릭 정렬된 웨이포인트를 생성할 수 있으며, 결과적으로 스케일 추론의 모호성을 해결한다.

B. DINOv3 시각 인코더

특징이 부족한 환경에서의 인코더의 취약성을 해결하기 위해, VISTA는 표준 인코더를 DINOv3(대규모 큐레이션 데이터를 통해 학습된 자기 지도 학습 기반 Vision Transformer)로 대체한다.

• 역량: DINOv3는 고수준의 의미론적 이해와 미세한 공간적 특징을 모두 포착하는 풍부한 표현을 제공한다.
• 토큰화: 관측 및 목표 이미지 시퀀스는 DINOv3(ViT-S)에 의해 패치 토큰으로 처리된 후, 특징 차원을 맞추기 위해 투영 및 다운샘플링된다.

C. 훈련 전략

• 정규화된 메트릭 훈련: 모델은 정규화된 웨이포인트와 정규화된 메트릭 거리(목표까지의 거리)를 예측하도록 훈련된다.
• 다양한 간격: 고정된 주파수(예: 3Hz/4Hz)로 훈련되는 이전 연구들과 달리, VISTA는 2Hz에서 12Hz까지 다양하게 변화하는 샘플링 빈도로 훈련되어 다양한 속도에 대한 강건성을 확보한다.
• 손실 함수: 액션 예측(정규화된 웨이포인트에 대한 MSE)과 거리 예측(정규화된 메트릭 거리에 대한 MSE)을 결합한 멀티 태스크 손실을 사용하며, 계수 $\lambda$에 의해 균형을 맞춘다.

3. 주요 기여

1. 메트릭 불일치 분석: 본 논문은 시각적 입력만으로는 스케일 추론이 불충분하여, 다양한 배포 조건에서 궤적 드리프트가 발생하는 기존 VNMs의 실패 모드를 식별하고 분석한다.
2. VISTA 아키텍처: 물리적 스케일에 예측을 접지시키기 위한 액션 히스토리 컨디셔닝과 견고한 시각적 표현을 위한 DINOv3를 통합한 새로운 프레임워크를 제시한다.
3. 제로샷 일반화: 환경별 캘리브레이션이나 미세 조정 없이도 다양한 환경에서 견고한 제로샷 배포를 달성한다.

4. 실험 결과

오프라인 평가 (스케일 일관성)

• 설정: 과거 관측의 시간적 간격을 변화시켜(서로 다른 스텝 크스를 시뮬레이션) 동일한 입력에 대해 모델을 테스트하였다.
• 지표: 서로 다른 간격 하에서 예측된 궤적 간의 횡방향 오차(Cross-track error).
• 결과: VISTA는 베이스라인(ViNT, NoMaD)에 비해 현저히 낮은 횡방향 오차를 보였다. 액션 히스토리가 없는 VISTA(VISTA w/o AH)도 좋은 스케일 일관성을 보였으나, 전체 VISTA 모델이 가장 낮은 예측 손실을 달축성함으로써 액션 히스토리가 스케일 일관성을 유지하면서도 궤적 정확도를 향상시킨다는 것을 입증했다.

실세계 제로샷 배포

세 가지 뚜렷한 환경(Outdoor: 개활지, Forest: 시각적으로 밀집된 곳, Office-Lab: 시각적으로 반복되는 복도 및 좁은 회전 구간)에서 실험을 수행하였다.

• 성공률:
  • Outdoor: VISTA는 100% 목표 예측 정확도(3/3회 시도)와 95% 경로 위상 맵(PTN) 통과율을 달성했다.
  • Forest: VISTA는 100% 목표 예측(5/5회 시도)을 달성하였으며, 목표 식별에 실패한 베이스라인 모델들을 능가했다.
  • Office-Lab: VISTA는 100% 성공률(5/5회 시도)을 기록하며 좁은 문틀을 성공적으로 통과하고 올바른 타겟 도어를 식별했다. 반면, VISTA w/o AH 및 기타 베이스라인들은 빈번하게 충돌하거나 올바른 문을 식별하는 데 실패했다.
• 스텝 크기에 대한 강건성: 다양한 제어 빈도(1–4 Hz)와 속도(0.1–0.4 m/s)를 가진 급커브 실험에서, VISTA는 대부분의 구성에서 성공을 유지했다. ViNT와 같은 베이스라인은 스텝 크 변화에 적응하지 못해 저속 상황에서 지속적으로 실패했다.
• 섭동 강건성: VISTA는 동적 섭동(예: 위상 맵에는 문이 닫혀 있으나 실제로는 열려 있는 경우) 상황에서 감속 및 정지를 통해 성공적으로 대응했으며, 반복 루프 실험에서도 일관성을 유지했다.

5. 의의 및 주장

본 논문은 표현의 품질(representation quality)만으로는 신뢰할 수 있는 엔드 투 엔드 내비게이션을 보장하기에 불충선하다고 주장한다. DINOv3와 같은 고급 인코더가 지각적 모호성(perceptual aliasing)을 처리하는 데 필요하지만, 반드시 액션 히스토리에 의해 제공되는 **메트릭 스케일 운동 맥락(metric-scale motion context)**과 결합되어야 한다.

VISTA는 액션 히스토리에 컨디셔닝하는 방식이 파운데이션 모델로 하여서 다음을 가능하게 함을 입증한다:

1. 제로샷 배포 시 스케일 추론의 모호성을 해결한다.
2. 다양한 제어 빈도와 로봇 속도에 걸쳐 견고하게 일반화한다.
3. 복잡하고 미지의 환경(야외, 숲, 사무실)을 높은 성공률과 최소한의 충돌로 항해하며, 시각적 입력에만 의존하는 기존의 최첨단 VNMs를 능가한다.

저자들은 이 접근 방식이 일반화 가능한 시각 정책과 로봇 배포의 물리적 현실 사이의 간극을 메워, 임보디먼트별 캘리브레이션 없이도 신뢰할 수 있는 내비게이션을 가능하게 한다고 결론짓는다.