기술 요약: 앵커 기반 에피폴라 안내를 통한 드리프트 저항성 항행 세계 모델

1. 문제 제기

과거 상태와 행동을 기반으로 미래 관측을 예측하는 현재의 항행 세계 모델은 장기 구간에서 두 가지 치명적인 실패 모드를 겪습니다: 지각적 드리프트와 기하학적 드리프트.

• 지각적 드리프트: 표준 접근법은 예측된 프레임을 재귀적으로 다음 단계의 입력으로 피드백하는 자기회귀 (AR) 롤아웃을 사용합니다. 초기 예측의 사소한 오류가 시간이 지남에 따라 누적되어 장기 구간 시뮬레이션에서 시각적 품질 저하와 비일관된 콘텐츠를 초래합니다.
• 기하학적 드리프트: 예측된 미래는 종종 에이전트의 실제 운동이나 배경 장면의 기하학과 정렬되지 않습니다. 이러한 불일치는 예측된 프레임이 후속 시점 변경을 위한 신뢰할 수 없는 시각적 단서를 제공하기 때문에 발생합니다. 기존 방법들은 깊이 지도, 점 구름과 같은 비용이 많이 드는 3 차원 지도 (supervision) 를 사용하여 기하학적 충실도를 강제하려 시도하지만, 이러한 데이터는 대규모로 획득하기 어렵고 일반화 능력을 제한합니다.

본 논문은 효과적인 항행 계획이 에이전트의 운동에 의해 유도된 기하학에 충실하면서도 명시적인 3 차원 지도 없이 장기 구간에서 안정적으로 유지되는 미래 시뮬레이션을 필요로 한다고 주장합니다.

2. 방법론: DR-NWM

저자들은 **드리프트 저항성 항행 세계 모델 (DR-NWM)**을 제안합니다. 이는 이 수준의 계층적 예측 전략과 **앵커 조건부 확산 트랜스포머 (AC-DiT)**라는 새로운 아키텍처를 통해 두 가지 드리프트 유형을 모두 해결하는 생성 프레임워크입니다.

2.1 앵커 안내 롤아웃

DR-NWM 은 모든 프레임을 순차적으로 예측하는 대신, 예측 구간을 희소 시간 앵커로 경계 짓는 더 짧고 관리 가능한 청크로 분해합니다.

• 앵커 생성: 모델은 해당 행동 하위 시퀀스를 사용하여 관측 역사에서 직접 미래 단계로 점프함으로써 희소 미래 키 프레임 (앵커) 을 먼저 예측합니다. 이러한 앵커는 표준 AR 롤아웃에서 발견되는 오류의 재귀적 누적을 방지하는 안정적인 장기 목표를 제공합니다.
• 청크 생성: 앵커가 설정되면, 모델은 연속된 앵커 사이의 청크 내에서 중간 프레임을 생성합니다. 중요하게도, 중간 프레임의 생성은 과거 컨텍스트 (이전 앵커) 와 미래 앵커 모두에 조건부로 이루어집니다. 이러한 양방향 조건부 설정은 롤아웃을 분할하여 오류 전파의 범위를 제한합니다.

2.2 양방향 에피폴라 마스킹

3 차원 지도 없이 기하학적 드리프트를 해결하기 위해, 이 방법은 양방향 에피폴라 기하학을 통해 앵커를 사용하여 기하학적 제약을 정의합니다.

• 기하학적 위치 확인: 과거 앵커, 미래 앵커, 그리고 목표 중간 프레임을 고려할 때, 이 방법은 과거와 미래 앵커를 동일한 장면의 두 시점으로 간주합니다. 특징 매칭과 기본 행렬을 사용하여 과거 및 미래 앵커에서 매칭된 점들을 목표 프레임으로 투영하여 두 개의 에피폴라 선을 생성합니다.
• 교차 제약: 이러한 두 에피폴라 선의 교차점은 중간 프레임에서 대응 콘텐츠가 나타날 위치를 위한 위치 확인 단서를 제공합니다.
• 어텐션 마스킹: 이러한 기하학적 제약은 트랜스포머의 크로스 어텐션 레이어에 적용되는 이진 마스크 ($M_{past}$ 및 $M_{fut}$) 로 이산화됩니다. 이러한 마스크는 모델의 어텐션을 기하학적으로 일관된 영역으로 제한하여 명시적인 깊이 레이블 없이 공간적 기반을 확보합니다.

2.3 아키텍처: AC-DiT

핵심 생성 백본은 확산 트랜스포머 (DiT) 의 확장입니다.

• 다중 조건부 프레임워크: AC-DiT 는 미래 예측을 제약된 보간 작업으로 간주합니다. 스칼라 조건 (행동, 시간) 과 양방향 앵커 (과거 및 미래) 를 임베딩으로 인코딩합니다.
• 기하학적 안내: 트랜스포머는 크로스 어텐션 레이어를 통해 과거 및 미래 앵커와 상호작용하여 목표 잠재 토큰을 처리합니다. 여기서는 공간적 일관성을 강제하기 위해 양방향 에피폴라 마스크가 적용됩니다.
• 학습: 모델은 과거 관측, 미래 앵커, 행동 시퀀스에 조건부로, 예측된 노이즈와 추가된 가우시안 노이즈 간의 오차를 최소화하는 표준 제거 확산 손실을 사용하여 학습됩니다.

3. 주요 기여

1. DR-NWM 프레임워크: 항행 세계 모델에서 지각적 및 기하학적 드리프트를 공동으로 완화하는 생성 모델로, 장기 구간 시각적 품질, 기하학적 일관성, 다중 뷰 일관성에서 일관된 개선을 이끕니다.
2. 앵커 안내 롤아웃: 미래 앵커의 역할을 재정의하는 새로운 추론 전략입니다. 앵커는 재귀적 오류 누적을 끊는 안정적인 장기 목표일 뿐만 아니라 양방향 에피폴라 기반을 위한 기하학적 앵커로도 기능합니다. 이를 통해 명시적인 3 차원 지도 없이 기하학 인식 예측이 가능해집니다.
3. 하류 계획 이점: 본 논문은 개선된 예측 품질이 표준 플래너를 사용할 때 하류 계획 성능 (예: 더 낮은 궤적 오차) 으로 직접적으로 이어진다는 것을 보여줍니다. 이는 드리프트 저항성 모델의 실용적 유용성을 강조합니다.

4. 실험 결과

저자들은 DR-NWM 을 RECON, HuRoN, SCAND, TartanDrive라는 네 가지 항행 벤치마크에서 평가했습니다.

• 지각적 드리프트: 모든 데이터셋과 구간 (1 초에서 16 초) 에서 DR-NWM 은 시각적 품질 지표 (LPIPS, DreamSim, FID) 에서 강력한 베이스라인 (NWM 및 EgoWM) 을 능가했습니다. 개선은 자기회귀 베이스라인이 상당한 열화를 보인 더 긴 구간에서 가장 두드러졌습니다.
• 기하학적 드리프트: DR-NWM 은 베이스라인에 비해 더 낮은 에피폴라 거리 (ED) 와 샘프슨 오차 (SE) 를 달성하여 행동 유도 시점 변경과의 더 강력한 정렬을 나타냈습니다. 또한 더 낮은 MEt3R 점수를 기록하여 기하학 인식 정렬 후 우수한 다중 뷰 일관성을 입증했습니다.
• 계획 성능: 표준 플래너 (크로스 엔트로피 방법 및 NoMaD) 와 통합되었을 때, DR-NWM 은 절대 궤적 오차 (ATE), 최종 변위 오차 (FDE), 상대 포즈 오차 (RPE) 를 낮췄습니다. 이러한 이득은 특히 저샘플 영역에서 두드러졌는데, 이는 포괄적 탐색이 불가능할 때 고품질 미래 예측이 중요함을 시사합니다.
• 어블레이션 연구:
  • 자기회귀 롤아웃을 앵커 안내 롤아웃으로만 대체하면 시각적 품질이 개선되었지만 기하학적 드리프트는 완전히 해결되지 않았습니다.
  • 미래 조건부, 청크 생성, 에피폴라 마스킹을 결합한 전체 AC-DiT 모델이 가장 우수한 기하학적 일관성을 달성했습니다. 미래 앵커를 제거하면 양방향 제약이 약화되었고, 에피폴라 마스크를 제거하면 안내가 더 약한 선 기반 제약으로 감소했습니다.

5. 중요성과 주장

본 논문은 드리프트를 줄이고 행동 일관성 기하학적 기반을 강제하는 것 모두 항행을 위한 신뢰할 수 있고 실용적으로 유용한 세계 모델을 구축하는 데 필수적이라고 주장합니다.

희소 앵커와 양방향 청크 생성을 중심으로 예측 롤아웃을 재설계함으로써, DR-NWM 은 재귀적 오류 누적을 성공적으로 줄이고 값비싼 3 차원 지도 없이 더 강력한 기하학적 제약을 도입합니다. 저자들은 이 작업이 시각적으로 그럴듯할 뿐만 아니라 안정적이고, 기하학적으로 기반을 두며, 구체적 의사결정에 직접 유용한 세계 모델에 대한 추가 연구를 고무시킨다고 제시합니다. 결과는 고품질 미래 예측이 효과적인 하류 계획의 전제 조건임을 시사합니다. 더 나은 예측은 플래너가 의도된 운동과 목표 관측과 정렬된 궤적을 선택할 수 있게 하기 때문입니다.