기술 요약: SWAM – 체화된 내비게이션을 위한 공간 인지 세계 행동 모델 (Spatial-perceiving World Action Model)

1. 문제 정의

시각적 목표 조건부 내비게이션(Visual goal-conditioned navigation)은 에이전트가 현재 관측값으로부터 목표 관측값까지 실행 가능한 궤적을 추론하기 위해 시각적 인지, 공간적 추론, 의사결정을 통합해야 합니다. 기존의 접근 방식은 크게 두 가지 범주로 나뉘며, 두 방식 모두 상당한 한계점을 가집니다:

• 직접 온라인 정책 방법 (Direct Online Policy Methods): 관측에서 행동으로의 매핑을 직접 학습합니다. 추론 효율성은 높지만, 명시적인 시각적 지평(visual horizons)이 부족하며 복잡한 환경에서 오류 복구에 어려움을 겪는 경우가 많습니다.
• 검증 중심 세계 모델 (Verification-Centric World Models): 외부 정책이 후보 행동 시퀀스를 샘플링하고, 세계 모델(비디오 예측기)이 미래의 시각적 궤적을 롤아웃하여 어떤 후보가 목표와 가장 잘 일치하는지 검증하는 2단계 파이프라인을 채택합니다. 이 방식은 다음과 같은 문제를 안고 있습니다:
  1. 후보 의존성 (Candidate Dependence): 결정의 품질이 샘플링된 후보들의 커버리지에 의해 제한됩니다.
  2. 계산 비효율성 (Computational Inefficiency): 철저한 샘플링과 반복적인 롤아웃은 특히 장기 목표(long-horizon) 작업에서 과도한 추론 비용을 발생시킵니다.
  3. 기하학적 불일치 (Geometric Inconsistency): 경로 제안과 환경 예측의 결합 해제(decoupling)로 인해, 명시적인 공간 제약이 부족하여 급격한 시점 변화나 실행 불가능한 궤적이 발생할 수 있습니다.

식별된 핵심 문제는 경로 제안과 환경 예측의 결합 해제로, 세계 모델을 목표와 일치하는 궤적을 생성하는 능동적인 생성기가 아닌 수동적인 평가자로 취급한다는 점입니다.

2. 방법론: SWAM

저자들은 **관측-행동 공동 생성(joint observation-action generation)**을 수행하는 작업 중심 프레임워크인 **SWAM (Spatial-perceiving World Action Model)**을 제안합니다. SWAM은 사전 샘플링된 후보를 검증하는 대신, 단 한 번의 순방향 패스(forward pass)를 통해 중간 시각 상태(RGB-D 시퀀스)와 그에 대응하는 행동 궤적을 동시에 합성합니다.

2.1 아키텍처

SWAM은 내비게이션에 맞게 조정된 사전 학습된 확산 트랜스포머(Diffusion Transformer, DiT) 백본(구체적으로 CogVideoX)을 기반으로 구축되었습니다:

• 통합 토큰 시퀀스 (Unified Token Sequence): 모델은 시작($o_0$) 및 목표($o_G$) 관측을 조건으로 입력받습니다. 이는 중간 RGB 토큰, 깊이(depth) 토큰, 그리고 행동 토큰의 시퀀스를 공동으로 생성합니다.
• 잠재 표현 (Latent Representation): RGB 이미지와 깊이 지도는 동결된 3D 변이형 오토인코더(VAE)를 사용하여 잠재 특징 맵으로 인코딩됩니다. 행동은 학습 가능한 MLP를 통해 행동 토큰으로 투영됩니다.
• 학습 전략: 학습 과정에서 모델은 RGB 입력으로부터 프레임당 깊이 의사 라벨(pseudo-labels)을 생성하기 위해 DepthAnything v3를 사용하여, 실제 정답 깊이 데이터 없이도 공간적 사전 정보를 제공합니다. 추론 시에는 단안(monocular) RGB 입력만을 필요로 합니다.

2.2 핵심 구성 요소

생성된 행동이 기하학적으로 실행 가능하고 시각적 단서와 정렬되도록 하기 위해, SWAM은 두 가지 특정 모듈을 도입합니다:

1. 시각 가이드 행동 정교화 (Visual-Guided Action Refinement, VGAR):

   • 최종 행동 디코딩 전에 적용되는 경량 모듈입니다.
   • 게이트형 잔차 교차 주의(gated residual cross-attention) 메커니즘을 통해 생성된 RGB-D 증거를 행동 토큰에 주입합니다.
   • 이를 통해 공동 확산 백본을 수정하지 않고도 국소적 기하학적 단서에 의해 행동 판독값이 정교해질 수 있도록 합니다.

2. 궤적 규모 정규화 (Trajectory-Scale Regularization, TSR) 손실:

   • 행동에 대한 표준 확산 손실은 행동이 긴 지평에 걸쳐 통합될 때 누적 오차(drift)를 유발할 수 있습니다.
   • TSR 손실은 예측된 궤적의 **누적 변위(cumulative displacement)**를 실제 정답 목표 위치와 직접 비교하여 감독합니다.
   • 공식: $\mathcal{L}_{TSR} = \frac{\| \hat{p}_N - p_G \|_2}{N}$, 여기서 $\hat{p}_N$은 통합된 종점이고 $p_G$는 목표입니다. $1/N$ 정규화는 다양한 궤적 길이에 걸쳐 안정성을 보장합니다.

2.3 학습 목적 함수

전체 손실은 표준 DDPM 노이즈 제거 목적 함수와 TSR 손실을 결합합니다:
$$\mathcal{L} = \mathcal{L}_{DDPM} + \lambda_{TSR} \mathcal{L}_{TSR}$$
새롭게 추가된 모듈(깊이 인코딩, VGAR, 행동 헤드)은 사전 학습된 비디오 생성기의 풍부한 시공간적 사전 정보를 보존하기 위해 제로 가중치(zero weights)로 초기화되어 점진적인 적응을 가능하게 합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 주장합니다:

1. SWAM 프레임워크: 후보 기반의 검증 중심 파이프라인을 단일 패스 추론 프로세스로 대체하여 목표 정렬과 공간적 일관성을 보장하는 공동 관측-행동 생성 프레임워크를 제시합니다.
2. 새로운 모듈: 행동-시각 정렬을 향상시키고 궤적 드리프트를 줄이기 위해 시각 가이드 행동 정교화(VGAR) 모듈과 궤적 규모 정규화(TSR) 손실을 도입했습니다.
3. 실증적 검증: RECON, SCAND, TartanDrive, HuRoN 등 여러 데이터셋에 대한 포괄적인 평가를 통해 정확도, 성공률 및 효율성 측면에서 최첨단 베이스라인 대비 우수한 성능을 입증했습니다.

4. 실험 결과

저자들은 RECON(실외, 장기 목표), SCAND(실내/실외, 동적 환경), TartanDrive(오프로드), HuRoN(실내, 인간 상호작용)의 네 가지 벤치마크 데이터셋에서 SWAM을 평가했습니다.

4.1 궤적 정확도

SWAM은 절대 궤적 오차(ATE) 및 상대 포즈 오차(RPE)에서 베이스라인(GNM, NoMaD, NWM+NoMaD)을 크게 앞질렀습니다.

• RECON에서 SWAM은 가장 강력한 베이스라인(16개의 후보를 가진 NWM+NoMaD)에 비해 ATE를 39.2% 감소시켰습니다.
• TartanDrive에서 ATE는 75.1% 감소했습니다.
• 주목할 점은, SWAM이 단일 패스 추론(샘플당 16.91초)으로 이러한 결과를 달성한 반면, 가장 성능이 좋은 베이스라인은 철저한 롤아웃(샘플당 245.98초)이 필요했다는 것입니다.

4.2 목표 도달 성능

SWAM은 엄격한 거리 임계값($\tau = 0.25$ 그리드)에서 높은 성공률을 보였습니다. RECON에서 가장 엄격한 임계값에서 NWM+NoماD(×16)보다 2.1배 높은 성공률을 달성했습니다.

4.3 비디오 생성 품질

SWAM은 비디오 생성 지표(PSNR, SSIM, LPIPS)에서 최첨단 성능을 달eram했습니다. 저자들은 이를 깊이 의사 라벨이 제공하는 공간적 접지(spatial grounding) 덕분이라고 설명하며, 이것이 생성 과정을 정규화하고 시각적 아티팩트를 줄여준다고 밝혔습니다.

4.4 제로샷 일반화 (Zero-Shot Generalization)

SWAM이 학습되지 않은 HuRoN 데이터셋에 대한 제로샷 전이 실험에서, 모델은 ATE 2.94를 기록하여 Hu-RoN에 대해 명시적으로 학습된 베이스라인(ATE 3.73)보다 우수한 성능을 보였습니다. 이는 강력한 교차 도메인 일반화 능력을 나타냅니다.

4.5 절제 연구 (Ablation Studies)

절제 연구를 통해 다음 요소들의 개별 기여를 확인했습니다:

• 깊이 모달리티 (Depth Modality): 기하학적 이해와 궤적 일관성을 개선했습니다.
• TSR 손실: 장기 예측을 안정화하고 종점 드리프트를 줄이는 데 결정적인 역할을 했습니다.
• VGAR: 시각적-공간적 제약을 활용하여 궤적 정확도를 더욱 정교하게 만들었습니다.

5. 의의 및 한계점

의의

본 논문은 SWAM이 "사후 검증(verify-later)"에서 "생성을 통한 계획(generate-to-plan)"으로의 패러다임 전환을 의미한다고 주장합니다. "어떻게 행동할 것인가"와 "무엇을 인지할 것인가"를 공동으로 모델링함으로써, 이 프레임워크는 행동 궤적이 환경의 시각적 진화와 본질적으로 일치하도록 보장합니다. 이 접근 방식은 후보 샘플링의 계산 오버헤드와 분리된 계획의 기하학적 불일치를 제거하여, 더 효율적이고 견고한 솔루션을 제공합니다.

한계점

저자들은 특정 실패 사례를 인정했습니다:

• 모호한 통행 가능성 (Ambiguous Traversability): 모델은 모호한 시나리오(예: 잡초)에서 어려움을 겪으며, 의미론적 추론의 부족으로 인해 통행 가능한 식생을 단단한 장애물로 오인하는 경우가 빈번합니다.
• 급격한 회전 (Sharp Turns): 현재의 평면 변위 표현은 방향성 역학(orientation dynamics)이 명시적으로 인코딩되지 않았기 때문에, 고곡률 경로에 필요한 급격한 헤딩 조정을 포착하는 데 실패합니다.

저자들은 향후 연구가 의미론적 장면 이해를 통합하고, 위치와 방향을 공동으로 모델링하는 더 풍부한 행동 표현을 개발하는 데 집중해야 한다고 제안합니다.