기술 요약: FlowMo-WM

문제 정의

표준적인 행동 조건부 시각 세계 모델(action-conditioned visual world models)은 미래의 움직임이 주로 즉각적인 제어 입력에 의해 결정된다고 가정하는 경우가 많습니다. 그러나 수면 위 수상 가동체(ASV) 및 부유 물체가 포함된 실제 환경에서는, 미래의 상태가 물체의 운동량(관성)과 직접 관찰되지 않는 숨겨진 주변 표류(예: 물의 흐름, 바람)에 의해 크게 영향을 받습니다.

기존의 접근 방식들은 다음과 같은 이유로 이러한 환경에서 어려움을 겪습니다:

1. 부분 관측 가능성(Partial Observability): 단일 이미지는 포즈(pose)는 보여주지만, 미래의 진화를 예측하는 데 필요한 전체 상태(속도, 운동량 또는 전류의 흐름)를 보여주지는 못합니다.
2. 숨겨진 역학(Hidden Dynamics): 표류와 운동량은 명령된 움직임과 관찰된 움직임 사이의 누적된 차이로부터 추론되어야 하는 잠재 변수이지만, 기존의 많은 모델은 제어 가능한 역학과 외생적인 환경 변화를 명시적으로 분리하지 못합니다.
3. 장기 지평 오차(Long-Horizon Error): 숨겨진 운동량이나 표류를 추정하는 과정에서의 작은 오차는 시간이 지남에 따라 누적되어, 단기 예측은 정확해 보일지라도 장기 계획 및 예측에서 상당한 부정확성을 초래합니다.

방법론: FlowMo-WM

저자들은 유동장(flow fields)이나 속도 센서에 대한 직접적인 감독 없이도 물체 중심의 움직임과 숨겨진 주변 표류를 추론하도록 설계된 엔드 투 엔드 학습 가능한 시각적 잠재 세계 모델인 FlowMo-WM을 제안합니다.

아키텍처

이 모델은 이미지-행동 이력을 두 개의 뚜렷한 시간적 분기로 분해합니다:

1. 단기 이력 상태 ($z_t$): 가장 최근의 $K_z=8$개 이미지-행동 쌍으로부터 도출된 잠재 상태입니다. 이 분기는 포즈, 속도 유사 움직임, 액추에이터 지연, 최근 제어 응답을 포함한 물체 중심의 움직임을 포착합니다.
2. 장기 이력 컨텍스트 ($c_t$): 더 긴 스트라이드 이력(스트라이드 4를 가진 32단계)으로부터 도출된 잠재 컨텍스트입니다. 이 분기는 명령된 움직임과 관찰된 움직임 사이의 누적된 불일치로부터 추론된, 서서히 변화하는 외생적 영향(특히 숨겨진 주변 표류)을 요약합니다.

잠재 전이 및 잔차 설계 (Latent Transition and Residual Design)

핵심 혁신은 기본 역학과 표류 효과를 분리하기 위해 **제로 컨텍스트 잔차 전이(zero-context residual transition)**를 사용하는 잠재 전이 함수에 있습니다:
$$z_{t+1} = z_t + F_\theta(z_t, a_t) + R_\theta(z_t, a_t, c_t) - R_\theta(z_t, a_t, 0)$$

• $F_\theta$: 행동 조건부 기본 역학을 모델링합니다.
• $R_\theta$: 컨텍스트 의존적 표류 효과를 모델링합니다.
• 제로 컨텍스트 차감(Zero-Context Subtraction): $R_\theta(z_t, a_t, 0)$를 차감함으로써, 모델은 컨텍스트 $c_t$가 0이 될 때 표류 기여분이 정확히 제거되도록 보장합니다. 이를 통해 베이스 전이 로직을 변경하지 않고도 표류 성분을 고립시켜 깨끗한 절제 연구(ablation studies)를 수행할 수 있습니다.

학습 및 입력

• 입력: 모델은 깨끗한 탑다운(top-down) RGB 이미지(좌표 맵과 결합됨)와 행동 이력만을 받습니다. 모델은 유동 벡터, 속도 타겟, 전류 센서 또는 특권 정보(privileged) 시뮬레이터 상태를 받지 않습니다.
• 타겟: 모델은 미래 이미지를 재구성하는 대신 미래의 정규화된 포즈($x, y, \cos\theta, \sin\theta$)를 예측합니다.
• 손실 함수: 학습은 현재 포즈 재구성 및 모션 델타 손실과 결합된 60단계 포즈 롤아웃 손실을 최소화합니다.

주요 기여

1. 정식화: 유동 레이블 없이 이미지-행동 이력만으로 물체의 운동량과 환경적 수송을 추론하는 시각적 세계 모델링 정식화.
2. 분해(Factorization): 제어 가능한 역학과 서서히 변화하는 주변 표류를 효과적으로 분리하는 새로운 단기/장기 시간적 분해 아키텍처와 제로 컨텍스트 잔차 전이 결합.
3. 평가: 유동의 영향을 받는 수상 가동체 작업에서의 개방 루프 예측, 샘플링 기반 계획, 예측 시점의 컨텍스트 절제 연구, 그리고 고정된 선형 프로브를 통한 표현 분석을 포함한 종합적인 평가.

실험 결과

모델은 무작위화된 차량 형태(트윈 스러스터 및 삼각형 보트), 물리적 파라미터, 그리고 10가지 다양한 유동장 패밀리(예: 균일, 와류, 전단, 난류)가 있는 2D 수중 시뮬레이터에서 평가되었습니다.

예측 정확도

• 장기 지평 성능: FlowMo-WM은 파라미터가 매칭된 베이스라인들(LeWorldModel, PlaNet/RSSM, TD-MPC2)보다 장기 예측에서 성능이 현저히 뛰어납습니다.
  • 지평 20에서: FlowMo-WM은 0.151의 위치 오차를 달성했으며, 가장 가까운 베이스라인인 TD-MPC2는 0.223을 기록했습니다.
  • 지평 60에서: FlowMo-WM은 0.344를 달성했으며, 가장 가까운 베이스라인인 PlaNet/RSSM은 0.426을 기록했습니다.
  • 이는 각각 약 32% 및 19% 낮은 위치 오차를 나타냅니다.
• 컨텍스트 절제 연구(Context Ablations):
  • 컨텍스트 제로화: 추론된 컨텍스트($c_t=0$)를 제거하면 오차가 급격히 증가하여(pos@60이 0.840으로 상승), 표류 상황에서 컨텍스트가 안정성에 필수적임을 확인했습니다.
  • 컨텍스트 셔플링: 다른 샘플의 컨텍스트를 사용하는 경우 성능이 더욱 저하되어(pos@60이 1.100으로 상승), 모델이 일반적인 잠재 용량이 아닌 특정 추론된 컨텍스트에 의존함을 입증했습니다.

계획 성능

• 성공률: 다운스트림 계획 작업(목표 도달, 위치 유지, 웨이포인트 통과)에서 FlowMo-模型은 모든 에피소드에 대해 **98.5%**의 성공률을 달성하여, 다른 학습된 세계 모델들(91.0%~93.1%)을 능가했습니다.
• 효율성: FlowMo-WM 플래너는 특히 도전적인 유동 조건에서 다른 베이스라인에 비해 목표에 도달하는 데 더 적은 에너지와 적은 단계를 필요로 했습니다.
• 강건성: 더 많이 구동되는 삼각형 보트는 유동 변화에 덜 민감했지만, FlowMo-WM은 두 형태 모두에서 높은 성능을 유지했습니다.

표현 분석

• 운동량 디코딩: 고정된 선형 프로브는 속도가 학습 타겟이 아니었음에도 불구하고, 결합된 잠재 상태로부터 운동량이 선형적으로 디코딩될 수 있음을 보여주었습니다 ($R^2 = 0.667$).
• 표류 인코딩: 국부 유동과 표류는 선형적으로 쉽게 디코딩되지 않았으며, 이는 컨텍스트 분기가 직접적인 물리적 전류 벡터를 저장하기보다는 예측에 유용한 과업 중심의 잠재 코드를 인코딩함을 시사합니다.

의의 및 주장

본 논문은 FlowMo-WM이 행동 조건부 시각 세계 모델의 특정 실패 모드인 숨겨진 운동량 및 주변 표류를 고려하지 못하는 문제를 해결한다고 주장합니다.

• 제한된 범위: 저자들은 현재 실험이 깨끗한 2D 시뮬레이터의 탑다운 렌더링 관측에 국한되어 있음을 명시적으로 밝힙니다. 이들은 실제 세계의 비디오로 확장하기 위해서는 시점 변화, 장애물, 세그멘테이션 불확실성 및 3D 방해 요인을 처리해야 함을 인정합니다.
• 일반화 한계: 모델이 주변 유동이 차량의 제어 권한을 초과하거나 유동 특성이 훈련 분포를 벗어나는 경우까지 성공할 것으로 기대되지는 않습니다.
• 핵심 통찰: 결과는 개방된 물리적 환경에서 시각적 세계 모델이 단순히 명령된 제어뿐만 아니라, 물체가 관성에 의해 어떻게 계속 움직이는지, 그리고 관찰되지 않는 주변 환경이 물체를 어떻게 이동시키는지를 표현해야 함을 시사합니다. 추론된 주변 컨텍스트는 그러한 환경에서 안정적인 장기 예측을 위해 기능적으로 필수적입니다.