기술 요약: DiLA: 분리된 잠재 행동 세계 모델

1. 문제 제기

잠재 행동 모델 (LAMs) 은 연속된 프레임 사이에서 추상적인 행동을 추론하여 명시적 제어 신호의 대용으로 삼음으로써 레이블이 없는 비디오로부터 세계 모델을 학습하는 것을 목표로 합니다. 그러나 기존 LAM 들은 행동 추상화와 생성 충실도 사이에 LAM 트레이드오프라고 불리는 근본적인 상충 관계에 직면해 있습니다.

• 딜레마: 행동이 전이 가능하고 추상적이도록 보장하기 위해, 모델들은 일반적으로 강력한 예측 병목 (예: 벡터 양자화 또는 변이적 병목) 을 부과합니다. 이러한 병목은 추상화를 촉진하지만, 잠재 행동 공간의 고유한 매니폴드를 교란시켜 과도한 단순화와 비디오 생성 품질 저하를 초래합니다. 반대로, 이러한 병목을 완화하면 생성은 개선되지만, 잠재 행동이 순수한 역학 대신 관련 없는 시각적 세부 사항을 포착하는 얽힌 표현이 됩니다.
• 현재의 한계: 대부분의 기존 접근법은 생성 품질을 희생하면서 추상화를 우선시하며, 종종 별도의 사전 훈련된 확산 모델을 선호하기 위해 순방향 역학 모델 (FDM) 을 폐기하는 분리된 2 단계 훈련 패러다임을 채택합니다. 다른 방법들은 광학 흐름 (optical flow) 과 같은 움직임을 콘텐츠에서 명시적으로 분리하지만, 단일 자기지도 학습 프레임워크 내에서 이러한 과정을 공동으로 최적화하지는 못합니다.

2. 방법론: DiLA

저자들은 **DiLA(분리된 잠재 행동)**를 제안합니다. 이는 콘텐츠 - 구조 분리를 통해 LAM 트레이드오프를 해결하는 새로운 세계 모델입니다. 핵심 통찰은 분리화와 잠재 행동 학습이 공진화한다는 점입니다. 잠재 행동 학습에 내재된 예측 병목이 분리화를 위한 추진력으로 작용합니다.

아키텍처

DiLA 는 DINOv2 인코더를 특징 추출에 사용하고, 사전 훈련된 RAE 디코더를 시각화에 활용하여 비디오 시퀀스를 두 개의 전문화된 경로를 통해 처리합니다.

1. 구조 경로 (역학):

   • 목표: 시각적 콘텐츠에 불변인 잠재 행동을 학습하기 위해 운동 관련 공간 배치 (위치, 모양) 를 분리합니다.
   • 메커니즘: 구조 인코더는 토큰을 구조 임베딩 ($s_t$) 으로 압축합니다. 역방향 역학 모델 (IDM) 은 이러한 임베딩의 시간적 차이 ($\Delta s_t$) 에서 추상적인 잠재 행동 ($z_t$) 을 계산합니다.
   • 제약: 엄격한 정보 병목은 IDM 이 구조적 역학만 예측하도록 강제합니다. 경량 공간 - 시간 트랜스포머로 구현된 순방향 역학 모델 (FDM) 은 현재 상태와 잠재 행동을 기반으로 다음 구조 상태 ($\hat{s}_{t+1}$) 를 예측합니다.
   • 추진력: 병목은 모델이 운동 역학을 $z_t$로 정제하도록 강요하면서 정적 시각적 세부 사항을 콘텐츠 경로로 오프로딩합니다. 고엔트로피 콘텐츠 세부 사항은 예측 정확도를 저해하지 않고는 저차원 잠재 행동으로 효과적으로 압축될 수 없기 때문입니다.

2. 콘텐츠 경로 (외관):

   • 목표: 시간 불변 시각적 특징 (색상, 질감, 랜드마크) 을 추출하고 기억합니다.
   • 메커니즘: 콘텐츠 인코더는 토큰을 임베딩 ($c_t$) 으로 압축하며, 이는 Mamba 아키텍처에 의해 처리되어 역사적 맥락을 집계합니다. 이는 드러남에 따라 정적 특징을 누적하는 느린 특징 분석 (Slow Feature Analysis) 을 모방합니다.
   • 역할: 고충실도 생성을 위한 시각적 세부 사항을 유지하고 가려진 배경에 대한 믿음 업데이트를 처리하여, 구조 경로가 물리적 역학에 전적으로 특화되도록 합니다.

3. 퓨전 디코더:

   • 예측된 구조 상태 ($\hat{s}_{t+1}$), 콘텐츠 메모리 ($c^{mem}_t$), 초기 시각 임베딩 ($e_0$) 을 결합하여 목표 시각 임베딩 ($\hat{e}_{t+1}$) 을 재구성합니다.
   • $e_0$에 대한 조건부 설정은 압축 과정에서 손실된 고주파 세부 사항을 공급하는 데 중요합니다.

훈련 목적 함수

DiLA 는 정답 행동 레이블이 없는 비디오 시퀀스에 대해 자기지도 학습 교사 - 강제 (teacher-forcing) 패러다임으로 훈련됩니다. 총 손실 ($L_{total}$) 은 다음 가중 조합입니다:

• 시각 잠재 예측 ($L_e$): 목표 임베딩을 재구성합니다.
• 구조 예측 ($L_s$): 다음 구조 상태 예측 오차를 최소화합니다.
• 잠재 행동 일관성 ($L_z$): 순방향 및 역방향 추론된 행동 간의 일관성을 보장합니다.
• 정규화 ($L_{reg}$): 그룹 대칭성 (역방향 시간 전이는 반대 방향 행동 벡터를 산출함) 을 강제하고, 벡터 노름을 제한하여 컴팩트한 매니폴드를 유지하며, 분산을 정규화하여 정보 엔트로피를 최대화합니다.

3. 주요 기여

1. 통합 프레임워크: DiLA 는 콘텐츠 - 구조 분리를 통해 잠재 행동 추상화와 생성 충실도 사이의 트레이드오프를 조화시키는 최초의 분리된 잠재 행동 세계 모델입니다.
2. 공진화 메커니즘: 이 논문은 예측 병목이 외관으로부터 공간 배치를 분리하는 추진력으로 작용하며, 반대로 이러한 분리가 고도로 추상적인 잠재 행동 학습을 용이하게 함을 입증합니다.
3. 성능: 광범위한 실험을 통해 DiLA 가 비디오 생성 품질, 크로스-구현체 행동 전이, 시각적 계획 분야에서 최첨단 베이스라인보다 우수한 결과를 달성함을 보여줍니다.
4. 해석 가능성: 이 모델은 하류 시각적 계획을 지원하고 운동 역학을 정적 외관으로부터 효과적으로 분리하는 구조화되고 해석 가능한 잠재 행동 공간을 학습합니다.

4. 실험 결과

실험은 Something-Something-v2 (SSv2), RT-1(로봇 공학), RECON(실외 항법), LoopNav(마인크래프트) 를 포함한 대규모 데이터셋에서 수행되었습니다.

• 비디오 생성 품질: SSv2 와 RT-1 에서 DiLA 는 SSIM(구조적 일관성) 과 LPIPS(지각적 유사성) 모두에서 선도적인 베이스라인 (LAPA, Moto, AdaWorld, Villa-X) 을 능가했습니다. 특히, 콘텐츠 경로를 제거한 경우 ("DiLA w/o content") 생성 품질이 현저히 저하되어 이중 경로 아키텍처의 필요성을 입증했습니다.
• 행동 전이: DiLA 는 서로 다른 구현체 (예: 인간에서 로봇으로) 와 도메인 (가상에서 실세계 항법으로) 간에 잠재 행동을 성공적으로 전이했습니다. 시점 변화에 따른 "물건 집기"와 같은 복잡한 의미적 행동을 전이하면서도 높은 생성 품질을 유지했습니다.
• 분리화 검증:
  • 재결합 실험: 한 비디오의 구조와 다른 비디오의 콘텐츠를 융합함으로써, DiLA 는 소스의 공간적 역학을 유지하면서 참조의 외관을 계승하는 시퀀스를 생성했습니다.
  • 운동 분리: 콘텐츠 메모리를 진화시키면서 구조 임베딩을 고정하면 완전히 정적인 시퀀스가 생성되어, 콘텐츠 경로가 운동 정보를 인코딩하지 않음을 확인했습니다.
• 어블레이션 연구:
  • IDM/FDM 구성 요소를 제거하면 모델이 분리화에 실패하여 구조 임베딩이 중복된 콘텐츠 세부 사항을 보유하게 됩니다.
  • 연속 병목을 이산 (VQ) 또는 가우시안 (VAE) 사전 분포로 대체하면 생성 품질이 저하되고 수렴이 느려져, 경직된 사전 분포가 잠재 행동의 고유한 저차원 매니폴드를 교란함을 시사합니다.
• 시각적 계획: VP2 벤치마크에서 모델 예측 제어 (MPC) 를 위해 적응된 DiLA 는 베이스라인 AdaWorld 를 능가했으며, 특히 "버튼 누르기"와 같은 작업에서 로봇 제어에서의 유용성을 입증했습니다.

5. 중요성과 주장

이 논문은 DiLA 가 고수준 행동 추상화와 고충실도 생성을 동시에 달성하는 통합 프레임워크를 확립하여 자기지도 학습 세계 모델의 최전선을 진전시켰다고 주장합니다.

• 트레이드오프 해결: 저자들은 구조를 콘텐츠로부터 분리하는 것이 추상화와 생성 사이의 긴장을 해결하는 열쇠라고 주장합니다. 예측 병목은 단순한 제약이 아니라 모델이 순수한 전이 역학을 학습하도록 이끄는 메커니즘입니다.
• 강건성: 학습된 잠재 행동 공간은 명시적 감독 없이 서로 다른 구현체와 환경 간 전이를 지원하는 연속적이고 의미적으로 구조화된 매니폴드를 형성합니다.
• 한계: 저자들은 겸손하게 잠재 행동의 고유한 추상화가 미세한 제어 정밀도를 희생하여 비디오 - 제어 하류 작업에서 불안정성을 초래할 수 있음을 인정합니다. 또한, 현재 분리화는 공간 배치를 시각적 세부 사항에서 분리하지만 다중 객체 역학의 완전한 분리를 아직 지원하지는 못한다고 지적합니다. 또한, 이 접근법은 장시간 비디오 생성에서 자기회귀적 누적 오류에 여전히 취약합니다.

요약하자면, DiLA 는 콘텐츠 - 구조 분리를 추진하기 위해 예측 병목을 활용함으로써, 계획과 전이에 충분히 추상적이면서도 고충실도 생성에 충분히 상세한 세계 모델을 학습할 수 있음을 주장합니다.