기술 요약: MemoryVAM

문제 정의

비디오 월드 모델(Video-world-model) 정책은 미래의 관측치를 예측함으로써 행동 관련 표현을 학습하며, 이때 고정된 길이의 짧은 관측 창(observation window)에 의존합니다. 이러한 설계는 근사적으로 마르코프적(Markovian)인 작업에는 효과적이지만, 현재의 창에 더 이상 보이지 않는 이전 사건들에 의존해야 하는 장기 호라이즌(long-horizon) 다단계 조작 작업에서는 실패합니다. 예를 들어, "빨간 블록을 세 번 집어라"와 같은 시나리오에서, 시각적으로 유사한 상태라도 숨겨진 작업 진행 상황(예: 현재 카운트)에 따라 서로 다른 행동이 필요합니다. 에피소드 메모리가 없다면 이러한 작업들은 비마르코프적(non-Markovian)이 되며, 모델이 반복되는 시퀀스의 서로 다른 단계나 공간적 이력을 구별하지 못할 때 성능 저하를 일으킵니다.

방법론: MemoryVAM

저자들은 비디오 월드 모델 정책에 히스토리를 통합하기 위해 설계된 에피소드 메모리 메커니즘인 MemoryVAM을 제안합니다. 핵심 혁신은 **이중 메모리 컨디셔닝(dual memory conditioning)**으로, 압축된 메모리 토큰 세트가 비디오 백본의 미래 예측과 액션 디코더의 제어 결정 모두에 영향을 미치도록 합니다.

1. 에피소드 히스토리 인코딩

각 타임스텝 $t$에서 시스템은 과거 프레임의 CLIP 시각 임베딩으로 구성된 에피소드 히스토리 $\mathcal{H}_t$를 유지합니다. CLIP 임베딩을 사용함으로써 메모리는 저수준의 픽셀 차이가 아닌, 작업 관련 의미론적 변화를 추적할 수 있습니다.

2. 리캡-큐(Recap-Cue, RC) 모듈

RC 모듈은 가변 길이의 히스토리를 고정된 크기의 메모리 표현으로 처리합니다:

• 리캡 컴프레서(Recap Compressor): Perceiver 기반의 리샘플러(Resampler)가 에피소드 히스토리를 압축된 행렬 형태의 메모리 토큰 $\mathbf{G}$로 매핑합니다. 학습된 쿼리를 사용하여, 이는 작업 진행을 설명하는 이벤트에 선택적으로 주의를 기울이며, 순서 인식 위치 인코딩(order-aware positional encoding)을 통해 '무엇이' 일어났는지와 '언제' 일어났는지를 모두 포착합니다.
• 큐 게이트(Cue Gate): 경량 모듈로서 풀링된 백본 특징, 메모리 토큰 및 언어 지시문을 바탕으로 작업 완료 점수 $q_\omega$를 추정합니다. 이를 통해 훈련 중 매 프레임마다 진행도 라벨을 요구하지 않고도 자율적인 작업 종료가 가능합니다. 감독(supervision)은 데모의 에피소드 경계로부터 유도됩니다.

3. 이중 메모리 컨디셔닝 (주입)

메모리 토큰 $\mathbf{G}$는 두 가지 상호 보완적인 경로를 통해 주입됩니다:

• 경로 1 (비디오 백본): $\mathbf{G}$는 비디오 백본의 크로스 어텐션(cross-attention) 레이어에 주입됩니다.
  • Cosmos DiT 백본의 경우, 메모리 토큰은 텍스트 컨디셔닝 행렬에 추가됩니다.
  • SVD UNet 백본(예: VPP)의 경우, 텍스트 브랜치와 별도로 메모리 브랜치가 도입됩니다.
  • 효과: 이를 통해 예측된 미래 프레임과 중간 백본 특징들이 전체 에피소드 히스토리에 따라 조건화되도록 하여, 모델의 "상상(imagination)"을 작업 진행 상황과 일치시킵니다.
• 경로 2 (액션 디코더): 동일한 메모리 토큰 $\mathbf{G}$가 백본에서 유도된 관측 토큰과 결합되어 액션 디코더에 입력됩니다.
  • 효과: 이는 에피소드 메모리에 기반하여 액션 분포를 직접적으로 제약함으로써, 정책이 히스토리에 부합하는 제어를 선택하도록 보장합니다.

4. 훈련 전략

모델은 2단계 훈련 절차를 채택합니다:

1. 1단계: 비디오 예측 목적 함수, 델타 재구성 보조 손실(delta-reconstruction auxiliary loss), 그리고 큐 게이트 손실을 사용하여 비디오 백본과 메모리 모듈을 훈련합니다. 이를 통해 메모리가 미래 상태를 예측하고 작업 완료를 결정하는 데 유용한 정보를 인코딩하도록 학습시킵니다.
2. 2단계: 백본을 안정적으로 유지하면서, 생성된 메모리 컨디셔닝 특징 위에서 액션 정책을 훈련합니다.

이 메커니즘은 아키텍처에 구애받지 않으며, UNet(VPP)과 Diffusion Transformer(Cosmos) 백본 모두에서 검증되었습니다.

주요 기여

1. 이중 주입 인터페이스 (Dual Injection Interface): 압축된 리캡 토큰을 비디오 백본과 액션 디코더 모두에 통합하여, 히스토리가 상상된 미래와 제어 특징 모두에 공동으로 영향을 미치게 하는 이중 경로 메커니즘입니다.
2. 리캡-큐(Recap-Cue, RC) 모듈: 히스토리 요약을 위한 Perceiver 기반 컴프레서와 명시적인 단계별 진행 라벨 없이도 자율적 작업 완료를 가능케 하는 큐 게이트를 결합한 새로운 모듈입니다.
3. 백본 불가지론 (Backbone Agnosticism): 이 방법은 서로 다른 비디오 백본 패러다임(UNet 및 DiT) 전반에서 검증되었으며, 이는 에피소드 메모리가 장기 호라이즌 비디오 월드 모델 정책에 대한 일반적인 요구사항임을 입증합니다.

실험 결과

저자들은 시뮬레이션 벤치마크와 에피소드 회상이 필요한 실제 로봇 작업에서 MemoryVAM을 평가했습니다.

• LIBERO-Mem 벤치마크:

  • 에피소드 회상이 필요한 작업(카운팅, 시퀀싱, 공간 추론)에서, UNet 백본의 경우 평균 성공률이 **5%에서 42.5%**로, DiT 백본의 경우 **3.0%에서 40.5%**로 향상되었습니다.
  • 어블레이션 연구 결과, 경로 1(백본 주입)만 사용했을 때는 28.5%의 성공률을 보였고, 경로 2(액션 디코더 주입)만 사용했을 때는 7.5%에 그쳤습니다. 최적의 성능을 위해서는 완전한 이중 주입이 필수적이었습니다.
  • MemoryVAM은 메모리 증강 VLA 베이스라인(예: MemoryVLA, Gated Memory Policy) 및 메모리가 없는 베이스라인보다 우수한 성능을 보였습니다.

• 실제 로봇 실험:

  • Toy Pickup ($k\times$): 카운팅 작업(1x, 3x, 5x 반복)에서 78.3%의 성공률을 기록했습니다.
  • Place and Return: 공간 회상 작업에서 80.0%의 성공률을 기록했습니다.
  • Shell Game: 가려진 물체를 포함하는 순차적 추적 작업에서 75.0%의 성공률을 기록했습니다.
  • 이와 대조적으로, 작업 진행 상황을 직접 관찰할 수 없는 경우 메모리가 없는 정책은 이러한 작업에서 실패(성공률 0%)했습니다.

• 비디오 예측 품질:

  • 메모리 주입은 장기 오토레그레시브 롤아웃(autoregressive rollouts)의 충실도를 크게 개선했습니다. 예를 들어, UNet 백본의 경우 단일 호라이즌에서 FVD 점수가 43.36에서 18.32로 개선되었고, 8배 호라이즌에서는 37.81에서 19.84로 개선되었습니다.
  • 큐 게이트는 "정지 비율(stop ratio, 완료 후의 불필요한 움직임)"을 성공적으로 줄여, 목표 달성 후 불필요한 동작을 상상하는 것을 방지했습니다.

의의 및 주장

본 논문은 에피소드 메모리가 단순히 액션 정책의 보조 입력이 아니라, 월드 모델 상태의 필수적인 구성 요소로 취급되어야 한다고 주장합니다. 에피소드 히스토리가 로봇이 무엇을 상상하는지(미래 예측)와 어떻게 행동하는지(제어 디코딩) 모두에 형상을 만들도록 함으로써, MemoryVAM은 비마르코프적 특성을 해결합니다.

저자들은 이 접근 방식이 확장 가능한 메모리 시스템을 위한 경로를 제공한다고 주장합니다. 왜냐하면 메모리 모듈이 액션 라벨이 있는 데모에만 의 Rely하는 것이 아니라, 생성적 비디오 목적 함수(미래 프레임 예측)에 의해 감독되기 때문입니다. 이를 통해 메모리는 환경의 시각적 역학에 일관된 작업 진행 신호를 학습할 수 있습니다. 이 연구는 다양한 비디오 백본 아키텍처가 복잡한 다단계 로봇 조작에서 성공하기 위해 명시적인 에피소드 메모리가 필수적임을 입증합니다.