Action Images: 다중 뷰 비디오 생성을 통한 엔드-투-엔드 정책 학습 (Action Images: End-to-End Policy Learning via Multiview Video Generation) 기술 요약

이 논문은 로봇 정책 학습 (Policy Learning) 을 다중 뷰 비디오 생성 (Multiview Video Generation) 문제로 재정의한 새로운 프레임워크인 Action Images를 제안합니다. 기존 세계 모델 (World Models) 이 가진 '비디오 일반화'와 '정책 일반화' 간의 간극을 해소하기 위해, 로봇의 행동을 저차원 토큰이 아닌 **픽셀 기반의 해석 가능한 행동 이미지 (Pixel-grounded Action Images)**로 변환하여 비디오 백본이 직접 제어를 수행하도록 합니다.

1. 문제 정의 (Problem)

기존의 로봇 세계 모델 (World Action Models, WAMs) 은 강력한 비디오 생성 백본을 활용하여 미래 상태를 예측하는 데 성공했으나, 이를 실제 로봇 제어 (정책) 로 전환하는 데에는 한계가 있었습니다.

• 정책 일반화의 부재: 모델이 미래 프레임을 합리적으로 생성하더라도, 보이지 않는 환경에서 어떻게 행동해야 할지 결정하는 데 실패하는 경우가 많았습니다.
• 비효율적인 행동 표현: 기존 접근법은 비디오 모델 위에 별도의 정책 헤드 (Policy Head) 나 행동 모듈을 추가하거나, 행동을 이미지 공간에 뿌리내리지 않은 저차원 잠재 코드 (Latent Codes) 로 표현했습니다. 이로 인해 사전 학습된 비디오 지식의 이점을 충분히 활용하지 못했고, 뷰포인트나 환경 변경 시 전이 (Transfer) 가 어려웠습니다.
• 핵심 과제: 비디오 생성 능력과 정책 일반화 능력 간의 간극을 해소하고, 별도의 제어 모듈 없이도 비디오 백본 자체가 제로-샷 (Zero-shot) 정책으로 작동할 수 있는 표현 방식을 찾는 것입니다.

2. 방법론 (Methodology)

저자들은 로봇의 7 자유도 (7-DoF) 행동을 **해석 가능한 행동 이미지 (Action Images)**로 변환하여 관찰 (Observation) 과 행동을 통일된 비디오 공간에서 모델링합니다.

2.1 행동의 이미지화 (Action as Images)

• 7-DoF 행동 변환: 로봇의 엔드 이펙터 위치 ($p_t$), 방향 ($\theta_t$), 그리퍼 개방도 ($g_t$) 를 3 개의 의미론적 3D 점 (Position, Normal, Up points) 으로 변환합니다.
• 다중 뷰 렌더링: 이 3D 점들을 카메라 뷰에 따라 2D 이미지 공간으로 투영하고, 2D 가우시안 히트맵으로 렌더링합니다.
  • 빨간 채널: 위치 점 (Position)
  • 초록 채널: 노말 점 (Normal, 그리퍼 평면의 수직 방향)
  • 파란 채널: 업 점 (Up, 그리퍼 평면의 방향) + 그리퍼 개방도 (배경의 저반응 영역에 인코딩)
• 결과: 생성된 행동 비디오는 로봇의 RGB 관측 데이터와 동일한 공간적, 시간적 구조를 가지며, 비디오 백본이 직접 처리할 수 있는 픽셀 기반 신호가 됩니다.

2.2 행동 이미지 디코딩 (Action Images Decoding)

생성된 행동 이미지에서 원래의 7-DoF 제어 신호를 복원하는 과정은 다음과 같습니다.

1. 그리퍼 상태 복원: 파란 채널의 저반응 영역 픽셀 값을 평균하여 그리퍼 개방도 ($g_t$) 를 추정합니다.
2. 3D 점 재구성: 메인 뷰의 히트맵에서 2D 점을 선택한 후, 레이 캐스팅 (Ray Casting) 을 통해 3D 공간으로 올립니다. 이때 사이드 뷰의 히트맵과 매칭하여 가장 일치하는 3D 점을 선택함으로써 깊이 (Depth) 모호성을 해결합니다.
3. 행동 벡터 복원: 재구성된 3D 점들로부터 엔드 이펙터의 위치와 방향을 계산하여 최종 제어 명령을 도출합니다.

2.3 통일된 세계 - 행동 모델 학습 (Unified World-Action Model Training)

• 백본: 사전 학습된 대규모 비디오 생성 모델 (Wan 2.2) 을 파인튜닝합니다.
• 입력 구성: 각 뷰별로 로봇 관측 비디오 ($V$) 와 행동 비디오 ($A$) 를 시간적으로 연결하여 단일 시퀀스로 입력합니다.
• 다중 마스킹 전략 (Multiple Mask Strategies): 하나의 모델이 다양한 작업을 수행하도록 합니다.
  1. 행동 및 비디오 동시 생성: 텍스트와 카메라 조건을 기반으로 미래 비디오와 행동을 함께 생성.
  2. 행동 조건부 비디오 생성: 주어진 행동에 맞춰 미래 비디오 생성.
  3. 비디오 - 행동 라벨링: 입력 비디오로부터 행동 이미지를 추론.
  4. 비디오 전용 생성: 행동 정보가 없는 데이터에 대한 미래 관측 예측.
• 학습 목표: 흐름 매칭 (Flow Matching) 을 사용하여 마스킹된 잠재 토큰에 대한 L2 손실을 최소화합니다.

3. 주요 기여 (Key Contributions)

1. 행동 표현의 혁신: 로봇 제어를 저차원 토큰이 아닌 픽셀 기반의 다중 뷰 행동 이미지로 변환하여, 비디오 백본이 직접 제로-샷 정책으로 작동할 수 있게 했습니다. 별도의 정책 헤드가 불필요합니다.
2. 일반화 능력 향상: 행동이 이미지 공간에 뿌리내려 (Pixel-grounded) 있어, 뷰포인트, 모션 패턴, 로봇 형태 (Embodiment) 변경에 대해 더 자연스럽고 강력한 전이 능력을 보입니다.
3. 통일된 멀티태스크 모델: 단일 모델이 비디오 생성, 행동 조건부 생성, 행동 라벨링 등 다양한 작업을 하나의 표현 공간에서 수행할 수 있음을 입증했습니다.

4. 실험 결과 (Results)

• 제로-샷 정책 성능 (Zero-shot Policy): RLBench 시뮬레이션과 실제 로봇 (xArm) 환경에서 평가되었습니다.
  • 기존 방법 (MV-Policy, $\pi_0$, MolmoAct, TesserAct, Cosmos-Policy 등) 대비 RLBench 및 실제 환경에서 가장 높은 성공률을 기록했습니다. 특히 분포 변화 (Distribution Shift) 가 큰 환경에서 성능 차이가 두드러졌습니다.
  • 예: RLBench 'Pick Cup' 작업에서 기존 최고 성능 (35%) 대비 **60%**의 성공률을 달성했습니다.
• 생성 품질 (Generation Quality):
  • 비디오 및 행동 동시 생성 시, PSNR, SSIM, FVD 등 모든 비디오 품질 지표에서 기존 세계 모델 (TesserAct, Cosmos 등) 을 상회했습니다.
  • 행동 정확도 (2D/3D 오차) 또한 기존 방법들보다 우수하거나 동등한 수준을 유지했습니다.
• 추가 기능 검증:
  • 행동 조건부 비디오 생성: 주어진 행동에 따른 미래 비디오 생성 시 Tora 모델보다 월등히 높은 품질을 보였습니다.
  • 비디오 - 행동 라벨링: 입력 비디오에서 행동 궤적을 추적하는 작업에서 TAPIR, CoTracker 등 기존 포인트 트래킹 모델보다 정확도가 높았습니다.

5. 의의 및 결론 (Significance)

이 논문은 로봇 정책 학습을 비디오 생성 문제로 접근함으로써, 강력한 사전 학습된 비디오 모델의 지식을 로봇 제어에 직접적으로 활용하는 새로운 패러다임을 제시했습니다.

• 핵심 통찰: 행동을 추상적인 토큰이 아닌 시각적으로 해석 가능한 픽셀 신호로 표현하면, 모델이 세계의 역학을 이해하는 동시에 그 역학을 기반으로 행동하는 것을 동시에 학습할 수 있습니다.
• 미래 전망: 현재는 오픈-루프 (Open-loop) 평가에서 뛰어난 성능을 보였으나, 향후 디퓨전 가속화 기술을 통해 폐쇄-루프 (Closed-loop) 제어 시스템으로 확장하고, 실시간 추론 속도를 높이는 것이 향후 과제로 제시되었습니다.

결론적으로, Action Images는 로봇이 환경을 '보고' '이해'하며 '행동'하는 것을 하나의 통합된 시각적 생성 과정으로 통합함으로써, 더 일반화되고 강력한 로봇 정책 학습을 가능하게 하는 중요한 진전을 이루었습니다.