기술 요약: RepWAM – 표현 기반의 세계 행동 모델링 (World Action Modeling with Representation)

1. 문제 정의

세계 행동 모델(World Action Models, WAMs)은 수동적인 미래 예측과 체화된 로봇 제어 사이의 간극을 메우기 위해, 시각적 역학을 예측하고 이를 실현하는 데 필요한 로봇 행동을 추론하는 단일 잠재 공간(latent space)을 학습하는 것을 목표로 합니다. 그러나 현재의 WAM은 표현 설계 측면에서 두 가지 결정적인 한계에 직면해 있습니다:

1. 시각적 표현의 결함: 기존의 WAM은 일반적으로 사전 학습된 비디오 생성 모델(예: WAN, VQ-VAE)의 비디오 토크나이저를 그대로 상속받습니다. 이러한 토크나이저는 픽셀 재구성에 최적화되어 있어, 작업 관련 의미론(객체 정체성, 공간적 관계 등)보다는 저수준의 외형(배경 질감 등)에 잠재 용량을 할당합니다. 결과적으로, 언어적 목표가 외형 변화가 지배적인 잠재 공간으로부터 추론되어야 하므로, 지시어 조건부 세계 모델링의 접지(grounding)가 제대로 이루어지지 않습니다.
2. 행동-시각 디커플링(Action-Visual Decoupling): 시각적 잠재 변수와 모터 명령은 서로 분리된 공간에 존재합니다. 이는 역역학 모델(Inverse Dynamics Model, IDM)이 매 단계마다 상당한 모달리티 간 격차를 메워야 함을 의미하며, 이로 인해 행동 전문가(action expert)가 장면 내용에 모터 명령을 효과적으로 접지하는 것을 방해합니다.

저자들은 WAM의 충실도가 이러한 잠재 공간에 의해 병목 현상이 발생한다고 주장하며 다음과 같은 질문을 던집니다: 세계 행동 모델에는 실제로 어떤 종류의 표현이 필요한가?

2. 방법론: RepWAM

본 논문은 **표현 시각-행동 토크나이저(Representation Visual-Action Tokenizer, RepViTok)**를 기반으로 하는 표현 중심의 WAM인 RepWAM을 제안합니다. 이 프레임워크는 세 가지 핵심 구성 요소로 이루어져 있습니다:

A. 표현 시각-행동 토크나이저 (RepViTok)

RepViTok는 시각적 잠재 변수를 고정된 시각 기초 모델(visual foundation model)과 정렬시키고, 이 공유된 의미 공간 내에서의 전이(transition)로서 잠재 행동 토큰을 유도합니다.

• 시각적 토큰화: 비전 트랜스포머(ViT) 오토인코더가 시각적 관측치를 처리합니다. 표준적인 토크나이저와 달리, 이 모델은 이중 목적 함수에 의해 감독됩니다:
  1. 재구성 손실(Reconstruction Loss): 픽셀 충실도를 보장하기 위해 $L_1$, 지각적(perceptual), 그리고 적대적(adversarial) 손실을 결합합니다.
  2. 특징 정렬 손실(Feature Alignment Loss): 선형 투영을 통해 비디오 잠재 변수를 고정된 시각 기초 모델(예: Perception Encoder) 쪽으로 끌어당깁니다. 이를 통해 잠재 공간이 단순히 저수준의 외형뿐만 아니라 고수준의 의미론(객체 정체성, 상호작용 등)을 포착하도록 합니다.
• 잠재 행동 토큰화: 정렬된 시각 토큰을 바탕으로, 잠재 행동 토크나이저(Latent Action Tokenizer, LAT)는 시각적 상태 간의 전이를 나타내는 행동 토큰을 학습합니다. 이는 **역역학 모델(IDM)**과 **순역학 모델(FDM)**을 결합합니다:
  • IDM은 연속적인 잠재 프레임($z_t, z_{t+1}$) 사이의 전이를 압축된 잠재 행동 $\ell_t$로 압축합니다.
  • FDM은 $\ell_t$를 운송 맵(transport map, 시각적 콘텐츠를 라우팅함)과 잔차(residual)로 구현하여 다음 시각적 잠재 변수를 재구성합니다.
  • 이 설계는 잠재 행동이 의미론적 시각 상태 간의 변환으로 정의되도록 하여, 다양한 형태(embodiment) 간의 전이 가능성을 보장합니다.

B. 인과적 세계 행동 모델 (Causal World Action Model)

RepWAM은 언어 조건화 하에서 미래의 시각적 상태와 잠재 행동을 공동으로 모델링하기 위해 인과적 확산 트랜스포머(causal diffusion transformer)를 사전 학습합니다.

• 아키텍처: 모델은 시각적 토큰과 행동 토큰이 가중치를 공유하지만 모달리티별 피드포워드 네트워크(FFN)를 사용하는 블록-인과적 마스크(block-causal mask)를 사용합니다.
• 학습 목적: 모델은 조건부 흐름 매칭(conditional flow-matching) 목적 함수를 사용하여 학습됩니다. 모델은 비디오 잠재 변수 덩어리와 쌍을 이루는 잠재 행동을 샘플링하고, 이를 가우시안 노이즈와 보간합니다. 네트워크는 타겟 속도(target velocity)를 회귀하여 다음 시각적 상태와 그에 대응하는 잠재 행동을 동시에 예측합니다.
• 적응(Adaptation): 대규모 비디오-행동 데이터로 사전 학습을 마친 후, 모델은 폐루프 조작(closed-loop manipulation)을 위해 실제 로봇 궤적에 적응됩니다.

3. 주요 기여

1. 의미론적 시각-행동 토크나이징: 시각적 잠재 변수를 기초 모델과 정렬시키고, 잠재 행동을 이 의미 공간 내의 전이로 학습시키는 RepViTok를 도입하여 기존 WAM 표현의 "얕은(shallow)" 및 "분리된(decoupled)" 특성을 해결했습니다.
2. 통합 모델링 프레임워크: 미래의 시각적 상태와 잠재 행동을 공동으로 예측하고, 이후 실제 로봇 제어에 적응하는 통합된 인과적 확산 트랜스포머 아키텍처를 제시했습니다.
3. 실증적 검증: 실제 양팔 로봇 조작 작업 및 RoboTwin 2.0 시뮬레이션 벤치마크에 대한 종합적인 평가를 통해, 의미론적 정렬이 시각적 역학 예측과 폐루프 실행 모두를 개선함을 입증했습니다.

4. 실험 결과

저자들은 RepWAM(1.3B 및 5B 파라미터 규모)을 $\pi_0.5$, Motus, Lingbot-VA를 포함한 베이스라인 모델들과 비교 평가했습니다.

• 실제 조작 (Franka Dual-Arm):
  • "과일 집기(Pick the fruit)", "서랍 밀기(Push the drawer)", "튜브 삽입하기(Insert the tube)"와 같은 작업에서 RepWAM-5B는 각각 60%, 80%, **60%**의 성공률을 달성했습니다.
  • 이 결과는 $\pi_0.5$(1050 퍼센트 포인트 차이) 및 Lingbot-VA(1020 퍼센트 포인트 차이)보다 우수한 성능을 보였으며, 특히 일관된 시각적 역학이 중요한 장기적(long-horizon) 및 미세 조정 작업에서 두드러졌습니다.
• 시뮬레이션 벤치마크 (RoboTwin 2.0):
  • Rep-WAM-5B는 Easy 작업에서 89.3%, Hard 작업에서 **88.4%**를 달oc하여, $\pi_0.5$와 Motus의 50개 작업 평균을 상회했습니다.
  • 주목할 점은, RepWAM이 사전 학습된 비디오 생성 가중치를 상속받지 않고 처음부터(from scratch) 학습되었음에도 불구하고, 그러한 사전 학습을 활용하는 Lingbot-VA와 같은 모델들과 경쟁할 수 있는 수준을 유지했다는 것입니다.
• 절제 연구 (Ablation Studies):
  • 토크나이저 설계: 표준 WAN2.2 VAE를 RepViTok로 교체했을 때 Open-Loop Score(OLS)와 실제 로봇 성공률이 모두 향상되었으며, 이는 의미론적 정렬이 지시어 준수(instruction-following)에 필수적임을 확인시켜 줍니다.
  • 잠재 행동 학습: "2단계(Two Stages)" 방식(잠재 행동을 먼저 사전 학습한 후 로봇 제어에 적응)이 "결합 예측(Joint Prediction)"이나 잠재 행동 없이 학습하는 방식보다 크게 앞섰으며, 이는 중간 표현으로서 잠재 행동의 유용성을 입증합니다.
  • Classifier-Free Guidance (CFG): 비디오 생성 모델과 달리, RepWAM은 CFG 스케일 1.0(외삽 없음)에서 최적의 성능을 달성했습니다. 이는 의미 공간이 충분히 견고하여 CFG에 대한 의존도를 낮출 수 있음을 시사합니다.

5. 의의 및 주장

본 논문은 **표현 시각-행동 토크나이징(representation visual-action tokenization)**이 세계 행동 모델의 유망한 기초가 될 것이라고 주장합니다. 시각 및 행동 잠재 변수를 공유된 의미적 표현에 접지함으로써, RepWAM은 다음을 입증했습니다:

• 표현이 작업 관련 의미론을 포착한다면, 정책 학습을 위해 명시적인 미래 생성(explicit future generation)이 반드시 필요한 것은 아닙니다.
• 의미론적 정렬을 통해, 사전 학습된 비디오 생성 백본을 상속받지 않고도 WAM이 강력한 일반화 능력과 폐루프 성능을 달성할 수 있습니다.
• 이 접근 방식은 행동을 분리된 모터 명령이 아닌 의미적 상태의 변환으로 이해하는 표현 공간을 구축함으로써, **범용 로봇 정책(generalist robot policies)**을 향한 진전을 보여줍니다.

저자들은 잠재 공간의 설계가 체화된 에이전트의 능력에 근본적이라고 결론지으며, RepWAM이 더 해석 가능하고, 전이 가능하며, 효과적인 로봇 조작을 위한 한 단계임을 제시합니다. 향-후 연구로는 로보틱스 특화 비디오를 넘어 대규모 인터넷 및 인간의 1인칭(egocentric) 비디오까지 사전 학습 범위를 확장하는 것을 제안합니다.