기술 요약: MV-WAM: 가치 증강을 통한 매니폴드 인식 월드 액션 모델 (Manifold-Aware World Action Model with Value Augmentation)

1. 문제 정의 및 동기

본 논문은 다양하고 미학습된 환경 전반에 걸쳐 견고하고 일반화 가능한 로봇 조작을 달야내는 근본적인 과제를 다룹니다. 최근의 시각-언어-행동(Vision-Language-Action, VLA) 모델들은 의미론적 및 태스크 수준의 일반화 성능을 발전시켰으나, 시각적 및 환경적 변화(예: 조명, 질감, 물체 구성)에는 종종 실패합니다.

월드 액션 모델(World Action Models, WAMs)은 대규모의 행동이 배제된 비디오 데이터를 통합하여 시각적 역학(visual dynamics)을 학습함으로써 이 간극을 메우고자 합니다. 그러나 저자들은 기존의 WAM 아키텍처들—결합형(decoupled), 완전 통합형(fully unified), 또는 Mixture-of-Transformers(MoTs) 기반 모델들—이 분포 변화(distribution shifts) 상황에서 비디오 사전 지식(video priors)을 비례적인 **행동 견고성(action robustness)**의 이득으로 전환하는 데 실패한다는 점을 관찰했습니다.

식별된 핵심 문제는 **구조적 매니폴드 불일치(structural manifold mismatch)**입니다. 시각적 관측치는 공간적 및 광학적 규칙성에 의해 제어되는 고차원의 밀집된 구조를 가진 매니폴드에 거주하는 반면, 로봇의 행동은 저차원의 시간적 구조를 가진 정밀도가 중요한 매니폴드에 거주합니다. 기존의 통합 모델들은 단일 목적 함수를 통해 두 양상(modality)을 최적화함으로써, 행동 브랜치가 복잡한 기하학적 구조를 가진 시각 매니폴드에 순응하도록 강제합니다. 이러한 "매니폴드 무관(manifold-agnostic)" 최적화는 행동에 대한 느슨한 일반화 경계(generalization bound)를 초래하며, 시각적 조건이 변할 때 행동 성능이 크게 저하되는 원인이 됩니다.

2. 방법론: MV-WAM

저자들은 단일 트랜스포머 기반 확산 백본(diffusion backbone) 내에서 시각 예측, 행동 생성, 가치 추정을 통합하는 엔드 투 엔드 프레임워크인 MV-WAM(Manifold-Aware World Action Model with Value Augmentation)을 제안합니다.

2.1 아키텍처: 매니폴드 인식 MoTs

MV-WAM은 두 개의 양상 특화 전문가(modality-specific experts)를 특징으로 하는 Mixture-of-Transformers (MoTs) 백본을 기반으로 구축되었습니다:

• 비디오 전문가 (Video Expert): 대규모 사전 학습된 비디오 생성 모델(WoW-1.3B)로부터 초기화되며, 시각적 토큰을 처리합니다. 이는 시공간 VAE를 사용하여 프레임을 잠재 표현(latent representations)으로 압축합니다.
• 행동-가치 전문가 (Action-Value Expert): 행동 토큰과 가치 토큰을 처리합니다. SigLIP2로 인코딩된 다중 뷰 시각 상태와 언어 지침을 조건으로 입력받습니다.
• 교차 양상 인과적 마스크 (Cross-Modality Causal Mask): 구조화된 어텐션 마스크가 정보 흐름을 조절합니다. 비디오 토큰은 고충실도 생성을 유지하기 위해 자기 주의(self-attention)로 제한됩니다. 행동 토큰은 비디오 컨텍스트와 다른 행동들에 주의를 기울일 수 있으며, 가치 토큰은 시각, 행동, 상태 토큰 모두에 공동으로 주의를 기울입니다. 이는 행동이 비디오 생성 과정을 오염시키지 않으면서 예측된 시각적 미래에 조건화되도록 보장합니다.

2.2 매니폴드 인식 이중 예측 목적 함수

기하학적 불일치를 해결하기 위해, MV-WAM은 각 매니폴드의 고유한 곡률에 맞춤화된 별도의 손실 함수를 사용합니다:

• 시각 브랜치: 고곡률 시각 매니폴드 상의 속도장($v_\theta$)을 예측하기 위해 표준 **플로우 매칭(Flow Matching)**을 사용합니다.
• 행동 브랜치: 저곡률 행동 매니폴드 상에서 직접 상태 회귀(direct state regression) 목적 함수(깨끗한 행동 잠재값 $a_0$를 예측)를 사용합니다.
• 결합 최적화: 전체 손실은 이 두 가지 서로 다른 목적 함수의 가중 합($L = \lambda_v L_v + \lambda_a L_a$)이며, 이를 통해 시각적 목적 함수가 행동 학습 신호를 지배하거나 오염시키는 것을 방지합니다.

2.3 진행도 기반 조절 (Progress-Valued Regulation)

추론 중 실행 편차를 처리하기 위해, 모델은 진행도 기반 조절 메커즘을 포함합니다:

• 가치 추정: 행동-가치 전문가는 몬테카를로(MC) 리턴을 통해 학습된 태스크 가치 토큰을 예측하여, 태스크 진행도와 완료 여부를 추정합니다.
• 가치 유도 롤백 (Value-Guided Rollback): 온라인 실행 중, 예측된 가치가 학습된 정점보다 현저히 낮아지면($\hat{c}_t < c_{peak} - \delta$), 시스템은 롤백 및 재샘플링 프로토콜을 트리거합니다. 정책은 정점 가치에 해당하는 캐시된 상태로 되돌아가 새로운 행동 청크(action chunk)를 재샘플링합니다. 이를 통해 로봇은 인간의 개입이나 전체 궤적 재생성 없이도 자율적으로 오류를 감지하고 복구할 수 있습니다.

2.4 학습 전략

MV-WAM은 2단계 학습 절차를 활용합니다:

1. 비디오 사전 학습: 비디오 전문가를 대규모 시각 데이터로 사전 학습합니다.
2. 결합 미세 조정: 전체 모델(비디오 전문가 + 행동-가치 전문가)을 쌍을 이룬 시연 데이터(demonstration data)로 미세 조정합니다.

3. 주요 기여

1. MV-WAM 프레임워크: 시각적 예측, 로봇 행동, 가치 추정을 공동 생성하는 통합 월드 액션 모델입니다. 이 모델은 매니폴드 인식 다중 목적 함수 형식과 교차 양상 인과적 마스크를 도입하여, 각 양상의 뚜렷한 기하학적 구조를 존중하면서 예측된 시각적 미래에 행동 생성을 접지(grounding)시킵니다.
2. 진행도 기반 조절: 태스크 완료를 추정하고 시각-행동 불일치를 감지하여, 실행 중 자율적인 편차 감지 및 가치 유도 복구(롤백)를 가능하게 하는 새로운 메커니즘을 제공합니다.
3. 최첨단 일반화 성능: 본 프레임워크는 인도메인(in-domain) 및 분포 외(OOD) 설정 모두에서 우수한 성능을 입증하며, 원칙적인 기하학적 정렬이 단순히 모델의 규모나 깊이를 키우는 것보다 더 중요하다는 것을 증명했습니다.

4. 실험 결과

4.1 시뮬레이션 (RoboTwin 2.0)

"Clean"(인도메인) 및 "Random"(조명, 배경, 물체가 섭동된 OOD) 설정의 50개 조작 태스크에서 평가되었습니다:

• 성능: MV-WAM은 Random 시나리오에서 **55.7%**의 평균 성공률을 달성하여, 가장 강력한 베이스라인인 HALO를 29.3% 차이로 앞질렀습니다.
• 견고성: MV-WAM의 Clean 대비 Random에서의 상대적 성능 저하는 **33.7%**에 불과했던 반면, HALO는 67.2%, Fast-WAM은 91.2%의 저하를 보였습니다.
• 퓨샷(Few-Shot): 제로샷(zero-shot) 설정에서 MV-WAM은 Random 태스크에서 54.0%의 성공률을 기록했으며, 단 10회의 샷(10 shots)만으로 74.6%까지 향상되었습니다.

4.2 실제 환경 배치

TienKung 듀얼 암 로봇을 사용하여 네 가지 난이도의 태스크(강체 파지, 천 핸들링, 변형 가능한 조작)에 대해 평가되었습니다:

• 성능: MV-WAM은 **77.5%**의 평균 성공률을 달성하여, $\pi_0$(42.5%)와 RDT(32.5%)를 크게 상회했습니다.
• 특정 태스크: "Drop Cloth"와 "Pick Cloth"에서는 100%의 완벽한 점수를 기록한 반면, 베이스라인들은 70% 미만의 성능에 그쳤습니다. 가장 어려운 태스크인 "Fold Cloth"에서 MV-WAM은 20%의 성공률을 기록했으나, RDT는 0%를 기록했습니다.

4.3 절제 연구 (Ablation Studies)

• 매니폴드 인식: 매니폴드 인식 목적 함수를 단일 통합 목적 함수(예: 둘 다 노이즈 예측 사용)로 교체했을 때, Random 성공률이 55.7%에서 6.0%로 급락하여 별도의 기하학적 목적 함수의 필요성을 입증했습니다.
• 디노이징 단계: 모델은 적은 디노이징 단계에서도 견고함을 유지합니다 (3단계만으로 5단계 성능의 >96%를 회복).
• 가치 토큰: 가치 예측 브랜치를 제거하면 성능이 감소하여, 정책 학습을 위한 진행도 신호의 유용성을 확인했습니다.

5. 의의 및 주장

본 논문은 로봇 조작의 일반화 격차가 단순히 데이터나 모델 규모의 부족 때문이 아니라, 시각 및 행동 양상 사이의 기하학적 불일치라는 근본적인 문제에서 기인한다고 주장합니다.

• 핵심 통찰: 더 깊은 비디오-행동 결합이 반드시 더 나은 행동 일반화를 가져오는 것은 아니며, 대신 매니폴드 인식 교차 양상 정렬이 필수적입니다.
• 효율성: MV-WAM은 경쟁하는 WAM들보다 훨씬 적은 파라미터로 이러한 이득을 달성하며, 이는 아키텍처 설계(특히 매니폴드 기하학을 존중하는 설계)가 견고성의 주요 동력임을 시사합니다.
• 자율성: 가치 유도 롤백 메커니즘은 로봇이 실행 편차를 자율적으로 식감하고 복구할 수 있는 경로를 제공하며, 이는 구조화되지 않은 실제 환경에서 배치 가능한 신뢰할 수 있는 로봇 조작을 향한 중요한 단계입니다.

저자들은 제안된 메커니즘의 더 큰 모델 규모로의 확장 가능성이 아직 테스트되지 않았으며, 희소 보상(sparse-reward) 및 장기 호라이즌(long-horizon) 태스크에서 몬테카를로 가치 추정치가 노이즈가 섞일 수 있다는 점을 한계로 인정했습니다.