💬 NLP

WCM: A World Critic Model for Vision-Language-Action Reinforcement Learning

이 논문은 미래의 잠재 상태를 예측하고 가치를 추정하기 위해 경량화된 LeJEPA 아키텍처를 활용하여 단일 프레임 비평가(critic)의 한계를 극복하고 다양한 로봇 조작 작업 전반에서 최첨단 성능과 일반화 능력을 달성하는 시각-언어-행동 강화 학습을 위한 새로운 접근 방식인 World Critic Model (WCM)을 소개한다.

원저자: Senyu Fei, Xiaopeng Yu, Siyin Wang, Xianzhong Zhao, Jingjing Gong, Xipeng Qiu

게시일 2026-08-03

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Senyu Fei, Xiaopeng Yu, Siyin Wang, Xianzhong Zhao, Jingjing Gong, Xipeng Qiu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 샌드위치를 만드는 법을 가르친다고 상상해 보세요. 당신은 로봇에게 재료 사진을 보여주며 "샌드위치를 만들어"라고 말합니다. 단순한 로봇은 이 단 한 장의 사진을 보고 무엇을 해야 할지 추측하여 빵을 잡으려고 시도할 것입니다. 하지만 여기 함정이 있습니다. 로봇은 미래를 볼 수 없습니다. 빵이 테이블에서 미끄러지고 있는지, 칼이 곧 미끄러질 예정인지, 혹은 토스터기가 곧 튀어 오를 예정인지 알지 못합니다. 현실 세계에서 로봇은 안개가 자욱한 방을 걷는 사람과 같습니다. 그들은 현재라는 아주 작은 조각만을 볼 수 있습니다. 이것을 "부분 관측 가능성(partial observability)"이라는 문제라고 부릅니다. 좋은 결정을 내리기 위해서, 로봇은 1초 전에 무슨 일이 일어났는지 기억하고, 1초 후에 무슨 일이 일어날지 예측해야 합니다.

오랫동안 과학자들은 강화 학습(Reinforcement Learning, RL)이라는 방법으로 로봇을 가르치기 위해 노력해 왔습니다. 이것을 비디오 게임이라고 생각하면 쉽습니다. 로봇은 다양한 행동을 시도하고, 잘하면 점수를 얻고, 실패하면 점수를 잃습니다. 빠르게 배우기 위해서 로봇에게는 "코치"(비평가/critic이라 불림)가 필요합니다. 코치는 게임 상태를 보고 "헤이, 방금 그 움직임 좋았어!" 또는 "안 좋은 생각이야!"라고 말해줍니다. 문제는 이러한 코치들 대부분이 게임의 단 하나의 프레임만을 보고 있었다는 점입니다. 그들은 마치 선수의 사진 한 장만 보고 소리를 지르는 코치와 같아서, 달리는 운동량이나 공의 속도를 놓치고 맙니다. "WCM: 시각-언어-행동 강화 학습을 위한 월드 크리틱 모델(A World Critic Model for Vision-Language-Action Reinforcement Learning)"이라는 제목의 이 논문은 바로 이 문제를 다룹니다. 이 논문은 단순히 현재를 보는 것이 아니라, 과거를 이해하기 위해 미래를 상상하는 새로운 종류의 코치를 제안합니다.

문제점: 기억상실증에 걸린 코치

로봇 학습의 세계에는 VLA(Vision-Language-Action) 모델이라고 불리는 모델들이 있습니다. 이들은 로봇이 이미지를 보고, "컵을 집어 들어"와 같은 문장을 이해하고, 팔을 움직일 수 있게 해주는 '두뇌' 역할을 합니다. 이러한 작업들을 정말 잘 수행하도록 하기 위해, 연구자들은 이 두뇌를 미세 조정(fine-tuning)하는 데 강화 학습을 사용합니다. 하지만 효과적으로 훈련하려면 "크리틱(critic)" 모델이 필요합니다. 이 크리틱은 현재 상황이 얼마나 좋은지를 추정하는 점수 기록원 역할을 합니다.

기존 방식은 크리틱에게 단 하나의 이미지(또는 몇 장의 이미지 묶음)만을 입력하고 "이 상황이 얼마나 좋아?"라고 묻는 것이었습니다. 이 논문은 이것이 근본적인 실수라고 주장합니다. 그것은 마치 선수들의 스냅샷 한 장만을 보고 축구 경기를 판단하려는 것과 같습니다. 공의 속도, 바람의 방향, 그리고 선수가 넘어지려 하는지 여부를 놓치게 됩니다. 로봇은 모든 것(테이블의 마찰력이나 움직이는 물체의 정확한 운동량 등)을 볼 수 없기 때문에, 단 한 장의 스냅샷은 종종 오해를 불러일으킬 수 있습니다.

저자들은 단순히 크리틱에게 더 많은 과거 기록을 제공하는 것(예: 마지막 5개의 비디오 프레임을 보여주는 것) 역시 효과적이지 않다는 것을 발견했습니다. 만약 표준적인 크리틱에게 긴 영상을 입력하고 점수를 예측하게 한다면, 크리틱은 영상을 펼쳐지는 하나의 이야기가 아니라 거대하고 정적인 픽셀 더미로 취급하는 경경향이 있습니다. 즉, 세상이 시간에 따라 어떻게 변하는지를 배우는 데 실패하는 것입니다. 논문은 그 근본 원인이 크리틱이 상황의 "물리학"을 이해하려고 노력하는 것이 아니라, 단지 숫자를 맞추기 위해 패턴을 암기하고 있기 때문이라고 제안합니다.

해결책: "월드(World)" 크리틱

여기서 **월드 크리틱 모델(World Critic Model, WCM)**이 등장합니다. 저자들은 두 가지 일을 동시에 수행하는 새로운 유형의 코치를 만들었습니다.

점수를 예측합니다: 일반적인 크리틱처럼 현재 상황이 얼마나 좋은지를 추정합니다.
미래를 예측합니다: 또한 로봇의 "내부 지도(latent state)"가 다음 순간에 어떤 모습일지 예측하려고 노력합니다.

WCM을 단순히 보드판을 보고 "내가 이기고 있어"라고 말하는 체스 플레이어가 아니라, 끊임없이 정신적 시뮬레이션을 돌리는 플레이어로 생각해보세요. "내가 여기로 움직이면, 상대는 저기로 움직일 것이고, 그러면 나는 이 새로운 위치에 있게 될 거야." 모델에게 다음 상황을 예측하도록 강제함으로써, 모델은 게임의 규칙, 즉 세상의 역학(dynamics)을 배우게 됩니다. 컵이 미끄러지고 있다면 곧 가장자리에서 떨어질 것이라는 점을 배우게 되는 것입니다. 이 "미래 예측"은 강력한 선생님 역할을 하여, 모델이 단순히 현재 프레임을 보는 것이 아니라 로봇의 움직임이라는 이야기를 이해하도록 돕습니다.

이 논문은 이를 위해 LeJEPA라는 가벼운 아키텍처를 사용합니다. 이는 처음부터 훈련시키기에 충분히 효율적이며 기존의 로봇 훈련 파이프라인에 매끄럽게 통합됩니다.

결과: "제로"에서 "히어로"로

연구진은 이 새로운 월드 크리틱을 대규모로 테스트했습니다. 그들은 4개의 서로 다른 시뮬레이션 벤치마크에 걸친 149개의 다양한 작업에 대해 실험을 진행했습니다. 이 작업들은 단순한 "집어서 놓기(pick-and-place)" 게임부터 수건을 접거나 가스레인지를 청소하는 것과 같은 복잡하고 긴 호흡의 과제까지 다양했습니다.

결과는 놀라웠습니다. 시뮬레이션에서 WCM은 기존의 가장 뛰어난 "코치"들을 포함한 모든 이전 방식들을 일관되게 능가했습니다.

분포 내 학습 (In-Distribution, IND): 로봇이 이전에 보았던 작업에 직면했을 때, WCM은 성공률을 크게 향상시켰습니다. 예를 들어, 특정 로봇 모델(OpenVLA-OFT)의 경우, WCM으로 훈련한 후 성공률이 형편없는 0.78%(사실상 매번 실패하는 수준)에서 **98.7%**로 급등했습니다. 이는 엄청난 도약입니다.
분포 외 학습 (Out-of-Distribution, OOD): 이것이 진짜 시험대입니다. 로봇이 새로운 테이블, 다른 조명 조건, 혹은 약간 다른 물체를 다룰 수 있을까요? WCM은 기존 방식들보다 여기서 훨씬 더 강력한 일반화 능력을 보여주었습니다. 모델은 단순히 훈련 데이터를 암기한 것이 아니라, 물체가 어떻게 움직이고 상호작용하는지에 대한 근본적인 규칙을 배웠습니다.

논문은 또한 이를 실제 세계로 가져갔습니다. 연구진은 물리적인 로봇 팔(WidowX-250S)을 사용하여 7가지 실제 작업에 대해 WCM을 테스트했습니다. 여기에는 회전하는 컨베이어 벨트 위의 초밥을 집거나, 수건을 접고, 가스레인지를 청소하는 까다로운 작업들이 포함되었습니다.

예측 불가능하고 무질서한 실제 환경에서도 WCM은 승리했습니다. WCM은 로봇이 표준적인 방식보다 더 매끄럽고 성공적으로 작업을 수행하도록 도왔습니다.
예를 들어, "회전하는 초밥" 작업에서 표준 방식은 초밥이 멀어지기 전에 잡는 데 어려움을 겪었습니다. 반면 WCM은 로봇이 완벽한 타이밍에 초밥을 잡을 수 있도록 도와, 기존 방식들보다 훨씬 낮은 수치와 대조되는 50번 중 22번의 성공을 거두었습니다.

이것이 왜 중요한가

이 논문은 더 나은 로봇을 만드는 핵심은 단순히 더 많은 데이터나 더 큰 두뇌를 주는 것이 아니라, 로봇에게 '시간'을 이해하는 더 나은 방법을 주는 것이라고 주장합니다. 로봇의 "코치"에게 미래를 예측하도록 가르침으로써, 로봇은 세상을 단절된 사진들의 연속이 아닌 흐르는 이야기로 보게 됩니다.

저자들은 결과가 인상적이긴 하지만, 이는 특정 시뮬레이션과 제한된 실제 작업에 기반한 것임을 명시했습니다. 그들은 모든 로봇 문제를 해결했다고 주장하는 것이 아니라, 크리틱에 "월드 모델(world model)"을 추가하는 것이 로봇을 더 똑똑하고, 빠르고, 적응력 있게 만드는 강력한 방법임을 보여주었습니다. 수건을 접든 초밥을 집든, 로봇 학습의 미래는 어쩌면 다음에 무슨 일이 일어날지를 상상하도록 가르치는 것에 달려 있을지도 모릅니다.

기술 요약: WCM – 시각-언어-행동 강화 학습을 위한 월드 크리틱 모델(World Critic Model)

1. 문제 정의

시각-언어-행동(Vision-Language-Action, VLA) 모델은 로봇 조작 분야에서 상당한 잠재력을 보여주었으나, 강화 학습(RL)을 통한 사후 학습(post-training) 과정에서 **부분 관측 가능성(partial observability)**이라는 결정적인 병목 현상에 직면해 있습니다. 로봇 제어는 본질적으로 부분 관측 마르코프 결정 과정(POMDP)이며, 단일 관측 프레임은 정확한 가치 추정에 필수적인 동적 정보(예: 운동 속도, 접촉 진행 상황, 또는 미래 상태의 진화)를 결과적으로 포함하지 못하는 경우가 많습니다.

기존의 크리틱 기반 VLA-RL 방법들은 주로 단일 프레임 관측이나 VLM 백본으로부터의 정적 잠재 표현(static latent representations)에 의존합니다. 프레임 스태킹(frame stacking)이나 시간적 집계(temporal aggregation)를 통해 이력을 통합하려는 시도들이 있으나, 다음과 같은 이유로 실패하는 경우가 많습니다:

지수적 복잡도: 가공되지 않은 이력을 사용하여 고차원의 시각 공간을 처리하는 것은 계산적으로 매우 부담스럽습니다.
불충분한 지도 학습: 순수 스칼라 리턴 회귀(scalar return regression)는 시계열 역학(cross-temporal dynamics)을 학습하기 위한 약한 지도 신호를 제공합니다. 크리틱은 역사적 입력을 시간의 흐름에 따라 환경이 어떻게 진화하는지를 학습하는 도구가 아니라, 단순히 더 큰 정적 특징 벡터로 취급하는 경향이 있습니다.
상태 근사 실패: 미래 상태를 모델링하려는 명시적인 목적 함수가 없으면, 크리틱의 표현은 부분 관측 가능성 하에서 정확한 가치 추정에 필요한 시간적 구조를 포착할 수 없습니다.

2. 방법론: 월드 크리틱 모델 (WCM)

저자들은 월드 모델링(미래 잠재 상태 예측)과 가치 추정을 공동으로 학습하는 통합 아키텍처인 **WCM(World Critic Model)**을 제안합니다. 경량화된 LeJEPA(Latent Joint-Embedding Predictive Architecture) 프레임워크를 기반으로 구축된 WCM은 크리틱이 환경 역학을 인코딩하도록 명시적으로 훈련함으로써 표현력의 병목 현상을 해결합니다.

아키텍처

WCM은 네 가지 주요 구성 요소로 이루어져 있습니다:

관측 인코더(Observation Encoder): $K$ 단계의 이력에서 개별 프레임을 순차적 잠재 임베딩( $\mathbf{z}_{t-K+1:t}$ )으로 매핑합니다. 이는 ViT 또는 기본 정책(예: $\pi_0, \pi_{0.5}$ , OpenVLA-OFT)의 VLM 백본이 될 수 있습니다.
언어 어댑터(Language Adapter): CLIP을 사용하여 언어 지시문을 인코딩하고 이를 WCM 잠재 공간으로 매핑합니다.
월드 예측기(World Predictor, History Trunk): 인과적 트랜스포머(Causal Transformer)가 언어 조건부 시각 이력을 처리하여 은닉 표현 $\mathbf{h}_t$ 를 생성합니다.
이중 디코더 헤드(Dual Decoder Heads):
- 가치 헤드( $\mathcal{D}_{value}$ ): 리턴 $V_t$ 를 추정합니다.
- 월드 헤드( $\mathcal{D}_{world}$ ): 현재 상태, 행동, 그리고 은닉 표현에 조건화되어 다음 잠재 상태 $\hat{\mathbf{z}}_{t+1}$ 을 예측합니다.

학습 목적 함수

모델은 다음과 같은 복합 손실 함수를 통해 엔드 투 엔드로 학습됩니다:
$\mathcal{L} = \mathcal{L}_{value} + \lambda \cdot \mathcal{L}_{pred} + \eta \cdot \mathcal{L}_{SIGReg}$

예측 손실( $\mathcal{L}_{pred}$ ): 예측된 다음 잠재 상태와 실제 정답 잠재 상태(teacher-forcing) 사이의 오차를 최소화합니다. 이는 표현이 시간적 역학을 포착하도록 강제합니다.
가치 손실( $\mathcal{L}_{value}$ ): 예측된 가치와 실제 리턴( $[-1, 1]$ 로 정규화됨) 사이의 표준 L2 회귀입니다.
SIGReg( $\mathcal{L}_{SIGReg}$ ): Sketched-Isotropic Gaussian Regularization입니다. 이는 잠재 공간의 1차원 투영이 표준 가우시안 분포의 특성 함수와 일치하도록 강제함으로써 잠재 공간에서의 특징 붕괴(feature collapse)를 방지합니다.

통합

WCM은 온-폴리시(on-policy, 예: PPO, Flow-SDE) 및 오프-폴리시(off-policy, 예: AWR, RECAP) 학습 파이프라인 모두와 호환되도록 설계되었습니다. 이는 표준 크리틱 또는 가치 함수를 대체하여, 이력을 활용해 어드밴티지(advantage)를 계산하고 정책을 업데이트합니다.

3. 주요 기여

표현력 병목 현상 식별: 본 논문은 부분 관측 가능성 하에서 단일 프레임 입력이나 약하게 지도된 이력 임베딩만으로는 시간적으로 유익한 상태를 복구하기에 불충분하다는 점을 식별했습니다.
통합 아키텍처 (WCM): 미래 상태 예측과 가치 추정을 결합한 크리틱 아키텍처를 제안했습니다. 이는 크리틱 표현이 단순히 스칼라 리턴을 회귀하는 것을 넘어, 환경의 역학을 명시적으로 인코딩하도록 훈련합니다.
경험적 검증: WCM이 다양한 VLA 백본 및 RL 파이프라인과 원활하게 통합되어 시뮬레이션 및 실제 환경 전반에서 일관된 성능 향상과 일반화 개선을 제공함을 입증했습니다.

4. 실험 결과

저자들은 네 가지 시뮬레이션 벤치마크(ManiSkill, MetaWorld, CALVIN, LIBERO-Plus)와 WidowX-250S 로봇을 사용한 7가지 실제 조작 작업에서 WCM을 평가했습니다.

시뮬레이션 성능

SOTA 성능: WCM은 모든 벤치마크에서 기존 베이스라인(Flow-SDE, Flow-Noise, $\pi$ -stepNFT, PPO, GRPO)을 일관되게 능가했습니다.
상당한 이득: ManiSkill에서 WCM은 $\pi_0$ 의 경우 SFT 베이스라인 대비 46.0 퍼센트 포인트(38.4%에서 84.4%로), OpenVLA-OFT의 경우 70.9 퍼센트 포인트(28.1%에서 99.0%로) 성능을 향상시켰습니다.
극단적 저자원 시나리오: OpenVLA-OFT가 ManiSkill 데이터에 전혀 노출되지 않았을 때(성공률 0.78%), WCM은 성능을 **98.7%**로 끌어올려 12,551%의 상대적 증가를 달 나타냈습니다.
일반화: WCM은 전통적인 크리틱에 비해 우수한 OOD(Out-of-Distribution) 일반화 능력을 보여주었습니다. LIBERO-Plus에서 원샷(one-shot) SFT 베이스라인으로부터 시작했을 때, WCM은 약 250회의 RL 스텝만으로 20k 궤적을 학습한 풀샷(full-shot) SFT 모델을 능가했습니다.

실제 환경 성능

안정적 배포: 오프-폴리시 RL(AWR 및 RECAP)을 사용하여, WCM은 변형 가능한 물체(천/수건 접기), 장기 목표 작업(가스레인지 청소), 동적 파지(회전하는 초밥) 등의 작업에서 더 높은 성공률과 부드러운 동작을 달성했습니다.
샘플 효율성: WCM은 제한된 데이터(수백에서 수천 개의 궤적)와 1시간 미만의 훈련 시간으로 빠른 반복적 개선을 가능하게 했습니다.
행동 개선: 정성적 분석 결과, WCM 학습 정책은 단일 프레임 크리틱의 흔한 실패 모드(예: 시간적 맥락 부족으로 인해 엔드 이펙터를 테이블에 박아버리거나, 파지 후 지연 현상이 발생하는 문제)를 피하는 것으로 나타났습니다.

절제 연구 (Ablation Studies)

월드 예측의 필요성: 월드 예측 목적 함수를 제거하거나( $\lambda=0$ ), 예측 훈련 없이 단순히 이력 기반 ViT만 사용하는 경우 성능이 저하되었으며, 이는 예측 목적 함수가 시간적 역학을 학습하는 데 필수적임을 확인시켜 줍니다.
이력 길이: 관측 이력 길이는 3 프레임일 때 최적이었으며, 이는 아마도 작업에 충분한 2차 역학(가속도)을 포착하기 때문인 것으로 보입니다.
하이퍼파라미터 민감도: 가중치 $\lambda$ 는 월드 예측과 가치 학습 사이의 균형을 맞춥니다. $[0.3, 0.5]$ 사이의 중간 범위가 내적 분포(In-Distribution) 및 외적 분포(OOD) 성능 사이의 최적의 균형을 제공했습니다.

5. 의의 및 주장

본 논문은 현재 VLA-RL 방법의 근본적인 한계가 스칼라 리턴만을 사용하여 부분 관측 가능성 하에서 상태를 재구성하는 크리틱의 능력 부족에 있다고 주장합니다. 월드 모델링과 크리틱 학습을 통합함으로써, WCM은 가치 회귀를 보완하는 조밀한 지도 신호를 제공하여 크리틱이 "예측적 상태 표현(predictive state representation)"을 학습할 수 있게 합니다.

저자들은 WCM이 단순한 아키텍처의 미세 조정이 아니라, 크리틱을 훈련하는 방식의 전환임을 강조합니다. 즉, 정적 회귀에서 동적 예측으로 이동하는 것입니다. 이러한 접근 방식은 VLA 정책이 관측 이력을 효과적으로 추론할 수 있게 하여, 부분 관측이 발생하는 로봇 조작 작업에서 강력한 일반화를 이끌어냅니다. 이 연구는 명시적인 월드 모델링 목적 함수가 부분 관측 가능한 로봇 조작 작업에서 RL을 확장하는 데 필수적임을 입증합니다.