💻 computer science

PAVXploreRL: Physical-Action-Visual World Model Reinforcement Learning with Action Exploration

PAVXploreRL은 보상 기반 학습과 노이즈 기반 분포 외 액션 탐색을 통해 물리적 타당성(Physical Plausibility), 액션 준수(Action Adherence), 시각적 충실도(Visual Fidelity) 목적 함수를 명시적으로 최적화함으로써, 기존의 전문가 전용 방식보다 우수한 일반화 성능과 더 신뢰할 수 있는 정책 평가를 달 수 있도록 액션 조건부 월드 모델을 강화하는 강화 학습 프레임워크이다.

원저자: Han Wang, Zijun Wang, Shuoshuo Xue, Rui Cao, Fenjiao Cheng, Xiaodang Liang, Roy Ka-Wei Lee

게시일 2026-07-21

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Han Wang, Zijun Wang, Shuoshuo Xue, Rui Cao, Fenjiao Cheng, Xiaodang Liang, Roy Ka-Wei Lee

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 블록 쌓기나 음료 따르기와 같은 복잡한 과업을 가르치려 한다고 상상해 보세요. 로봇이 학습하기 위해 당신의 집 안을 수백만 번 돌아다니게 할 수는 없습니다. 그러면 물건을 부수거나, 지치거나, 시간이 너무 오래 걸릴 것입니다. 대신, 과학자들은 "월드 모델(world models)"을 구축합니다. 이것은 로봇이 특정 방식으로 팔을 움직였을 때 다음에 정확히 어떤 일이 일어날지 예측할 수 있는 초지능형 비디오 게임 엔진과 같습니다. 마치 실제 로봇 없이도 로봇의 행동이 가져올 미래를 보여주는 수정 구슬을 가진 것과 같습니다. 하지만 여기서 까다로운 점은, 이 수정 구슬이 유용하려면 완벽해야 한다는 것입니다. 물리 법칙을 준수해야 하고(물체가 떠다니지 않도록), 주어진 명령을 정확히 들어야 하며(왼쪽으로 움직이라고 하면 오른쪽으로 움직여서는 안 됨), 인간이 이해할 수 있을 만큼 영상이 실감 나야 합니다. 만약 모델이 이 중 하나라도 틀린다면, 그것은 마치 중력의 존재를 잊어버려서 당신에게 절벽으로 운전하라고 알려주는 GPS와 같습니다.

큰 문제는 대부분의 모델이 "완벽한" 사례들—즉, 로봇이 과업을 완벽하게 수행하는 영상들—에 대해서만 학습된다는 점입니다. 이 모델들은 특정 동작을 모방하는 데는 매우 뛰어나지만, 만약 조금 다른 것을 시도하거나 실수를 하게 되면 종종 엉뚱한 환각(hallucination)을 일으킵니다. 그들은 현실 세계의 무질서하고 예측 불가능한 부분을 다루는 법을 배우지 못했습니다. PAVXploreRL이라는 제목의 이 논문은 이러한 월드 모델을 더 강인하고, 똑똑하며, 신뢰할 수 있게 만드는 새로운 방법을 소개합니다. 연구진은 단순히 완벽한 영상을 암기하는 것이 아니라, 안전한 시뮬레이션 환경에서 "이상하거나" 불완전한 움직임을 직접 연습하는 시스템을 구축했습니다. 모델이 물리적으로 현실적이고, 명령을 잘 따르며, 선명하게 보이도록 보상함으로써, 그들은 로봇이 계획대로 되지 않을 때조차 실제로 무엇을 할지 훨씬 더 잘 예측할 수 있는 도구를 만들어냈습니다.

PAVXploreRL 어드벤처

이 논문의 저자인 한 왕(Han Wang)과 그의 팀은 로봇에게 미래를 상상하도록 가르치는 방식의 특정 약점을 해결하고자 했습니다. 그들은 그들의 해결책을 PAVXploreRL이라고 부르는데, 이는 Physical(물리적), Action(행동), 그리고 Visual(시각적) Exploration(탐색) Reinforcement Learning의 약자입니다. 이것은 로봇의 상상력을 위한 훈련 캠프라고 생각하면 됩니다.

과거에 이러한 모델을 훈련시키는 것은 학생에게 오직 정답지만 보여주며 가르치는 것과 같았습니다. 모델들은 로봇이 완벽하게 과업을 수행하는 수천 개의 영상을 보고 그것을 복제하려고 노력합니다. 문제는 무엇일까요? 만약 모델에게 조금 다른 동작—예를 들어, 조금 더 빠르게 움직이거나 물체를 떨어뜨리는 동작—을 상상하도록 요청하면, 모델은 종종 실패하여 가짜처럼 보이거나 물리 법칙을 위반하는 영상을 만들어냅니다. 연구진은 진정으로 유용한 "수정 구슬"을 만들려면 모델이 그들이 PAV 목표라고 부르는 세 가지 구체적인 사항을 이해해야 한다고 주장합니다.

물리적 타당성 (Physical Plausibility, P): 영상은 물리 법칙을 준수해야 합니다. 로봇이 컵을 떨어뜨린다면, 컵은 위로 떠오르는 것이 아니라 아래로 떨어져야 합니다.
명령 준수 (Action Adherence, A): 영상은 로봇에게 지시된 대로 정확히 수행되어야 합니다. 만약 명령이 "빨간 블록을 잡아라"라면, 영상 속 로봇은 파란 블록을 잡아서는 안 됩니다.
시각적 충실도 (Visual Fidelity, V): 영상은 흐릿하거나 이상하지 않고 선명하고 실제처럼 보여야 하며, 그래야 인간이 그 영상을 신뢰할 수 있습니다.

이 논문은 기존의 방법들이 "In-Distribution(ID, 분포 내)" 데이터—즉, 완벽한 전문가의 영상만을 학습하는 데이터—만을 바라보았기 때문에 실패했다고 주장합니다. 그들은 모델에게 상황이 잘못되거나 로봇이 새로운 시도를 할 때 어떤 일이 일어나는지를 가르치지 않았습니다. 이를 해결하기 위해, PAVXploreRL은 "장난스러운" 훈련 방법을 도입합니다. 단순히 완벽한 영상을 복사하는 대신, 시스템은 그 완벽한 영상들에 약간의 "노이즈"를 추가하여 동작을 의도적으로 망가뜨립니다. 이는 로봇의 명령에 노이즈를 더해 Out-of-Distribution (OOD, 분포 외) 행동들을 만들어내는 것입니다. 이것은 마치 "만약 ~라면?"이라는 시나리오와 같습니다: 만약 로봇이 너무 빨리 움직였다면? 만약 로봇이 미끄러졌다면?

마법은 시스템이 이러한 무질서한 시나리오를 배우기 위해 실제 영상이 필요하지 않다는 점에서 일어납니다. 시스템은 예측된 미래를 보고 "이봐, 이건 물리적으로 불가능해 보인다"라거나 "이건 명령과 일치하지 않아"라고 말할 수 있는 특별한 "판사"(VJEPA-2라는 모델 기반)를 사용합니다. 시스템은 이러한 점수를 게임에서 좋은 동작을 했을 때 점수를 주는 것과 유사한 보상으로 사용합니다. 만약 모델이 현실적이고 규칙을 따르는 미래를 예측한다면 높은 점수를 받습니다. 만약 모델이 떠다니는 컵이나 명령을 무시하는 로봇을 예측한다면 낮은 점수를 받고 다시 시도합니다.

이 접근 방식의 결과는 상당히 유망합니다. 연구진은 이 새로운 방법을 두 가지 서로 다른 로봇 데이터셋인 Agigbot(양손 로봇)과 Droid(외손 로봇)에서 테스트했습니다. 그들은 이 특수한 훈련을 거친 모델이 표준 모델들을 지속적으로 능가한다는 것을 발견했습니다. 평균적으로 다양한 벤치마크에서 5.6%의 향상을 보였습니다. 이것이 작게 들릴 수도 있지만, 로봇 훈련의 세계에서는 상당한 도약입니다. 새로운 모델은 물체를 지면에 고정하는 능력(물리적 타당성), 명령을 따르는 능력(명령 준수), 그리고 실제처럼 보이는 능력(시각적 충실도) 측면에서 더 뛰어났습니다.

아마도 가장 중요한 발견은 모델이 "정책 평가(policy evaluation)"를 처리하는 방식일 것입니다. 이것은 "우리가 실제 세상에 로봇을 내보내기 전에, 이 모델을 사용하여 로봇의 두뇌가 우수한지 테스트할 수 있는가?"를 의미하는 전문적인 용어입니다. 논문은 기존 모델들이 너무 자신만만해져서, 로봇이 실제로 70%의 확률로 성공할 때 90%의 확률로 성공할 것이라고 과대평가하는 경향이 있다고 보여줍니다. 그러나 PAVXploreRL은 더 정직하고 신뢰할 수 있는 추정치를 제공합니다. 이 모델은 로봇의 "성공에 대한 꿈"에 속지 않고, 실제로 일어날 일에 대해 진실을 말합니다.

연구팀은 또한 기계의 어떤 부품이 핵심적인 역할을 하는지 확인하기 위해 부품을 분해해 보는 "절제 연구(ablation studies)"도 수행했습니다. 그들은 "신체 중심 보상"(로봇의 몸체에 집중하는 보상)이나 "정적 정규화"(모델이 단순히 멈춰 있는 완벽한 이미지만 예측하는 것을 방지하는 것)와 같은 훈련 레시피의 서로 다른 부분들을 제거하며 시스템을 테스트했습니다. 그들은 이 레시피의 모든 요소가 필수적이라는 것을 발견했습니다. 물리적 타당성을 체크하는 부분을 제거했을 때 모델은 성능이 저하되었습니다. OOD(분포 외) 행동을 처리하는 부분을 제거했을 때 모델은 신뢰성이 떨어졌습니다. 이는 모든 요소의 조합이 시스템을 잘 작동하게 만드는 핵심임을 시사합니다.

결국, PAVXploreRL은 단순히 더 예쁜 로봇 영상을 만들기 위한 것이 아닙니다. 이것은 로봇을 더 안전하고 신뢰할 수 있게 훈련하는 방법을 구축하는 것에 관한 것입니다. 이러한 모델이 "만약 ~라면"이라는 시나리오를 탐색하도록 가르치고, 물리적으로 정확하고 순종적일 때 보상함으로써, 연구진은 로봇이 현실 세계에서 더 빠르고 안전하게 배울 수 있도록 돕는 도구를 만들어냈습니다. 이 논문은 이 접근 방식이 체화된 AI(embodied AI)의 중요한 진전이 될 수 있음을 시사하며, 실제 실험실에서 수백만 번의 충돌 없이도 복잡한 로봇을 훈련하는 것을 가능하게 할 수 있습니다. 비록 이 논문이 로봇 공학의 모든 문제를 해결했다고 주장하는 것은 아니지만, 우리가 실제로 신뢰할 수 있는 로봇 시뮬레이션을 만들기 위한 강력하고 측정 가능한 단계를 제시하고 있습니다.

기술 요약: PAVXploreRL

문제 정의

행동 조건부 월드 모델(Action-conditioned world models)은 비용이 많이 드는 실제 환경의 롤아웃에 대한 의존도를 줄여주는 확장 가능한 정책 평가 도구로서, 체화된 AI(Embodied AI) 분야에서 매우 중요합니다. 그러나 기존 방식은 두 가지 주요 한계점에 직면해 있습니다:

PAV 목적 함수의 불충분한 최적화: 현재의 모델들은 픽셀 수준의 재구성 손실(reconstruction losses)이나 적응되지 않은 시각-언어 모델(VLM) 점수에 크게 의존합니다. 이들은 세 가지 핵심 목적 함수인 물리적 타당성(Physical Plausibility: 객체 영속성 및 접촉과 같은 실제 물리 법칙 준수), 행동 준수(Action Adherence: 제어 신호의 충실한 이행), 그리고 시각적 충실도(Visual Fidelity: 고품질의 해석 가능한 출력 유지)를 명시적으로 최적화하지 못합니다.
OOD(Out-of-Distribution) 행동에 대한 낮은 일반화 능력: 대부분의 모델은 인간 전문가의 데이터(성공적인 궤적)로부터 수집된 ID(In-distribution) 행동-비디오 쌍으로만 학습됩니다. 결과적으로, 이들은 OOD 행동(차선책 또는 미학습된 정책)에 대해 일반화하는 데 어려움을 겪으며, 학습 과정에서 대응하는 정답(ground-truth) 비디오 감독이 부족하기 때문에 이러한 행동들의 성공률을 과대평가하는 경향이 있습니다.

방법론

저자들은 행동 탐색을 통해 PAV 목적 함수를 명시적으로 최적화하도록 설계된 RL(강화 학습) 프레임워크인 PAVXploreRL을 제안합니다.

1. 모델 아키텍처 및 사전 학습

이 프레임워크는 다음과 같이 보강된 최첨단 비디오 확산 모델(Wan2.2-TI2V-5B)을 기반으로 구축되었습니다:

행동 조건화(Action Conditioning): 적응형 레이어 정규화(AdaLN)를 통해 행동 임베딩을 시간적 경로(temporal pathway)에 주입합니다.
장기 컨텍스트(Long-Horizon Context): "Framepack" 전략을 사용하여 히스토리 프레임을 불균등하게 샘플링하고 압축함으로써 장거리 시간 의존성을 효율적으로 포착합니다.
지도 미세 조정(Supervised Fine-Tuning, SFT): 모델은 먼저 로봇 데이터셋(Agibot 및 Droid)에서 재구성 MSE 손실을 사용하여 사전 학습된 베이스라인을 구축하기 위해 학습됩니다.

2. 보상 함수 설계

핵심 혁신은 ID 및 OOD 궤적 모두에서 작동하는 통합 보상 함수 $R$ 입니다. 이는 PAV 목적 함수를 겨냥하기 위해 다섯 가지 구성 요소를 결합합니다:

픽셀 수준 보상 ( $r_{pixel}$ ): 저수준 이미지 유사성을 위해 MSE, SSIM, LPIPS를 사용합니다 (정답 데이터가 있는 ID 데이터에서만 사용 가능).
VJEPA 인코더 보상 ( $r_{VJEPA-E}$ ): 사전 학습된 VJEPA-2 인코더를 활용하여 예측된 프레임과 정답 프레임 사이의 고수준 물리적 일관성을 측정합니다 (ID 전용).
VJEPA 예측기 보상 ( $r_{VJEPA-P}$ ): 행동 조건부 VJEPA-2 예측기를 사용하여 시작 프레임과 행동으로부터 미래의 잠재 표현(latent representations)을 추정합니다. 이를 통해 정답 비디오 없이도 모델의 출력을 VJEPA 예측기의 잠재 예측값과 비교함으로써 OOD 평가를 수행할 수 있습니다. 모델이 정적인 고품질 예측만을 선호하는 것을 방지하기 위해 정적-모션 규제 항(static-motion regularization term)이 추가됩니다.
체화 중심 보상 ( $r_{emb}$ ): 행동 준수 및 로봇 움직임의 일관성을 더 잘 평가하기 위해, 원본 프레임과 로봇 특정 영역만을 유지하도록 분할된 "체화 중심" 프레임 모두에 대해 VJEPA 보상을 계산합니다.
시각적 충실도 보상 ( $r_{VF}$ ): 페르셉추얼, 통계적, 시간적 일관성 측정치(예: NIQE, SSIM, temporal consistency)를 통합한 참조 없는(reference-free) 지표를 사용하여 시각적 품질을 보장하며, 이는 특히 쌍이 되는 비디오가 없는 OOD 브랜치에서 매우 중요합니다.

최종 보상은 이 구성 요소들의 가중치 결합이며, 샘플링 확률 $\alpha_{OOD}$ 에 따라 ID 브랜치(정답 지표 사용)와 OOD 브랜치(예측기 기반 지표 사용) 사이를 전환합니다.

3. 강화 학습 파이프라인

프레임워크는 효율적인 미세 조정을 위해 Diffusion-NFT 접근 방식을 채택합니다:

궤적 생성: 롤아웃 과정에서 모델은 히스토리 프레임과 행동에 조건화되어 미래 프레임을 생성합니다.
보상 가중치 부여: 스칼라 궤적 수준 보상이 계산됩니다. 학습 목표는 정책 업데이트를 유도하기 위해 암시적인 양의 대상(보상 정렬)과 음의 대상(차선책)을 구축하는 보상 가중치 디노이징 손실(reward-weighted denoising loss)입니다.
파라미터 업데이트: 사전 학습된 모델의 능력을 보존하면서 새로운 보상 신호에 적응하기 위해, RL 단계에서는 행동 인코더와 LoRA 파라미터만 업데이트됩니다.

4. VJEPA-2 적응

보상 평가기로서 역할을 수행하기 위해, VJEPA-2는 다음과 같은 특정 수정 사항을 포함하여 로봇 데이터로 재학습됩니다:

이중 입력: 원본 이미지와 체화 중심(분할된) 이미지를 모두 처리합니다.
다단계 예측: 학습은 두 단계로 나뉩니다. 1단계는 1단계 예측(one-step prediction)을 수행합니다. 2단계는 전체 액션 청크(action chunk)에 대한 자기회귀적 롤아웃을 도입하고 누적 손실을 적용하여, 시작 프레임과 일련의 행동만으로 미래 프레임을 예측할 수 있게 함으로써 장기 일관성을 개선합니다.

주요 기여

통합 보상 함수: 단순한 픽셀 재구성을 넘어 물리적 타당성, 행동 준수, 시각적 충실도를 명시적으로 최적화하는 보상 함수를 제안했습니다.
OOD 탐색을 포함한 RL 프레임워크: OOD 행동 브랜치를 위한 쌍이 되는 비디오 감독 없이도 ID 행동-비디오 쌍과 노이즈 기반의 OOD 행동 탐색을 결합하여 활용하는 RL 프레임워크를 개발했습니다.
정책 평가 개선: PAVXploreRL이 사전 학습된 월드 모델을 지속적으로 개선하여, 전문가 전용 베이스라인에 비해 더 신뢰할 수 있는 정책 평가를 수행하고 과대평가 편향을 줄임을 입증했습니다.

실험 결과

실험은 Agibot(양손) 및 Droid(단일 손) 데이터셋을 대상으로 수행되었습니다.

정량적 성능: PAVXploreRL은 모든 벤치마크에서 사전 학습된 베이스라인을 지속적으로 능가하며 평균 **5.6%**의 이득을 달了.
- Agibot 검증 세트에서 RL 모델은 PSNR 21.20(PT의 20.52 대비), SSIM 0.812를 달성하였고, LPIPS는 0.127로 감소했습니다.
- Droid 검증 세트에서 RL 모델은 PSNR 21.71 및 SSIM 0.828을 달성했습니다.
정성적 개선: 시각적 결과는 향상된 물리적 타당성, 더 나은 행동 준수, 그리고 장기 롤아웃에서의 더 높은 시각적 사실성을 보여주었습니다.
어블레이션 연구(Ablation Studies): 각 보상 구성 요소(VJEPA 인코더, VJEPA 예측기, 정적 규제, 체화 중심, 시각적 충실도)의 필요성을 확인하였으며, 전체 조합이 최상의 성능을 나타냈습니다.

의의 및 주장

본 논문은 현재의 월드 모델이 물리적 및 시각적 무결성을 유지하면서 다양한 미학습 행동을 처리하는 능력에 있어 발생하는 결정적인 간극을 PAVXploreRL이 해결한다고 주장합니다. 단순한 픽셀/VLM 보상을 대신하여 도메인 적응형 잠재 월드 모델(VJEPA-2)을 직접적인 PAV 목적 함수 평가에 사용함으로써, 이 방법은 OOD 행동에 대한 강력한 탐색을 가능하게 합니다. 이를 통해 PAVXploreRL은 현실적인 시뮬레이션을 생성할 뿐만 아니라, Ctrl-World와 같은 기존 전문가 전용 모델에서 흔히 나타나는 과대평가 편향을 완화하여 더욱 신뢰할할 수 있는 정책 평가 도구로서의 월드 모델을 만듭니다. 이 연구는 보상 기반 RL을 통한 PAV 타겟의 명시적 최적화가 더 확장 가능하고 신뢰할 수 있는 체화된 AI 시스템을 향한 실행 가능한 경로임을 시사합니다.