🤖 AI

Coupled Local and Global World Models for Efficient First Order RL

이 논문은 복잡한 조작 작업을 이미지 공간에서 직접 시뮬레이터 없이 효율적인 강화 학습을 가능하게 하기 위해, 고충실도 전역 확산 월드 모델과 경량 로컬 대리 모델을 결합한 새로운 디커플드 1차 그래디언트 방법을 제안한다.

원저자: Joseph Amigo, Rooholla Khorrambakht, Nicolas Mansard, Ludovic Righetti

게시일 2026-06-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Joseph Amigo, Rooholla Khorrambakht, Nicolas Mansard, Ludovic Righetti

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 T자형 블록을 밀거나, 상자를 들어 올리거나, 방 안을 돌아다니는 법을 가르치고 싶다고 상상해 보십시오. 전통적으로는 두 가지 나쁜 선택지가 있습니다:

"시행착오(Trial and Error)" 방식: 로봇이 현실 세계에서 직접 이것저-것 해보게 하는 것입니다. 만약 로봇이 상자를 떨어뜨린다면, 그것으로부터 배웁니다. 하지만 로봇은 느리고, 무언가를 망가뜨리는 것은 비용이 많이 듭니다. 유용한 것을 배우기 위해서는 수백만 번의 시도가 필요합니다.
"비디오 게임" 방식: 완벽한 물리 시뮬레이션(비디오 게임 같은 것)을 구축하여 그 안에서 로봇을 훈련시키는 것입니다. 그런 다음 그것이 현실에서 작동하기를 바랍니다. 하지만 현실은 무질서합니다. 구겨진 음료수 캔이나 자갈 주머니를 생각해 보십시오. 시뮬레이터는 그런 종류의 혼돈을 복제하는 데 매우 서툽니다. 그래서 로봇은 게임 밖으로 발을 내딛는 순간 실패하게 됩니다.

이 논문은 세 번째 방법을 소개합니다: 실제 삶을 관찰하며 배운 "꿈" 속에서 로봇을 가르치는 것입니다. 하지만 이 과정은 영리한 두 부분으로 구성된 시스템을 통해 수학적으로 처리됩니다.

핵심 아이디어: "그랜드 투어리스트(Grand Tourist)"와 "로컬 가이드(Local Guide)"

저자들은 **결합된 국소 및 전역 세계 모델(Coupled Local and Global World Model)**이라 불리는, 서로 협력하는 두 개의 뚜렷한 뇌를 구축했습니다. 이것은 복잡한 자동차 여행을 계획하는 것과 같습니다:

전역 모델 (The "Grand Tourist"): 이것은 수천 시간의 실제 로봇 영상을 시청한 거대하고 강력한 AI입니다. 이 모델은 미래를 상상하는 데 매우 뛰어납니다. 만약 당신이 "내가 이 블록을 밀면 어떻게 될까?"라고 묻는다면, 이 모델은 다음 몇 초 동안 벌어질 일을 고해상도의 사실적인 영상으로 생성할 수 있습니다. 이 모델은 모든 지저륙한 디테일을 포함하여 세상이 존재하는 그대로를 봅니다.
- 문제점: 이 "그랜드 투어리스트"는 너무 복잡해서, 자신의 운전 실력을 개선하는 방법(경사도 계산)을 알아내기 위해 수학적 계산을 수행하는 것은 마치 마라톤을 하면서 미적분 문제를 푸는 것과 같습니다. 너무 느리고 계산 비용이 많이 듭니다.
국소 모델 (The "Local Guide"): 이것은 작고 가벼운 AI입니다. 이 모델은 전체 고해상도 영상을 보지 않습니다. 대신 일어나는 일을 단순화하고 추상화한 지도(잠재 공간, "latent space")를 봅니다. 그랜드 투어리스트만큼 화려하지는 않지만, 수학 계산에는 매우 빠릅니다.
- 비결: 로컬 가이드는 국소적으로 그랜드 투어리스트의 행동을 모방하도록 훈련되었습니다. 핸들을 어느 방향으로 돌려야 할지 결정하는 데는 충분한 능력을 갖추고 있지만, 이를 위해 세상 전체를 시뮬레이션할 필요는 없습니다.

이들이 협력하는 방식: "디커플링(Decoupled)"의 춤

이 논문의 비법은 **디커플링(Decoupling, 분리)**입니다. 보통 AI에서는 미래를 상상하는 뇌와 학습을 위해 수학을 계산하는 뇌가 동일합니다. 이 논문은 이 둘을 분리합니다:

순방향 패스 (Forward Pass - 상상): 그랜드 투어리스트가 미래를 생성합니다. 로봇이 했을 법한 행동을 고품질의 완벽한 영상으로 만들어냅니다. 이를 통해 로봇이 가짜 비디오 게임이 아닌, 실제와 유사한 시뮬레이션으로부터 배우는 것을 보장합니다.
역방향 패스 (Backward Pass - 학습): 로컬 가이드가 그 영상을 보고 더 나은 점수를 얻기 위한 수학적 계산을 수행합니다. 로컬 가이드는 작고 단순하기 때문에, 로봇이 어떻게 개선되어야 하는지를 알려주는 "경사도(gradients)"를 즉각적으로 계산할 수 있습니다.

비유: 학생(로봇)이 그림 그리는 법을 배우고 있다고 상상해 보십시오.

그랜드 투어리스트는 풍경을 완벽하고 세밀한 걸작으로 만들어내는 숙련된 화가입니다.
로컬 가이드는 그 걸작을 보고 "더 잘 그리려면 붓을 이 방향으로 움직여야 해요"라고 말해주는 빠른 스케치 화가입니다.
학생은 스케치 화가의 빠른 조언을 듣지만, 최종 목표가 어떤 모습인지 알기 위해 숙련된 화가의 비전을 사용합니다.

실제 성과 (결과)

연구팀은 실제 로봇을 사용하여 실제 환경에서 테스트를 진행했으며, 특정 작업에 대한 **사전 훈련이 전혀 없는 상태(Zero-Shot)**였습니다. 그들은 손으로 코딩된 물리 법칙을 사용하지 않았으며, 로봇은 전적으로 데이터로부터 학습했습니다.

그들은 세 가지 작업을 테스트했습니다:

Push-T: 로봇 팔이 T자형 물체를 목표 지점으로 미는 작업.
Ego-Centric Push Cube: 사족 보행 로봇(강아지 같은 로봇)이 걸어가면서 축구 골대로 큐브를 미는 작업.
Humanoid Grasp: 인간형 로봇이 정교한 손을 사용하여 상자를 잡고 들어 올리는 작업.

결과:

속도: 그들의 방식은 표준적인 방식(PPO 등)보다 훨씬 빠르게 학습했습니다. 더 적은 "시도(샘플)"와 더 적은 실제 시간을 들여 학습했습니다.
성공률: Push-T 작업에서 그들의 로봇은 10번 중 9번 성공한 반면, 표준 방식은 10번 중 1번만 성공했습니다.
강건성(Robustness): 그랜드 투어리스트 없이 작은 로컬 가이드만 사용했을 때, 로봇은 완전히 실패했습니다. 이는 실제 세상을 보기 위해서는 고품질의 "그랜드 투어리스트"가 반드시 필요하며, 효율적인 학습을 위해서는 "로컬 가이드"가 필요하다는 것을 입증했습니다.

이것이 왜 중요한가

이 논문은 로봇을 훈련시키기 위해 완벽한 물리 시뮬레이션이 필요하지 않다는 것을 보여줍니다. 대신, 실제 데이터를 바탕으로 구축된 "꿈" 속에서 로봇을 훈련시킬 수 있습니다. 세상을 보는 "큰 뇌"와 수학을 계산하는 "작은 뇌"로 역할을 나누어, 하드웨어를 망가뜨리거나 수년간의 훈련을 기다릴 필요 없이 비디오 데이터로부터 복잡하고 무질서한 작업을 직접 가르치는 것을 가능하게 만들었습니다.

요약하자면: 그들은 로봇에게 꿈을 꾸며 배우는 법을 가르쳤습니다. 레슨을 파악하기 위해 빠르고 단순한 뇌를 사용하고, 그 꿈이 현실처럼 보이도록 강력하고 사실적인 뇌를 사용하는 방식으로 말입니다.

기술 요약: 효율적인 1차 강화학습을 위한 국소 및 전역 월드 모델의 결합

문제 정의

강화학습(RL)은 병렬화된 GPU 시뮬레이터를 통해 보행(locomotion) 작업에서 상당한 성공을 거두었으나, 지각 제어(perceptual control)와 조작(manipulation) 분야에서는 상당한 장벽에 직면해 있습니다. 두 가지 주요 이슈가 발전을 저해합니다:

샘플 비효율성: 실제 로봇과의 상호작용으로부터 직접 온라인 학습을 수행하는 것은 데이터 수집 비용이 매우 높기 때문에 실질적으로 불가능한 경우가 많습니다.
시뮬레이션 충실도: 조작 작업을 시뮬레이션하는 것은 보행보다 본질적으로 더 복합적입니다. 환경 상태는 에이전트의 행동에 따라 동적으로 변화하며(예: 변형 가능한 물체, 과립 역학), 이는 현재의 물리 시뮬레이터가 심투리얼(sim-to-real) 전이를 위해 충분한 충실도로 모델링하기 어려운 무한한 가변성을 도입합니다.

미분 가능한 월드 모델 내에서 1차 그래디언트(First-Order Gradient, FoG) 방식을 통해 에이전트를 학습시키는 것이 샘플 비효율성을 해결할 경로를 제시하지만, 기존 방식들은 확장성 병목 현상에 직면해 있습니다. 고충실도 실세계 역학을 위해 필요한 대규모 월드 모델(예: 확산 모델)은 미분하기에 계산 비용이 너무 커서, FoG 정책을 훈련하기 위한 표준 역전파(backpropagation)를 실행 불가능하게 만듭니다. 반대로, 미분에 적합한 경량 모델은 복잡한 실세계 역학을 포착할 수 있는 표현력이 부족합니다.

방법론

본 논문은 대규모 월드 모델을 사용하여 효율적인 1차 모델 기반 강화학습(FoG-MBRL)을 가능하게 하기 위해, 순방향 시뮬레이션과 역방향 미분을 분리하는 새로운 프레임워크를 제안합니다. 핵심 아키텍처는 두 개의 결합된 구성 요소로 이루어집니다:

전역 월드 모델 (순방향 패스):
- 대규모의 오프라인 훈련된 모델(DIAMOND와 같은 확산 기반 모델 또는 DreamerV4와 같은 트랜스포머 기반 잠재 확산 모델)이 "전역" 시뮬레이터 역할을 합니다.
- 이 모델은 픽셀 공간(또는 고차원 잠재 공간)에서 작동하여 복잡한 시각적 및 접촉 역학을 정확하게 포착하는 고충실도 순방향 궤적( $s^{\rightarrow}_{t+1}$ )을 생성합니다.
- 이 모델은 구조화되지 않은 고엔트로피 플레이(play) 데이터를 기반으로 훈련되어, 수작업으로 제작된 물리 시뮬레이터의 필요성을 제거합니다.
국소 월드 모델 (역방향 패스):
- 경량화된 재귀 상태 공간 모델(RSSM)이 저차원 잠재 공간에서 "국소" 대리 모델(surrogate) 역할을 합니다.
- 이 모델은 국소 역학을 근사하고 정책 최적화에 필요한 그래디언트를 제공합니다.
- 결정적으로, 그래디언트는 국소 모델 자신의 예측값이 아니라, 전역 모델에 의해 생성된 상태 지점( $s^{\rightarrow}_{t+1}$ )에서 국소 모델의 야코비안(Jacobian)을 평가함으로써 계산됩니다. 이러한 디커플링(decoupling)을 통해 시스템은 궤적 생성을 위한 전역 모델의 정확성을 활용하면서도, 계산 가능한 그래디언트 추정을 위해 국소 모델을 사용할 수 있습니다.
훈련 프로토콜:
- 데이터 수집: 엄격한 작업 세분화 없이 실제 로봇으로부터 구조화되지 않은 플레이 데이터를 수집합니다.
- 보상 모델링: 작업에 따라, 보상 신호는 대조 에너지 함수(contrastive energy functions, 플레이/시연 데이터로 훈련됨) 또는 작업 관련 행동을 식별하는 경량 분류 헤드를 통해 도출됩니다.
- 최적화: 정책은 디커플드 순방향-역방향 모델 기반 정책 최적화(DMO) 알고리즘을 사용하여 월드 모델 내부에서 완전히 최적화됩니다. 국소 모델은 현재 정책의 행동 분포에 대한 정확도를 유지하기 위해 RL 훈련 중에 지속적으로 미세 조정됩니다.

주요 기여

디커플링된 FoG-MBRL 프레임워크: 저자들은 고충실도 순방향 시뮬레이션(대규모 확산/플로우 모델을 통해)과 효율적인 역방향 미분(경량 RSSM을 통해)을 분리하는 방법을 도입했습니다. 이는 모델 복잡도와 그래디언트 계산 비용 사이의 트레이드오프를 해결합니다.
실제 데이터로부터의 시뮬레이터 프리 학습: 이 접근 방식은 물리 시뮬레이터를 배제하고 실제 로봇 데이터만을 사용하여 처음부터 에이전트를 훈련하며, 이를 통해 심투리얼 격차를 직접적으로 해결합니다.
제로샷 배포: 이 프레임워크는 월드 모델 내에서 정책을 훈련하고 추가적인 미세 조정이나 행동 클로닝 가이드 없이 실제 로봇에 배포하는 능력을 입증합니다.
복잡한 역학에 대한 강건성: 이 방법은 부분 관측 가능성, 복잡한 접촉 역학, 높은 자유도를 포함하는 작업(예: 휴머노이드 조작)을 성공적으로 처리합니다.

실험 결과

저자들은 점진적으로 복잡도가 증가하는 세 가지 실제 로봇 작업에 대해 접근 방식을 평가했습니다:

Push-T: T자형 물체를 미는 테이블탑 조작 작업.
Ego-Centric Push Cube: 보행 역학과 부분 폐쇄를 포함하여 큐브를 목표 지점으로 미는 사족 보행 로봇 작업.
Humanoid Grasp and Lift: 정교한 손을 사용하여 상자를 잡고 들어 올리는 고자유도 휴머노이드 작업.

주요 결과:

샘플 및 시간 효율성: 제안된 DMO 방법은 모든 작업에서 샘플 효율성과 실제 시간(wall-clock time) 모두에서 PPO(Proximal Policy Optimization)를 크게 능가했습니다. PPO는 수렴에 어려움을 겪거나 과도한 샘플을 요구했으며, 종종 차선책인 국소 최적해(suboptimal local solutions)에 빠졌습니다.
전역 모델의 필요성: 순방향 패스를 위해 표준 RSSM을 사용하는 절제 연구(Ablation study, "No Diffusion") 결과, 작업 수행에 완전히 실패(성공률 0%)하였으며, 이는 복잡한 조작을 위해 고충실도 순방향 모델이 필수적임을 확인시켜 줍니다.
행동 클로닝 대비 우수성: 학습된 정책은 행동 클로닝 베이스라인(Action Chunking Transformer)보다 뛰어난 성능을 보였으며, 이는 장기적인 전략을 발견하고 시연 데이터가 잘 커버하지 못한 상태 공간 영역을 다룰 수 있는 능력을 입증합니다.
제로샷 성공: 월드 모델 내에서 완전히 훈련된 정책은 추가적인 실제 세계 훈련 없이 실제 로봇에 배포되었을 때 높은 성공률(예: Push-T 9/10, Humanoid Grasp 8/10)을 달성했습니다.

의의 및 주장

본 논문은 이미지 공간에서의 어려운 모델링 작업을 해결하기 위해 데이터 기반 월드 모델 내부에서 에이전트를 완전히 학습하는 것이 실현 가능하고 유망한 경로임을 주장합니다. 순방향 정확도와 역방향 계산 용이성의 요구사항을 분리함으로써, 저자들은 대규모의 계산 집약적인 월드 모델이 효율적인 정책 최적화에 효과적으로 활용될 수 있음을 입증했습니다.

이 연구는 수작업으로 제작된 물리 시뮬레이터에 대한 의존성을 해결하는 솔루션으로서 자리매김하며, 실제 데이터 획득을 통해 구조화되지 않은 복잡한 환경으로 확장 가능한 방법을 제공합니다. 저자들은 현재 구현이 전역 모델을 처음부터 훈련해야 하고 특정 작업에 대해 수동 레이블링된 보상에 의존하지만, 이 프레임워크가 하드웨어 손상 위험 없이 확장 가능한 정책 최적화를 가능하게 하는 안전한 프록시(proxy)를 제공한다고 언급했습니다. 향arian 과제로는 데이터 요구 사항을 더욱 줄이고 보상 레이블링을 자동화하기 위해 인터넷 규모의 사전 훈련된 비디오 모델을 활용하는 것이 제시되었습니다.