🤖 AI

SAGE: Subgoal-Conditioned Action Generation for Latent World Model Planning

이 논문은 목표 조건부 하위 목표(goal-conditioned subgoals)를 사용하여 행동 시퀀스 제안을 구조화함으로써 장기 지평 잠재 세계 모델 계획(long-horizon latent world model planning)을 향상시키는 사전 조건부 플래너인 SAGE를 소개하며, 이를 통해 PushT 및 OGBench Cube와 같은 작업에서 무작위 초기화 대비 성공률을 크게 개선한다.

원저자: Letian Cheng, Qi Zhang, Yisen Wang

게시일 2026-07-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Letian Cheng, Qi Zhang, Yisen Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

미래를 상상하는 기술

당신이 로봇에게 복잡한 미로를 통과하거나 무거운 상자를 특정 지점으로 밀도록 가르치려 한다고 상상해 보세요. 이를 위해 로봇에게는 '세계 모델(world model)'이 필요합니다. 이것을 로봇의 뇌 안에서 실행되는 비디오 게임과 같은 정신적 시뮬레이터라고 생각하면 됩니다. 로봇은 카메라 화면에 나타날 모든 빛의 픽셀을 예측하려고 노력하는 대신, 자신이 움직일 때 자신의 내부 '지도'가 어떻게 변하는지를 예측하는 법을 배웁니다. 그러면 로봇은 수천 가지의 서로 다른 경로를 '상상'하고, 어떤 경로가 목표로 이어지는지 확인한 뒤, 가장 좋은 움직임을 선택할 수 있습니다. 이는 기계가 계획을 세우는 매우 강력한 방법이지만, 목표가 아주 멀리 있을 때는 한계에 부딪힙니다. 만약 로봇이 한 번에 150단계 앞의 미래를 상상하려고 한다면, 가능한 경우의 수가 너무 방대해져서 마치 해변에서 단 하나의 특정 모래알을 추측만으로 찾아내려는 것과 같아집니다. 로봇은 노이즈 속에서 길을 잃게 되고, 무작위적인 추측은 거의 목표에 도달하지 못합니다. 이것이 바로 연구자들이 해결하고자 하는 과제입니다. 즉, 로봇의 뇌에 너무 많은 무작위 가능성을 주어 압도하지 않으면서도, 멀리 있는 목적지를 향해 효과적으로 계획을 세울 수 있도록 돕는 방법입니다.

SAGE: 로봇의 전략적 나침반

이 논문은 바로 이 문제를 해결하기 위해 SAGE(Subgoal-Conditioned Action Generation for Latent World Model Planning)라는 새로운 방법을 소개합니다. 베이징 대학교의 첸 리안(Letian Cheng), 장 치(Qi Zhang), 이센 왕(Yisen Wang) 저자들은 로봇에게 시작부터 끝까지의 긴 경로 전체를 추측하라고 요구하는 대신, 여정을 관리 가능한 작은 덩어리로 나누도록 가르쳐야 한다고 제안합니다.

당신이 뉴욕에서 로스앤젤레스까지 자동차 여행을 계획하고 있다고 상상해 보세요. 만약 당신이 GPS에게 "LA로 운전해"라고 말하고, GPS가 향후 3,000마일 동안의 모든 회전 구간을 한꺼번에 선택하려고 한다면 혼란에 빠질 수 있습니다. 대신, 똑똑한 내비게이터라면 "먼저 시카고까지 갑시다", 그 다음에는 "다음은 덴버까지 갑시다"와 같이 말할 것입니다. SAGE는 로봇을 위해 이 작업을 수행합니다. SAGE는 특수한 '서브골 생성기(subgoal generator)'를 사용하여 다음 몇 단계를 위한 도달 가능한 중간 상태, 즉 '지역 목표(local target)'를 예측합니다. 예를 들어, 로봇이 블록을 150단계 떨어진 곳까지 밀어야 한다면, SAGE는 150단계를 한꺼번에 계획하라고 요구하지 않습니다. 대신 "좋아, 다음 15에서 25단계 동안 너의 목표는 바로 '이 특정 지점'에 도달하는 것이다"라고 말합니다.

일단 이 지역 목표가 설정되면, 시스템의 두 번째 부분인 '액션 생성기(action generator)'가 해당 지역 목표에 도달하기 위해 특별히 설계된 가능한 움직임들의 목록을 만듭니다. 이는 로봇에게 다음 몇 마일만 보여주는 지도를 주되, 합리적인 경로를 강조하여 보여주는 것과 같습니다. 로est의 고정된 '세계 모델'(재학습되지 않고 그대로 유지되는 정신적 시뮬레이터)은 이러한 구체적이고 유도된 아이디어들을 테스트하여 어떤 것이 가장 잘 작동하는지 확인하며, 로봇이 실제로 움직이기 전에 계획을 정교하게 다듬습니다.

이 접근 방식의 결과는 상당히 놀랍습니다. 로봇이 블록을 밀어야 하는 실험(PushT 작업)이나 큐브를 움직여야 하는 실험(OGBench Cube 작업)에서, 목표가 멀리 있을 때 개선 효과는 엄청났습니다. 목표가 150단계 떨어져 있을 때, 표준 방식은 PushT 작업에서 약 **12.7%**의 성공률만을 보였습니다. 하지만 SAGE를 사용했을 때, 그 성공률은 **64.7%**로 급증했습니다. 마찬가지로 Cube 작업에서도 성공률이 **26.7%**에서 **67.3%**로 상승했습니다.

또한, 이 논문은 무엇이 이 성과를 만들었는지 면밀히 테스트했습니다. 연구진은 단순히 로봇에게 지역 목표(서브골)를 제공하는 것만으로도 큰 도움이 되었지만, 그 목표를 스마트한 움직임 생성 방식(액션 생성기)과 결합했을 때 훨씬 더 효과적이었다는 것을 발견했습니다. 그러나 로봇에게 여전히 '세계 모델'이 심판 역할을 해야 한다는 점도 보여주었습니다. 만약 로봇이 생각을 확인하고 정교하게 다듬는 과정 없이 처음 떠오른 아이디어를 그대로 따르게 한다면, 성공률은 급격히 떨어졌습니다(150단계 작업의 경우 **16.0%**까지 하락). 이는 정신적 시뮬레이션이 최선의 경로를 선택하는 데 여전히 결정적이라는 점을 증명합니다.

흥interestingly, 연구진은 또한 여행을 어떻게 나누느냐가 중요하다는 것을 발견했습니다. 많은 작은 단계(예: 15단계씩)로 계획을 나누는 것이 적은 수의 큰 덩어리(예: 25단계씩)로 계획하는 것보다, 특히 거리가 매우 멀 때 더 효과적이었습니다. 이는 더 자주 확인하고 계획을 자주 조정하는 것이 로봇이 궤도를 유지하는 데 도움을 준다는 것을 시사합니다.

요약하자면, SAGE는 로봇에게 먼 결승선보다는 당장 눈앞의 체크포인트에 집중하도록 가르치고, 그 체크포인트를 향한 스마트하고 타겟팅된 움직임을 생성하게 함으로써, 로봇의 뇌를 완전히 재학습시키지 않고도 훨씬 더 어렵고 긴 문제들을 해결할 수 있도록 돕습니다. 이는 산을 오를 때 정상의 모습이 보이지 않더라도, 다음 몇 걸음을 내딛기 위해 발을 어디에 디뎌야 할지만 알면 된다는 사실을 깨닫는 것과 같습니다.

기술 요약: SAGE – 잠재 세계 모델 계획을 위한 하위 목표 조건부 행동 생성 (Subgoal-Conditioned Action Generation for Latent World Model Planning)

문제 정의

잠재 세계 모델(Latent world models)은 픽셀 수준의 재구성을 수행하지 않고도 행동 조건부 예측 역학(action-conditioned predictive dynamics)을 압축된 표현 공간에서 학습함으로써, 효율적인 계획 패러다임으로 자리 잡았습니다. 그러나 계획 지평(planning horizon)이 길어질수록, 이러한 모델의 효용성은 제안된 행동 후보군의 품질에 의해 크게 제한됩니다. 고정된 후보 예산(candidate budget) 하에서 일반적인 무작위 분포로 행동 탐색을 초기화하는 것은 기하급수적으로 확장되는 행동 공간을 충분히 커버하지 못합니다. 결과적으로, 목표 지향적인 시퀀스가 샘플링되는 경우가 드물며, 세계 모델은 평가를 위한 고품질의 후보 미래(candidate futures)에 노출되지 못합니다. 이러한 "제안 격차(proposal gap)"는 기반이 되는 예측 역학이 정확하더라도 장기 계획 성능을 심각하게 제한합니다.

방법론: SAGE 프레임워크

이 제안 격차를 해결하기 위해 저자들은 사전 조건부 계획 프레임워크인 SAGE(Subgoal-Conditioned Action Generation)를 도입합니다. SAGE는 무작위 제안 초기화를 예측된 잠재 하위 목표(latent subgoals)로부터 유도된 구조화된 가이드로 대체합니다. 이 프레임워크는 기존의 세계 모델(특히 LeWM)을 동결(frozen)된 상태로 유지하면서, 두 개의 밀접하게 결합된 학습된 결정으로 장기 계획을 분해하여 작동합니다.

1. 목표 조건부 하위 목표 생성기 (Goal-Conditioned Subgoal Generator)

첫 번째 구성 요소는 가변 길이의 잠재 하위 목표 생성기입니다. 현재 관측 이력, 먼 목표, 그리고 요청된 미래 기간( $\tau$ )이 주어지면, 이 모듈은 시간 $t+\tau$ 에서의 도달 가능한 중간 잠재 상태(하위 목표)를 예측합니다.

아키텍처: 히스토리 토큰, 현재 상태, 먼 목표 토큰, 그리고 시간 임베딩( $\delta, \tau$ )을 입력으로 받는 4계층 트랜스포머 디코더입니다.
메커니즘: 먼 목표의 잠재값에 대한 잔차 수정(residual correction)을 출력하여, 특정 기간 $\tau$ 내에 도달 가능한 로컬 타겟 $\hat{z}_{t+\tau}$ 를 생성합니다.
기능: 이 생성기는 먼 목표를 다양한 시간 척도에서의 도달 가능한 중간 상태로 분해하여, 미세한 로컬 역학(짧은 $\tau$ )과 높은 수준의 작업 진행(긴 $\tau$ )을 모두 포착합니다.

2. 하위 목표 조건부 행동 생성기 (Subgoal-Conditioned Action Generator)

두 번째 구성 요소는 현재 이력, 먼 목표, 그리고 예측된 로컬 하위 목표를 현재의 행동 옵션 분포로 매핑합니다.

아키텍처: 학습된 행동 쿼리를 사용하여 조건부 메모리(이력, 상태, 하위 목표, 먼 목표)에 어텐션을 수행하는 3계층 트랜스포머 디코더입니다.
출력: 네트워크는 궤적 수준의 가우시안 혼합 모델(GMM), $q_\phi(a_{t:t+\tau-1} | \dots) = \sum \pi_m \mathcal{N}(a; \mu_m, \Sigma_m)$ 를 매개변수화합니다.
기능: 일반적인 분포에서 샘플링하는 대신, 플래너는 특정 로컬 하위 목표에 조건화된 행동 시퀀스를 샘플링합니다. 이는 제안된 행동이 즉각적이고 도달 가능한 타겟과 구조적으로 정렬되도록 보장합니다.

3. 계획 및 정교화 루프 (Planning and Refinement Loop)

계획 과정은 이러한 학습된 구성 요소들을 동결된 세계 모델과 통합합니다:

분해(Decomposition): 장기 쿼리 $H$ 를 일련의 기간 스케줄 $(\tau_1, \dots, \tau_R)$ 로 분해합니다.
하위 목표 예측(Subgoal Prediction): 각 단계에서 하위 목표 생성기는 남은 지평을 바탕으로 로컬 타겟 $\hat{z}_{t+\tau}$ 를 예측합니다.
제안 생성(Proposal Generation): 행동 생성기는 이 로컬 타겟에 조건화된 $K$ 개의 후보 행동 시퀀스를 생성합니다.
평가 및 정교화(Evaluation & Refinement): 동결된 LeWM은 이 후보들의 잠재 미래를 예측하고 로컬 하위 목표에 대한 비용을 평가합니다. 이후 교차 엔트로피 방법(CEM)을 통해 30 라운드 동안 엘리트 후보군을 정교화합니다.
실행(Execution): 에이전트는 선택된 시퀀스의 선행 세그먼트를 실행하고, 새로운 상태를 관측한 뒤 다시 계획합니다.

주요 기여

다중 지평 잠재 하위 목표 생성기: 먼 목표를 다양한 시간 척도에서 도달 가능한 중간 상태로 분해하여, 현재 상태와 먼 목표 사이의 간극을 효과적으로 메우는 혁신적인 모듈입니다.
하위 목표 조건부 행동 생성기: 일반적인 무작위 초기화를 구조화되고 작업 인지적인 사전 정보(prior)로 대체하여, 예측된 하위 목표에 조건화된 행동 후보를 생성하는 메커니즘입니다.
구조화된 제안의 경험적 검증: 가변 길이 하위 목표 생성과 조건부 행동 생성을 결 결합하는 것이, 동결된 세계 모델의 예측 역학을 수정하지 않고도 장기 계획 성능을 크게 향상시키면서 단기 성능은 유지함을 입증했습니다.

실험 결과

본 방법론은 동결된 LeWM 체크포인트, 동일한 후보 예산(300), CEM 정교화(30 라운드)를 사용하는 통제된 설정 하에서 PushT(지속적인 평면 접촉 필요)와 OGBench Cube(팔 동작, 파지 및 배치 필요)를 대상으로 평가되었습니다.

장기 지평 성능: 계획 지평이 길어짐에 따라, SAGE는 베이스라인(표준 LeWM 및 PRISM) 대비 상당한 이득을 보여줍니다.
- 타겟 오프셋 H=150에서:
  - PushT: 성공률이 12.7%(LeWM)에서 64.7%(SAGE)로 향상되었습니다.
  - OGBench Cube: 성공률이 26.7%(LeWM)에서 67.3%(SAGE)로 향상되었습니다.
단기 지평 성능: SAGE는 단기 지평(예: PushT에서 H=25일 때 94.0%)에서도 강력한 성능을 유지하며, 이는 구조화된 사전 정보가 목표가 가까울 때 성능을 저하시키지 않음을 나타냅니다.
절제 연구(Ablation Studies):
- 생성기 전용(Generator-Only): 표준 가우시안 제안(학습된 행동 생성기 없이)과 함께 생성된 로컬 타겟을 사용하더라도 여전히 상당한 개선(예: H=150인 PushT에서 12.7% 대비 58.7%)을 보여, 로컬 타겟 분해의 가치를 확인했습니다.
- SAGE Prior Top: LeWM의 랭킹이나 CEM 정교화 없이 학습된 사전 정보의 최고 가중치 옵션을 실행했을 때는 장기 지평 성능이 저조했습니다(H=150에서 16.0%). 이는 세계 모델 가이드 기반 탐색 및 정교화의 필요성을 강조합니다.
시간 스케줄(Temporal Schedules): 다양한 기간 스케줄(예: 15, 20, 25단계 약속의 혼합 비율 변경)에 대한 실험을 통해, 재계획의 빈도와 기간의 순서가 모두 성공률에 중요한 영향을 미친다는 것을 밝혀냈습니다.

의의 및 주장

본 논문은 SAGE가 예측 역학을 재학습하는 계산 비용 없이 기존 잠재 세계 모델의 계획 능력을 확장할 수 있는 실질적인 경로를 제공한다고 주장합니다. 행동 제안의 구조를 개선함으로써(구체적으로 먼 목표를 도달 가능한 로컬 타겟으로 분해하고 이러한 타겟에 행동 생성을 조건화함으로써), 이 프레임워크는 장기 계획의 고유한 병목 현상인 제안 품질 문제를 효과적으로 완화합니다.

저자들은 이 접근 방식이 "제안(proposal)" 메커니즘과 "예측(prediction)" 메커니즘을 분리한다는 점을 강조합니다. 세계 모델은 미래를 평가하기 위한 고정된 시뮬레이터로 남아 있는 반면, SAGE는 시뮬레이터에 제시되는 후보들이 타당하고 작업 구조와 일치하도록 보장합니다. 이러한 모듈형 개선은 기초가 되는 세계 모델의 효율성과 견고함을 유지하면서도 복잡한 장기 로봇 작업을 수행할 수 있는 상당한 이득을 제공합니다.