🤖 machine learning

Inverting the Bellman Equation: From $Q$ -Values to World Models

이 논문은 다양한 보상 함수를 통해 훈련된 가치 기반 에이전트가 고유한 세계 모델을 암묵적으로 인코딩하며, 이것이 $P$ -learning이라 불리는 새로운 방법을 통해 명시적으로 추출되어 분포 외(out-of-distribution) 작업에서 강력한 일반화 성능을 달성할 수 있음을 증명함으로써 모델 기반 및 모델 프리 강화 학습 사이의 전통적인 구분에 도전한다.

원저자: Alistair Letcher, Mattie Fellows, Alexander D. Goldie, Jonathan Richens, Jakob N. Foerster, Oliver Richardson

게시일 2026-06-23

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Alistair Letcher, Mattie Fellows, Alexander D. Goldie, Jonathan Richens, Jakob N. Foerster, Oliver Richardson

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 미로를 탐색하는 법을 가르치고 있다고 상상해 보세요. 전통적으로는 두 가지 방법이 있었습니다:

지도 제작자 (모델 기반 - Model-Based): 로봇에게 빈 종이를 주고 미로의 어디에 벽이 있고 어디로 문이 연결되는지 정확히 그려내라고 시킵니다.
근육 기억 학습자 (모델 프리 - Model-Free): 지도를 요구하지 않습니다. 대신 로봇에게 이렇게 말합니다. "여기서 왼쪽으로 가면 쿠키를 얻을 거야. 오른쪽으로 가면 충격을 받을 거야." 로봇은 특정 상황에서 어떤 행동이 '좋은 행동'인지에 대한 목록을 배우지만, 그 행동들이 왜 효과가 있는지, 혹은 미로가 어떻게 구성되어 있는지까지는 반드시 이해하지는 못합니다.

오랫동안 과학자들은 이 두 가지 접근 방식이 완전히 별개라고 생각했습니다. 그들은 "근육 기억 학습자"가 단지 보상을 얻기 위해 무엇을 해야 하는지만 알 뿐, 자신이 살고 있는 세상의 규칙은 알지 못한다고 믿었습니다.

위대한 발견
이 논문은 다음과 같이 말합니다: 사실, 근육 기억 학습자는 지도를 알고 있습니다. 단지 숨기고 있을 뿐입니다.

저자들은 만약 로봇에게 다양한 목표(단순히 "출구로 가라"가 아니라, "빨간 점으로 가라", "파란 점으로 가라", "구석으로 가라" 등)를 가지고 훈련시킨다면, 로봇의 내부 두뇌(그것의 "Q-값들")는 전 세계의 완벽하고 정확한 지도를 비밀리에 인코딩하게 된다는 것을 발견했습니다. 로봇은 명시적으로 지도를 그리라는 요청을 받지 않았음에도 불구하고, 각 행동이 어디로 이어지는지 정확히 알고 있습니다.

마법 같은 기술: "P-Learning"
이 논문은 P-Learning(확률 학습 또는 세계 모델 학습을 의미함)이라는 새로운 방법을 소개합니다. 이것은 역공학 도구라고 생각하면 됩니다.

표준 학습 (Q-Learning): 당신은 지도(세상)를 가지고 있으며, 최선의 움직임(Q-값)을 찾아내려고 노력합니다.
P-Learning: 당신은 최선의 움직임(Q-값)을 가지고 있으며, 이를 통해 지도(세상)를 찾아내려고 노력합니다.

저자들은 이미 많은 다양한 과제를 해결하는 법을 배운 로봇을 가져와서, 그 로봇의 내부 "할 일 목록(가치들)"을 살펴보고, 수학적으로 그 식들을 "역전(invert)"시켜 그동안 숨겨져 있던 지도를 뽑아낼 수 있다는 것을 보여줍니다. 이는 마치 요리사가 만든 완벽한 요리를 보고, 요리사가 레시피를 적어두지 않았더라도 그 레시피와 재료가 무엇인지 추론해내는 것과 같습니다.

"하나의 목표" vs "많은 목표"의 미스터리
이 논문은 또한 다음과 같은 까다로운 질문에 답합니다: 로봇이 전체 지도를 배우기 위해 얼마나 많은 서로 다른 목표를 경험해야 할까요?

단순하고 예측 가능한 세상 (결정론적 세계 - Deterministic): 로봇은 전체 지도를 파악하기 위해 단 하나의 목표만 있으면 됩니다. 이는 퍼즐 조각이 딱 한 군데에만 들어맞는 것과 같습니다. 그림을 한 번 보면 모든 조각이 어디에 가야 할지 알게 됩니다.
혼란스럽고 예측 불가능한 세상 (확률적 세계 - Stochastic): 로봇은 지도가 확실하다고 확신하기 위해 많은 서로 다른 목표(대략 미로에 있는 방의 개수만큼)를 봐야 합니다. 이는 주사위가 던져지는 게임의 규칙을 배우는 것과 같습니다. 확률을 이해하려면 다양한 결과들을 많이 봐야 합니다.

놀라운 사실: 숨겨진 초능력
실험에서 가장 놀라운 부분은 이 "뽑아낸 지도"를 사용하여 로봇이 한 번도 본 적 없는 새로운 문제를 해결할 때 일어납니다.

한 실험에서, 연구진은 로봇 팔이 특정 위치(예: "빨간 점을 터치하라")에 도달하는 것에 대해서만 훈련시켰습니다. 그 후 P-Learning을 사용하여 로봇의 숨겨진 지도를 추출했습니다. 그다음 로봇에게 학습한 적이 없는 목표인 특정 속도에 도달하라는 과제를 주었을 때, 로봇은 성공했습니다!

이는 로봇이 위치에 신경 쓰도록 훈련받았음에도 불구하고, 로봇이 팔의 근본적인 물리 법칙(관절이 어떻게 움직여 속도를 만드는지)을 이미 학습했다는 것을 시사합니다. 이는 마치 사람에게 오직 "차선을 유지하라"고만 가르쳤는데, 그 사람이 자동차 엔진과 스티어링이 어떻게 작동하는지 이미 비밀리에 이해하고 있었기에 레이싱 트랙에서도 완벽하게 운전할 수 있게 된 것과 같습니다.

요약하자면

기존의 생각: 모델 프리 에이전트(보상만을 배우는 존재)는 세상을 알지 못하며, 단지 무엇을 해야 하는지만 안다.
새로운 생각: 충분히 다양한 목표를 가지고 훈련시킨다면, 그들은 머릿속에 완벽한 세계 모델을 비밀리에 구축한다.
도구: P-Learning은 에이전트로부터 그 숨겨진 모델을 "읽어내는" 방법이다.
결과: 이 숨겨진 모델은 매우 정확해서, 에이전트가 훈련받은 적 없는 생소한 문제들까지 해결할 수 있게 한다. 이는 "모델 프리"와 "모델 기반" 학습이 사실 동전의 양면과 같다는 것을 증명한다.

기술 요약: 벨만 방정식의 역전: Q-값에서 월드 모델로

문제 정의

강화 학습(RL)은 전통적으로 **모델-프리(model-free)**와 모델-베이직(model-based) 패러다임으로 나뉜다. 모델-프리 에이전트는 환경의 역학(전이 커널 $P$ )을 명시적으로 학습하는 과정을 건너뛰고, 특정 정책 및 보상 함수에 결합된 가치 함수( $Q$ )를 추정한다. 이 영역의 근본적인 이론적 장애물은 **가치 등가성 문제(value equivalence problem)**이다. 즉, 서로 다른 월드 모델이 동일한 가치 함수와 최적 정책을 생성할 수 있으며, 이는 모델-프리 에이전트가 자신이 거주하는 환경을 유일하게 인코딩하지 못함을 의미한다.

에이전트들이 다양한 목표를 통해 학습되는 **목표 조건부 강화 학습(Goal-Conditioned RL, GCRL)**이 확산되고 있으나, 이러한 과정에서 학습된 가치 함수들의 집합이 고유하고 정확한 월드 모델을 암시적으로 인코딩하는지는 여전히 불분명하다. 본 논문은 다음과 같은 핵심 질문을 다룬다: 모델-프리 에이전트는 언제 자신의 환경에 대한 정확한 모델을 암시적으로 인코딩하는가?

방법론: P-learning

저자들은 훈련된 에이전트로부터 암시적 월드 모델을 추출하기 위해 Q-러닝의 역 유사체인 P-learning을 소개한다.

개념: Q-러닝이 고정된 환경 $P$ 에 대해 벨만 방정식 $T^\star(Q) = Q$ 를 만족하도록 가치 함수 $Q$ 를 반복적으로 업데이트하는 반면, P-learning은 가치 함수 $Q$ (및 관련 정책 $\pi$ 와 보상 $r$ )를 고정된 것으로 취급한다. 그 후, 벨만 잔차(Bellman residual)를 최소화하도록 후보 월드 모델 $P_\phi$ 를 업데이트한다:
$L(\phi) = \| T^\pi_\phi(Q) - Q \|_d^2$
여기서 $T^\pi_\phi$ 는 월드 모델 $P_\phi$ 에 의해 매개변수화된 벨만 연산자이다.
메커니즘: P-learning은 에이전트의 $Q$ -값, 정책, 보상을 샘플링하여 내부 모델을 디코딩한다. 테이블 설정(tabular setting)에서 저자들은 P-learning이 보상과 가치 함수로부터 유도된 행렬 $M$ 의 **무어-펜로즈 의사 역행렬(Moore-Penrose pseudo-inverse)**을 포함하는 해로 수렴함을 증명한다. 구체적으로, $M$ 이 풀 랭크(full rank)를 가지면, 추출된 모델은 유일하며 $P_\infty = M^+ Q$ 로 주어진다.
미분 가능성: 연속적 또는 결정론적 설정의 경우, 이 방법은 파라미터화된 월드 모델을 업데이트하기 위해 경사 하강법 기반 최적화(또는 재매개변수화 기법)를 사용하여 벨만 방정식을 효과적으로 "역전"시킨다.

주요 이론적 기여

본 논문은 목표 조건부 Q-값 $(Q_g, \pi_g, r_g)_{g \in G}$ 로부터 전이 커널 $P$ 가 유일하게 식별될 수 있는 충분 조건을 확립하여 가치 등가성을 타파한다.

유한 MDP (Finite MDPs):
- 결정론적(Deterministic): 단 하나의 일반적인 목표만으로도 $P$ 를 유일하게 식별할 수 있다 (정리 2). $M$ 이 열 주입적(column-injective)인 경우, 거의 모든 보상 함수에 대해 유일성이 유지된다.
- 확률적(Stochastic): $P$ 가 유일하게 식별되려면 목표가 **상태 공간을 포괄(span)**해야 한다 (즉, 보상 행렬의 랭크가 상태의 수와 같아야 함) (정리 3). 이는 일반적인 보상 함수나 정책에 대해 성립한다.
- 근사(Approximation): 저자들은 Q-값이 $\epsilon$ -근사치일 경우, 추출된 모델의 오차가 $\epsilon$ 에 따라 선형적으로 스케일링됨을 보여주는 타이트한 오차 범위를 제공한다.
연속 MDP (Continuous MDPs):
- 결정론적: 특정 조건(예: 종료 조건이 있는 가우시안 보상) 하에서 유한한 수의 목표가 충분할 수 있다 (정리 4). 지시 함수(indicator) 보상의 경우, 특정 반경을 가진 상태 공간을 덮는 목표 집합이 필요하다.
- 확률적: 식별성은 목표의 개수보다는 **커버리지(coverage)**에 의해 결정된다. 가우시안 보상의 경우, 비어 있지 않은 내부(non-empty interior)를 가진 목표 집합이면 충분하며, 지시 함수 보상의 경우 목표 집합은 보상 반경에 의해 확장된 상태 공간을 덮어야 한다 (정리 6 및 7).
로컬 MDP (Local MDPs): 본 논문은 전이가 인접 영역으로 제한되는 $N$ -로컬 MDP로 결과를 확장하여, 전이 커널의 서포트(support)를 알고 있다면 더 적은 수의 목표가 필요함을 보여준다.

실험 결과

저자들은 여러 환경에서 이론을 검증하였으며, 이론적 보장(예: 무한한 목표)이 충족되지 않는 상황에서도 P-learning이 매우 정확한 월드 모델을 추출할 수 있음을 입증했다.

FourRooms (유한 MDP):
- 결정론적: $|G|=1$ 일 때 $P$ 의 정확한 복구 성공.
- Windy (로컬 확률적): $|G|=4$ 일 때 준최적(quasi-perfect) 복구 성공.
- Teleporting (완전 확률적): $|G|=20$ 일 때 준최적 계획 수행, 이는 이론적 최악의 경우인 $|S|=68$ 보다 현저히 적은 수치이다.
Reacher (연속, 결정론적):
- 단 $|G|=4$ 개의 위치 기반 목표로 훈련되었음에도 불구하고, 추출된 월드 모델은 높은 충실도(NMSE $1.2 \times 10^{-4}$ )를 달 추출하였다.
- 제로샷 일반화(Zero-Shot Generalization): 추출된 암시적 월드 모델 내에서만 훈련된 정책은 훈련 중에 본 적 없는 분포 외(out-of-distribution) 목표(예: 특정 각속도나 관절 구성에 도달하기)에 대해 최적에 가까운 성능을 보였다. 이는 에이전트가 보상을 받지 않은 변수(속도, 각도)에 대한 역학을 인코딩했음을 시사한다.
MountainCar (연속, 결정론적):
- 위치 기반 목표로 훈련된 에이전트와 속도 기반 목표로 훈련된 에이전트 모두 거의 동일한 암시적 월드 모델로 수렴했다.
- 이 모델 내에서의 계획을 통해, 훈련되지 않은 변수(예: 위치로 훈련된 에이전트가 속도 기반 목표를 해결함)를 포함하는 작업으로의 성공적인 제로샷 전이가 가능했다.

의의 및 주장

본 논문은 목표 조건부 RL이 모델-프리와 모델-베이직 사이의 간극을 메우는 암시적 하이브리드 방법론 역할을 한다고 주장한다.

암시적 월드 모델: 충분히 풍부한 목표 세트로 훈련된 모델-프리 에이전트는 확률적 및 연속적 환경에서도 유일하고 정확한 월드 모델을 암시적으로 인코딩한다.
숨겨진 일반화 능력: 이러한 암시적 모델은 "숨겨진 일반화 능력"을 포함하고 있어, 훈련된 보상과 직교하는 변수(예: 위치 보상으로부터 속도 역학 학습)에 대한 과제를 해결할 수 있게 한다.
성능 상관관계: 에이전트의 성능과 내부화된 월드 모델의 정확도 사이에는 강력한 상관관계( $\rho = 0.98$ )가 존재하며, 이는 고성능 GCRL 에이전트가 자연스럽게 더 나은 월드 표현을 발달시킨다는 것을 시사한다.
P-Learning의 유용성: 제안된 P-learning 알고리즘은 이러한 내부 모델을 추출하는 실용적인 도구를 제공하여, 추가적인 환경 상호작용 없이 모델-프리 에이전트를 새로운 작업에 재사용할 수 있게 한다.

저자들은 P-learning이 명시적 모델-베이직 RL의 대체재는 아니지만, 다음과 같은 근본적인 연결 고리를 드러낸다고 결론짓는다: 다양한 보상이 풍부한 훈련은 모델-프리 에이전트가 환경의 역학에 관한 "모든 것"을 학습하게 하여, 가치 함수 내에 월드 모델을 효과적으로 인코딩하게 만든다.