기술 요약: 강화 학습에서의 터미널 표현 (The Terminal Representation in Reinforcement Learning)

문제 정의

강화 학습(RL)에서 표현 학습(representation learning)은 시공간적 추상화를 위해 매우 중요합니다. 두 가지 확립된 접근 방식으로는 **계승 표현(Successor Representation, SR)**과 **기본 표현(Default Representation, DR)**이 있습니다. SR은 보상과 독립적으로 전이 역학을 포착하며, 미래 방문 궤적을 기반으로 상태를 인코딩합니다. DR은 이러한 궤적에 보상을 가중치로 적용하여, 이를 통해 신용 할당(credit-assignment) 구조를 통합함으로써 SR을 확장합니다.

그러나 두 표현 방식 모두 옵션 발견(option discovery), 보상 형성(reward shaping), 전이 학습(transfer learning)과 같은 다운스트림 작업에 적용될 때 다음과 같은 한계에 직면합니다:

1. 계산 오버헤드: 이러한 작업에 DR이나 SR을 활용하려면 일반적으로 고유벡터를 추출하기 위한 고유값 분해(eigendecomposition 또는 power iteration)가 필요합니다. 이는 쿼리당 $O((S^+)^2)$ 이상의 계산 비용을 발생시키며, 실제 RL 환경에서 흔히 발생하는 방향성 있는 정책(directional policies)의 경우 위배되기 쉬운 대칭적(가역적) 전이 역학을 가정합니다.
2. 차원성: SR과 DR은 전체 상태 공간($S^+ \times S^+$)에 대해 정의되므로, 크기가 커질 경우 저장 및 학습이 비효리적입니다.
3. 간접적 지식: DR은 보상이 가중치로 적용된 궤적을 인코딩하지만, 추가적인 스펙트럼 분석 없이 직접 사용할 수 있는 형식으로 종단 상태(terminal states)의 도달 가능성(reachability)과 바람직함(desirability)을 명시적으로 분리하여 제공하지는 않습니다.

방법론: 터미널 표현 (Terminal Representation, TR)

저자들은 **종단 상태(terminal states)**와 관련하여 보상이 가중치로 적용된 궤적을 인코딩하도록 설계된 구조적으로 구별되는 공식인 **터미널 표현(TR)**을 제안합니다.

이론적 기초

TR은 **선형 해결 가능 마르코프 결정 과정(Linearly-Solvable Markov Decision Processes, LMDPs)**의 프레임워크 내에서 유도됩니다. LMDP에서 최적 가치 함수 $v(s)$는 지수화된 가치 $z(s) = e^{v(s)/\lambda}$로 변환될 수 있으며, 다음 선형 방정식을 만족합니다:
$$z(s) = e^{R(s)/\lambda} \sum_{s'} P_\mu(s'|s)z(s')$$
여기서 $P_\mu$는 기본 정책(default policy)이고 $\lambda$는 온도 매개변수(temperature parameter)입니다.

상태 공간을 비종단 상태($S$)와 종단 상태($T$)로 분해함으로써, 저자들은 TR 행렬 $M$을 다음과 같이 유도합니다:
$$M = (I_S - D_S)^{-1} D_T$$
여기서 $D_S = R_S P_S$는 비종단 역학을, $D_T = R_S P_T$는 비종단에서 종단 상태로의 전이를 나타냅니다. 여기서 $R_S$와 $R_T$는 지수화된 보상의 대각 행렬입니다.

TR은 임의의 종단 보상 구성 $y$ (여기서 $y(\tau) = e^{R(\tau)/\lambda}$)에 대해 최적의 지수화된 가치 $z$를 선형 관계를 통해 **제로샷 회복(zero-shot recovery)**할 수 있게 합니다:
$$z = M y$$

학습 알고리즘

본 논문은 $M$에 대한 두 가지 학습 알고리즘의 수렴성을 입증합니다:

1. 동적 계획법 (모델 기반): 반복 업데이트 규칙 $M_{k+1} = D_T + D_S M_k$가 실제 TR로 수렴함을 증명했습니다.
2. 샘플 기반 (모델 프리): 온라인 학습을 위한 시간차(TD) 스타일의 업데이트 규칙이 다음과 같이 유도됩니다:
   $$\hat{M}(s_t) \leftarrow (1 - \alpha_t)\hat{M}(s_t) + \alpha_t e^{r_t/\lambda} \hat{M}^+(s_{t+1})$$
   여기서 $\hat{M}^+$는 종단 상태로의 전이를 처리하는 확장된 매핑입니다. 정리 4.2는 이 규칙이 표준 확률 근사(stochastic approximation) 조건 하에서 $M$으로 수렴함을 증명합니다.

주요 이론적 특성

• 차원성: TR은 $S \times T$ 행렬입니다. $T$의 수가 전체 상태 공간 $S^+$보다 훨씬 작은 경우가 많으므로, TR은 $S^+ \times S^+$인 DR보다 현저히 압축적입니다.
• 직접 사용 가능성 (고유값 분해 불필요): TR의 열(column)은 DR의 고유벡터를 통해 추출되는 정보와 직접적으로 대응됩니다. 정리 7.1은 DR의 최상위 고유벡터가 하나의 TR 열(구체적으로 가장 바람직한 종단 상태에 해당하는 열)과 기하급수(geometric series)로 구성되어 있음을 보여줍니다. 즉, TR은 고유값 분해를 요구하지 않고도 동일한 근본적 구조 지식을 포착합니다.
• 비대칭성 처리: 고유값의 실수를 보장하기 위해 전이 역학의 가역성(대칭성)에 의존하는 고유벡터 기반 접근 방식과 달리, TR은 본질적으로 비대칭적이며 임의의 비가역적 역학 하에서도 잘 정의됩니다.
• 구성성 (Compositionality): TR은 제로샷 구성성을 지원합니다. 만약 새로운 태스크가 서로 다른 종단 보상을 가진 기본 태스크들의 선형 결합이라면, 최적 가치 함수는 TR의 해당 열들을 선형 결합함으로써 복구될 수 있으며, 이는 다시 학습할 필요가 없습니다.
• 보상 등가성: 저자들은 전이 의존적 또는 상태-행동 의존적 보상을 가진 LMDP가 상태 의존적 보상을 가진 동등한 LMDP로 매핑될 수 있음을 증사하여, TR 이론이 다양한 보상 공식에 걸쳐 광범하게 적용될 수 있음을 입증했습니다.

실험 결과

저자들은 그리드 월드 환경(Four Rooms, RiverSwim, SixArms)에서 네 가지 다운스트림 응용 분야에 대해 TR을 SR 및 DR과 비교 평가했습니다.

1. 옵션 발견 (Option Discovery): "커버링 고유 옵션(covering eigenoptions)" 태스크에서, TR은 (고유벡터 계산을 피하고) 열을 직접 추출하여 옵션을 생성하는 데 사용되었습니다. 가장 높은 보상을 주는 종단 상태의 열 또는 모든 열을 사용하는 변형 모델들은 DR 기반의 RACE 및 SR 기반의 CEO 방식과 경쟁적인 성능을 보였으며, 에이전트를 바람직한 목표로 직접 밀어붙임으로써 종종 더 높은 평균 보상을 달성했습니다.
2. 보상 형성 (Reward Shaping): TR을 사용하여 잠재 기반 형성 보상($\hat{r}_t = 1 - M(s_{t+1}, \tau)$)을 구축했을 때, DR과 동일한 성능을 보였으며 SR보다는 우수한 성능을 보였습니다. 이는 고유값 분해 없이도 효율적인 탐색에 필요한 구조적 정보를 포착하는 TR의 능력을 확인시켜 줍니다.
3. 카운트 기반 탐색 (Count-Based Exploration): RiverSwim 및 SixArms 환경에서 TR의 노름(norm)을 탐색 보너스로 사용한 결과, DR과 거의 동일한 성능을 보였으며 SR보다는 유의미하게 높은 성능을 보였습니다.
4. 전이 학습 (Transfer Learning): 태스크 간에 종단 보상이 변경되었을 때, TR을 사용하여 지식을 전이했습니다. TR은 다양한 기본 정책 구성에 대해 **디폴트 특징(Default Features, DF, 정책 독립적 DR 변형)**과 유사한 성능을 보였으며, 명시적인 특징 학습 단계 없이 **성공적 특징(Successor Features, SF)**보다 우수한 성능을 달s했습니다.

의의 및 주장

본 논문은 TR이 SR 및 DR에 대한 실행 가능하고 계산 효율적인 대안을 제공한다고 주장합니다. 주요 의의는 다음과 같습니다:

• 효율성: 표현의 차원을 줄이고 비용이 많이 드는 고유값 분해를 제거하여, 쿼리 복잡도를 열 추출을 위한 $O(1)$로 낮춥니다.
• 강건성: 고유벡터 방법이 실패할 수 있는 일반적인 RL 시나리오인 비대칭적(비가역적) 전이 역학 하에서도 올바르게 작동합니다.
• 직접 적용 가능성: 종단 상태 지식을 명시적으로 인코딩하여, 중간의 스펙트럼 분석 없이도 보상 형성, 옵션 발견, 전이 학습에 직접 사용할 수 있게 합니다.

저자들은 TR이 DR과 의미론적 측면에서 근본적으로 우월한 것은 아니지만, 종단 상태에 관한 동일한 근본적 구조 지식에 접근하기 위한 더 압축적이고 계산 가능한 메커즘을 제공한다는 점에서 경쟁력이 있다고 언급하며 신중한 입장을 유지합니다. 향후 연구로는 함수 근사(function approximation)를 통해 고차원 환경으로 TR을 확장하고, 명시적으로 정의된 종단 상태가 없는 설정까지 다루는 것을 제안합니다.