기술 요약: 강건한 전이를 위한 계층적 후속 표현 (Hierarchical Successor Representation)

문제 정의

후속 표현(Successor Representation, SR)은 예측 역학(predictive dynamics)과 보상을 분리함으로써 보상 구성의 변화에 따른 빠른 일반화를 가능하게 하는 프레임워크를 제공한다. 그러나 고전적 SR은 전이 지향적 환경에서 두 가지 결정적인 한계에 직면한다:

1. 정책 의존성 (Policy Dependence): SR은 이를 생성하는 데 사용된 정책에 본질적으로 묶여 있다. 에이전트가 학습하거나, 비정상성(non-stationarity)을 마주하거나, 새로운 과업 요구에 직면함에 따라 기저 정책이 변화하며, 이는 기존의 예측 표현을 무용하게 만들고 값비싼 재학습을 요구한다.
2. 스펙트럼 확산 및 확장성 (Spectral Diffusion and Scalability): 위상적으로 복잡한 환경(예: 다중 구획 공간)에서 고전적 SR 특징은 "스펙트럼 확산" 현상을 겪는다. 이는 밀도가 높고, 전역적으로 지원되며, 서로 중첩되는 특징들을 초래하여 해석 가능성을 떨어뜨리고 확장성을 저해한다. SR에 적용되는 표준 스펙트럼 분해 방법(예: SVD)은 종종 부호가 불확정적인 성분을 생성하며, 국소적 전이 구조를 효과적으로 포착하지 못한다.

방법론

저자들은 시간적 추상화(temporal abstractions)를 예측 표현에 통합함으로써 이러한 한계를 해결하기 위해 **계층적 후속 표현 (Hierarchical Successor Representation, HSR)**을 제안한다.

1. 계층적 후속 표현 (HSR)

핵-혁신은 "옵션(options)" 프레임워크(Sutton et al., 1999)를 사용하여 고전적 SR 공식을 확장하는 것이다.

• 시간적 추상화: 단일 단계 행동에 기반하여 상태 점유를 예측하는 대신, HSR은 시간적으로 확장되고 해석 가능한 행동 세그먼트(옵션)에 걸쳐 역학을 집계한다.
• 정의: HSR 행렬 $M_\mu$는 고수준 정책 $\mu$에 대한 예측 상태 점유 분포로 정의된다. 이는 행동별 SR 행렬($M_{\bar{a}}$)과 옵션의 기대 지속 시간($\tau$)을 재귀적으로 결합한다.
• 벨만 연산자 (Bellman Operator): 저자들은 표준 SR과 유사하게 온라인 학습을 가능하게 하는 수축 사상(contraction mapping)으로 작용하는 계층적 벨만 연산자 $T$를 도출하며, 이때 TD-오차는 옵션의 지속 시간을 고려한다.
• 기대 HSR (eHSR): 정책 의존성을 더욱 완화하기 위해, 저자들은 사전 학습된 과업 분포로부터의 최적 정책들에 대해 HSR을 평균화하는 오프라인 구축 방식을 옹호하며, 이를 통해 일반화된, 과업 불가지론적(task-agnostic) 기저를 얻는다.

2. NMF를 통한 저계수 분해 (Low-Rank Decomposition via NMF)

희소성(sparsity)과 해석 가능성을 달성하기 위해, 저자들은 SR에 일반적으로 사용되는 특이값 분해(SVD) 대신 **비음수 행렬 분해(Non-Negative Matrix Factorization, NMF)**를 HSR 행렬에 적용한다.

• 근거: 고전적 SR은 구획 내 상태들이 조밀하게 클러스터링되어 NMF가 부적절해지는 "위상적 붕괴(topological collapse)"를 보인다. 반면, HSR 역학은 "구획별로 매끄러운(piecewise-smooth)" 특성을 가져, 구획 간 차이는 보존하면서 구획 내 분산은 허용한다.
• 결과: 이러한 구조 덕분에 NMF는 위상적 특징(예: 병목 상태)과 일치하는 희소하고 국소적이며 해석 가능한 기저 벡터를 발견할 수 있으며, 직교 SVD 기저와 관련된 "링잉 아티팩트(ringing artifacts)"나 전역적 번짐 현상을 피할 수 있다.

주요 기여

1. 강건한 상태 표현: HSR 프레임워크는 과업 유도적 정책 변화에 강건한 상태 특징을 생성한다. 더 높은 수준의 시간적 추상화 수준에서 추론함으로써, 저수준 제어 정책이 변하더라도 표현의 안정성을 유지한다.
2. 해석 가능한 위상 구조: HSR에 NMF를 적용하면 위상적 병목 지점과 구획 구조를 자연스럽게 식별하는 희소한 저계수 표현을 얻을 수 있으며, 이는 정책 불가지론적인 계층적 지도를 제공한다.
3. 표본 효율적인 전이: 제안된 방법은 다중 구획 환경에서 값비싼 재학습 없이도 새로운 과업으로 매우 표본 효율적인 전이를 촉진한다.
4. 확장 가능한 탐사: 시간적으로 확장된 예측 구조를 가진 HSR은 에이전트가 단일 단계 방법이 실패하는 대규모 절차적 생성 환경에서 국소적 확산 장벽을 극복할 수 있도록 효율적인 내재적 동기 부여 탐사를 유도한다.

실험 결과

저자들은 선형 함수 근사를 사용하는 Q-러닝을 통해 이산적 테이블 환경(특히 4개 방 환경 및 절차적 생성 미로)에서 HSR을 평가하였다.

• 전이 효율성: 4개 방 환경에서 HSR 행 특징을 사용한 에이전트는 목표 위치가 바뀔 때 표준 SR(RW-SR)이나 원-핫 인코딩을 사용하는 에이전트보다 현저히 높은 전이 효율성을 보였다. 표준 SR 에이전트가 정책 재최적화 시 성능 저하를 겪는 반면, HSR 에이전트는 적은 에피소드만으로도 빠르게 적응했다.
• 표현의 안정성: 정량적 분석 결과, HSR 행렬은 정책 변화에 따라 표준 SR 행렬에 비해 유의미하게 적은 재구성(프로베니우스 노름의 상대적 변화가 낮음)을 겪음을 보여주었다.
• NMF vs. SVD: 저차원 기저 실험에서, NMF로 분해된 HSR 특징은 HSR-SVD 및 모든 SR 기반 베이스라인(SR-SVD 및 SR-NMF 포함)보다 우수한 성능을 보였다. SR-NMF는 특징 붕괴로 인해 실패했으나, HSR-NMF는 상태 공간을 균일하게 타일링하는 희소 코드를 제공했다.
• 가치 재구성: HSR 기저는 보이지 않는 과업(다른 목표 위치)에 대해 SR 기저보다 일관되게 더 정확한 최적 가치 함수 재구성을 나타냈으며, 이는 잠재적 가치 함수 매니폴드와의 더 나은 정렬을 시사한다.
• 탐사: 대규모 미로 내 희소 보상 항해 과업에서, HSR으로 증강된 내재적 보상(특히 HSR-SPIE)은 환경 크기가 증가함에 따라 높은 상태 커버리지와 목표 발견율을 유지한 반면, 표준 SR 기반 탐사 전략은 크게 저하되었다.

의의 및 주장

본 논문은 시간적 추상화를 예측 표현에 통합하는 것이 모델 프리(model-free)의 효율성과 모델 기반(model-based)의 유연성 사이의 간극을 메우는 강건하고 해석 가능한 상태 표현을 생성한다고 주장한다.

• 정책 불가지론적 매핑: HSR은 특정 보상 구성에 덜 민감한 계층적 지도를 제공하여, 환경의 예측 구조를 즉각적인 과업 요구로부터 효과적으로 분리한다.
• 상보성: 저자들은 HSR이 일반화 정책 개선(GPI) 알고리즘과 상보적이라고 위치시킨다. GPI가 사전 학습된 정책을 조합하는 데 집중한다면, HSR은 일반화 가능한 표현을 학습하는 데 집중하며, 이 둘을 결합하면 탁월한 전이 효율성을 얻을 수 있다.
• 확장성: HSR 프레임워크는 시간적으로 확장된 예측을 통해 에이전트가 "탈출"할 수 있게 함으로써 대규모 절차적 생성 환경으로 확장 가능하며, 이는 희소 보상 과업에서의 탐사 핵심 병목 현상을 해결한다.

저자들은 현재의 실험적 평가가 위상적 특성을 격리하기 위해 이산적 테이블 환경에 제한되어 있음을 언급하였다. 이들은 향후 연구에서 HSR을 연속 도메인을 위한 딥 RL 시스템에 통합하고, 비정상 환경에서의 옵션 발견을 탐구할 것을 제안한다.