기술 요약: 실시간 순환 학습을 통한 부분 관측 하의 스트리밍 강화 학습

문제 정의

스트리밍 강화 학습 (RL) 은 에이전트가 재현 버퍼를 유지하거나 배치 업데이트를 사용하지 않고, 들어오는 각 샘플마다 즉시 정책 또는 가치 함수를 업데이트하는 온라인 학습 패러다임이다. 최근 연구는 가용성 추적 (eligibility traces) 을 사용하여 완전히 관측 가능한 환경에서 심층 함수 근사로 스트리밍 RL 을 성공적으로 확장했으나, 부분 관측 환경(POMDP) 으로 이를 확장하는 것은 여전히 열린 과제로 남아있다.

부분 관측 환경에서 에이전트는 역사적 맥락을 포착하는 은닉 상태를 유지하기 위해 순환 아키텍처에 의존해야 한다. 그러나 표준 순환 학습 방법은 스트리밍 설정에서 다음과 같은 트레이드오프에 직면한다:

1. Truncated Backpropagation Through Time (TBPTT): 단일 샘플 업데이트 설정에서 TBPTT 는 1 단계 시계열 (TBPTT(1)) 로 축소된다. 이는 1 단계 기울기만 제공하므로 장기적인 시간 의존성에 대한 신용 할당 (credit assignment) 에는 불충분하다.
2. Real-Time Recurrent Learning (RTRL): RTRL 은 순방향 모드 기울기를 점진적으로 유지하여 스트리밍에 이론적으로 이상적이다. 그러나 일반적인 순환 아키텍처 (GRU 또는 LSTM 등) 의 경우, RTRL 은 은닉 차원 $n$에 대해 4 차 ($O(n^4)$) 로 스케일링되는 금지적인 계산 복잡성을 가진다.

본 논문은 POMDP 에서의 장기 시계열 신용 할당 필요성과 스트리밍 업데이트의 계산적 제약 사이의 격차를 해결한다.

방법론

제안된 방법은 기존 스트리밍 RL 알고리즘에 **순환 추적 단위 (Recurrent Trace Units, RTUs)**와 **정확한 실시간 순환 학습 (RTRL)**을 통합한다.

핵심 아키텍처: 순환 추적 단위 (RTUs)

RTU 는 대각선 형태의 복소수 값 순환 아키텍처이다. 일반적인 순환 단위와 달리, RTU 층은 다음과 같이 정의된다:
$$h_t = \Lambda h_{t-1} + W x_t$$
여기서 $\Lambda$는 복소수 항목 $\lambda_k = r_k(\cos \Omega_k + i \sin \Omega_k)$을 가진 대각 행렬이다. 각 은닉 유닛이 자기 자신에게만 연결됨 (대각선 순환) 으로 인해 기울기 계산이 크게 단순화된다. 이 구조는 매개변수 수에 대해 선형 시간 및 메모리 복잡도로 정확한 RTRL 을 계산할 수 있게 하여, 표준 RTRL 의 $O(n^4)$ 병목 현상을 피한다.

스트리밍 RL 과의 통합

저자들은 표준 스트리밍 알고리즘 (가치 기반의 QRC($\lambda$) 및 정책 기반 제어의 stream AC($\lambda$)) 의 관측 인코더와 순전파 헤드 (가치 또는 정책) 사이에 단일 RTU 층을 삽입한다.

업데이트 메커니즘은 자연스럽게 구성되는 두 가지 고유한 추적 (trace) 을 포함한다:

1. Eligibility Traces: 스트리밍 RL 에서 시간 경과에 따라 기울기를 누적하는 데 사용되는 표준 시간적 신용 할당 추적 ($z_t$) ($z_t = \gamma\lambda z_{t-1} + g_t$).
2. RTRL Traces: RTU 층이 순환 상태를 통해 기울기를 전파하기 위해 유지하는 순방향 모드 민감도 행렬 ($S_t = \partial h_t / \partial \psi$).

기울기 계산 전략:

• 순환 매개변수 ($\psi$): 모든 단계에서 순방향으로 업데이트되는 정확한 RTRL 추적 $S_t$를 사용하여 기울기를 계산한다.
• 헤드 매개변수 ($w$): 시간적 의존성이 없으므로 표준 역전파를 사용한다.
• 인코더 매개변수 ($\theta$): 심층 인코더를 통해 정확한 추적을 유지하는 prohibitive 한 비용을 피하기 위해, 저자들은 1 단계 근사를 사용한다. 인코더는 과거 상태를 통한 영향은 무시하고 현재 은닉 상태에 대한 즉각적인 효과에 대해서만 신용을 부여한다. 이는 스트리밍 regime 에서 심층 인코더에 필요한 근사이다.

노후화 (Staleness) 분석 및 보정

본 논문은 스트리밍 업데이트 하에서 매개변수 $\psi$가 매 단계마다 변경된다는 점을 인정한다. 결과적으로 RTRL 민감도 행렬 $S_t$는 구식 매개변수에서 평가된 야코비안을 누적하여 "노후화"를 초래한다.

• 저자들은 이 노후화 오차에 대한 이론적 상한을 유도하여, 이것이 단계 크기와 신용 할당 시계열에 선형적으로 비례함을 보인다.
• 그들은 민감도 업데이트에 대한 1 차 테일러 보정을 제안한다. 매개변수 업데이트 $\Delta \psi$에 기반하여 즉각적인 야코비안의 변화를 근사함으로써, 노후화 오차를 $O(\eta)$에서 $O(\eta^2)$로 줄인다.

주요 기여

1. 알고리즘: 정확한 RTRL 로 훈련된 RTU 를 사용하는 부분 관측 환경을 위한 스트리밍 심층 RL 알고리즘. 재현 버퍼나 배치 업데이트가 필요 없다.
2. 진단적 검증: 메모리 체인 (MemoryChain) 실험을 통해, 순전파 네트워크, GRU, 또는 TBPTT(1) 를 사용하는 RTU 를 이용한 스트리밍 베이스라인이 붕괴되는 체인 길이 (최대 64 단계) 에서도 이 조합이 신용 할당을 유지함을 입증한다.
3. 경험적 성능: 5 가지 POPGym 메모리 작업과 부분 관측 MuJoCo 연속 제어 작업에 대한 증거로, 스트리밍 접근 방식이 배치 PPO 와 경쟁 가능하며 모든 POPGym 작업을 해결하고 MuJoCo 에서 상당 부분의 배치 성능을 회복함을 보인다.
4. 노후화 분석: 스트리밍 업데이트 하의 RTRL 민감도 노후화에 대한 정량적 분석으로, 정상 상태 오차 상한을 제공하고 1 차 테일러 보정이 이 상한을 강화하는 효과를 입증한다.

실험 결과

MemoryChain (신용 할당 시계열)

$L$단계 후 이진 단서를 회상해야 하는 에이전트가 필요한 진단 작업에서:

• 베이스라인: 순전파 네트워크, TBPTT(1) 를 사용하는 GRU, TBPTT(1) 를 사용하는 RTU 는 모두 체인 길이 $L > 16$에서 거의 0 에 가까운 수익으로 붕괴되었다.
• 제안된 방법: 정확한 RTRL 을 사용하는 RTU 는 $L=48$까지 높은 성능을 유지했으며 $L=64$까지 경쟁력을 유지했다. 이는 아키텍처뿐만 아니라 기울기 방법 (RTRL) 이 스트리밍에서 장기 시계열 신용 할당의 결정적 요소임을 확인한다.

POPGym (이산 메모리 작업)

5 가지 작업 (Autoencode, Concentration, CountRecall, HigherLower, RepeatFirst) 에서 평가:

• 두 가지 스트리밍 변형 (QRC($\lambda$)-RTU 및 stream AC($\lambda$)-RTU) 을 배치 PPO-RTU 베이스라인과 비교했다.
• 두 스트리밍 방법은 상호 보완적이었다: stream AC($\lambda$)-RTU 는 QRC($\lambda$)-RTU 가 실패한 세 가지 작업에서 성공했고, 그 반대도 마찬가지였다.
• 결과: 두 스트리밍 방법은 함께 모든 다섯 가지 작업을 해결하여 과거 궤적을 저장하지 않고도 배치 PPO 의 성능과 일치했다.

Masked MuJoCo (연속 제어)

속도 또는 위치가 마스킹된 이동 작업 (Ant, HalfCheetah, Hopper, Walker2d) 에서 평가:

• 스트리밍 방법 (stream AC($\lambda$)-RTU) 은 여러 작업 (예: HalfCheetah-P 에서 일치, Walker2d-V 에서 우세) 에서 배치 PPO-RTU 와 경쟁력을 보였다.
• 일부 작업 (예: Walker2d-P) 에서 배치 PPO 에 뒤처졌지만, 재현 버퍼 없이 부분 관측 하의 연속 제어에 대한 실현 가능성을 보여주며 배치 성능의 상당 부분을 회복했다.

KMemoryChain (노후화 정량화)

RTRL 추적을 지속적으로 시험하도록 설계된 MemoryChain 의 변형:

• 노후화는 온라인 민감도 행렬과 현재 매개변수로 재계산된 기준 간의 $\ell_2$ 거리로 측정되었다.
• 노후화는 메모리 시계열 $K$가 증가함에 따라 증가하여 이론적 상한과 일치했다.
• 테일러 보정은 특히 더 긴 시계열 ($K=16$) 에서 노후화를 현저히 줄였으며, 고노후화 regime 에서 더 빠른 학습과 더 안정적인 훈련 곡선에 해당했다.

중요성 및 주장

저자들은 자신의 주장에 대해 겸손함을 명시적으로 밝힌다:

• 최고 성능 (SOTA) 주장 부재: 제약이 없는 배치 방법과 비교하여 단일 벤치마크에서 절대적인 최상의 성능을 달성한다고 주장하지 않는다.
• 주요 기여: 중요성은 스트리밍 RL 과 부분 관측성 사이의 격차를 해소하는 데 있다. RTU 와 정확한 RTRL 을 결합함으로써 재현 버퍼 없이 단일 샘플 업데이트라는 엄격한 제약 하에 POMDP 에서 심층 RL 을 수행할 수 있음을 입증한다.
• 적용 가능성: 이 방법은 과거 궤적을 저장하는 것이 비실용적인 디바이스 학습, 실시간 제어, 평생 학습과 같은 자원 제약이 현실적인 시나리오를 위해 위치한다.

본 논문은 일부 연속 제어 작업에서 배치 성능과의 격차가 남아있지만, 제안된 방법이 복잡한 부분 관측 환경으로 스트리밍 패러다임을 성공적으로 확장하여 심층 RL 에서 선형 복잡성을 가진 정확한 RTRL 의 타당성을 검증했다고 결론 내린다.