기술 요약: 강화학습에서 순환 신경망의 행동 인코딩 조사

문제 제기

실제 세계의 부분적으로 관측 가능한 환경에 강화학습 (RL) 에이전트를 배포하려면 과거에 대한 충분한 통계량으로 기능하는 상태 표현을 구축하고 유지할 수 있어야 합니다. 순환 신경망 (RNN) 은 시간적 의존성을 모델링하는 표준 도구이지만, RL 에 적용할 때는 문헌에서 종종 간과되는 중요한 설계 선택이 수반됩니다. 구체적으로, 이 논문은 RNN 의 상태 업데이트 함수에 행동 정보를 통합하는 전략을 다룹니다. 저자들은 행동이 지각과 상태 구성에 근본적인 역할을 한다고 지적하며 (Noë, 2004; Prinz, 1990; Clark, 2013 인용), 많은 기존 RL 구현체들은 행동 입력을 생략하거나 단순한 연결 (concatenation) 을 통해 통합하지만 그 파장에 대한 엄밀한 분석은 부족하다고 언급합니다. 핵심 문제는 행동 인코딩 메커니즘 (가법 대 승법) 이 부분 관측 마르코프 결정 과정 (POMDP) 에서 에이전트의 가치 함수 예측 능력과 제어 정책 학습 능력에 어떤 영향을 미치는지 규명하는 것입니다.

방법론

저자들은 에이전트 - 환경 상호작용을 POMDP 로 형식화하고, 관측 $o_t$, 이전 행동 $a_{t-1}$, 이전 상태 $s_{t-1}$에 기반하여 은닉 상태 $s_t$를 업데이트하도록 설계된 다양한 RNN 아키텍처를 평가합니다. 이 연구는 행동 통합의 두 가지 주요 범주에 초점을 맞춥니다:

1. 가법 인코딩 (Additive Encodings):

   • 표준 가법: 행동 임베딩을 순환 셀이 처리하기 전에 관측 벡터와 연결합니다 (예: $s_t = \sigma(W_x x_t + W_a a_{t-1} + b)$).
   • 딥 가법 (Deep Additive): 행동을 피드포워드 신경망 ($f_a$) 을 통과시켜 임베딩을 생성한 후 관측과 연결합니다.

2. 승법 인코딩 (Multiplicative Encodings):

   • 승법 (2 차): 2 차 RNN 에서 영감을 받아 텐서 곱을 사용하여 관측, 상태, 행동을 통합합니다. 업데이트 규칙은 가중치 텐서 $W$와 $n$-모드 곱을 포함합니다: $s_t = \sigma(W \times_2 x_t \times_3 a_{t-1})$.
   • 분해된 승법 (Factored Multiplicative): 풀랭크 승법 업데이트의 높은 파라미터 수를 완화하기 위해, 저자들은 카논컬 폴리어드 (CP) 분해를 사용한 저랭크 근사를 적용합니다. 이는 텐서를 랭크 -1 구성 요소의 합으로 분해하여 파라미터를 줄이면서 승법 상호작용의 이점을 유지하려 시도합니다.

실험에는 표준 RNN 과 게이트 순환 유닛 (GRU) 이 모두 활용됩니다. 저자들은 예측을 위해 오프 - 정책 세미 - 그라디언트 TD(0)(일반 가치 함수 사용) 를, 제어를 위해 $\epsilon$-탐욕적 탐색을 사용한 Q-러닝을 적용합니다. 샘플 효율성을 높이기 위해 경험 재생 (ER) 을 도입하여 재생 버퍼에 은닉 상태를 저장하고 샘플링 중 시퀀스를 초기화합니다.

실험 설정

저자들은 다양한 관측 유형과 역학을 가진 여러 설명적 도메인에서 이러한 아키텍처를 평가합니다:

• 링 월드 (Ring World): 에이전트가 활성 비트로부터의 거리를 추적해야 하는 순환 환경. 예측 능력과 단절 길이 (truncation lengths) 에 대한 민감도를 테스트하는 데 사용됩니다.
• TMaze: T 자 교차로가 있는 고전적인 복도 환경. 행동의 관련성이 낮은 (동/서 방향 행동만이 위치를 유의미하게 변화시킴) 제어 능력을 테스트하는 데 사용됩니다.
• 방향성 TMaze: 에이전트의 방향이 상태의 일부가 되도록 수정된 TMaze 로, 관측을 해석하는 데 행동이 중요합니다.
• 이미지 방향성 TMaze: 픽셀 기반 관측 (MNIST 숫자) 을 사용하여 딥 특징 추출기와 함께 성능을 테스트하는 확장 버전입니다.
• 문어 랜더 (Lunar Lander): 센서 노이즈가 있는 연속 제어 환경에서 성능을 테스트하기 위한 OpenAI Gym 환경의 부분 관측 버전입니다.

주요 결과

행동 인코딩의 효능에 관한 실증적 평가는 다음과 같은 몇 가지 뚜렷한 결과를 도출합니다:

• 승법 업데이트의 우위: 행동이 근본적인 상태 역학에 결정적으로 영향을 미치는 도메인 (예: 링 월드, 방향성 TMaze, 문어 랜더) 에서 승법 업데이트는 일관되게 가법 및 행동 없음 변형보다 우수한 성능을 보입니다. 승법 아키텍처는 예측 작업에서 더 낮은 제곱근 평균 제곱 오차 (RMSVE) 를 달성하고 제어 작업에서 더 높은 성공률을 보이며, 종종 효과적으로 학습하기 위해 더 짧은 단절 길이 ($\tau$) 를 요구합니다.
• 맥락 의존적 성능: 행동의 관련성이 특정 전이로 제한되는 표준 TMaze 에서는 승법 변형이 다른 방법들을 엄격하게 능가하지 않습니다. 어떤 경우에는 행동 입력이 없는 표준 GRU 가 동등하거나 더 나은 성능을 보였습니다. 이는 복잡한 행동 인코딩의 이점이 행동과 상태 전이 간의 특정 의존성에 달려 있음을 시사합니다.
• 파라미터 효율성: 풀랭크 승법 업데이트는 가법 업데이트보다 훨씬 많은 파라미터를 가지지만, 분해된 (저랭크) 승법 변형은 종종 더 적은 파라미터로 동등한 성능을 달성합니다. 다만 일반적으로 풀랭크 승법 버전보다는 성능이 낮습니다.
• 상태 표현 분석: 학습된 은닉 상태의 T-SNE 시각화는 승법 셀이 가법 셀보다 근본적인 환경 상태에 따라 은닉 상태를 더 효과적으로 군집화함을 보여줍니다. 가법 셀은 이전 행동을 기반으로 상태를 과도하게 분리하는 경향이 있는 반면, 승법 셀은 행동 변화에도 불구하고 환경 상태에 대한 더 일관된 표현을 유지합니다.
• 딥 가법의 한계: 행동 임베딩을 학습하는 "딥 가법" 변형은 일반적으로 표준 가법 접근법과 비슷하거나 더 나쁜 성능을 보였으며, 이는 처음부터 임베딩을 학습하는 것이 가법 업데이트의 구조적 한계를 극복하지 못했음을 시사합니다.

중요성과 주장

이 논문은 상태를 업데이트하는 함수에 행동을 통합하는 방식의 선택이 RL 에이전트 성능에 상당한 영향을 미치는 중요하지만 종종 간과되는 설계 결정이라고 주장합니다. 저자들은 다음과 같이 논합니다:

1. 지도 학습 가정의 전이 불가: 지도 학습에서 성공적인 아키텍처와 설계 선택 (단순 연결 등) 은 에이전트가 데이터 스트림에서 자신의 행위성 (agency) 을 모델링해야 하는 RL 설정에서는 최적일 수 없습니다.
2. 승법 상호작용의 유익성: 에이전트가 행동이 상태를 어떻게 변화시키는지 추적해야 하는 작업 (부분 관측 제어에서 일반적) 의 경우, 승법 업데이트는 더 나은 상태 구성과 빠른 학습을 촉진하는 구조적 귀납적 편향을 제공합니다.
3. 전문 RL 아키텍처의 필요성: 이 결과는 현재 RL 연구의 격차를 부각시켜, 지도 학습 도메인에서 가져온 "기성품" RNN 은 불충분함을 시사합니다. 논문은 시간 역전 오차 (BPTT) 에만 의존하지 않고 긴 시간적 의존성을 처리하는 등 RL 의 온라인, 능동적 데이터 수집의 고유한 도전을 위해 특별히 설계된 순환 셀 개발에 대한 향후 연구를 요구합니다.

저자들은 테스트된 도메인에서 승법 업데이트가 명확한 승자로 보이지만 최적의 아키텍처는 도메인에 의존적이며, 향후 시스템은 적절한 구조적 편향을 동적으로 학습하거나 선택할 수 있는 메커니즘으로부터 혜택을 받을 수 있다고 결론지었습니다.