기술 요약: 적응형 다중 지평 강화 학습 (Adaptive Multi-Horizon Reinforcement Learning)

문제 정의

복잡한 환경에서의 효과적인 의사결정은 단기적 결과와 장기적 결과 사이의 균형을 맞추는 것을 요구한다. 표준 강화 학습(RL)에서 이러한 트레이드오프는 고정된 할인 계수($\gamma$)에 의해 제어되며, 이는 단일한 지수적 할인 계획 지평(planning horizon)을 부과한다. 이러한 정적인 가정은 과업과 환경이 진화하며 단기 지평(즉각적 결과)과 장기 지평(지연된 보상) 사이를 전환해야 하는 연속 학습(continual learning) 시나리오에서 종종 실패한다.

반면, 생물학적 시스템은 여러 시간 지평에 걸친 예측을 통합하고 이들에 대한 의존도를 유연하게 조정하는 것으로 보인다. 최근의 신경과학 연구들은 서로 다른 할인 시간 척도에 걸쳐 가치를 인코딩하는 별도의 도파민 뉴런과 선조체 회로의 존재를 시사한다. 본 논문이 다루는 핵심 과제는 다음과 같다: 에이전트가 어떻게 생물학적 시스템에서 관찰되는 유연한 의사결정처럼, 다양한 과업 요구에 맞춰 자신의 계획 지평을 동적으로 적응시킬 수 있는가?

방법론

저자들은 수동적인 할인 계수 튜닝의 필요성을 제거하기 위해, 여러 시간 지평을 적응적으로 결합하는 다중 지평 강화 학습(Multi-Horizon Reinforcement Learning) 접근 방법을 제안한다. 핵심 방법론은 가치 함수 혼합(Mixture-of-Q-Values) 프레임워크이다:

1. 다중 비평가 (전문가): 에이전트는 서로 다른 고정된 할인 계수 $\gamma_i$를 사용하여 독립적으로 학습된 각각의 행동 가치 함수 $Q_i(s, a)$를 유지한다. 각 전문가는 다양한 시간 지평을 커버한다. 이들은 테이블 방식의 Expected SARSA($\lambda$)를 사용한다.
2. 상태 의존적 게이팅 네트워크: 학습 가능한 게이팅 네트워크는 상태 표현 $x = \phi(s)$를 입력받아 로짓(logits) $z = Wx + b$를 계산한다. 이들은 소프트맥스(softmax)를 통해 정규화되어 각 전문가에 대한 혼합 가중치 $w_i(s)$를 생성한다.
3. 혼합 가치 함수: 최종 행동 가치 함수는 다음과 같은 가중 합으로 정의된다:
   $$Q_{mix}(s, a) = \sum_{i=1}^{K} w_i(s) Q_i(s, a)$$
4. 학습 역학:
   • 개별 전문가들은 각각의 특정 $\gamma_i$를 사용하여 업데이트된다.
   • 혼합 정책 $\pi(a|s)$는 $\epsilon$-greedy 전략을 사용하여 $Q_{mix}$로부터 유도된다.
   • 게이팅 네트워크 파라미터($W, b$)는 혼합 가치 함수의 제곱 시간차(TD) 오차를 최소화하도록 최적화된다 (여기서 업데이트는 $\gamma=1$인 혼합을 사용한다). 이를 통해 네트워크는 주어진 상태에서 어떤 시간 지평이 가장 효과적인지를 학습할 수 있다.

주요 기여

• 적응형 지평 선택: 본 논문은 단일한 고정 $\gamma$에 의존하는 대신, 여러 계획 지평을 동적으로 선택하고 가중치를 부여하는 메커니즘을 도입했다.
• 연속 학습 적응성: 이 방법은 과업이 순차적으로 전환되는 연속 학습 설정에 맞춰 설계되었으며, 이는 에이전트가 수동 개입 없이 최적의 시간 척도를 재평가해야 하는 상황을 반영한다.
• 생물학적 원리의 경험적 검증: 본 연구는 적응형 다중 시간 척도 학습이 파라미터 효율성과 적응성을 향상시킨다는 가설을 뒷작업하여, 생물학적 의사결정에서 관찰되는 원리를 뒷받침하는 경험적 증거를 제공한다.

실험 결과

저자들은 MiniGrid 환경에서 세 가지 순차적 과업을 중심으로 연속 학습 설정에서의 접근 방식을 평가했다:

1. Foraging (먹이 찾기): 그리드 내에 분포된 40개의 보상을 수집함.
2. Goal Reaching (목표 도달): 용암 페널티를 피하면서 높은 가치의 목표에 도달함.
3. Four Rooms (네 개의 방): 시간 제한이 있는 "잭팟"과 지역적 보상이 포함된 복합 과업.

주요 결과:

• 과업 의존적 최적 지평: 실험을 통해 최적의 할인 계수가 과업 및 보상 구조에 따라 크게 달라짐을 입증했다.
  • Foraging: 최적의 유효 지평은 16~32 스텝으로 나타났다.
  • Goal Reaching: 최적 지평은 32~512 스텝 범위였다.
  • Four Rooms: 최적 성능을 위해서는 128 스텝의 유효 지평이 필요했다.
• 보상 희소성 및 도달 가능성: 보상 분산(공간적 분산)이 증가하거나 보상 빈도가 감소함에 따라, 최적의 할인 계수가 더 큰 값(더 긴 지평)을 향해 이동함을 보여주었다. 이는 희소성을 완화하기 위함이다.
• 연속 학습 성능: 순차적 과업 전환 실험에서, 적응형 혼합 방식은 세 가지 과업 모두에서 일관되게 최적에 가까운 성능(에피소드 수익 36~40 사이)을 유지했다.
• 게이팅 동작: 게이팅 네트워크는 현재 과업에 최적인 특정 할인 계수에 더 높은 가중치를 할당하도록 성공적으로 학습되었다. 예를 들어, 먹이 찾기에는 짧은 지평을, 시간 제한이 있는 잭팟 과업에는 긴 지평을 우선시했다.
• 강건성: 에이전트는 어려운 하위 목표인 시간 제한 잭팟을 일관되게 수집하는 법을 배웠으나, 남은 지역 보상을 수집하는 과정은 랜덤 시드와 남은 에피소드 길이에 따라 일부 변동성을 보였다.

의의 및 주장

본 논문은 적응형 다중 지평 접근 방식이 서로 다른 능력을 가진 여러 비평가를 결합하는 새로운 프레임워크를 제공한다고 주장한다. 주요 의의는 다음과 같다:

• 수동 튜닝 제거: 이 방법은 보상 구조가 시간에 따라 변하는 환경에서 특히 유익한 수동 할인 계수 튜닝의 필요성을 제거한다.
• 생물학적 타당성: 결과는 적응형 다중 시간 척도 가치 인코딩에 관한 신경과학적 발견과 일치하며, 적응형 시간 할인(adaptive temporal discounting)이 인공 및 생물학적 학습 시스템 모두를 개선하는 유효한 원리임을 시사한다.
• 연속 학습에서의 효율성: 이 접근 방식은 서로 다른 시간적 요구사항을 가진 과업 간 전환 시 개선된 적응성을 보여주며, 이는 하나의 고정된 지평을 학습하는 것보다 혼합된 지평을 학습하는 것이 더 강건하다는 것을 시사한다.

저자들은 향후 연구에 대해 겸손한 태도를 유지하며, 변동성을 규명하기 위해 더 많은 시드(seed)에 대한 추가 평가가 필요하다는 점과, 신경망 함수 근사기(neural network function approximators)로 프레임워크를 확장하고 적격성 흔적(eligibility traces)을 공동으로 적응시키는 것이 유망한 연구 방향임을 언급하였다.