기술적 요약: 심층 강화학습을 위한 내재적 대리 조건형성

문제 제기

강화학습 (RL) 은 보상 형성 (reward shaping) 과 시연 학습 (LfD) 방법을 통해 크게 발전해 왔습니다. 그러나 이러한 접근법들은 공통적으로 중요한 한계를 공유합니다: 즉, 일반적으로 전문가 시연자의 내부 표현, 행동 수준 궤적, 또는 그들의 보상 함수에 대한 접근이 필요하다는 점입니다. 이 의존성은 희소한 외재적 보상과 에이전트 사망과 같은 치명적인 종료 조건 (feedback 신호를 제공하지 않음) 으로 특징지어지는 환경에서 문제가 됩니다. 이러한 "단일 생애" 시나리오에서 생물학적 에이전트는 직접적인 경험 없이 타인을 관찰함으로써 위험을 피하고 바람직한 상태를 추구하는 법을 배우는데, 이를 **대리 조건형성 (vicarious conditioning)**이라고 합니다. 현재 RL 방법들은 시연자의 정책이나 보상 함수를 요구하지 않고 이러한 능력을 모방하는 데 어려움을 겪으며, 에이전트들을 값비싼 자기 탐색이나 방대한 데이터셋에 의존하게 만듭니다.

방법론

저자들은 시연자의 정책 ($\pi_d$) 이나 보상 함수 ($r_d$) 에 접근할 수 없더라도 소수의 관찰된 시연으로부터 에이전트가 학습할 수 있게 하는 내재적 보상 메커니즘으로 **대리 조건형성 (VC)**을 제안합니다. 이 방법은 반두라의 관찰 학습 4 단계 모델인 **주의 (Attention), 유지 (Retention), 재생산 (Reproduction), 강화 (Reinforcement)**에 기반합니다.

1. 문제 공식화

환경은 부분 관측 가능 마르코프 의사결정 과정 (POMDP) 으로 모델링됩니다. 에이전트는 $\bar{r}(o_t) = r_{ext}(o_t) + \alpha \cdot r_{vic}(o_t)$로 정의된 복합 보상을 받는데, 여기서 $r_{ext}$는 희소한 환경 보상이고 $r_{vic}$은 내재적 대리 보상입니다.
에이전트는 시연자 궤적 $\tau = (o^d_1, \dots, o^d_T, v_\tau)$를 관찰하며, 여기서 $v_\tau \in \mathbb{R}$는 결과의 양극성 (접근은 양수, 회피는 음수) 과 강도를 나타내는 통신된 값입니다. 핵심적으로 에이전트는 시연자의 행동이나 내부 상태를 보지 못합니다.

2. 구현의 4 단계

저자들은 시메트릭 메모리 증강 신경망 (MANN) 아키텍처를 사용하여 이러한 단계를 구현합니다.

• 주의: 시메트릭 장기 단기 기억 (LSTM) 네트워크로 구현된 공유 **컨트롤러 인코더 (CE)**가 (시연자와 에이전트 모두의) 관찰 시퀀스를 고정 차원의 임베딩 ($e_\tau$ 및 $e_t$) 으로 매핑합니다. 이는 시연자나 에이전트에서 기원했는지와 관계없이 행동적으로 유사한 시퀀스가 비교 가능한 임베딩을 생성하도록 보장합니다.
• 유지: 에이전트는 시연자의 임베딩을 통신된 값과 함께 저장합니다. 대리 가치 $V^{vic}$는 신뢰 계수 $k$에 의해 조절되는 결과 효용으로부터의 역방향 할인 (backward discounting) 을 통해 계산됩니다. 이러한 임베딩과 값들은 콘텐츠 기반 주소 지정 (가장 최근에 사용되지 않은 접근 방식) 을 사용하여 외부 메모리 행렬 $M_t$에 기록됩니다. MANN 은 저장된 궤적의 양극성 (양수/음수) 을 분류하도록 교차 엔트로피 손실로 훈련됩니다.
• 재생산: 에이전트는 현재 행동 임베딩 ($e_t$) 을 저장된 메모리와 비교하여 내재적 보상을 생성합니다. 일반화 커널은 현재 상태와 저장된 메모리 간의 유사성 (코사인 유사도) 을 계산합니다. 분류 계층은 각 행동 클래스에 대한 신뢰도 점수 ($p_t$) 를 출력합니다. 내재적 보상 $r_{vic}$은 이러한 점수들에서 집계되며, 낮은 신뢰도 매칭이 보상을 유발하는 것을 방지하기 위해 억제 임계값 ($\theta_{thr}$) 으로 게이트됩니다.
  • 부정적 조건형성: 에이전트의 상태가 저장된 "회피" 궤적과 유사하면, 에이전트는 음의 내재적 보상을 받습니다.
  • 긍정적 조건형성: 에이전트의 상태가 저장된 "접근" 궤적과 유사하면, 에이전트는 양의 내재적 보상을 받습니다.
• 강화: 내재적 보상은 외재적 보상과 결합됩니다. 에이전트는 이 복합 신호의 기대 반환을 최대화하도록 정책을 최적화합니다. 모순이 발생할 경우 외재적 보상이 결국 우세해져 정책이 특정 환경에 대해 최적임을 보장합니다.

주요 기여

1. 일반적 공식화: 이 논문은 주의, 유지, 재생산, 강화의 생물학적 단계를 신경망 구성 요소에 명시적으로 매핑하는 대리 조건형성을 위한 공식적인 RL 프레임워크를 제공합니다.
2. 시메트릭 메모리 증강 아키텍처: 저자들은 시연자와 에이전트 간에 인코더를 공유함으로써 시스템이 유사한 행동이 유사한 임베딩을 생성하도록 보장하여, 에이전트가 소수의 저장된 시연을 기반으로 자신의 경험에 대해 인식하고 반응할 수 있게 하는 시메트릭 MANN 을 설계합니다. 이를 통해 소량 학습 (low-shot learning) 이 가능해집니다.
3. 양극성 특화 메커니즘: 이 방법은 부정적 (회피) 과 긍정적 (접근) 조건형성을 위한 구별된 메커니즘을 도입하여, 에이전트가 통신된 결과 값만으로 무엇을 피하고 무엇을 추구해야 하는지 학습할 수 있게 합니다.

실험 결과

이 접근법은 두 가지 환경에서 평가되었습니다: MiniWorld Sidewalk(부정적 조건형성/회피 테스트) 와 Box2D CarRacing(긍정적 조건형성/접근 및 복합 조건형성 테스트).

• MiniWorld Sidewalk: 사망 시 보상을 주지 않는 비기술적 종료 조건을 가진 환경에서, 표준 PPO 는 약 117 보를 달성했습니다. 최적의 임계값 ($\theta_{thr} = 0.60$) 을 가진 VC 방법은 베이스라인을 크게 능가하여 142.16 보(복합 보상) 및 139.96 보(내재적 보상만) 를 달성했습니다. 이 결과는 VC 가 사망에 대한 명시적 보상 신호 없이도 에이전트가 위험한 상태 (인도 경계) 를 성공적으로 피하도록 유도했음을 보여주었습니다.
• CarRacing:
  • 긍정적 VC: 에이전트는 시연된 행동인 중앙 차선 유지법을 학습하여 기본 PPO 의 에피소드 길이 (33.27 보) 의 거의 세 배인 88.45 보를 달성했습니다. 이는 공격적인 타일 방문에 비해 보수적인 운전으로 인해 외재적 보상이 낮아졌음에도 불구하고, 복합 보상은 훨씬 더 높았습니다.
  • 부정적 VC: 접근 작업 (트랙 경계 회피) 에 적용되었을 때, 부정적 조건형성은 베이스라인보다 성능이 떨어졌으며, 이는 방법론이 양극성에 민감함을 확인시켜 주었습니다. 회피 신호는 접근이 필요한 작업에서는 해롭습니다.
  • 복합 VC: 긍정적 및 부정적 신호를 결합한 결과는 엄격한 임계값에서 높은 분산을 보이며 혼합된 결과를 나타냈는데, 이는 양극성 신호의 신중한 보정이 필요함을 시사합니다.

중요성 및 주장

저자들은 이 작업이 생물학적 학습 능력과 현재 RL 의 한계 사이의 간극을 메운다고 주장합니다. 정책, 대규모 데이터셋, 또는 보상 함수에 대한 접근 없이 소수의 관찰된 시연으로부터 에이전트가 학습할 수 있게 함으로써, 대리 조건형성은 단일 생애 학습 및 지속적 학습을 위한 인지적으로 타당한 대안을 제공합니다.

이 논문은 이 패러다임이 광대하고 부분적으로 관측 가능하며 위험한 실제 환경에 특히 적합하다고 강조합니다. 이러한 환경에서는 치명적인 실패를 직접적인 시행착오를 통해 학습할 수 없습니다. 이 방법은 에이전트가 타인의 통신된 결과로부터 학습하여 치명적인 종료 조건을 피하고 최소한의 데이터로 바람직한 상태를 추구할 수 있게 하는 생물학적 과정을 성공적으로 모방합니다. 저자들은 특징 공간에서 구별 불가능한 행동을 구분하지 못한다는 점과 기억 소멸의 부재 (한 번 저장되면 대리 가치가 영구히 유지됨) 와 같은 한계를 인정하지만, 필요한 경우 강화 단계가 결국 내재적 조건형성을 외재적 보상이 대체할 수 있게 한다고 주장합니다.