Dynamic Deep-Reinforcement-Learning Algorithm in Partially Observable Markov Decision Processes

이 논문은 부분 관측 마르코프 결정 과정에서 시간 변화 disturbance 를 처리하기 위해 행동 정보를 포함하고 LSTM 아키텍처를 개선한 세 가지 새로운 심화 강화 학습 알고리즘을 제안하며, 특히 행동 네트워크의 은닉 상태를 활용하여 계산 효율성을 높인 H-TD3 알고리즘의 유효성을 입증합니다.

핵심

🕵️‍♂️ 1. 문제 상황: 안개 낀 밤에 운전하기

상상해 보세요. 당신은 안개 낀 밤에 운전하고 있습니다.

• 일반적인 AI (기존 방식): 앞유리창이 완전히 깨끗하다고 가정하고 운전합니다. 하지만 실제로는 안개 때문에 앞이 잘 안 보이고, 갑자기 차선이 바뀌거나 다른 차가 끼어드는 상황 ( disturbance, 방해 요인) 에 대처하지 못해 사고가 나기 쉽습니다.
• 이 연구의 목표: 안개 속에서도 **"과거의 경험"**과 **"내가 핸들을 어떻게 꺾었는지"**를 기억해서, 보이지 않는 앞 상황을 추측하고 안전하게 운전하는 AI 를 만드는 것입니다.

이런 상황을 수학적으로 **'부분 관측 마르코프 결정 과정 (POMDP)'**이라고 부르는데, 쉽게 말해 **"모든 정보를 다 알 수 없는 불완전한 세상"**에서 최선의 결정을 내리는 문제입니다.

---

🧠 2. 핵심 아이디어 1: "내가 무엇을 했는지"도 기억하라!

기존의 많은 AI 는 **"눈에 보이는 것 (관측치)"**만 기억하며 학습했습니다. 하지만 이 연구는 **"내가 직전에 핸들을 어떻게 꺾었는지 (행동)"**도 함께 기억해야 한다고 말합니다.

• 비유: 길을 잃었을 때, "지금 내가 어디에 서 있는지 (관측)"만 보는 것보다, **"어디서 출발해서 어떤 길을 걸어왔는지 (행동 이력)"**를 함께 기억해야 진짜 위치를 파악하기 쉽습니다.
• 결과: 실험 결과, AI 가 **"눈에 보이는 것 + 내가 한 행동"**을 모두 기억하도록 했더니, 안개 (방해 요인) 가 심할 때도 훨씬 더 똑똑하게 대처했습니다.

---

🏗️ 3. 핵심 아이디어 2: 뇌의 구조를 바꾼다 (H-TD3 알고리즘)

AI 는 보통 두 개의 뇌 (또는 두 명의 전문가) 를 가지고 있습니다.

1. 행동 전문가 (Actor): "지금 뭐 해야 하지?"라고 결정합니다.
2. 평가 전문가 (Critic): "그 결정이 잘했나? 점수는 몇 점일까?"라고 평가합니다.

기존 방식은 이 두 전문가가 서로 다른 데이터를 따로따로 분석해서 시간을 낭비했습니다. 마치 두 사람이 같은 영화를 따로따로 보고 소감을 나누는 것처럼요.

이 연구는 H-TD3라는 새로운 방법을 제안합니다.

• 비유: "행동 전문가"가 영화를 보고 **주요 내용 요약 (숨겨진 상태)**을 메모해 둡니다. 그리고 "평가 전문가"는 그 메모만 보고 평가를 내립니다.
• 장점: 같은 영화를 두 번 볼 필요가 없으니 시간과 계산 능력이 엄청나게 절약됩니다. 성능은 그대로 유지하면서 훨씬 빠르고 효율적이 됩니다.

---

🧪 4. 실험 결과: 다양한 난이도에서 승리

연구진은 AI 를 다양한 '안개' 상황 (실험 환경) 에 투입해 보았습니다.

• 단순한 안개 (일정한 방해): 모든 AI 가 잘했습니다.
• 변덕스러운 안개 (주기가 있는 파동): 행동 이력을 기억한 AI 가 훨씬 잘 대처했습니다.
• 완전한 잡음 (무작위 소음): 행동 이력을 기억하고, 뇌 구조를 최적화한 AI 가 가장 잘 견디며 학습했습니다.
• 정보 부족 (눈이 가려진 상태): 일부 정보가 아예 없는 상황에서도, 행동 이력을 통해 상황을 추론한 AI 가 성공했습니다.

특히, H-TD3는 다른 방법들보다 학습 속도가 빠르고 계산 비용이 적게 들면서도 똑같은 좋은 성적을 냈습니다.

---

🚀 5. 결론: 왜 이것이 중요한가?

이 논문은 AI 가 실제 세상 (실제 로봇, 자율주행차 등) 에 적용될 때 겪는 **"불완전한 정보"**와 **"예측 불가능한 방해"**를 해결하는 데 중요한 열쇠를 제시했습니다.

• 핵심 메시지: "눈에 보이는 것만 믿지 말고, **내가 무엇을 했는지 (행동)**도 함께 기억하고, 뇌 구조를 효율적으로 짜면 더 똑똑하고 빠른 AI 가 될 수 있다."

이 기술이 발전하면, 안개 낀 도로에서도, 센서가 고장 나더라도, 혹은 예상치 못한 돌발 상황에서도 AI 가 인간처럼 유연하고 안전하게 대처할 수 있게 될 것입니다.

기술 요약

1. 문제 정의 (Problem Definition)

• 부분 관측성 (Partial Observability): 실제 환경에서는 센서 노이즈, 측정 불가 요소, 모델링되지 않은 교란 등으로 인해 에이전트가 환경의 완전한 상태 ($s_t$) 를 관측할 수 없습니다. 이는 표준 MDP 가 아닌 POMDP 프레임워크로 다뤄져야 합니다.
• 기존 방법의 한계:
  • 대부분의 기존 연구는 과거의 관측 (observation) 시퀀스만 RNN 에 입력하여 내부 상태 표현을 학습했습니다.
  • 그러나 상태 전이 (state transition) 에 **행동 (action)**이 인과적 (causal) 역할을 하므로, 행동 시퀀스를 제외하면 내부 표현의 표현력이 제한될 수 있습니다.
  • 또한, 오프-폴리시 (off-policy) 알고리즘 (예: TD3) 에서 긴 시퀀스를 처리할 때 Actor 와 Critic 네트워크가 각각 시퀀스를 재처리해야 하므로 계산 비용이 매우 높다는 문제가 있습니다.

2. 방법론 (Methodology)

논문은 LSTM-TD3 알고리즘을 기반으로 하여, 정보 선택 (관측 vs 행동), 시퀀스 길이, 네트워크 아키텍처가 POMDP 환경에서의 강건성에 미치는 영향을 분석하고 새로운 알고리즘을 제안합니다.

가. 행동 시퀀스 포함 (Action Sequence Inclusion)

• 이론적 배경: 베이지안 추론에 기반한 믿음 상태 (belief state) 업데이트는 과거 관측과 과거 행동 모두를 필요로 합니다. 행동은 상태 전이의 원인이므로, 이를 포함해야 교란이 있는 환경에서도 시스템의 동역학을 더 잘 파악할 수 있습니다.
• 실험: Pendulum 환경에서 다양한 교란 (시계열 편향, 정현파, 랜덤 정현파, 가우시안 노이즈, 관측치 숨김) 을 주입하여, 행동 시퀀스를 입력에 포함시켰을 때와 포함하지 않았을 때의 성능을 비교했습니다.

나. 네트워크 아키텍처 개선

기존 LSTM-TD3 는 관측 시퀀스와 현재 정보를 별도의 입력 채널로 처리하는 '이중 헤드 (double-headed)' 구조를 사용했습니다. 저자들은 이를 다음과 같이 개선했습니다.

1. 단일 시퀀스 처리 (Unified Sequence): 과거 관측과 행동을 하나의 통합된 시퀀스 ($IC_{t-l:t}$) 로 처리하여, LSTM 이 시퀀스 내 데이터의 중요도를 스스로 판단하도록 설계했습니다.
   • LSTM-TD3 1ha1hc: Actor 와 Critic 모두 단일 입력 채널을 사용.
   • LSTM-TD3 1ha2hc: Actor 는 단일 채널, Critic 은 시퀀스 처리 후 현재 행동을 추가하는 구조.
2. H-TD3 (Hidden-state-based TD3) 알고리즘 제안:
   • 핵심 아이디어: Actor 네트워크에서 생성된 **잠재 상태 (hidden state, $h_t$) 와 셀 상태 ($c_t$)**를 Critic 네트워크의 초기 상태로 공유합니다.
   • 효과: Critic 네트워크가 전체 시퀀스를 다시 입력받아 LSTM 을 실행할 필요가 없으므로, 계산 비용을 대폭 절감하면서도 성능을 유지합니다. 이는 오프-폴리시 알고리즘에서 Actor 와 Critic 의 네트워크 공유를 시도한 최초의 접근 중 하나로 볼 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 행동 시퀀스의 중요성 입증: POMDP 환경에서 관측뿐만 아니라 행동 시퀀스를 포함하는 것이 교란에 대한 강건성 (robustness) 을 크게 향상시킨다는 것을 실험적으로 증명했습니다.
2. 신뢰 상태 (Belief State) 기반 아키텍처 제안: 과거와 현재 정보를 통합된 시퀀스로 처리하는 아키텍처를 제안하여, 기존 이중 입력 구조보다 더 나은 최적성 (optimality) 을 달성했습니다.
3. H-TD3 알고리즘 개발: Actor 의 잠재 상태를 Critic 에 재사용하여 계산 효율성을 극대화하면서도 성능을 유지하는 새로운 알고리즘을 제시했습니다.
4. 다양한 교란 환경에서의 평가: 정적 노이즈뿐만 아니라 동적 교란 (시계열 편향, 정현파 등) 환경에서 알고리즘의 일반화 능력과 학습 역학을 광범위하게 평가했습니다.

4. 실험 결과 (Results)

• 강건성 (Robustness):
  • 행동 시퀀스를 포함한 모든 알고리즘이 포함하지 않은 경우보다 우수한 성능을 보였습니다.
  • 특히 **랜덤 정현파 (Random Sinusoidal Wave)**나 노이즈 (Noise) 환경에서 행동 시퀀스 포함이 결정적인 역할을 했습니다.
  • LSTM-TD3 1ha1hc가 모든 알고리즘 중 가장 높은 강건성과 최적성을 보여주었습니다.
• 계산 효율성 (Computational Efficiency):
  • 제안된 H-TD3는 Critic 네트워크의 시퀀스 재처리를 제거하여 학습 시간 (iteration time) 을 크게 단축했습니다.
  • 다만, H-TD3 는 특정 조건 (예: 고강도 노이즈) 에서 행동 정보 ($a_{t-1}$) 의 누락으로 인해 성능이 약간 저하되는 경향을 보였으나, 전반적으로 효율성 면에서 우위를 점했습니다.
• 일반화 (Generalization):
  • "랜덤 정현파" 환경에서 학습된 모델은 "편향 (Bias)"이나 "감쇠 정현파"와 같이 시간적 상관관계가 있는 동적 교란 환경에서도 잘 작동했습니다.
  • 반면, 무작위성만 있는 "노이즈" 환경에서는 동적 모델 학습이 어려워 성능이 저하되는 경향을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실제 적용 가능성: 이 연구는 실제 로봇 제어 및 자율 주행과 같이 부분 관측성과 동적 교란이 공존하는 환경에서 강화 학습 알고리즘을 배포할 때 필수적인 요소인 행동 정보의 활용과 계산 효율성을 동시에 해결하는 방안을 제시했습니다.
• 이론적 확장: 모델 프리 (model-free) 강화 학습에서도 암묵적으로 믿음 상태 (belief state) 업데이트 원리가 적용될 수 있음을 보여주었으며, 이를 통해 더 강건한 에이전트 설계가 가능함을 입증했습니다.
• 향후 과제: 다양한 유형의 교란 (동적 vs 정적) 에 모두 대응할 수 있는 범용 알고리즘 개발과 실제 물리 환경 (Sim2Real) 로의 전환 연구가 필요하다고 결론지었습니다.

요약하자면, 이 논문은 행동 시퀀스를 포함한 RNN 기반 강화 학습이 POMDP 문제 해결에 필수적이며, Actor 의 잠재 상태를 Critic 에 공유하는 H-TD3를 통해 학습 효율성을 획기적으로 개선할 수 있음을 증명한 중요한 연구입니다.