A Loss Landscape Visualization Framework for Interpreting Reinforcement Learning: An ADHDP Case Study

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 강화학습 (RL) 알고리즘은 동적 제어 시스템에 널리 적용되고 있으나, 특히 우주선 자세 제어와 같은 불확실성이 큰 환경 (예: 활성 우주쓰레기 제거 임무) 에서 그 내부 학습 행동을 해석하는 것은 여전히 어려운 과제입니다.
• 문제점:
  • RL 알고리즘은 훈련 환경 (시뮬레이션) 에 최적화되어 있어, 시스템 파라미터가 약간만 변해도 성능이 급격히 저하되거나 실패할 수 있습니다.
  • 기존에 사용되던 보상 (Reward) 이나 시간차 (TD) 오차와 같은 단일 스칼라 지표는 훈련 실패의 근본적인 원인을 명확히 설명하지 못합니다.
  • 특히 딥러닝 기법 (타겟 네트워크 등) 을 적용한 ADHDP(행동 의존적 휴리스틱 동적 프로그래밍) 알고리즘의 경우, 학습 불안정성이 발생하더라도 그 원인을 파악하기 어렵습니다.
  • 기존 시각화 방법 (단일 손실 지형도 등) 은 에이전트 내의 액터 (Actor) 와 크리틱 (Critic) 모듈 간의 상호작용을 포괄적으로 보여주지 못합니다.

2. 제안된 방법론 (Methodology)

저자는 강화학습의 학습 동역학을 다각도로 해석하기 위해 4 가지 상호 보완적인 시각화 요소를 통합한 프레임워크를 제안했습니다. 이 프레임워크는 고차원 파라미터 공간을 PCA(주성분 분석) 를 통해 2 차원 평면으로 축소하고, 이를 기반으로 손실 지형도 (Loss Landscape) 를 재구성합니다.

주요 4 가지 시각화 구성 요소:

1. 크리틱 매치 손실 지형도 (Critic Match Loss Landscape):
   • 목적: TD 타겟이 크리틱의 최적화 기하학적 구조를 어떻게 형성하는지 보여줍니다.
   • 방법: 훈련 중 기록된 크리틱 가중치와 TD 타겟을 사용하여 3 차원 손실 표면을 재구성합니다.
2. 액터 손실 지형도 (Actor Loss Landscape):
   • 목적: 고정된 (Frozen) 크리틱 하에서 정책 (Policy) 이 어떻게 지형도를 활용하는지 분석합니다.
   • 방법: 훈련이 끝난 크리틱을 비용 함수로 고정하고, 액터 가중치 공간에서의 3 차원 손실 표면을 시각화합니다.
3. 시간 -TD-액터 가중치 궤적 (Time-TD-Actor Weight Trajectory):
   • 목적: 벨만 오차 (TD error) 의 변화에 따라 정책이 어떻게 진화하는지 추적합니다.
   • 방법: 훈련 단계별 액터 가중치 (PCA 주성분), 시간, TD 오차를 3 차원 궤적으로 표현합니다.
4. 상태 -TD 맵 (State-TD Map):
   • 목적: 어떤 상태 영역이 TD 오차의 큰 변동을 주도하는지 식별합니다.
   • 방법: 시스템 상태 (PCA 적용) 와 TD 오차를 2 차원 플롯으로 매핑합니다.

사례 연구 대상:

• 알고리즘: 우주선 자세 제어를 위한 ADHDP(행동 의존적 휴리스틱 동적 프로그래밍) 알고리즘.
• 변형 버전 비교:
  1. 기본 버전 (Basic)
  2. 타겟 네트워크 적용 버전
  3. 훈련 안정화 기법 (Huber Loss, 비용 스케일링) + 타겟 정책 평활화 (TPS) 적용 버전
  4. 훈련 안정화 기법만 적용 (TPS 제거) 버전

3. 주요 결과 및 분석 (Results)

우주선 자세 제어 시뮬레이션 (불확실한 관성 파라미터 환경) 을 통해 4 가지 ADHDP 변형 버전을 분석한 결과는 다음과 같습니다.

• 기본 버전 (Basic ADHDP):
  • 크리틱의 손실 지형도가 한 방향으로는 날카롭고 다른 방향으로는 평평한 비등방성 (Anisotropic) 구조를 보였습니다.
  • 이로 인해 액터의 정책 업데이트가 평평한 계곡 (Flat Valley) 에서 멈추거나 제어 토크가 포화 (Saturation) 되어 훈련이 발산했습니다.
• 타겟 네트워크 적용 버전:
  • 타겟 네트워크는 TD 오차의 단기 변동을 줄여 크리틱 학습을 안정화시켰으나, 손실 지형도의 전체적인 모양 (기하학적 구조) 을 바꾸지는 못했습니다.
  • 여전히 액터 손실 지형도는 날카로운 경사와 평평한 영역을 가진 쐐기 모양 (Wedge-shaped) 을 유지하여 정책이 포화 영역으로 밀려났습니다.
• 훈련 안정화 기법 + TPS 적용 버전:
  • Huber Loss 와 비용 스케일링은 TD 오차의 극단적인 스파이크를 억제하고 손실 지형도를 더 둥글게 만들었습니다.
  • 그러나 액터 손실 지형도의 우세한 기울기 (Dominant Slope) 는 여전히 존재하여 정책 업데이트가 한 방향으로 치우쳤고, 결국 제어 토크가 포화되어 시스템이 불안정해졌습니다.
• 훈련 안정화 기법만 적용 (TPS 제거) 버전:
  • TPS 를 제거하면 결정론적인 TD 타겟으로 인해 크리틱 손실 지형도에 날카로운 피크가 다시 나타났습니다.
  • Huber Loss 와 비용 스케일링이 TD 오차 크기는 줄였으나, 정책 업데이트의 경직성 (Stiffness) 으로 인해 제어 토크가 포화 상태에 갇히는 현상은 해결되지 않았습니다.

핵심 발견:
모든 변형 버전에서 액터 손실 지형도의 비등방적인 쐐기 모양 (Wedge-shaped structure) 이 공통적으로 관찰되었습니다. 이는 크리틱의 학습 안정성을 높이는 것만으로는 해결되지 않는 액터 - 크리틱 간의 결합으로 인한 최적화 기하학적 결함이 제어 실패의 근본 원인임을 시사합니다.

4. 주요 기여 (Key Contributions)

1. 새로운 해석 프레임워크 제안: 강화학습의 학습 행동을 해석하기 위해 크리틱 손실 지형도, 액터 손실 지형도, 시간 -TD-가중치 궤적, 상태 -TD 맵을 통합한 체계적인 시각화 프레임워크를 처음 제안했습니다.
2. 학습 실패의 근본 원인 규명: 단순한 TD 오차 감소나 크리틱 안정화만으로는 제어 성공을 보장할 수 없으며, 액터 손실 지형도의 기하학적 구조 (특히 비등방성) 가 정책이 제어 한계 (포화) 로 밀려나는 주된 원인임을 시각적으로 증명했습니다.
3. 알고리즘 설계에 대한 통찰: 타겟 네트워크, Huber Loss, TPS 등 다양한 딥러닝 기법이 손실 지형도의 어떤 부분 (안정성 vs 기하학적 구조) 에 영향을 미치는지 구체적으로 분석하여, 향후 알고리즘 개선 방향 (예: 제어 노력에 대한 정규화 강화, 액터 출력 스케일 조정 등) 을 제시했습니다.

5. 의의 및 결론 (Significance)

• 해석 가능성 (Interpretability): 강화학습 알고리즘의 "블랙박스" 성격을 탈피하고, 내부 모듈 간의 상호작용과 학습 동역학을 직관적으로 이해할 수 있는 도구를 제공합니다.
• 실용적 가치: 단순히 성능 지표 (보상) 만을 보는 것을 넘어, 왜 특정 알고리즘이 특정 환경에서 실패하는지 (예: 제어 토크 포화, 지형도 구조 문제) 를 진단할 수 있어, 더 강건한 제어 시스템 설계에 기여합니다.
• 일반성: ADHDP 사례 연구를 통해 제시되었으나, 이 프레임워크는 다양한 액터 - 크리틱 기반 강화학습 알고리즘의 설계와 분석에 적용 가능한 보편적인 도구로 평가됩니다.

결론적으로, 이 연구는 강화학습의 학습 안정성과 제어 성능을 개선하기 위해서는 크리틱의 학습 안정화뿐만 아니라 액터의 최적화 지형도 (Optimization Landscape) 의 기하학적 구조를 재설계해야 함을 강조합니다.