[기술 요약] GIFT: 내재적 미세 조정을 통한 전역 안정화

1. 문제 정의 (Problem Statement)

심층 강화학습(Deep Reinforcement Learning, DRL)은 복잡한 연속 제어 환경에서 뛰어난 성능을 보이지만, 실제 세계(Real-world)에 적용하기에는 안정성(Stability) 측면에서 치명적인 한계가 있습니다.

• 카오스적 동역학 (Chaotic Dynamics): 학습된 정책이 초기 조건의 아주 미세한 변화에도 장기적인 거동이 크게 달라지는 카오스적 상태 동역학을 유발하는 경우가 많습니다.
• 보상 함수의 불충분성 (Reward Underspecificity): 기존의 보상 함수는 대개 작업 수행에 필요한 특정 상태 차원(State dimensions)만을 제약합니다. 이로 인해 제약되지 않은 나머지 차원에서는 정책이 무관심하게 행동하게 되고, 결과적으로 시스템 전체의 불안정성을 초래합니다.
• 실제 적용의 어려움: 이러한 높은 민감도는 예측 가능성과 안정성 보장이 필수적인 실제 물리 시스템(로봇 제어 등)에 DRL을 배치하는 것을 어렵게 만듭니다.

2. 제안 방법론 (Methodology: GIFT)

본 논문은 기존의 고성능 DRL 정책을 유지하면서 안정성만을 직접 최적화하는 가벼운 프레임워크인 **GIFT(Global stabilisation via Intrinsic Fine Tuning)**를 제안합니다. 이 방법은 세 단계로 진행됩니다.

1단계: 베이스라인 정책 사전 학습 (Pre-training)

• 기존의 MDP(Markov Decision Process) 환경에서 표준적인 강화학습 알고리즘(SAC, PPO 등)을 사용하여 작업 성능을 극대화하는 정책 $\pi_\theta$를 먼저 학습시킵니다.

2단계: 안정화 MDP(S-MDP) 생성 (Generating S-MDP)

• 참조 궤적(Reference Trajectory) 추출: 사전 학습된 정책을 다양한 초기 조건에서 실행(Roll-out)하여 얻은 여러 궤적 중, 가장 높은 보상을 기록한 최적의 관측 궤적 $T$를 선택합니다.
• 내재적 보상 함수(Intrinsic Reward) 설계: 새로운 보상 함수 $\hat{R}$은 작업 목표와 무관하게 **'전역적 안정성'**만을 목표로 합니다.
  • 현재 관측값 $o_t$와 가장 유사한 참조 궤적 상의 다음 지점 $\tau(o_t)$를 찾습니다.
  • 다음 상태 $o_{t+1}$이 이 목표 지점 $\tau(o_t)$에 얼마나 가까운지를 계산하여 보상을 줍니다.
  • 이 보상 함수는 모든 관측 차원에 대해 정의되므로, 특정 차원에 국한되지 않고 시스템 전체의 안정성을 강제합니다.

3단계: 안정화를 위한 미세 조정 (Fine-tuning)

• 기존의 작업 보상 대신, 위에서 생성된 내재적 보상 $\hat{R}$만을 사용하여 정책을 미세 조정합니다. 이 과정을 통해 정책은 작업 성능을 유지하면서도, 불안정한 동역학을 억제하고 참조 궤적을 안정적으로 추종하도록 학습됩니다.

3. 주요 기여 (Key Contributions)

1. 범용성 (Generality): 특정 알고리즘이나 특정 환경에 종속되지 않고, 기존의 어떤 DRL 정책에도 적용 가능한 사후 처리(Post-processing) 프레임워크를 제안했습니다.
2. 전역적 제약 (Global Constraint): 보상 함수의 불충분함으로 인해 발생하는 '제약되지 않은 차원에서의 불안정성' 문제를 모든 관측 차원을 고려하는 내재적 보상을 통해 해결했습니다.
3. 효율성 (Efficiency): 환경의 동역학이나 상태 공간을 수정하지 않고 오직 보상 함수만을 변경하여 미세 조정하므로 매우 가볍고 실용적입니다.

4. 실험 결과 (Results)

DeepMind Control Suite(Walker, Humanoid 환경)를 대상으로 SAC와 PPO 알고리즘에 GIFT를 적용하여 검증했습니다.

• 안정성 향상 (Stability): 안정성의 척도인 **최대 리아푸노프 지수(Maximal Lyapunov Exponent, MLE)**를 측정한 결과, GIFT를 적용했을 때 MLE 값이 기존 정책 대비 약 10배(an order of magnitude) 감소했습니다. 이는 초기 조건의 변화에 훨씬 덜 민감해졌음을 의미합니다.
• 성능 유지 (Performance): 안정성을 높였음에도 불구하고 작업 수행 능력(Total Reward)은 저하되지 않았습니다. 오히려 Humanoid 환경에서는 불안정한 움직임으로 인해 넘어지는 현상이 줄어들어 평균 보상이 약 9% 향상되는 결과도 나타났습니다.
• 궤적 일관성: 시각화 결과, 미세한 섭동(Perturbation)이 가해졌을 때 기존 정책은 궤적이 크게 발산하는 카오스적 모습을 보였으나, GIFT 적용 정책은 궤적이 서로 밀접하게 유지되는 안정적인 모습을 보였습니다.

5. 의의 (Significance)

GIFT는 심층 강화학습의 고질적인 문제인 **'성능과 안정성 사이의 트레이드오프'**를 효과적으로 해결할 수 있는 실용적인 도구입니다. 특히, 보상 함수 설계가 까다로운 실제 물리 제어 시스템에서, 이미 학습된 고성능 모델을 안전하게 사용할 수 있도록 만드는 **안전 장치(Safety layer/Fine-tuning tool)**로서의 높은 가치를 지닙니다.