Taming the Adversary: Stable Minimax Deep Deterministic Policy Gradient via Fractional Objectives

이 논문은 외부 교란과 모델 불확실성 하에서도 안정적인 성능을 보장하기 위해, 작업 수행도와 교란 강도를 균형 있게 조절하는 분수 목적 함수를 도입하여 학습된 사용자와 적대적 교란 정책 간의 미니맥스 최적화를 수행하는 'MMDDPG' 프레임워크를 제안합니다.

핵심

1. 문제 상황: "예상치 못한 폭풍"

기존의 AI(강화학습) 는 훈련할 때 아주 잘하지만, 실제 세상에 나가면 예상치 못한 바람, 진동, 기계 고장 같은 문제가 생기면 바로 망가집니다. 마치 평온한 수영장에서는 수영을 잘하지만, 거친 바다에 나가면 바로 넘어지는 수영 선수와 비슷합니다.

이 문제를 해결하기 위해 연구자들은 **'악당 (Adversary)'**이라는 가상의 적을 만들어 AI 를 훈련시켰습니다.

• AI(사용자): 목표를 달성하려고 노력합니다.
• 악당: AI 가 실패하게 만들려고 최대한 큰 방해 (바람, 충격) 를 줍니다.

하지만 여기서 큰 문제가 생겼습니다. 악당이 너무 강력해져서 "아예 AI 가 움직이지 못하게 산을 밀어붙이거나, 태풍을 불어오게" 하는 식으로 과하게 방해하는 경우가 많았습니다. 이러면 AI 는 배울 게 없어서 공황 상태에 빠지고, 훈련이 불안정해집니다.

2. 이 연구의 해결책: "적당히 놀리는 훈련법"

저자들은 이 문제를 해결하기 위해 **'분수 (Fractional) 목적 함수'**라는 새로운 규칙을 만들었습니다. 이를 비유하자면 다음과 같습니다.

비유: "무거운 가방을 든 채 달리기"

• 기존 방식: 악당이 AI 에게 "너를 쓰러뜨릴 수 있는 무한히 무거운 돌을 던져라!"라고 합니다. AI 는 돌을 피하느라 지쳐서 아무것도 못 합니다.
• 이 연구의 방식 (MMDDPG): "너를 방해하되, 네가 던지는 돌의 무게에 비례해서 점수를 깎아라"라고 규칙을 바꿉니다.
  • 악당이 너무 큰 돌을 던지면, 그 돌을 던지는 '노력' 때문에 악당 자신의 점수도 깎이게 됩니다.
  • 결과적으로 악당은 **"AI 를 살짝 흔들어서 가르칠 수 있는 정도"**의 방해만 하게 됩니다. 너무 과하지도, 너무 약하지도 않은 **'적당한 난이도'**를 유지하게 되는 것입니다.

이 규칙 덕분에 AI 는 극단적인 폭풍을 피하는 법을 배우는 대신, 실제 현실에서 일어날 법한 다양한 방해에 유연하게 대처하는 법을 배우게 됩니다.

3. 어떻게 작동할까요? (게임의 규칙)

이 훈련 과정은 두 명의 선수가 하는 **'제로섬 게임 (한 명이 이기면 다른 한 명이 지는 게임)'**과 같습니다.

1. 사용자 (AI): 목표를 달성하기 위해 움직입니다.
2. 악당 (방해꾼): AI 를 방해합니다.
3. 새로운 규칙: 악당이 방해할 때, 방해의 '크기'만큼 비용이 듭니다.
   • "너무 세게 치면 너도 점수 깎여!"라는 규칙이 있어서, 악당은 현실적이고 효과적인 방해만 하게 됩니다.
   • 이 덕분에 AI 는 극단적인 상황을 두려워하지 않고, 안정적으로 실력을 키울 수 있습니다.

4. 실험 결과: "실전에서도 강하다"

연구진은 로봇 팔 (MuJoCo 환경) 을 이용해 실험을 했습니다.

• 결과: 기존 방법들은 바람이 불거나 기계 부품이 조금만 달라져도 엉망이 되었습니다. 하지만 이 새로운 방법 (MMDDPG) 을 쓴 AI 는 바람이 불어도, 기계 부품이 조금 고장 나더라도 여전히 목표를 정확히 달성했습니다.
• 비유: 다른 로봇들이 "바람이 조금만 불어도 넘어진다"면, 이 로봇은 "바람이 불어도 중심을 잡으며 계속 걷는다"는 뜻입니다.

5. 결론: 왜 이 연구가 중요할까요?

이 연구는 AI 를 **실제 세상 (로봇, 자율주행차, 공장)**에 적용할 때 가장 큰 걸림돌인 **'불안정성'**을 해결했습니다.

• 기존: "최악의 상황을 가정해서 훈련하라" → 너무 무서워서 훈련이 안 됨.
• 이 연구: "현실적인 방해만 하되, 그걸 이겨내게 훈련하라" → 튼튼하고 안정적인 AI가 탄생함.

결론적으로, 이 논문은 **"AI 가 세상에서 살아남기 위해, 너무 무서운 악당보다는 현실적인 난이도의 훈련을 통해 튼튼하게 만드는 방법"**을 찾아낸 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 강화학습 (RL) 은 복잡한 제어 및 의사결정 과제에서 뛰어난 성과를 보이지만, 실제 배포 환경에서 발생하는 **예상치 못한 외부 섭동 (disturbances)**과 **모델 불확실성 (model uncertainties)**에 매우 취약합니다.
• 문제점:
  • 기존 RL 에이전트는 훈련 환경 (nominal conditions) 에서는 잘 작동하지만, 환경이 변화하면 성능이 급격히 저하되거나 불안정해집니다.
  • **적대적 강화학습 (Adversarial RL)**은 이러한 문제를 해결하기 위해 '사용자 (User)'와 '적대자 (Adversary)' 간의 제로섬 게임 (minimax 문제) 을 도입합니다.
  • 그러나 직접적인 Minimax 최적화는 학습 불안정성을 초래합니다. 적대자가 목적 함수를 극대화하기 위해 **과도하게 큰 섭동 (excessively large disturbances)**을 생성하면, 학습 과정이 발산하거나 수렴이 어려워지는 문제가 발생합니다.

2. 제안 방법론: MMDDPG (Methodology)

저자들은 연속 제어 작업을 위한 Minimax Deep Deterministic Policy Gradient (MMDDPG) 프레임워크를 제안합니다. 이 방법의 핵심은 **분수 목적 함수 (Fractional Objective)**를 도입하여 적대자와 사용자 간의 상호작용을 안정화하는 것입니다.

A. 분수 목적 함수 (Fractional Objective)

기존의 단순한 Minimax 문제 ($\min \max J_1$) 대신, 작업 성능과 섭동 크기를 균형 있게 조절하는 분수 형태의 목적 함수를 정의합니다.

$$J_{\pi_\theta, \mu_\phi} = \frac{J_{\pi_\theta, \mu_\phi}^1}{J_{\mu_\phi}^2}$$

• $J^1$ (분자): 사용자 정책 ($\pi$) 하에서의 누적 할인 비용 (Task Performance).
• $J^2$ (분모): 적대자 정책 ($\mu$) 하에서의 누적 제곱 섭동 노름 (Disturbance Magnitude).
• 효과: 이 구조는 적대자가 비용 ($J^1$) 을 극대화하기 위해 무한히 큰 섭동 ($J^2$) 을 생성하는 것을 억제합니다. 즉, 섭동 크기에 대한 페널티가 내재되어 있어, 적대자가 현실적으로 의미 있는 섭동만 생성하도록 유도하며 학습을 안정화합니다. 이는 제어 이론의 $H_\infty$ 제어 (최악의 섭동 - 출력 이득 최소화) 개념과 유사합니다.

B. 로그 변환 및 최적화 (Logarithmic Transformation)

분수 형태의 목적 함수를 직접 미분하는 것은 복잡하고 불안정할 수 있으므로, 로그 변환을 적용하여 문제를 단순화합니다.

$$\min_\theta \max_\phi \ln \left( \frac{J^1}{J^2} \right) = \min_\theta \max_\phi (\ln J^1 - \ln J^2)$$

• 로그 함수는 단조 증가 함수이므로, 원래 목적 함수의 saddle point(안장점) 해를 보존합니다.
• 비율 (ratio) 구조를 두 항의 차이 (difference) 로 변환하여 그래디언트 기반 최적화 (Actor-Critic 업데이트) 를 용이하게 합니다.

C. 알고리즘 구조 (MMDDPG)

• DDPG 기반: Deep Deterministic Policy Gradient (DDPG) 의 아키텍처를 확장하여 적용합니다.
• 두 개의 Critic 네트워크:
  1. $Q_{\psi_1}$: 사용자 비용과 적대자 섭동을 모두 고려한 가치 함수 ($J^1$ 추정).
  2. $Q_{\psi_2}$: 적대자의 섭동 크기만 고려한 가치 함수 ($J^2$ 추정).
• Actor 업데이트:
  • 사용자 (User) 는 $\theta$를 경사 하강법으로 업데이트하여 목적 함수를 최소화합니다.
  • 적대자 (Adversary) 는 $\phi$를 경사 상승법으로 업데이트하여 목적 함수를 최대화합니다.
  • 업데이트 시 분모 ($J^2$) 의 추정치를 정규화 항으로 사용하여 그래디언트 소실이나 부호 반전을 방지합니다.

3. 주요 기여 (Key Contributions)

1. 안정적인 Minimax 학습 프레임워크: 적대적 RL 의 핵심 난제인 학습 불안정성을 해결하기 위해, 섭동 크기를 목적 함수의 분모에 포함시키는 분수 목적 함수를 최초로 도입했습니다.
2. 제약 조건 없는 안정성: 기존의 방법들이 $H_\infty$ 제약 조건이나 명시적인 안정성 제약을 추가하여 계산 오버헤드를 늘리는 것과 달리, 목적 함수 레벨에서 자연스럽게 안정성을 확보합니다.
3. Off-policy Deterministic 접근: 기존 적대적 RL 연구들이 주로 On-policy 확률적 알고리즘에 집중했던 것과 달리, Off-policy Deterministic Policy Gradient 프레임워크 내에서 강건성을 구현하여 샘플 효율성과 학습 안정성을 동시에 개선했습니다.

4. 실험 결과 (Results)

MuJoCo 환경 (Reacher, Pusher) 에서 DDPG, RARL (Robust Adversarial RL), Action-Robust DDPG 등 기존 기법들과 비교 평가되었습니다.

• 외부 섭동에 대한 강건성:
  • Gaussian 잡음과 같은 외부 힘 섭동이 가해졌을 때, MMDDPG 는 다른 기법들보다 낮은 평균 비용과 최소한의 분산을 보였습니다.
  • 특히 복잡한 환경 (Pusher) 에서 기존 Minimax 기반인 RARL 은 학습이 불안정해지고 성능이 저하되었으나, MMDDPG 는 일관된 성능을 유지했습니다.
• 모델 불확실성에 대한 강건성:
  • 액추에이터 관련 파라미터 (joint damping, gear coefficient) 를 변화시켜 모델 불일치를 시뮬레이션한 결과, MMDDPG 는 파라미터 변화에 대해 매우 부드러운 성능 곡선을 보였습니다.
  • 다른 알고리즘들은 파라미터 변화에 따라 성능이 급격히 떨어지는 반면, MMDDPG 는 넓은 파라미터 범위에서 낮은 비용을 유지하며 뛰어난 일반화 능력을 입증했습니다.

5. 의의 및 결론 (Significance)

• 실용적 가치: 로봇 공학, 자율 시스템, 산업 제어 등 실제 물리 시스템에 RL 을 적용할 때 필수적인 **불확실성 내성 (Robustness)**을 효과적으로 확보할 수 있는 방법을 제시했습니다.
• 학습 안정성: 적대적 RL 의 가장 큰 걸림돌이었던 '과도한 적대자 행동으로 인한 학습 붕괴' 문제를 목적 함수 설계만으로 해결함으로써, 복잡한 연속 제어 환경에서도 안정적인 강건 정책 학습을 가능하게 했습니다.
• 확장성: 제안된 프레임워크는 실제 로봇 시스템 적용 및 다양한 비선형 불확실성, 다중 에이전트 환경으로 확장 가능한 잠재력을 가지고 있습니다.

요약하자면, 이 논문은 분수 목적 함수를 통해 적대적 강화학습의 불안정성을 해결하고, DDPG와 결합하여 외부 섭동과 모델 오차에 강건한 제어 정책을 학습하는 새로운 표준을 제시한 연구입니다.