Learning Transferable Skills in Action RPGs via Directed Skill Graphs and Selective Adaptation

이 논문은 다크 소울 3 의 실시간 전투 환경을 대상으로 방향성 스킬 그래프와 계층적 커리큘럼을 통해 5 가지 재사용 가능한 스킬을 학습하고, 환경 변화 시 일부 스킬만 선택적으로 적응시켜 효율적으로 성능을 회복하는 지속 학습 에이전트 프레임워크를 제안합니다.

핵심

🎮 핵심 비유: "프로 스포츠 팀의 역할 분담"

기존의 많은 AI 는 **'혼자서 모든 일을 다 하는 1 인 기업'**처럼 훈련됩니다. 카메라를 돌리고, 적을 쫓고, 피하고, 공격하고, 치료까지 혼자서 다 결정해야 하죠. 문제는 상황이 바뀌면 (예: 적의 스킬이 변하면) 처음부터 다시 배워야 하거나, 실수가 너무 많아져서 망가진다는 점입니다.

이 논문은 이를 **'프로 스포츠 팀'**처럼 바꿨습니다.
팀원 5 명이 각자 특화된 역할 (포지션) 을 맡고, 서로 협력하게 만든 거죠.

1. 팀원 5 명 (5 가지 기술)

연구진은 게임 컨트롤을 5 가지 작은 기술로 쪼개서 각각의 '전문가'를 만들었습니다.

• 카메라맨 (Camera): 적을 화면 중앙에 잘 잡는 역할.
• 사격관 (Lock-on): 적을 정확히 조준하는 역할.
• 주행수 (Movement): 적과 적절한 거리를 유지하며 움직이는 역할.
• 회피왕 (Dodging): 적의 공격을 타이밍 맞춰 피하는 역할.
• 전술가 (Heal-Attack): "지금 공격할까? 아니면 피를 채울까?"를 결정하는 역할.

이들은 각각의 역할에 집중하므로, 한 명이 실수해도 다른 팀원이 그 부분을 커버할 수 있습니다.

2. 계단식 훈련 (Hierarchical Curriculum)

이 팀은 한 번에 모두 훈련하지 않았습니다. **'계단식 훈련'**을 시켰습니다.

1. 먼저 카메라맨과 사격관을 훈련시켜 적을 잘 잡게 합니다.
2. 그다음 주행수를 훈련시켜, 카메라맨이 잡은 적을 따라다니게 합니다.
3. 그다음 회피왕을 훈련시켜, 주행수가 잡은 적의 공격을 피하게 합니다.
4. 마지막으로 전술가를 훈련시켜, 앞선 팀원들이 만들어준 좋은 상황에서 공격과 치료를 결정하게 합니다.

비유: 마치 요리사에게 먼저 "칼질"을 가르치고, 그다음 "불 조절"을 가르치고, 마지막으로 "맛보기"를 가르치는 것과 같습니다. 기초가 탄탄해야 고급 기술도 잘 배울 수 있죠.

3. 새로운 상황에서의 적응 (Selective Adaptation)

이게 이 논문이 가장 자랑하는 부분입니다. 게임의 보스 전이 **1 단계 (Phase 1)**에서 **2 단계 (Phase 2)**로 변하면 (보스의 체력이 늘고 공격 패턴이 바뀜), 기존 AI 는 당황해서 다시 처음부터 배워야 합니다.

하지만 이 팀은 다릅니다.

• 카메라, 사격, 주행은 보스가 변해도 똑같이 작동하므로 그대로 유지합니다. (이건 변하지 않는 기본기니까요.)
• 오직 회피와 전술만 새로운 상황에 맞춰 짧은 시간 동안만 다시 훈련시킵니다.

비유: 축구팀이 상대팀이 바뀌었을 때, "공격수"와 "수비수"의 포지션만 살짝 조정하고, "키퍼"나 "미드필더"의 기본기는 그대로 두는 것과 같습니다. 덕분에 새로운 적을 만나도 몇 번의 연습만으로도 바로 승리를 거둘 수 있습니다.

---

📊 실험 결과: 왜 이 방법이 좋은가요?

1. 데이터 효율성: 한 명이 모든 걸 하는 AI(단일 정책) 는 25 만 번의 시도로도 제대로 배우지 못했지만, 이 팀 방식은 훨씬 적은 노력으로 높은 실력을 발휘했습니다.
2. 빠른 적응: 보스 전이 2 단계로 바뀌었을 때, 전체를 다시 훈련하지 않고 회피와 전술만 고쳐서 승률을 52% 까지 끌어올렸습니다.
3. 실패 분석: 만약 회피왕 (Dodge) 이 무작위로 움직이게 하면 승률이 0% 가 됩니다. 즉, 각 팀원의 역할이 얼마나 중요한지, 그리고 서로 어떻게 의존하는지를 증명했습니다.

💡 결론: "배운 것을 잊지 않고, 새로운 것을 빠르게 배우는 AI"

이 연구는 AI 가 **"한 번 배운 것은 잊지 않고 (안정성), 새로운 상황에서는 필요한 부분만 빠르게 고쳐서 적응 (유연성)"**할 수 있음을 보여줍니다.

마치 유능한 요리사가 새로운 재료가 들어오더라도, 기본적인 칼질과 불 조절 실력은 그대로 유지하면서 새로운 레시피만 익혀서 바로 요리를 해내는 것과 같습니다. 이 방법은 게임뿐만 아니라, 로봇이 다양한 환경에서 일하거나 자율주행차가 새로운 도로를 주행할 때도 매우 유용하게 쓰일 수 있는 미래 기술입니다.

기술 요약

1. 문제 정의 (Problem)

이 논문은 생애 주기 에이전트 (Lifelong Agent) 가 새로운 기술을 학습할 때 기존 행동을 덮어쓰지 않고, 처음부터 다시 학습하지 않으면서도 역량을 확장해야 하는 과제를 다룹니다. 특히 다크 소울 3 (Dark Souls III) 과 같은 복잡한 실시간 제어 환경에서 다음과 같은 문제점을 해결하고자 합니다:

• 단일 정책의 비효율성: 종단간 (End-to-End) 단일 정책은 여러 역량을 동시에 표현해야 하므로 샘플 효율성이 낮고, 환경이 변화할 때 (예: 보스의 행동 패턴 변경) 취약합니다.
• 플라스틱성 vs 안정성 (Plasticity vs Stability): 새로운 환경에 빠르게 적응 (플라스틱성) 하되, 기존에 학습된 유용한 기술을 유지 (안정성) 해야 하는 딜레마가 존재합니다.
• 제한된 상호작용 예산: 실제 게임 환경에서는 무한한 데이터 수집이 불가능하므로, 제한된 상호작용으로 효율적으로 적응할 수 있는 방법이 필요합니다.

2. 방법론 (Methodology)

저자는 전투를 지향성 스킬 그래프 (Directed Skill Graph) 로 모델링하고, 계층적 커리큘럼 학습을 통해 에이전트를 훈련합니다.

A. 모듈형 스킬 그래프 아키텍처

전체 제어 문제를 5 개의 재사용 가능한 하위 스킬로 분해하여, 각 스킬이 좁은 책임 (Narrow Responsibility) 을 갖도록 설계했습니다.

1. 카메라 제어 (C): 타겟 정렬 및 시야 조절.
2. 타겟 잠금 (L): 유효한 잠금 상태 유지.
3. 이동/포지셔닝 (M): 의미 있는 전투 위치 확보.
4. 회피 (D): 피해 방지 및 타이밍.
5. 치유 - 공격 결정 (H): 공격, 치유, 대기 간의 자원 관리 및 의사결정.

각 스킬 $k$ 는 독립적인 관찰 공간 $o^k_t$ 를 입력받아 해당 정책 $\pi_k$ 를 통해 저차원의 제어 출력을 생성합니다. 이 출력들은 실행 시 병렬로 결합되어 최종 액션 $a_t$ 가 됩니다.

B. 계층적 커리큘럼 학습 (Hierarchical Curriculum)

학습은 C $\rightarrow$ L $\rightarrow$ M $\rightarrow$ D $\rightarrow$ H 순서로 진행됩니다.

• 상위 스킬 고정: $k$ 번째 스킬을 학습할 때, 그 이전의 모든 상위 스킬 (Upstream skills) 은 고정 (Freeze) 됩니다.
• 효과: 이는 하위 스킬이 도달 가능한 상태 공간을 제한하여 탐색 부담을 줄이고, 상위 스킬이 학습된 데이터 분포를 제공함으로써 샘플 효율성을 극대화합니다.
• 협력적 전문화: 상위 스킬이 안정적인 기반 (예: 카메라, 이동) 을 제공하면, 하위 스킬 (회피, 공격) 은 더 복잡한 전략에 집중할 수 있습니다.

C. 선택적 적응 (Selective Adaptation)

환경이 변경될 때 (예: 보스 전투의 Phase 1 에서 Phase 2 로 전환), 전체 정책을 재학습하지 않고 가장 민감한 하위 스킬만 미세 조정 (Fine-tuning) 합니다.

• 전이 가능한 스킬: 카메라 (C), 잠금 (L), 이동 (M) 은 보스 행동과 무관한 기본 메커니즘이므로 고정합니다.
• 적응 필요 스킬: 회피 (D) 와 치유 - 공격 (H) 은 보스의 공격 패턴 변화에 민감하므로 이 부분만 새로운 환경에 맞춰 학습합니다.

3. 주요 기여 (Key Contributions)

1. 지향성 스킬 그래프 모델링: 다크 소울 3 전투를 5 개의 재사용 가능한 스킬로 구성된 방향성 그래프로 공식화하고 모듈형 에이전트를 구현했습니다.
2. 샘플 효율성 향상: 좁은 역량을 격리하고 기존 스킬을 재사용하는 계층적 커리큘럼을 제안하여, 종단간 단일 에이전트보다 훨씬 적은 데이터로 학습을 완료했습니다.
3. 선택적 미세 조정 증명: 도메인 전환 (Phase 1 $\rightarrow$ Phase 2) 시, 하위 스킬 (D, H) 만을 제한된 상호작용 예산으로 미세 조정함으로써 성능을 빠르게 회복하고 상위 스킬의 전이 능력을 입증했습니다.

4. 실험 결과 (Results)

실험은 다크 소울 3 의 보스 (Iudex Gundyr) 와의 전투를 기반으로 수행되었으며, DQN 을 기반으로 한 단순한 가치 기반 알고리즘을 사용했습니다.

• 샘플 효율성: 제안된 스킬 그래프 방식은 약 23 만 스텝의 상호작용으로 경쟁력 있는 Phase 1 정책을 학습했습니다. 반면, 동일한 조건에서 학습한 단일 종단간 (End-to-End) 에이전트는 25 만 스텝 이상 학습해도 신뢰할 수 있는 전투 행동을 학습하지 못했습니다 (승률 0%).
• 스킬 의존성 분석 (Ablation Study):
  • 하위 스킬 (회피 D, 치유 - 공격 H) 을 무작위 정책으로 대체하면 승률이 0% 로 떨어집니다.
  • 특히 회피 (D) 를 무작위로 하면 승률이 16% 로 감소하고, 치유 - 공격 (H) 을 무작위로 하면 4% 로 감소하여 하위 스킬의 중요성을 확인했습니다.
• 전이 및 적응 (Transfer & Adaptation):
  • Zero-shot 전이: Phase 1 에서 학습한 모델을 Phase 2 에 바로 적용했을 때, 추가 학습 없이도 중간 거리 시작 시 33.3%, 긴 거리 시작 시 12.5% 의 승률을 기록했습니다.
  • 선택적 미세 조정: Phase 2 환경에서 회피 (D) 와 치유 - 공격 (H) 스킬만 미세 조정했을 때, 승률이 52% 까지 향상되었습니다. 이는 전체 재학습 없이 소수의 스킬만 업데이트하여 제한된 예산 내에서 효율적으로 적응할 수 있음을 보여줍니다.

5. 의의 및 결론 (Significance)

이 연구는 복잡한 실시간 환경에서 에이전트의 생애 주기 학습을 위한 실용적인 패러다임을 제시합니다.

• 구조적 접근의 우위: 단일 거대 모델을 학습시키는 대신, 스킬 간의 의존성을 명시적으로 구조화 (Directed Skill Graph) 하고 계층적으로 학습하는 것이 샘플 효율성과 전이 능력을 획기적으로 개선함을 입증했습니다.
• 실용적 적응성: 환경 변화 시 전체 시스템을 재학습하지 않고, 변화에 민감한 하위 모듈만 선택적으로 업데이트하는 방식은 제한된 계산 자원과 상호작용 예산을 가진 실제 응용 분야 (로봇 제어, 게임 AI 등) 에 매우 유망한 해결책입니다.
• 향후 방향: 이 방법은 대규모 딥러닝 모델의 의존성을 줄이고, 모듈화된 지식의 재사용을 통해 진화하는 지능형 에이전트 개발의 핵심 경로가 될 수 있습니다.