RAMP: Hybrid DRL for Online Learning of Numeric Action Models

이 논문은 강화 학습 에이전트와 수치 행동 모델 학습, 계획 수립을 순환적으로 결합하여 환경과 상호작용하며 수치 계획 모델을 온라인으로 학습하는 'RAMP' 전략을 제안하고, 이를 통해 기존 PPO 알고리즘보다 우수한 해결률과 계획 품질을 달성함을 보여줍니다.

핵심

🌍 배경: 미지의 도시를 여행하는 탐험가

상상해 보세요. 여러분이 전혀 모르는 새로운 도시 (환경) 에 도착했습니다. 이 도시에는 길 (행동) 이 있고, 그 길은 특정 조건 (예: "기름이 10 리터 이상 있어야 함") 을 만족해야만 갈 수 있습니다. 목적지는 '성공'입니다.

하지만 문제는 이 도시의 지도 (행동 모델) 가 없다는 것입니다.

• 기존 AI(딥러닝) 는 지도 없이 그냥 막 뛰어가며 실수를 반복합니다. (시행착오가 많고 느립니다.)
• 기존 계획 알고리즘은 정확한 지도가 있어야만 작동합니다. 지도가 없으면 아예 시작도 못 합니다.

🚀 RAMP: "탐험가 + 지도 제작자 + 계획가"의 3 인조 팀

이 논문이 제안한 RAMP는 이 세 가지 역할을 하나로 묶은 하이브리드 팀입니다.

1. 탐험가 (DRL - 강화학습):

   • 일단 막 뛰어가며 도시를 탐색합니다. "여기서 저기로 가면 뭐가 될까?"라고 시도해 봅니다.
   • 이 과정에서 데이터를 모으고, 실수를 통해 배우는 '직관'을 키웁니다.

2. 지도 제작자 (AML - 행동 모델 학습):

   • 탐험가가 모은 데이터를 바탕으로 **"이 도시는 이런 규칙이 있구나!"**라고 추측하여 지도를 그립니다.
   • 예: "아, 'A'로 가려면 기름이 10 리터 이상 있어야 하는구나."라고 규칙을 찾아냅니다.
   • 중요한 점: 이 지도는 완벽하지 않아도 되지만, **"틀리면 안 되는 안전장치"**가 있습니다. (안전한 모델)

3. 계획가 (Planner):

   • 지도 제작자가 그린 초안 지도를 보고, "가장 빠른 길"을 계산합니다.
   • 이 계획은 탐험가에게 "이렇게 가봐!"라고 알려줍니다.

🔄 마법의 선순환 (Positive Feedback Loop)

RAMP 의 핵심은 이 세 명이 서로 돕는 선순환 구조입니다.

• 탐험가가 막 뛰어가며 데이터를 모으면 → 지도 제작자가 더 정확한 지도를 그립니다.
• 지도 제작자가 만든 지도를 계획가가 분석하면 → 최적의 경로를 찾아냅니다.
• 계획가가 찾아낸 최적 경로를 탐험가가 따라가면 → 더 적은 실수로 목적지에 빨리 도착하고, 그 과정에서 더 좋은 데이터를 다시 모읍니다.

이 과정이 반복되면서 AI 는 처음에는 막 뛰다가, 나중에는 지도를 보며 아주 효율적으로 목적지에 도달하게 됩니다.

🛠️ 새로운 도구: Numeric PDDLGym

이 연구를 가능하게 한 또 다른 중요한 도구가 있습니다. 바로 Numeric PDDLGym입니다.

• 비유: 기존 AI 는 '이미지'나 '텍스트' 같은 복잡한 언어만 이해할 수 있었습니다. 하지만 이 도구는 복잡한 수학 문제 (숫자 기반의 계획) 를 AI 가 이해할 수 있는 '게임 (Gym)' 형태로 자동으로 바꿔줍니다.
• 마치 복잡한 수학 문제를 초등학생이 이해할 수 있는 블록 놀이로 변환해 주는 번역기 같은 역할입니다. 덕분에 기존에 쓰지 못하던 강력한 AI 기술들을 숫자 기반 문제에 적용할 수 있게 되었습니다.

🏆 결과: 왜 RAMP 가 더 잘할까?

실험 결과, RAMP 는 기존에 가장 잘한다고 알려진 AI 알고리즘 (PPO) 보다 훨씬 뛰어난 성과를 보였습니다.

• 성공률: RAMP 는 더 많은 문제를 해결했습니다. (지도가 없으면 막히지만, RAMP 는 지도를 만들면서 해결합니다.)
• 효율성: RAMP 는 더 짧은 경로로 목적지에 도착했습니다. (막 뛰는 것보다 계획된 길이 빠르니까요.)
• 특이점: 아주 어려운 문제 (큰 도시) 에서 기존 AI 는 아예 길을 찾지 못했지만, RAMP 는 학습된 지도를 통해 해결책을 찾아냈습니다.

💡 결론

이 논문은 "AI 가 스스로 규칙을 배우고, 그 규칙으로 계획을 세우며, 다시 그 계획을 실행해 보는" 완벽한 학습 사이클을 만들었습니다.

마치 유아기에는 부모의 도움을 받아 걷고 (탐험), 그 경험을 바탕으로 지도를 그리며 (학습), 그 지도로 길을 찾아다니는 (계획) 인간의 성장 과정과 매우 비슷합니다. 이 방식은 로봇이 복잡한 공장이나 자율주행차처럼 숫자와 규칙이 중요한 현실 세계에서 더 똑똑하고 안전하게 일할 수 있게 해 줄 것입니다.

기술 요약

1. 문제 정의 (Problem)

자동화 계획 (Automated Planning) 은 시퀀스 의사결정에 강력한 도구이지만, 각 행동의 전제조건 (preconditions) 과 효과 (effects) 를 명시하는 행동 모델 (Action Model) 이 필수적입니다. 특히 수치적 (Numeric) 변수를 포함하는 계획 문제에서 이러한 모델을 수동으로 제작하는 것은 매우 어렵습니다.
기존의 행동 모델 학습 (AML) 알고리즘은 대부분 오프라인 (Offline) 방식이며, 전문가가 제공한 실행 궤적 (expert traces) 을 입력으로 필요로 합니다. 반면, 온라인 (Online) 학습 환경에서는 에이전트가 환경과의 상호작용을 통해 스스로 모델을 학습해야 하는데, 수치적 계획 영역에 적용 가능한 온라인 학습 방법은 부재했습니다. 또한, 기존 심층 강화학습 (DRL) 알고리즘은 장기적인 추론이 필요한 계획 문제에서 구조적 이점이 부족하여 성능이 저하되는 경향이 있습니다.

2. 방법론 (Methodology: RAMP)

저자들은 RAMP (Reinforcement learning, Action Model learning, and Planning) 라는 새로운 하이브리드 전략을 제안합니다. 이는 DRL, 온라인 행동 모델 학습, 그리고 계획 (Planning) 을 통합하여 긍정 피드백 루프를 형성합니다.

• 핵심 구성 요소:

  1. DRL 정책 (PPO): 환경을 탐색하고 데이터를 수집하며, 목표 지향적인 방식으로 행동을 선택합니다.
  2. AML 알고리즘 (NSAM): 수집된 상호작용 데이터를 기반으로 수치적 행동 모델을 학습합니다. NSAM 은 학습된 모델이 실제 환경에서 실행 가능한 계획 (Soundness) 을 보장하는 '안전성 (Safety)' 을 제공합니다.
  3. 계획기 (Planner): 학습된 행동 모델을 사용하여 고품질의 계획을 생성하고, 이를 에이전트에게 제공합니다.

• 작동 원리 (긍정 피드백 루프):

  • DRL 정책이 데이터를 수집 $\rightarrow$ AML 이 모델을 정제 $\rightarrow$ 계획기가 모델을 사용하여 효율적인 계획 생성 $\rightarrow$ 생성된 계획이 DRL 정책의 학습을 가속화.
  • 매 에피소드 시작 시 계획기가 모델을 통해 해결책을 찾으면 이를 실행하고, 찾지 못하면 DRL 이 행동을 선택합니다. 에피소드 종료 시 새로운 궤적이 학습 데이터에 추가되어 모델이 지속적으로 업데이트됩니다.

• 기술적 기여 (Numeric PDDLGym):

  • DRL 알고리즘이 PDDL(Planning Domain Definition Language) 기반의 수치적 계획 문제를 처리할 수 있도록, Numeric PDDLGym이라는 자동 변환 프레임워크를 개발했습니다.
  • 이 프레임워크는 PDDL 2.1 도메인을 고정된 크기의 관측 (Observation) 및 행동 (Action) 공간을 가진 Gym 환경으로 변환하여, 표준 DRL 라이브러리 (RLlib 등) 와의 호환성을 제공합니다.

3. 주요 기여 (Key Contributions)

1. 온라인 수치 행동 모델 학습 전략 (RAMP): 수치적 계획 문제에서 DRL, 모델 학습, 계획을 통합한 최초의 온라인 학습 전략을 제안했습니다.
2. 안전한 모델 학습: NSAM 을 활용하여 학습된 모델이 실제 환경에서 실행 가능한 '안전한' 계획을 보장하도록 설계했습니다.
3. Numeric PDDLGym 프레임워크: PDDL 2.1 수치 도메인을 Gym 환경으로 자동 변환하는 도구를 개발하여, DRL 연구자들이 계획 문제를 쉽게 벤치마킹할 수 있는 기반을 마련했습니다.
4. 하이브리드 접근법의 유효성 입증: DRL 의 탐색 능력과 심볼릭 계획의 추론 능력을 결합하여, 순수 DRL 보다 우수한 성능을 달성함을 증명했습니다.

4. 실험 결과 (Results)

국제 계획 대회 (IPC) 의 3 개 수치 도메인 (Counters, Depot, Sailing) 과 Minecraft 에서 영감을 받은 Pogo Stick 도메인에서 PPO(Proximal Policy Optimization) 와 비교 실험을 수행했습니다.

• 해결 가능성 (Solvability): RAMP 는 거의 모든 도메인에서 PPO 보다 훨씬 빠르게 높은 해결 성공률에 도달했습니다. 특히 복잡한 'Depot' 도메인의 어려운 인스턴스에서는 PPO 가 전혀 해결하지 못한 문제를 RAMP 가 90% 이상 성공적으로 해결했습니다.
• 계획 품질 (Plan Quality): RAMP 는 PPO 보다 훨씬 짧은 경로 (계획 길이) 를 생성했습니다. 계획기가 생성한 고품질 계획이 DRL 에이전트의 학습을 안내하여 효율성을 극대화했습니다.
• 행동 모델의 정확도:
  • 정밀도 (Precision): NSAM 의 안전성 보장으로 인해 학습된 전제조건과 효과의 정밀도는 1.0 을 기록했습니다.
  • 재현율 (Recall): 완전한 모델 학습 (재현율 1.0) 보다는 문제 해결에 필요한 최소한의 모델 학습을 우선시하여, 적은 데이터로도 효과적인 계획을 수립할 수 있었습니다.
• 플래너 활용도: 학습된 모델이 유효한 경우, RAMP 는 85~93% 이상의 확률로 플래너가 생성한 계획을 직접 활용하여 에이전트의 행동을 결정했습니다.

5. 의의 및 결론 (Significance)

이 논문은 수치적 계획 문제를 해결하기 위해 심층 강화학습 (DRL) 과 심볼릭 계획 (Symbolic Planning) 을 성공적으로 융합한 사례를 제시합니다.

• 데이터 효율성: DRL 만으로는 학습에 많은 데이터가 필요하지만, RAMP 는 플래너가 생성한 고품질 데이터를 활용하여 샘플 효율성을 크게 향상시켰습니다.
• 실용성: 오프라인 전문가 데이터 없이도 에이전트가 환경과 상호작용하며 스스로 모델을 학습하고 복잡한 문제를 해결할 수 있음을 입증했습니다.
• 미래 전망: 향후 부분 관측 가능성 (Partial Observability) 이나 노이즈가 있는 환경에서도 적용 가능하도록 확률적 상태 표현을 도입하는 등의 연구가 필요하다고 제안했습니다.

요약하자면, RAMP 는 수치적 계획 분야에서 DRL 의 한계를 극복하고, 안전성이 보장된 모델 학습을 통해 더 빠르고 정확한 문제 해결을 가능하게 하는 획기적인 하이브리드 접근법입니다.