SCALAR: Learning and Composing Skills through LLM Guided Symbolic Planning and Deep RL Grounding

이 논문은 LLM 기반 계획과 강화학습을 양방향으로 결합하여 실행 피드백을 통해 기술 명세를 반복적으로 정제하는 'SCALAR' 프레임워크를 제안하며, Craftax 환경에서 기존 최선 방법론 대비 1.9 배 향상된 성능을 입증했습니다.

핵심

🧙‍♂️ 1. 문제: 마법사는 계획은 잘하지만, 손은 서툴다

기존의 AI 는 복잡한 게임이나 로봇 제어에서 두 가지 큰 문제를 겪었습니다.

• 마법사 (LLM) 는: "나무를 베고, 도구를 만들고, 보석을 캐라" 같은 거창한 계획은 아주 잘 세웁니다. 하지만 실제로 나무를 베는 작은 손동작 (어떻게 도구를 들고, 어디를 찍을지) 을 직접 제어하는 것은 서툴러서 실패합니다.
• 견습공 (RL) 은: 반복적인 훈련을 통해 손동작을 아주 잘 익힙니다. 하지만 "보석을 캐라"라는 거대한 목표를 주면, 어디부터 시작해야 할지 몰라서 헤매다 지쳐버립니다. (너무 많은 시행착오가 필요해서)

기존 방법들은 마법사가 계획을 세우면 견습공이 한 번에 실행하게 했습니다. 하지만 마법사의 계획에 작은 실수 (예: "나무 10 개가 필요해"라고 했는데 실제로는 5 개면 충분함) 가 있으면, 견습공은 그 잘못된 지시를 따라가다 실패하고, 그 실수를 고칠 기회도 없이 끝났습니다.

🤝 2. 해결책: SCALAR (스칼라) - "계획과 실행의 대화"

SCALAR 는 이 두 AI 를 서로 대화하며 배우는 파트너로 만들었습니다.

1. 마법사가 스케치북을 엽니다: 마법사는 게임 매뉴얼을 보고 "도끼 만들기"라는 **스킬 (기술)**을 제안합니다. "나무 2 개, 돌 3 개가 필요하고, 성공하면 도끼가 생긴다"라고 적어줍니다.
2. 견습공이 연습합니다: 견습공은 이 지시를 듣고 실제로 게임을 플레이하며 도끼를 만듭니다.
3. 피드백 (소통) 이 일어납니다:
   • 만약 견습공이 "도끼를 만들었는데 나무가 2 개 남았네? 아, 마법사님, 2 개는 필요 없었어요!"라고 보고합니다.
   • 혹은 "돌을 3 개 썼는데 1 개만 남았네요? 2 개가 소비된 거군요"라고 수정합니다.
4. 계획을 고칩니다: 마법사는 이 보고를 듣고 자신의 스케치북 (계획서) 을 수정합니다. "아, 내가 착각했구나. 다음엔 정확히 1 개만 쓰면 되겠다."
5. 이 과정이 반복됩니다: 이 계획 → 실행 → 수정의 사이클이 계속 반복되면서, 마법사의 계획은 점점 정확해지고, 견습공은 그 정확한 계획으로 더 빠르게 배웁니다.

🔑 3. SCALAR 의 두 가지 핵심 비법

이 시스템이 다른 방법들보다 훨씬 잘하는 이유는 두 가지 특별한 기술 때문입니다.

📝 비법 1: "중요한 순간 분석" (Pivotal Trajectory Analysis)

견습공이 성공적으로 도끼를 만든 순간, 마법사는 그 과정을 꼼꼼히 분석합니다.

• 예시: 마법사가 "나무 10 개 필요"라고 했지만, 견습공은 성공하기 위해 실제로는 "나무 5 개"만 썼습니다.
• 효과: 마법사는 "아, 내가 과대평가했구나!"라고 깨닫고 계획을 고칩니다. 덕분에 견습공은 쓸데없이 나무를 구하러 돌아다니는 시간을 아껴, 진짜 중요한 '보석 채굴' 훈련에 집중할 수 있게 됩니다.

🏁 비법 2: "출발점 저장소" (Frontier Checkpointing)

복잡한 게임에서는 보석을 캐기 위해 먼저 나무를 베고, 도구를 만들고, 화로를 만드는 등 긴 과정이 필요합니다.

• 기존 방식: 매번 보석을 캐러 가려면, 처음부터 다시 나무를 베고 도구를 만들어야 해서 시간이 너무 걸립니다.
• SCALAR 의 방식: "도구를 만든 상태"를 저장해 둡니다 (체크포인트). 보석을 캐는 훈련을 할 때는, 저장된 상태에서 바로 시작합니다.
• 비유: 등산할 때, 정상에 가기 위해 산기슭까지 올라가는 게 힘들다면, 산기슭에 **휴게소 (저장소)**를 만들어두고, 훈련할 때는 그 휴게소에서부터 정상만 오르는 연습을 하는 것과 같습니다. 이렇게 하면 훨씬 더 많은 훈련을 할 수 있습니다.

🏆 4. 결과는 어떨까요? (크래프트랙스 게임에서)

이 시스템을 '크래프트랙스 (Craftax)'라는 복잡한 게임에 적용해 봤습니다.

• 기존 AI 들: 보석을 캐는 데 실패하거나, 아주 낮은 확률로 성공했습니다. (보통 30~40% 성공)
• SCALAR: **88.2%**라는 놀라운 성공률을 기록했습니다.
• 특이점: 기존 AI 들이 아예 도달하지 못했던 '난이도 최상급'인 '요정 광산 (Gnomish Mines)'에 **9.1%**의 성공률로 도달했습니다. (기존 방법은 0% 였습니다.)

💡 요약: 왜 이 논문이 중요한가요?

이 논문은 **"AI 가 혼자서 모든 걸 다 하려고 하지 말고, 서로 도와가며 배우면 훨씬 똑똑해진다"**는 것을 보여줍니다.

• **LLM(마법사)**은 큰 그림과 논리를 제공합니다.
• **RL(견습공)**은 실제 행동과 경험을 제공합니다.
• SCALAR는 이 둘이 서로의 실수를 지적하고 고쳐주며, 실제 환경에 맞는 정확한 계획을 만들어냅니다.

이 기술은 게임뿐만 아니라, 복잡한 작업을 수행하는 로봇이나 자동화 시스템을 만들 때도 큰 도움이 될 것입니다. "이 일을 해줘"라고 말하면, 로봇이 "네, 하지만 이 도구가 필요하고, 이 순서로 해야 해요"라고 스스로 계획을 세우고 수정하며 일을 해낼 수 있게 되는 것입니다.

기술 요약

1. 문제 정의 (Problem)

• LLM 의 한계: LLM 기반 에이전트 (예: Voyager) 는 고수준 API 를 통해 복잡한 코드를 생성할 수 있지만, 실제 환경과 상호작용하는 저수준 제어 (모터 스킬) 를 직접 수행하는 데는 실패합니다.
• RL 의 한계: 강화학습은 시행착오를 통해 모터를 제어할 수 있지만, 희소 보상 (Sparse Reward) 이 주어지는 긴 행동 시퀀스에서는 탐색 (Exploration) 이 비효율적이거나 불가능합니다.
• 기존 방법의 결함: 기존 연구들은 LLM 이 보상 함수나 하위 목표 시퀀스를 한 번 (One-shot) 생성하면 RL 에이전트가 이를 실행하는 방식이었습니다. 그러나 LLM 의 초기 명세 (Precondition, Effect 등) 에 오류가 있더라도, 실행 결과에 대한 피드백이 없기 때문에 오류가 수정되지 않고 학습이 실패합니다.

2. 방법론 (Methodology)

SCALAR 는 **LLM 이 제안한 심볼릭 연산자 (Symbolic Operators)**와 **RL 이 학습한 신경망 옵션 (Neural Options)**을 연결하는 양방향 루프를 통해 작동합니다.

핵심 구성 요소

1. LLM 기반 기술 제안 (Operator Proposal):

   • LLM 은 게임 매뉴얼이나 작업 설명을 바탕으로 기술 (Skill) 을 제안합니다.
   • 각 기술은 심볼릭 연산자로 정의되며, 사전 조건 (Preconditions), 긍정적 효과 (Positive Effects), 부정적 효과 (Negative Effects/소모), 그리고 보상 함수를 포함합니다.
   • 제안된 기술은 현재 도달 가능한 상태 (Frontier) 에서 실행 가능한지, 그리고 새로운 효과를 제공하는지 검증됩니다.

2. 기술 구성 및 계획 (Skill Composition & Planning):

   • 목표 기술에 도달하기 위해 STRIPS 스타일 플랜너가 기존에 학습된 기술들의 시퀀스를 구성합니다.
   • 예: "철 곡괭이 만들기"를 위해서는 먼저 "나무 곡괭이 만들기"와 "돌 채취"가 선행되어야 합니다.

3. RL 기반 정책 학습 (Policy Training):

   • 목표 기술의 사전 조건이 충족된 상태에서 RL 에이전트가 해당 기술을 학습합니다.
   • 프런티어 체크포인팅 (Frontier Checkpointing): 긴 전제 조건 체인 (Prerequisite Chain) 으로 인해 학습 시간이 낭비되는 것을 방지하기 위해, 전제 조건이 충족되는 환경 상태를 저장했다가 학습 시 복원하여 재사용합니다. 이를 통해 샘플 효율성을 극대화합니다.
   • 연합 학습 (Joint Updates): 전제 조건 기술과 목표 기술을 함께 업데이트하여 이전 기술의 성능 저하 (Catastrophic Forgetting) 를 방지합니다.

4. 궤적 분석 및 피드백 (Pivotal Trajectory Analysis):

   • 학습이 성공적으로 진행되면, 성공한 궤적 (Trajectory) 을 분석하여 LLM 의 초기 명세를 검증하고 수정합니다.
   • LLM 은 실제 실행 데이터 (자원 소모량, 필요한 전제 조건 등) 를 바탕으로 기술 명세 (Precondition, Effect) 를 정제합니다.
   • 수정된 명세는 다시 기술 그래프에 반영되어 후속 학습에 활용됩니다. 이는 LLM 의 초기 편향 (Prior) 을 보정하는 핵심 메커니즘입니다.

3. 주요 기여 (Key Contributions)

1. 양방향 LLM-RL 프레임워크: 실행 결과 (궤적) 를 통해 LLM 의 기술 명세를 반복적으로 정제하는 폐쇄 루프 구조를 도입했습니다.
2. 궤적 분석 (Trajectory Analysis): 성공적인 실행 데이터를 분석하여 LLM 이 잘못 추정한 자원 요구량이나 전제 조건을 자동으로 수정하는 메커니즘을 제안했습니다.
3. 프런티어 체크포인팅 (Frontier Checkpointing): 깊은 전제 조건 체인을 가진 작업에서 샘플 효율성을 획기적으로 개선하기 위해 환경 상태를 저장 및 복원하는 기법을 도입했습니다.
4. 성능 향상: 기존 방법론이 전혀 성공하지 못했던 복잡한 장기 과제 (예: Craftax 의 Gnomish Mines 진입) 에서 획기적인 성과를 달성했습니다.

4. 실험 결과 (Results)

실험은 오픈 엔디드 RL 벤치마크인 Craftax 및 Craftax-Classic에서 수행되었습니다.

• 다이아몬드 수집 (Collect Diamond): SCALAR 는 88.2% 의 성공률을 기록하여, 가장 강력한 베이스라인 (PQN-RNN, 46.9%) 대비 1.9 배의 개선을 보였습니다.
• Gnomish Mines 진입: 기존 모든 방법론이 0% 의 성공률을 보였던 Gnomish Mines 진입 과제에서 SCALAR 는 **9.1%**의 성공률을 달성했습니다.
• Ablation Study:
  • 궤적 분석 제거 시: 다이아몬드 수집 성공률이 88.2% 에서 67.3% 로 하락하고, Gnomish Mines 진입은 0% 로 떨어졌습니다. 이는 LLM 의 초기 명세 오류를 수정하지 못하면 학습이 실패함을 보여줍니다.
  • 프런티어 체크포인팅 제거 시: 깊은 전제 조건 체인 (예: 8 명의 오우크 처치) 에서 학습 효율이 급격히 떨어졌습니다.
• 온라인 적응성: 환경의 레시피가 변경되었을 때 (예: 철 곡괭이 제작에 필요한 철의 양 증가), 궤적 분석을 통해 SCALAR 는 이를 감지하고 자동으로 수정하여 높은 성공률을 유지했습니다.

5. 의의 및 결론 (Significance)

• Grounding 의 해결: SCALAR 는 LLM 의 추상적 지식과 RL 의 구체적인 실행 능력을 성공적으로 결합하여, 언어 모델이 실제 환경 제어에 효과적으로 적용될 수 있는 새로운 패러다임을 제시했습니다.
• 자동화된 기술 학습: 인간의 수동 개입 없이도 LLM 이 제안한 기술 구조를 환경 상호작용을 통해 검증하고 정제함으로써, 복잡한 장기 과제를 위한 RL 에이전트 개발 장벽을 낮췄습니다.
• 재사용 가능한 기술 라이브러리: 학습된 기술들은 모듈화되어 새로운 과제에 재구성 (Composition) 될 수 있어, 효율적인 지식 전이가 가능합니다.

결론적으로, SCALAR 는 LLM 의 계획 능력과 RL 의 학습 능력을 상호 보완적으로 결합하여, 기존에는 해결하기 어려웠던 희소 보상 환경의 장기 과제를 해결하는 강력한 프레임워크임을 입증했습니다.