ARM-FM: Automated Reward Machines via Foundation Models for Compositional Reinforcement Learning

이 논문은 파운데이션 모델의 추론 능력을 활용하여 자연어 명세로부터 보상 기계 (Reward Machines) 를 자동으로 생성하고, 이를 통해 강화학습의 과업을 구성적으로 분해하며 제로샷 일반화까지 가능하게 하는 'ARM-FM' 프레임워크를 제안합니다.

핵심

🎮 비유: "미스터리한 보물찾기 게임"과 "현명한 안내자"

상상해 보세요. AI 에이전트 (게임 캐릭터) 가 아주 복잡한 보물찾기 게임을 한다고 칩시다.

• 문제점: 게임의 최종 목표는 "다이아몬드 보물을 찾아라"이지만, 보물을 찾을 때까지는 아무런 점수도 주지 않습니다. (이걸 '희박한 보상'이라고 합니다.)
• 결과: AI 는 "어디서 시작해야 하지? 무엇을 해야 하지?"라고 막연하게 헤매다가, 결국 포기하고 아무것도 못 합니다.

기존에는 인간 전문가가 이 AI 를 가르치기 위해 **"나무를 줍고, 돌을 캐고, 철을 구한 다음에야 다이아몬드를 줍니다"**라고 아주 세세하게 점수 규칙을 직접 만들어주어야 했습니다. 하지만 이 규칙을 만드는 건 너무 어렵고, 실수가 생기면 AI 가 규칙을 악용하기도 합니다.

🤖 ARM-FM 의 등장: "AI 가 AI 를 가르치는 시스템"

이 논문은 **"기반 모델 (Foundation Model, GPT-4 같은 거대한 AI)"**을 활용하여 이 문제를 해결합니다.

1. 자연어 명령: 인간은 단순히 **"다이아몬드를 찾으려면 먼저 나무, 돌, 철을 모아야 해"**라고 말하기만 하면 됩니다.
2. 자동 설계 (리워드 머신): 거대 AI 가 이 말을 듣고, 게임 규칙을 자동으로 설계합니다.
   • 나무를 줍면 +10 점, 돌을 줍면 +20 점...
   • 이렇게 **작은 단계별 목표 (하위 목표)**로 나누어 점수를 주는 '지도'를 자동으로 그립니다.
3. 언어와 연결: 이 지도의 각 단계에는 "파란 열쇠를 줍기" 같은 자연어 설명이 붙어 있습니다. AI 는 이 설명을 이해하고, 비슷한 상황 (예: "빨간 열쇠를 줍기") 에서도 똑같은 지혜를 적용할 수 있게 됩니다.

🚀 핵심 아이디어 3 가지

이 시스템이 왜 특별한지 세 가지로 정리해 볼게요.

1. "지도 없는 등산"에서 "등산 가이드"로

기존 AI 는 등산로가 없는 산을 헤매는 등산객 같았습니다. ARM-FM 은 AI 가 **등산 가이드 (리워드 머신)**를 자동으로 만들어줍니다. 가이드는 "이제 나무를 줍고, 다음엔 문을 열고..."라고 단계별로 알려주므로, AI 는 어디로 가야 할지 정확히 알게 되어 훨씬 빠르게 정상 (목표) 에 도달합니다.

2. "외계어"가 아닌 "일상 언어"로 소통

기존에는 AI 가 이해하는 복잡한 수학적 기호로 규칙을 만들어야 했지만, ARM-FM 은 **인간이 쓰는 말 (자연어)**로 규칙을 만듭니다.

• 비유: AI 가 "상태 A 에서 상태 B 로 이동"이라는 코드를 외우는 게 아니라, **"파란 열쇠를 주면 문이 열린다"**는 문장을 이해하는 것입니다.
• 효과: AI 는 "파란 열쇠"를 배운 경험을 "빨간 열쇠" 상황에도 자연스럽게 적용할 수 있게 됩니다. (이걸 '제로샷 일반화'라고 합니다.)

3. "혼자 공부"에서 "스스로 고쳐가며 학습"

이 시스템은 AI 가 처음 만든 규칙이 틀리면, 또 다른 AI 가 **"이건 좀 이상한데? 여기는 수정이 필요해"**라고 피드백을 주고, 스스로 규칙을 다듬는 과정을 거칩니다. 마치 인간이 초안을 쓰고 편집자가 고쳐주는 과정과 비슷합니다.

---

🌍 실제 성과: 어디에서 쓸 수 있나요?

이 기술은 다양한 분야에서 맹활약했습니다.

• 미니그리드 (2D 게임): 복잡한 미로에서 열쇠를 찾고 문을 여는 미션에서, 기존 AI 들은 아무것도 못 했지만 ARM-FM 을 쓴 AI 는 완벽하게 해결했습니다.
• 크래프티움 (마인크래프트 스타일 3D 게임): "다이아몬드를 캐라"는 말만 듣고, AI 가 스스로 나무, 돌, 철을 구하는 긴 과정을 학습했습니다. 기존 AI 는 처음부터 포기했지만, 이 AI 는 성공했습니다.
• 로봇 팔 (Meta-World): 로봇이 물건을 집어서 특정 곳에 놓는 복잡한 작업을, 인간이 복잡한 코드를 짜지 않아도 자연스럽게 배웠습니다.

💡 결론

이 논문은 **"인간은 큰 그림 (목표) 만 말하고, AI 가 그걸 실행 가능한 작은 단계로 나누어 가르쳐 주는 시스템"**을 만들었습니다.

앞으로 우리는 복잡한 로봇이나 AI 를 가르칠 때, 수천 줄의 코드를 짜는 대신 **"이렇게 해줘"**라고 말만 하면, AI 가 스스로 길을 찾아내고 가르쳐 줄 날이 온 것입니다. 마치 스스로 지도를 그리고 길을 안내하는 현명한 가이드가 생긴 것과 같습니다.

기술 요약

ARM-FM: 기초 모델 (Foundation Models) 을 통한 자동화된 보상 기계 (Reward Machines) - 기술 요약

이 논문은 강화학습 (RL) 의 핵심적인 난제인 복잡한 작업에 대한 효과적인 보상 함수 설계 문제를 해결하기 위해 제안된 ARM-FM (Automated Reward Machines via Foundation Models) 프레임워크를 소개합니다. 이 방법은 기초 모델 (Foundation Models, FM) 의 추론 능력을 활용하여 자연어 기반의 작업 지시를 자동으로 구조화된 보상 기계 (Reward Machines, RM) 로 변환하고, 이를 통해 RL 에이전트의 학습 효율성과 일반화 능력을 극대화합니다.

---

1. 문제 정의 (Problem)

강화학습에서 에이전트의 학습 성능은 보상 함수의 설계에 크게 의존합니다. 그러나 복잡한 작업의 경우 보상을 설계하는 것은 다음과 같은 어려움이 있습니다.

• 희소 보상 (Sparse Rewards) 문제: 목표 달성 시에만 보상을 주는 경우, 에이전트가 학습 신호를 얻기 어려워 탐색이 비효율적입니다.
• 보상 해킹 (Reward Hacking): 밀집된 보상을 수동으로 설계할 경우, 에이전트가 실제 목표가 아닌 보상 규칙의 허점을 이용하는 경우가 빈번합니다.
• 수동 설계의 한계: 보상 기계 (RM) 는 작업을 하위 목표 (sub-goals) 로 분해하여 구조화된 보상을 제공할 수 있지만, 이를 수동으로 설계하려면 전문가의 노력이 필요하며 확장성이 떨어집니다.
• 자연어와 RL 의 간극: 기초 모델 (LLM 등) 은 자연어로 작업을 이해하고 분해할 수 있지만, 이를 RL 에이전트가 학습할 수 있는 구체적인 구조화된 보상 신호로 변환하는 데에는 격차가 존재했습니다.

2. 방법론 (Methodology)

ARM-FM 은 자연어 지시사항을 기반으로 언어 정렬 보상 기계 (Language-Aligned Reward Machines, LARMs) 를 자동 생성하고, 이를 RL 학습에 통합하는 두 단계로 구성됩니다.

2.1 언어 정렬 보상 기계 (LARMs) 생성

• 자동 생성 프로세스: 기초 모델 (FM) 을 활용하여 자연어 작업 설명과 환경 관찰 (이미지 등) 을 입력받아 LARM 을 생성합니다.
  • 생성자 (Generator) 와 비평가 (Critic) 의 상호작용: FM 기반의 생성자와 비평가 모델을 반복적으로 사용하여 (Self-improvement loop) LARM 의 구조, 실행 가능한 라벨링 함수 (Labeling Functions), 각 상태에 대한 자연어 지시를 점진적으로 정제합니다.
• LARM 의 구성 요소:
  • 유한 상태 자동자 (Finite Automaton): 작업을 하위 목표 (상태) 와 전이 (transition) 로 분해합니다.
  • 라벨링 함수 (Labeling Functions): 환경의 상태와 행동을 RM 의 이벤트 (symbolic events) 로 매핑하는 Python 코드입니다.
  • 언어 임베딩 (Language Embeddings): 각 RM 상태에 해당하는 자연어 지시 (예: "파란색 키를 줍니다") 를 임베딩 벡터 ($z_u$) 로 변환합니다. 이는 의미론적으로 정렬된 기술 공간 (Semantically Grounded Skill Space) 을 형성합니다.

2.2 LARM 을 활용한 강화학습

• 증강 상태 공간: 에이전트의 상태는 환경 상태 ($s_t$) 와 현재 RM 상태의 언어 임베딩 ($\phi(u_t)$) 의 결합으로 정의됩니다.
• 정책 조건부 학습 (Policy Conditioning): 에이전트의 정책 ($\pi$) 은 환경 관찰과 현재 하위 목표의 의미적 임베딩을 입력받아 행동을 결정합니다. 이를 통해 "파란색 키를 줍니다"와 "빨간색 키를 줍니다"와 같이 의미적으로 유사한 하위 목표 간에 지식 공유가 가능해집니다.
• 보상 신호: 총 보상은 환경의 기본 보상 ($R_t$) 과 RM 에서 제공하는 구조화된 보상 ($R^{RM}_t$) 의 합입니다. RM 보상은 하위 목표 달성 시 밀집된 (dense) 신호를 제공하여 학습을 유도합니다.

3. 주요 기여 (Key Contributions)

1. 자연어 기반 자동 LARM 생성 프레임워크: 기초 모델을 사용하여 자연어 지시로부터 완전한 작업 명세 (RM 구조, 실행 코드, 자연어 설명) 를 자동으로 생성하는 새로운 방법론을 제시했습니다.
2. 의미론적 기술 공간 및 전이 학습: RM 상태에 언어 임베딩을 부여함으로써, 관련 하위 작업 간에 지식을 공유하고 전이 (Transfer) 할 수 있는 메커니즘을 도입했습니다. 이는 제로샷 (Zero-shot) 일반화의 기반이 됩니다.
3. 광범위한 실증적 검증: 다양한 환경 (2D 그리드 월드, 3D Minecraft 스타일 환경, 연속 제어 로봇 조작) 에서 ARM-FM 이 희소 보상 환경에서도 기존 RL 방법론보다 월등히 뛰어난 성능을 보임을 입증했습니다.

4. 실험 결과 (Results)

논문은 MiniGrid, Craftium (Minecraft 기반), Meta-World, XLand-MiniGrid 등 다양한 벤치마크에서 실험을 수행했습니다.

• 희소 보상 환경에서의 성능:
  • MiniGrid: DoorKey, UnlockToUnlock 등 긴 시간 범위의 계획이 필요한 복잡한 작업에서 기존 RL 에이전트 (DQN, PPO) 와 내재적 동기화 (ICM) 기반 방법론은 실패했으나, ARM-FM 은 모든 작업을 성공적으로 해결했습니다.
  • Craftium (3D 환경): 다이아몬드를 채굴하기 위해 나무, 돌, 철을 순서로 수집해야 하는 복잡한 3D 작업에서, ARM-FM 을 적용한 PPO 에이전트는 전체 작업 순서를 완수했으나, 기본 PPO 는 거의 진전을 보이지 못했습니다.
  • Meta-World (로봇 조작): 연속 제어 환경에서 희소 보상을 밀집된 RM 보상으로 변환하여 성공률을 크게 향상시켰습니다.
• 제로샷 일반화 (Zero-shot Generalization):
  • 훈련 과정에서 본 적 없는 새로운 작업 조합 (예: 훈련된 하위 작업 A 와 B 를 결합한 새로운 작업 C) 에 대해서도 추가 훈련 없이 성공적으로 수행했습니다. 이는 RM 상태의 임베딩 공간이 의미적으로 유사한 하위 작업을 군집화하여, 에이전트가 새로운 작업에서도 학습된 기술을 재사용할 수 있게 했기 때문입니다.
• 구성 요소 분석 (Ablation Study):
  • LARM 의 구조화된 보상과 상태 임베딩이 모두 필요할 때만 다중 작업 학습과 일반화가 효과적으로 이루어짐을 확인했습니다.
  • 더 큰 규모의 기초 모델 (예: Qwen3-32B) 이 더 정확하고 문법적으로 올바른 LARM 을 생성함을 보였습니다.

5. 의의 및 결론 (Significance)

ARM-FM 은 기초 모델의 추론 능력과 강화학습의 구조화된 학습 프레임워크를 성공적으로 결합했습니다.

• 해석 가능성과 인간 개입: 생성된 LARM 은 자연어와 코드로 표현되어 인간이 쉽게 이해하고 수정할 수 있어, 인간 - AI 협력 (Human-in-the-loop) 을 용이하게 합니다.
• 확장성: 수동 설계가 불가능했던 복잡하고 개방적인 환경 (Open-ended environments) 에서도 자동으로 보상 구조를 설계할 수 있음을 입증했습니다.
• 미래 방향: 이 연구는 고수준의 인간 의도를 저수준의 제어 신호로 변환하는 새로운 RL 에이전트 패러다임을 제시하며, 의미론적으로 정렬된 보상 기계가 RL 의 일반화와 해석 가능성 문제를 해결하는 핵심 열쇠가 될 수 있음을 보여줍니다.

요약하자면, ARM-FM 은 **"자연어 지시 $\rightarrow$ 자동화된 구조화된 보상 (LARM) $\rightarrow$ 의미론적 임베딩을 통한 일반화 가능한 RL 학습"**이라는 파이프라인을 구축하여, 기존 RL 의 가장 큰 병목 현상인 보상 설계 문제를 해결하고 복잡한 작업 수행 능력을 획기적으로 향상시켰습니다.