SuperIgor: 지시 추종 작업을 위한 자기 주도적 계획 추출 및 목표 조건부 강화학습

이 논문은 SuperIgor라는 새로운 프레임워크를 제안하여, 자연어 지시 (Instruction) 를 따르는 에이전트 훈련 문제를 해결합니다. 기존 방법론들이 사전 정의된 하위 작업 (subtasks) 에 의존하거나 대규모 수동 주석 데이터가 필요했던 한계를 극복하고, 언어 모델 (LLM) 과 강화학습 (RL) 에이전트의 상호작용을 통해 계획 (Plan) 을 자동 생성하고 정제하는 자기 학습 (Self-learning) 메커니즘을 도입했습니다.

1. 문제 정의 (Problem Statement)

기존의 지시 추종 (Instruction Following) 연구는 주로 두 가지 접근법으로 나뉩니다.

• 시연 기반 (Demonstration-based): 전문가의 행동 데이터를 학습하지만, 고품질 데이터 수집 비용이 매우 높아 확장성이 제한적입니다.
• 경험 기반 (Experience-based/RL): 에이전트의 환경 상호작용을 통해 학습하지만, 희소하고 지연된 보상 (Sparse and Delayed Rewards) 환경에서 긴 시간의 행동을 자연어 지시에 연결 (Grounding) 하는 것이 어렵습니다.

특히, 미리 정의된 하위 기술 (Low-level skills) 이 없는 환경에서 에이전트가 어떻게 복잡한 지시를 수행할 수 있을지가 핵심 과제입니다. 기존 계획 기반 방법들은 대부분 환경이 검증 가능한 유한한 하위 목표 집합을 가정하거나, 매우 큰 LLM 을 사용해야 하는 등의 제약이 있었습니다.

2. 방법론 (Methodology)

SuperIgor 는 LLM 과 RL 에이전트가 **반복적인 공동 학습 (Iterative Co-training)**을 통해 서로를 개선하는 폐루프 (Feedback Loop) 구조를 가집니다.

2.1 핵심 구성 요소

1. 계획 생성 (Plan Generation):

   • LLM 은 자연어 지시를 받아 구조화된 하위 작업 (Subtasks) 시퀀스인 '계획'을 생성합니다.
   • 온톨로지 기반 생성: 초기 사이클에서는 제로샷 (Zero-shot) 모드로 모든 가능한 계획을 생성하되, 하위 작업 간의 의존성 (Prerequisite relations) 을 인코딩한 '온톨로지 (Ontology)'를 구축하여 일관된 계획 구조를 유지합니다.
   • 하위 작업 베이스 (Subtask Base): 동의어 중복을 줄이고 일관성을 확보하기 위해 정규화된 하위 작업 어휘를 사용합니다.

2. 정책 학습 (Policy Learning - RL Agent):

   • RL 에이전트는 생성된 계획의 현재 단계 (Current Plan Step) 와 환경 관측치를 입력받아 행동을 선택합니다.
   • 희소 보상 문제 해결: 전체 계획이 성공했을 때만 보상을 받는 희소 보상 문제를 해결하기 위해 **기술 커리큘럼 학습 (Skill Curriculum Learning)**을 도입합니다.
     • 에이전트는 먼저 단일 하위 작업 (Atomic skill) 을 성공적으로 수행하는 법을 학습합니다.
     • 특정 하위 작업의 성공률이 임계값 (예: 70%) 을 넘으면 '마스터 (Mastered)'로 간주하고, 이를 기반으로 더 복잡한 계획으로 학습 범위를 점진적으로 확장합니다.

3. 계획 검증 및 LLM 미세 조정 (Plan Validation & LLM Fine-tuning):

   • 계획 검증: RL 에이전트가 생성된 계획을 여러 번 실행하여 성공률 (Success Rate) 을 측정합니다.
   • LLM 미세 조정 (DPO): 계획의 실행 성공률을 선호 신호 (Preference Signal) 로 활용하여 **직접 선호 최적화 (Direct Preference Optimization, DPO)**를 수행합니다.
   • 이를 통해 LLM 은 에이전트가 실제로 잘 수행할 수 있는 계획을 더 높은 확률로 생성하도록 학습되며, 계획 생성과 실행이 서로 맞춰지는 (Grounding) 과정이 이루어집니다.

2.2 학습 파이프라인 (SuperIgor Pipeline)

1. Cycle 1: LLM 이 제로샷으로 초기 계획 풀을 생성하고, SFT(Supervised Fine-Tuning) 로 초기화합니다.
2. RL 학습: RL 에이전트가 생성된 계획으로 학습하며 커리큘럼을 통해 기술을 습득합니다.
3. 검증 및 피드백: 계획별 성공률을 측정하여 선호 데이터셋을 구성합니다.
4. Cycle 2~N: DPO 를 통해 LLM 을 미세 조정하여 성능이 좋은 계획을 우선적으로 생성하도록 하고, RL 에이전트는 새로운 계획으로 학습을 반복합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 자기 지도 학습 패러다임: 수동 주석 데이터 없이 LLM 과 RL 에이전트의 상호작용만으로 고수준 계획을 생성하고 정제하는 새로운 지시 추종 훈련 방식을 제안했습니다.
2. 희소 보상 환경용 커리큘럼 학습: 계획에 따라 단계별로 학습 난이도를 조절하는 '기술 커리큘럼'을 도입하여, 희소 보상 하에서도 에이전트가 복잡한 작업을 학습할 수 있게 했습니다.
3. CrafText 벤치마크에서의 SOTA 성능: 동적이고 부분적으로 관측 가능한 (Partially Observable) CrafText 환경에서 구현하여, 분포 외 (Out-of-Distribution) 작업과 새로운 지시 조합에 대해 기존 베이스라인보다 뛰어난 일반화 성능을 입증했습니다.

4. 실험 결과 (Experimental Results)

실험은 CrafText 벤치마크 (FOCUS 데이터셋) 에서 수행되었으며, 주요 결과는 다음과 같습니다.

• 효율성 및 일반화 (RQ1):

  • Atomic/Combo 작업: SuperIgor 에이전트는 지시만 받은 RL 베이스라인 (성공률 0.100.19) 에 비해 훨씬 높은 성공률 (0.340.44) 을 기록했습니다.
  • 새로운 객체 (New Objects): 훈련 중 보지 못한 새로운 목표 조합에 대해, 전문가가 작성한 계획 (Oracle) 으로 훈련된 에이전트보다 SuperIgor 에이전트가 더 안정적인 일반화 성능을 보였습니다. 이는 여러 대안 계획을 학습함으로써 다양한 변형에 노출되었기 때문입니다.
  • 문장 재구현 (Paraphrases): 지시의 표현 방식이 바뀌어도 (예: "Craft a furnace" vs "Make a furnace") 성능이 유지되어 언어적 강건성을 입증했습니다.

• 희소 피드백 하의 정책 학습 (RQ2):

  • 기술 커리큘럼 학습을 적용했을 때, 에이전트는 100 억 스텝 동안 14 개의 하위 작업을 마스터한 반면, 커리큘럼 없이 훈련된 에이전트는 5 개만 마스터했습니다. 이는 구조화된 학습 경로가 희소 보상 문제 해결에 필수적임을 보여줍니다.

• 반복 사이클의 효과 (RQ3):

  • SuperIgor 의 2 번째 사이클 (Cycle 2) 에서 에이전트의 성능이 크게 향상되었습니다. DPO 를 통한 계획 재순위화가 에이전트의 실행 성공과 계획 생성 간의 정렬을 가속화했기 때문입니다.

• 성능 비교:

  • SuperIgor 는 기존 PPO-T, FiLM 등의 베이스라인을 압도적으로 능가했으며, Oracle 에이전트 (전문가 계획 사용) 에 근접하는 성능을 내면서도 더 넓은 일반화 능력을 보여주었습니다.

5. 의의 및 결론 (Significance)

SuperIgor 는 사전 정의된 하위 기술 없이도 복잡한 자연어 지시를 따르는 에이전트를 훈련할 수 있는 확장 가능한 프레임워크를 제시합니다.

• 데이터 효율성: 대규모 수동 주석 데이터 없이 LLM 의 세계 지식과 RL 의 환경 경험을 결합하여 학습합니다.
• 실용성: CrafText 와 같은 동적이고 불확실성이 높은 환경에서도 효과적으로 작동하여, 단순한 격자 세계 (Grid-world) 를 넘어선 실제 적용 가능성을 보여줍니다.
• 자기 개선: 에이전트의 실패와 성공 피드백이 LLM 의 계획 생성 능력을 지속적으로 개선시키는 자동화된 피드백 루프를 구현했습니다.

이 연구는 언어 모델과 강화학습의 시너지를 극대화하여, 에이전트가 장기적 목표 (Long-horizon goals) 를 가진 복잡한 지시 추종 작업을 스스로 학습하고 적응할 수 있는 새로운 방향을 제시합니다.