Can RL Improve Generalization of LLM Agents? An Empirical Study

이 논문은 강화학습 미세조정 (RFT) 이가 환경 내 작업 난이도 변화에는 잘 일반화되지만, 관찰 및 행동 인터페이스가 다른 미지의 환경으로의 전이에는 한계가 있음을 밝히고, 순차적 학습과 혼합 학습을 통해 전이 성능을 향상시키고 망각을 최소화할 수 있음을 실증적으로 제시합니다.

핵심

🎓 비유: "요리 학교 vs. 실제 식당"

이 논문의 핵심을 요리 학교에 비유해 보겠습니다.

• 기존 연구 (In-domain): 요리 학교에서 '불고기'만 100 번 연습하고, 시험도 '불고기'를 만들어보라고 합니다. 학생은 불고기는 완벽하게 잘하지만, 시험장에 '김치찌개' 재료가 나오면 당황해서 아무것도 못 합니다.
• 이 연구의 질문: "만약 학생이 '불고기'를 만들면서 요리하는 원리 (불 조절, 양념 맛내기 등) 를 배웠다면, 새로운 식당에서 '김치찌개'나 '파스타'를 만들어도 잘할 수 있을까?"

연구팀은 **강화 학습 (RL)**이라는 훈련 방법을 써서 AI 에이전트를 가르쳤는데, 이 훈련이 얼마나 '범용성 (Generalization)'이 있는지 세 가지 관점에서 실험했습니다.

---

🔍 세 가지 실험 (3 가지 축)

1. 같은 환경, 다른 난이도 (난이도 전이)

• 상황: 같은 '웹쇼핑' 환경에서, 쉬운 물건 찾기만 훈련한 AI 가 어려운 물건 찾기에도 잘할까?
• 결과: 네, 잘합니다! 🎉
• 비유: 쉬운 레시피로 요리를 익힌 요리사가, 난이도 높은 고급 요리를 해도 기본기가 살아있어서 잘 해냅니다.
• 팁: '쉬운 것부터 어려운 것' 순서로 훈련하면 (커리큘럼 학습), 실력이 더 쑥쑥 늡니다.

2. 완전히 다른 환경 (환경 간 전이)

• 상황: '웹쇼핑'에서 훈련한 AI 를 '집안일 로봇'이나 '게임' 같은 완전히 다른 환경에 투입하면 어떨까?
• 결과: 상황에 따라 다릅니다. 😐
• 성공 사례: '검색'을 하는 환경 (웹쇼핑, 검색 QA) 에서 훈련한 AI 는 서로 비슷해서 다른 검색 환경에서도 잘합니다.
• 실패 사례: '아기 AI (BabyAI)'처럼 매번 가능한 행동을 알려주는 환경에서 훈련한 AI 는, 스스로 판단해야 하는 다른 환경에 가면 아예 망합니다.
  • 이유: AI 가 "스스로 생각"하는 법을 잊고, "주어진 힌트만 믿고" 행동하는 버릇이 생겼기 때문입니다. (비유: 시험지 옆에 정답이 적혀 있는 학원만 다닌 학생이, 정답이 없는 실전 시험을 보면 당황하는 것)

3. 여러 환경을 순서대로 훈련 (순차 학습)

• 상황: 웹쇼핑 → 집안일 → 게임 순서로 하나씩 훈련하면, 앞선 실력은 잊어버리고 (망각), 새로운 건 잘할까?
• 결과: 대체로 잘합니다! 🚀
• 비유: 요리사가 불고기 → 찌개 → 파스타 순서로 배우면, 불고기 실력은 잊지 않으면서 파스타도 잘 만들 수 있습니다.
• 특이점: 훈련 순서가 중요합니다. '쉬운 것 → 어려운 것' 순서로 배우면 실력이 가장 잘 올라갑니다.

---

💡 주요 발견 (핵심 인사이트)

1. 자신감 과잉 (Confirmation Bias): 훈련을 받은 AI 는 "내가 정답을 찾았다!"라고 너무 확신해서, 다시 한번 확인하는 과정을 생략하고 틀린 답을 제출하는 경우가 많습니다.
2. 도구 사용의 중요성: 검색 엔진을 잘 쓰는 법을 배운 AI 는 웹쇼핑에서도 잘하지만, 검색을 못 하는 환경 (예: 집안일) 에서 훈련한 AI 는 검색이 필요한 상황에서 엉뚱한 행동을 반복합니다.
3. 기억력: AI 는 새로운 것을 배우더라도 예전 지식을 완전히 잊어버리지는 않습니다. 다만, 훈련 순서와 환경의 특성에 따라 '무엇을 기억하고 무엇을 잊을지'가 결정됩니다.

---

🏁 결론: 이 연구가 우리에게 주는 메시지

이 논문은 **"AI 를 훈련시킬 때, 한 가지 일만 시키지 말고 다양한 환경과 난이도를 섞어서 훈련시켜야 한다"**는 교훈을 줍니다.

• 쉬운 것부터 어려운 것으로 훈련시키는 것이 가장 효과적입니다.
• AI 가 특정 환경 (예: 힌트를 주는 게임) 에만 의존하지 않도록, 다양한 상황을 경험하게 해야 실전 (Real-world) 에서도 잘 작동합니다.

결국 이 연구는 우리가 AI 를 실제 세상 (실제 식당) 에 투입할 때, 더 똑똑하고 유연한 AI를 만들기 위한 훈련 방법을 제시한 것입니다.

기술 요약

논문 요약: "Can RL Improve Generalization of LLM Agents? An Empirical Study" (RL 이 LLM 에이전트의 일반화 능력을 향상시킬 수 있는가? 실증 연구)

이 논문은 **강화 미세 조정 (Reinforcement Fine-tuning, RFT)**이 대규모 언어 모델 (LLM) 에이전트의 일반화 (Generalization) 및 전이 학습 (Transfer) 능력에 미치는 영향을 체계적으로 분석한 연구입니다. 기존 연구들이 주로 훈련 환경과 동일한 도메인 (In-domain) 에서의 성능 평가에 집중했던 반면, 본 연구는 실제 배포 환경에서 발생할 수 있는 다양한 환경 변화 (배경 지식, 관찰 공간, 행동 인터페이스의 차이) 하에서 RFT 가 얼마나 효과적으로 작동하는지를 3 가지 축을 통해 실증했습니다.

---

1. 연구 배경 및 문제 정의 (Problem)

• 현황: RFT 는 웹 탐색, 소프트웨어 엔지니어링 등 복잡한 상호작용 작업에서 LLM 에이전트의 의사결정 능력을 향상시키는 유망한 후학습 (Post-training) 패러다임으로 부상했습니다.
• 문제점: 대부분의 기존 연구는 훈련과 테스트가 동일한 환경, 혹은 매우 유사한 작업에서 이루어지는 In-domain 평가에 국한되어 있습니다.
• 실제 과제: 실제 세계 배포 시 에이전트는 훈련 시 보지 못한 **새로운 환경 (Unseen Environments)**에서 작동해야 하며, 이때 배경 지식, 관찰 공간 (Observation Space), 행동 인터페이스 (Action Interface) 가 크게 달라질 수 있습니다. 이러한 환경 변화 (Shift) 하에서 RFT 로 학습된 정책이 얼마나 일반화되는지는 명확히 규명되지 않았습니다.

2. 연구 방법론 (Methodology)

저자는 5 가지 대표적인 에이전트 환경 (WebShop, SearchQA, TextCraft, AlfWorld, BabyAI) 을 활용하여 RFT 의 일반화 능력을 **3 가지 축 (Axes)**으로 나누어 체계적으로 분석했습니다.

• 사용된 모델 및 환경:

  • 모델: Qwen2.5-3B-Instruct 및 Qwen2.5-7B-Instruct
  • 환경: 웹 쇼핑 (WebShop), 검색 기반 Q&A (SearchQA), 텍스트 기반 게임 (TextCraft), 가정용 로봇 (AlfWorld), embodied 에이전트 (BabyAI). 각 환경은 보상 밀도, 행동 검증 엄격도, 세계 지식 필요도 등에서 차이가 있습니다.
  • 학습 알고리즘: GRPO (Group Relative Policy Optimization) 사용.

• 분석 3 축:

  1. 환경 내 일반화 (Intra-Environment Generalization): 동일한 환경 내에서 난이도가 다른 작업 (쉬운 작업 vs 어려운 작업) 간 전이 능력 분석.
  2. 환경 간 일반화 (Inter-Environment Generalization): 훈련된 환경과 완전히 다른 새로운 환경 (Unseen Environment) 으로의 전이 능력 분석.
  3. 다중 환경 학습 (Multi-Environment Training): 순차적 학습 (Sequential Training) 과 혼합 학습 (Mixture Training) 을 통해 전이 (Transfer) 와 망각 (Forgetting) 의 역학을 분석.

3. 주요 결과 (Key Results)

A. 환경 내 일반화 (난이도 전이)

• 강한 일반화: RFT 는 동일한 환경 내에서 난이도가 다른 작업 간에 뛰어난 일반화 능력을 보입니다.
• 커리큘럼 학습의 효과: '쉬운 작업 (Easy)'부터 '어려운 작업 (Hard)' 순서로 학습하는 커리큘럼 학습 (Curriculum Learning) 이 단일 난이도 학습보다 성능을 추가로 향상시켰습니다.
  • 예: WebShop 에서 쉬운 작업으로 학습한 모델이 어려운 테스트 세트에서 60 점 이상 향상됨.
• 탐색 효율성: RFT 는 에이전트가 환경을 더 효율적으로 탐색하도록 유도하여, 성공률 향상뿐만 아니라 상호작용 턴 수와 생성 토큰 수를 크게 줄였습니다.

B. 환경 간 일반화 (새로운 환경 전이)

• 성능 편차: RFT 는 훈련 환경에서는 큰 향상을 보이지만, **보지 못한 환경 (Held-out)**으로의 전이는 환경에 따라 편차가 큽니다.
  • 긍정적 전이: WebShop, SearchQA, AlfWorld 에서 학습한 에이전트는 다른 환경 (특히 TextCraft, BabyAI) 으로 전이 시 긍정적 효과를 보였습니다. 이는 검색 기반 환경 간의 유사성 (유연한 검색 쿼리 생성 능력) 때문입니다.
  • 부정적 전이 (Negative Transfer): BabyAI 나 TextCraft 에서 학습한 모델은 다른 환경으로 전이 시 성능이 급격히 떨어지거나 망각 현상이 발생했습니다.
    • 원인: BabyAI 는 매 단계 유효 행동 목록을 제공하므로 에이전트가 이 정보에 과도하게 의존하게 되어, 다른 환경 (행동 목록이 없는 경우) 에서 추론 능력이 저하됨.
• 성공 요인: 배경 지식 의존도가 낮고 행동 공간이 유연한 환경으로의 전이가 용이하며, 행동 검증이 엄격하고 피드백이 희소 (Sparse) 한 환경 (예: AlfWorld) 은 전이가 어렵습니다.

C. 다중 환경 학습 (순차적 vs 혼합)

• 순차 학습 (Sequential Training): 한 환경에서 학습한 후 다른 환경으로 순차적으로 학습하는 방식은 하류 (Downstream) 작업에서의 전이를 효과적으로 이루면서도 **상류 (Upstream) 작업의 성능 유지 (망각 방지)**에 탁월했습니다.
• 혼합 학습 (Mixture Training): 모든 환경 데이터를 섞어 학습하는 방식도 전반적으로 강력한 성능을 보였으나, 순차 학습과 유사한 수준의 일반화 패턴을 보였습니다.
• 학습 순서의 중요성: 학습 순서가 일반화 성능에 큰 영향을 미칩니다. '쉬운 환경 → 어려운 환경' 순서 (예: BabyAI → SearchQA) 가 '어려운 환경 → 쉬운 환경' 순서보다 더 좋은 일반화 성능을 보였습니다.

4. 심층 분석 및 통찰 (Further Analysis)

• 실패 모드 분석: 환경 간 전이 시 에이전트는 '확증 편향 (Confirmation Bias)' (자신의 답을 검증하지 않고 확신함) 과 '상태/기억 불일치' 오류가 빈번히 발생했습니다.
• 도구 사용의 한계: SearchQA 환경에서 에이전트는 검색 쿼리를 정교화하는 능력을 학습했으나, AlfWorld 에서 학습한 에이전트는 동일한 환경에서 반복적인 실패 루프에 빠지는 등 도구 사용 능력이 환경에 따라 전이되지 않는 경우가 있었습니다.

5. 기여 및 의의 (Significance)

1. 체계적인 평가 프레임워크: RFT 의 일반화 능력을 평가하기 위해 환경 내, 환경 간, 다중 환경 학습이라는 3 가지 축을 제시하여, 기존 연구의 한계를 극복했습니다.
2. 실제 배포를 위한 통찰: RFT 가 모든 환경에서 만능이 아님을 보여주었습니다. 특히 배경 지식과 행동 인터페이스의 차이가 전이 성능을 결정하는 핵심 요소임을 규명했습니다.
3. 학습 전략 제안:
   • 커리큘럼 학습: 쉬운 작업에서 어려운 작업으로의 점진적 학습이 권장됨.
   • 학습 순서: 순차 학습 시 '쉬운 환경 → 어려운 환경' 순서가 일반화 성능 향상에 유리함.
   • 환경 선택: 특정 환경 (예: BabyAI) 에서의 학습이 다른 환경으로의 전이를 방해할 수 있으므로, 환경 선택과 데이터 혼합 전략이 중요함.

이 연구는 LLM 에이전트가 실제 복잡한 세계에 배포될 때, 단순한 In-domain 성능 향상을 넘어 어떤 환경에서도 견고하게 작동하는 일반화된 에이전트를 개발하기 위한 중요한 가이드라인을 제공합니다.