Agentic Critical Training

이 논문은 모방 학습의 한계를 극복하고 에이전트가 행동의 질에 대한 자율적 추론 능력을 기르도록 하는 새로운 강화 학습 패러다임인 '에이전틱 크리티컬 트레이닝 (ACT)'을 제안하며, 이를 통해 다양한 벤치마크에서 모방 학습 및 기존 강화 학습 대비 성능을 크게 향상시키고 일반화 능력을 입증했습니다.

핵심

🎓 비유: "요리 사수" vs "요리 비평가"

지금까지 AI 를 가르치는 방식은 요리 사수 (Imitation Learning) 방식이었습니다.

• 기존 방식: "이 요리를 할 때는 소스를 이렇게 붓고, 이렇게 저어라."라고 명령대로 따라 하는 것만 가르쳤습니다.
• 문제점: 사수는 "소스를 부으면 맛이 좋아진다"는 건 알지만, **"만약 소스를 안 붓거나 다른 재료를 넣으면 왜 실패할까?"**는 이유를 모릅니다. 그래서 실수했을 때 (예: 소스를 너무 많이 넣었을 때) "아, 내가 잘못했구나"라고 깨닫지 못하고 같은 실수를 반복하다가 망쳐버립니다.

최근에는 "실수한 경우와 성공한 경우를 비교해서 설명해 주는 글"을 AI 에게 외우게 하는 시도도 있었지만, 이는 결국 **"남이 써준 해설을 달달 외우는 것"**에 불과했습니다. AI 는 스스로 생각하지 않고, 해설만 복사해 내는 것입니다.

✨ ACT 의 등장: "맛있는 음식 vs 맛없는 음식"을 고르는 훈련

이 논문이 제안한 ACT는 AI 를 **'요리 비평가'**로 키우는 훈련입니다.

1. 상황: AI 에게 두 가지 요리 방법을 보여줍니다.
   • A 방법: 전문가가 쓴 완벽한 레시피 (성공).
   • B 방법: AI 가 임의로 만든 엉뚱한 레시피 (실패).
2. 과제: "이 두 방법 중 어떤 게 더 나을까? 그리고 왜 그렇게 생각하는지 이유를 말해봐!"라고 물어봅니다.
3. 보상: AI 가 "A 방법이 더 낫다"고 맞히면 점수를 주고, "왜?"라고 설명할 때 논리가 맞으면 더 큰 점수를 줍니다.
4. 결과: AI 는 단순히 레시피를 외우는 게 아니라, "왜 이 방법이 실패하는지" 스스로 분석하고 비판하는 능력을 기르게 됩니다.

이제 AI 는 실패했을 때 "아, 내가 지금 위치가 틀렸구나, 다시 가야겠다"라고 스스로 깨달아 문제를 해결할 수 있게 됩니다.

---

🚀 이 방법이 얼마나 대단한가요?

이 훈련을 받은 AI 는 놀라운 능력을 보여줍니다.

1. 실수에서 빠르게 회복함 (실전 능력):

   • 기존 AI 는 "옷장을 열려고 했는데 문이 안 열려"라고 하면, 계속 문을 열려고 시도하다가 멈춥니다.
   • ACT 훈련 AI는 "아, 내가 옷장 앞에 서 있지 않네! 먼저 옷장으로 가야겠다"라고 스스로 진단하고 올바른 행동을 합니다.

2. 생각하는 힘까지 좋아짐 (일반 지능):

   • 가장 놀라운 점은, 이 훈련은 '요리'나 '쇼핑' 같은 실전 과제만 가르쳤는데도, 수학 문제나 과학 퀴즈 같은 복잡한 추리 능력까지 좋아졌다는 것입니다.
   • 마치 "비평가로서 음식을 분석하는 훈련을 하니까, 논리적으로 생각하는 근육이 전체적으로 단련되어 수학 문제도 더 잘 풀게 된" 것과 같습니다.

💡 한 줄 요약

**"남의 말만 따라 하는 로봇을, '왜 그게 좋은지' 스스로 비판하고 판단할 줄 아는 똑똑한 파트너로 바꿔주는 훈련법"**입니다.

이 방법은 AI 가 단순히 지시를 따르는 것을 넘어, 스스로 생각하고 실수를 교정하며 더 똑똑해지도록 만드는 핵심 열쇠가 될 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 을 자율 에이전트로 훈련시키는 기존 방식은 주로 **모방 학습 (Imitation Learning, IL)**에 기반합니다.

• 한계점: 모방 학습은 전문가의 성공적인 행동 시퀀스만 학습하므로, 에이전트는 "무엇을 해야 하는지 (What to do)"는 알지만 "왜 그 행동이 최선인지 (Why)" 또는 "왜 다른 행동은 나쁜지"에 대한 이해가 부족합니다.
• 기존 대안의 문제: 최근 'Early Experience'와 같은 접근법은 전문가 행동과 대안 행동의 결과를 비교하여 '자기 성찰 (Self-reflection)' 텍스트를 생성하고, 이를 모방 학습으로 훈련시킵니다. 하지만 이는 **사전에 생성된 텍스트를 단순히 모방 (Imitation)**하는 것에 불과하며, 모델이 스스로 행동의 질을 판단하고 추론하는 능력을 내재화하지 못합니다. 즉, 모델은 성찰을 '생성'하는 것이 아니라 '복제'할 뿐입니다.

2. 방법론 (Methodology)

저자들은 **Agentic Critical Training (ACT)**이라는 새로운 강화 학습 (RL) 패러다임을 제안합니다. 이 방법은 모델이 단순히 행동을 모방하는 것이 아니라, 주어진 상태에서의 **행동 품질을 비판적으로 판단 (Critique)**하도록 훈련시킵니다.

핵심 프로세스

1. 데이터 구성 (Data Construction):
   • 전문가 시연 데이터 ($D_{expert}$) 의 각 상태 - 행동 쌍 $(s_i, a_i)$에 대해, 초기 정책 $\pi_{\theta_0}$에서 $K$개의 대안 행동들을 샘플링합니다.
   • 전문가 행동 ($a^+$) 과 모델이 생성한 대안 행동 ($a^-$) 을 쌍으로 구성하여 비교 학습 데이터를 만듭니다.
2. 훈련 파이프라인 (Training Pipeline):
   • Stage 1: Agentic Critical Training (ACT):
     • 모델에게 현재 상태와 두 개의 후보 행동 (하나는 전문가 행동, 하나는 대안) 을 제시합니다.
     • 모델은 어떤 행동이 더 나은지 판단하고 그 이유를 설명 (Chain-of-Thought) 한 후 선택해야 합니다.
     • 보상 설계: 모델이 올바른 행동 (전문가 행동) 을 선택했는지 여부에 따라 보상만 부여됩니다. 구체적인 성찰 텍스트는 정해져 있지 않으므로, 모델은 정답을 맞추기 위해 스스로 행동 품질에 대한 추론을 개발해야 합니다. 이는 강화 학습 (GRPO 알고리즘 사용) 을 통해 이루어집니다.
   • Stage 2: RL Action Training:
     • ACT 를 통해 비판적 추론 능력을 갖춘 모델을 기반으로, 실제 행동 생성 (Action Generation) 에 대한 강화 학습을 수행하여 작업 성공률을 극대화합니다.

기술적 특징

• 진정한 자기 성찰 (Genuine Self-Reflection): 모델이 고정된 텍스트를 모방하는 것이 아니라, 보상을 극대화하기 위해 스스로 행동의优劣을 판단하는 논리적 추론을 학습합니다.
• GRPO (Group Relative Policy Optimization): 그룹 내 상대적 이득을 기반으로 정책을 업데이트하여 효율적인 학습을 수행합니다.

3. 주요 기여 (Key Contributions)

1. ACT 프레임워크 제안: 모방 학습이 아닌 강화 학습을 통해 에이전트가 행동 품질을 스스로 판단하고 비판적 추론을 내재화하도록 하는 새로운 훈련 패러다임을 제시했습니다.
2. 성능 향상: ALFWorld, WebShop, ScienceWorld 등 세 가지 복잡한 에이전트 벤치마크에서 모방 학습 (IL) 과 기존 강화 학습 (RL) 모두를 능가하는 성능을 달성했습니다.
3. 범용 추론 능력 확장: 에이전트 작업 (행동 판단) 에만 훈련되었음에도 불구하고, 수학 (MATH-500) 및 과학 추론 (GPQA-Diamond) 과 같은 일반 추론 벤치마크에서도 성능이 향상되었습니다. 이는 에이전트 환경에서의 비판적 훈련이 일반 추론 능력으로 전이될 수 있음을 시사합니다.

4. 실험 결과 (Results)

• 벤치마크 성능:
  • 평균 향상: 모방 학습 (IL) 대비 5.07 점, 기존 강화 학습 (RL) 대비 4.62 점의 평균 점수 향상을 기록했습니다.
  • 기존 방법 대비: 'Early Experience' (성찰 텍스트 모방) 대비 평균 2.42 점 더 높은 성능을 보였습니다.
  • 최고 성능: 모든 벤치마크에서 'RL w/ ACT' 조합이 가장 높은 성공률을 기록했습니다.
• 분포 외 (OOD) 일반화:
  • 학습 데이터와 다른 환경 (ALFWorld unseen split) 에서도 뛰어난 일반화 능력을 보여주었습니다. 특히 OOD 환경에서 ACT 의 기여도가 더 컸습니다.
• 일반 추론 벤치마크 (General Reasoning):
  • IL 의 한계: 모방 학습은 에이전트 훈련 과정에서 오히려 일반 추론 능력을 저하시켰습니다 (Reasoning Collapse).
  • ACT 의 효과: 추론 데이터 없이 에이전트 데이터만으로 훈련된 ACT 모델은 MATH-500 과 GPQA-Diamond 에서 기존 모델보다 높은 정확도를 보였습니다.
• 케이스 스터디:
  • 실패 복구: IL 모델은 실패한 행동을 반복하는 무한 루프에 빠지는 반면, ACT 모델은 실패 원인을 스스로 분석하고 올바른 행동을 선택하여 복구했습니다.
  • 자기 검증 (Self-Verification): 일반 추론 문제에서 ACT 모델은 답을 유도한 후, 다시 원래 식에 대입하여 정답을 검증하는 '자기 검증' 행동을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 에이전트의 훈련 패러다임을 '행동 모방'에서 '비판적 판단'으로 전환해야 함을 강조합니다.

• 핵심 통찰: 모델에게 정답 텍스트를 주입하는 것보다, 왜 그 행동이 최선인지 스스로 추론하게 하는 것이 더 효과적입니다.
• 미래 지향성: 에이전트 환경에서의 강화 학습은 단순한 작업 수행 능력을 넘어, LLM 의 일반적인 추론 능력과 의사결정 능력을 강화하는 핵심 경로가 될 수 있음을 입증했습니다.
• 영향: ACT 는 더 성찰적이고 능력이 뛰어난 자율 에이전트 개발을 위한 유망한 길로 평가받으며, 향후 에이전트 학습 및 일반 추론 연구에 중요한 기여를 할 것으로 기대됩니다.