Co-Evolution of Policy and Internal Reward for Language Agents

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 기반 에이전트는 환경과 상호작용하며 학습하지만, 긴 시간의 작업 (Long-horizon tasks) 에서 발생하는 희소하고 지연된 보상 (Sparse and delayed rewards) 문제로 인해 학습에 근본적인 병목 현상을 겪습니다.

• 기존 방법의 한계: 기존 연구들은 주로 트래젝토리가 수집된 후 사후적으로 크레딧을 할당하거나 (Post-hoc credit assignment), 외부 보상 모델을 사용하는 방식입니다.
  • 추론 시 (Inference time) 에는 중간 단계의 의사결정을 안내하는 데 한계가 있습니다.
  • 보상 개선과 정책 개선이 분리되어 있어, 에이전트가 스스로의 판단을 통해 보상을 정제하는 과정이 부재합니다.
• 핵심 과제: 긴 작업 과정에서 어떤 중간 결정이 진전을 가져왔는지, 어떤 것이 불필요하거나 해로운지 명확히 구분하기 어렵습니다. 이는 추론 시의 의사결정과 학습 시의 정책 개선 모두를 어렵게 만듭니다.

2. 제안 방법: Self-Guide (Methodology)

저자들은 Self-Guide라는 새로운 프레임워크를 제안합니다. 이는 에이전트가 스스로 생성한 내부 보상 (Internal Reward) 을 추론 시의 자기 안내 신호로, 그리고 학습 시의 밀집된 보상으로 동시에 활용하는 공진화 (Co-evolution) 루프를 구축합니다.

핵심 메커니즘

1. 추론 시 자기 안내 (Inference-Time Self-Guidance):
   • 에이전트는 각 행동 (Action) 을 취하기 직전에 현재 트래젝토리의 상태를 평가하는 짧은 언어적 자기 안내 신호 ($z_t$) 를 생성합니다.
   • 모델은 이 신호를 기반으로 다음 행동을 선택합니다. 이는 모델이 자신의 판단을 언어화하여 행동에 반영하도록 강제합니다.
2. 학습 시 내부 보상 (Training-Time Internal Reward):
   • 생성된 언어적 신호 ($z_t$) 를 스칼라 값으로 변환하여 단계별 (Step-level) 내부 보상 ($r^{sg}_t$) 으로 사용합니다.
   • 환경 보상 ($R_{env}$) 이 희소할 때, 이 내부 보상을 추가하여 학습 신호를 밀집화 (Densify) 합니다.
3. 공진화 루프 (Co-Evolving Loop):
   • 더 나은 정책 $\rightarrow$ 더 나은 자기 안내 신호 생성 $\rightarrow$ 더 정확한 내부 보상 $\rightarrow$ 더 나은 정책 학습.
   • 이 과정은 단일 모델이 스스로의 가이드와 보상을 동시에 학습하며 개선되는 순환 구조를 가집니다.

단계별 신뢰 스케줄 (Stage-Wise Trust Schedule)

자기 생성 보상은 초기 학습 단계에서 불완전할 수 있으므로, 학습 단계에 따라 신뢰도 ($\lambda(u)$) 를 조절하는 4 단계 트라페조이드 (Trapezoid) 스케줄을 도입했습니다:

• Phase I (Warm-up): 자기 안내 신호는 행동에만 사용되고, 보상은 0 입니다. ($\lambda=0$) 모델이 환경 피드백만으로 신호의 신뢰성을 확보합니다.
• Phase II (Activation): $\lambda$ 를 0 에서 1 로 서서히 증가시켜 내부 보상을 점진적으로 활성화합니다.
• Phase III (Full Reward): $\lambda=1$ 로 고정하여 밀집된 내부 보상이 환경 보상과 함께 정책을 최적화합니다.
• Phase IV (Annealing): 학습 말기에 $\lambda$ 를 0 으로 감소시켜, 최종 정책이 실제 환경 목표 ($R_{env}$) 에만 최적화되도록 보정합니다. (내부 보상이 잠재 기반이 아니므로 편향을 방지하기 위함)

3. 주요 기여 (Key Contributions)

1. Self-Guide 프레임워크 제안: 추론 시의 자기 안내와 학습 시의 내부 보상을 통합한 새로운 형태의 자기 생성 보상 방식을 제안했습니다.
2. 안정적인 학습을 위한 스케줄링: 자기 생성 보상의 불완전성을 해결하기 위해 신뢰도가 성숙함에 따라 점진적으로 활성화되고, 학습 말기에 감쇠되는 '단계별 신뢰 스케줄'을 개발하여 RL 학습의 안정성을 확보했습니다.
3. 실험적 검증: ALFWorld, ScienceWorld, WebShop 등 세 가지 벤치마크에서 Self-Guide 가 추론 시와 학습 시 모두 성능을 향상시키며, 환경 보상만 사용하는 GRPO 기반선보다 정책과 내부 보상의 공진화가 더 효과적임을 입증했습니다.

4. 실험 결과 (Results)

• 벤치마크: ALFWorld (가정 환경), ScienceWorld (과학 실험), WebShop (웹 쇼핑).
• 모델: Qwen3-1.7B, Qwen3-4B, Qwen2.5-7B-Instruct 등 다양한 크기의 모델 사용.
• 성능 향상:
  • 추론 시: RL 학습 없이도 Self-Guide 를 적용한 ReAct 방식이 기존 ReAct 및 Reflexion 보다 ALFWorld 등에서 성공률을 크게 향상시켰습니다. (단, WebShop 과 같이 복잡한 환경에서는 초기 신호의 신뢰도 부족으로 효과가 제한적이었음)
  • 학습 시 (RL): GRPO 와 Self-Guide 를 결합한 방법 (GRPO w/ SG & GR) 은 모든 벤치마크와 모델에서 기존 GRPO 보다 평균 8% 이상의 성공률 향상을 보였습니다.
    • 예: Qwen3-4B 기준, GRPO 대비 약 8% 개선.
• Ablation Study:
  • 초기 보상 도입의 위험: 학습 초기에 즉시 내부 보상을 도입하면 (Immediate Full Reward) 성능이 오히려 저하됨을 확인했습니다. (불완전한 신호가 학습을 방해)
  • 오프라인 증류의 한계: 더 큰 모델 (Teacher) 로부터 자기 안내 신호를 오프라인으로 증류 (Distillation) 하여 사용하는 방식은 온라인 RL 학습으로 전이되지 못했습니다. 이는 정책과 내부 보상이 에이전트의 자체 배포 (Rollout distribution) 하에서 함께 진화 (Co-evolve) 해야 함을 시사합니다.

5. 의의 및 결론 (Significance)

이 논문은 언어 에이전트가 단순히 더 많은 경험을 수집하는 것을 넘어, 행동과 학습 과정에서 스스로 보상을 생성하고 정제하는 능력을 배울 수 있음을 보여줍니다.

• 외부 의존성 제거: 별도의 보상 모델 (Reward Model) 이나 평가자 (Evaluator) 없이 에이전트 내부에서 발생하는 신호만으로 학습을 강화할 수 있습니다.
• 학습 효율성: 희소 보상 문제를 해결하기 위해 중간 단계의 밀집된 신호를 생성함으로써, 긴 시간의 작업에서도 안정적인 정책 학습이 가능해집니다.
• 미래 방향: 에이전트가 스스로의 판단을 언어화하고 이를 보상으로 재사용하는 '자기 반성적 학습' 메커니즘은 향후 복잡한 에이전트 시스템 설계에 중요한 통찰을 제공합니다.

요약하자면, Self-Guide는 에이전트가 "스스로를 가르치는 (Self-teaching)" 메커니즘을 통해 추론과 학습을 동시에 최적화하는 혁신적인 접근법입니다.