Rethinking the Role of Entropy in Optimizing Tool-Use Behaviors for Large Language Model Agents

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 기반 에이전트는 수학적 추론이나 다단계 질문 답변 (Multi-hop QA) 과 같은 복잡한 작업에서 뛰어난 성능을 보입니다. 그러나 긴 추론 경로 (Long Trajectories) 를 거치는 과정에서 에이전트는 다음과 같은 문제를 겪습니다:

• 과도한 도구 호출: 불필요하거나 저품질의 도구 호출이 빈번하게 발생하여 지연 시간 (Latency) 을 증가시키고 추론 비용을 낭비합니다.
• 추론 과정의 이탈: 부적절한 도구 사용은 에이전트의 추론 흐름을 방해하여 최종 답변의 정확도를 떨어뜨립니다.
• 기존 보상 설계의 한계: 최근 연구들은 주로 '최종 답변의 정답 여부 (Outcome Reward)'만을 보상으로 사용하여 도구 사용 행동을 최적화하려 시도했으나, 이는 도구 호출 시점의 구체적인 행동 (Process) 에 대한 세밀한 피드백을 제공하지 못합니다. 반면, 기존 과정 보상 (Process Reward) 방법들은 복잡한 장기 추론 작업에 적용하기 어려운 수동 규칙이나 외부 평가자에 의존하는 경향이 있습니다.

2. 핵심 방법론 (Methodology)

이 논문은 **엔트로피 감소 (Entropy Reduction)**를 도구 호출의 질을 평가하는 내재적 신호로 재해석하고, 이를 기반으로 한 새로운 강화 학습 (RL) 프레임워크 **TEPO (Tool-enhanced Entropy-guided Policy Optimization)**를 제안합니다.

가. 엔트로피 기반 관찰 (Key Insight)

• 가설: 고품질의 도구 호출은 에이전트의 불확실성을 줄여주므로, 도구 호출 후 모델의 예측 엔트로피가 감소해야 합니다. 반면, 저품질 호출은 불필요한 정보를 추가하여 엔트로피를 증가시킵니다.
• 실험: 다양한 도메인 (수학, 검색, 심층 검색) 에서 SFT(지도 미세 조정) 모델을 대상으로 한 파일럿 실험을 통해, 고품질 도구 호출 시 **델타 구간 엔트로피 ($\Delta H_k$)**가 유의미하게 감소함을 확인했습니다.

나. TEPO 프레임워크 및 보상 설계

이 발견을 바탕으로 두 가지 다른 목적에 맞춘 보상 전략을 설계했습니다.

1. TEPOsparse (희소 결과 보상 - 효율성 중심)

   • 목적: 도구 사용의 효율성 극대화 (불필요한 호출 감소).
   • 방식: 전체 트래젝토리 (Trajectory) 단위의 희소 보상 (Sparse Outcome Reward) 을 적용합니다.
   • 보상 공식: 최종 답변의 F1 점수에 엔트로피가 감소한 도구 호출의 비율 ($m/n$) 을 곱하여 보상을 산출합니다.
   • 효과: 에이전트가 적은 도구 호출로 정답을 도출하도록 유도하며, 전체 도구 호출 수를 획기적으로 줄입니다.

2. TEPOdense (밀집 과정 보상 - 성능 중심)

   • 목적: 도구 사용의 정확도 및 성능 극대화.
   • 방식: 각 도구 호출 단계마다 적용되는 밀집 보상 (Dense Process Reward) 을 적용합니다.
   • 보상 공식: 특정 도구 호출이 엔트로피를 감소시켰을 경우 ($\Delta H_k < 0$), 해당 단계에 추가 보너스 ($\alpha$) 를 부여합니다.
   • 효과: 에이전트가 각 단계에서 불확실성을 줄이는 고품질 도구 호출을 학습하도록 세밀하게 지도합니다.

3. 주요 기여 (Key Contributions)

1. 모델 무관한 신호 발견: 다양한 추론 도메인에서 고품질 도구 호출이 엔트로피 감소를 유발한다는 경험적 사실을 발견하고, 이를 외부 평가자 없이도 사용할 수 있는 내재적 신호로 정립했습니다.
2. 차별화된 보상 설계: 효율성 (TEPOsparse) 과 성능 (TEPOdense)이라는 서로 다른 목표를 달성하기 위해 엔트로피 감소를 활용한 두 가지 보상 메커니즘을 제안했습니다.
3. 광범위한 실험 검증: 수학적 추론, 지식 기반 추론, 심층 정보 검색 등 다양한 도메인에서 기존 방법론 (GRPO, ARPO, AEPO 등) 대비 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

다양한 도메인 (AIME, HotPotQA, GAIA 등) 과 모델 (Qwen, Llama 시리즈) 을 대상으로 한 실험 결과는 다음과 같습니다:

• 효율성 개선 (TEPOsparse):
  • 기존 방법론 평균 대비 도구 호출 수를 72.07% 감소시켰습니다.
  • 도구 호출 횟수는 크게 줄였으나, 정확도는 기존 수준을 유지하거나 오히려 향상되었습니다.
• 성능 개선 (TEPOdense):
  • 평균 성능 (정확도) 을 22.27% 향상시켰습니다.
  • 각 단계의 도구 호출 품질을 높여 복잡한 추론 작업에서 더 나은 결과를 도출했습니다.
• 확장성 (Scaling):
  • 모델 크기 (1.7B ~ 14B) 가 커질수록 두 방법 모두 성능이 지속적으로 향상되는 스케일링 법칙을 보였습니다.
• 학습 동역학:
  • TEPOsparse 는 학습 초기에 도구 호출 수를 빠르게 줄이는 반면, TEPOdense 는 엔트로피를 감소시키는 도구 호출의 절대적인 수를 늘려 성능을 높이는 경향을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 에이전트의 도구 사용 행동을 최적화하기 위해 엔트로피 감소를 강력한 감독 신호 (Supervisory Signal) 로 활용하는 새로운 패러다임을 제시합니다.

• 외부 의존성 제거: 수동 규칙이나 외부 평가 모델 없이 모델 자체의 불확실성 변화만으로 고품질 도구 사용을 학습할 수 있게 합니다.
• 유연한 전략: 작업의 요구사항에 따라 '효율성 (Tool Call 감소)' 또는 '정확도 (Performance 향상)' 중 하나를 선택하여 최적화할 수 있는 유연한 프레임워크를 제공합니다.
• 실제 적용 가능성: 복잡한 실세계 환경에서 에이전트가 더 적응적이고 효율적으로 행동할 수 있는 기반을 마련하여, 향후 더 정교한 엔트로피 기반 보상 메커니즘 연구의 토대가 됩니다.

요약하자면, 이 연구는 "도구를 올바르게 사용하면 에이전트의 불확실성 (엔트로피) 이 줄어든다"는 통찰을 바탕으로, 이를 강화 학습 보상 함수에 통합하여 에이전트의 도구 사용 효율성과 성능을 동시에 혁신적으로 개선한 작업입니다.