Tool-Aware Optimization with Entropy Guidance for Efficient Agentic Reinforcement Learning

기술 요약: 효율적인 에이전틱 강화 학습을 위한 엔트로피 가이드 기반 도구 인식 최적화 (TAO-RL)

문제 정의
에이전틱 강화 학습(Agentic Reinforcement Learning, RL)은 복잡한 추론을 위해 도구 사용(예: 코드 인터프리터)을 가능하게 함으로써 대규모 언어 모델(LLM)을 향상시킵니다. 그러나 외부 도구를 학습 루프에 통합하는 것은 상당한 불안정성을 초환합니다. 본 논문은 두 가지 주요 실패 모드를 식별합니다:

1. 학습 불안정화 (Training Destabilization): 도구 호출이 실패하거나 실행 오류를 발생시키는 경우, 이는 노이즈를 주입하고 토큰 패턴의 급격한 분포 변화를 일으켜 취약한 정책 업데이트와 큰 그래디언트 변동을 초래합니다.
2. 비효과적인 탐색 (Ineffective Exploration): 반대로, 도구 사용을 억제하는 지나치게 보수적인 전략은 탐색을 제한하여 가치가 높은 에이전틱 행동의 발견을 방해합니다.
   기존 방법들은 이러한 문제들을 개별적으로 다루는 경우가 많습니다. 즉, 실행 성공 여부를 확인하지 않고 형식적 유효성만을 기준으로 데이터를 필터링하거나, 결정적인 포스트-도구 호출(post-tool-call) 지점과 무의미한 토큰을 구분하지 못하고 균일한 엔트로피 정규화를 적용합니다. 이는 퇴보적인 어드밴티지 추정치(모든 롤아웃이 정답이거나 오답인 경우)와 타겟팅되지 않은 탐색 인센티브를 초래합니다.

방법론
저자들은 TAO-RL을 제안합니다. 이는 도구 인식 궤적 필터링(데이터 수준)과 엔트로피 가이드 탐색(알고리즘 수준)을 결-합하여 정책의 안정성과 추론 깊이를 최적화하는 통합 프레임워크입니다. 이 프레임워크는 학습 배치당 두 단계의 순차적 단계로 작동합니다:

1. 도구 인식 궤적 필터링 (데이터 수준):
   최적화 전, 고품질의 학습 분포($O_{valid}$)를 구축하기 위해 두 가지 상호 보완적인 기준에 따라 롤아웃 궤적을 필터링합니다:

   • 기준 1: 도구 실행 유효성: 모든 도구 호출이 실행에 실패한 궤적은 폐기됩니다. 이러한 궤적은 유효한 환경 피드백을 제공하지 않으며 노이즈만을 주입합니다. 필터는 적어도 하나의 성공적인 도구 실행을 포함하는 오답 궤적은 유지합니다. 이는 도구-추론 상호작용에 대한 정보 있는 신호를 여전히 제공하기 때문입니다.
   • 기준 2: 정답 판별력 (Answer Discriminability): 경험적 통과율($\rho(q)$)이 0(모두 오답)이거나 1(모두 정답)인 쿼리는 제거됩니다. 이러한 "퇴보적" 사례는 차별적인 그래디언트 신호를 제공하지 못해 0 또는 균일한 어드밴티지 추정치를 생성합니다. 결과가 혼합된($0 < \rho(q) < 1$) 쿼리만이 유지됩니다.

2. 엔트로피 가이드 탐색 (알고리즘 수준):
   필터링된 궤적을 사용하여, TAO-RL은 어드밴티지 함수를 재구성하기 위해 도구 인식 엔트로피 가이드 보너스를 도입합니다.

   • 식별: 방법론은 성공적인 도구 실행 직후의 토큰들($M_{post}$)을 식별합니다.
   • 엔트로피 계산: 이 토큰들에 대한 예측 엔트로피를 계산합니다.
   • 타겟 보너스: 상위 $q_H$ 비율의 고엔트로피 포스트-도구 호출 토큰에 대해서만 정규화된 엔트로피 기반 어드밴티지 항을 적용합니다. 이는 모든 토큰에 균일한 정규화를 적용하는 대신, 정책이 불확실하고 선택의 결과가 가장 중요한데 결정적인 의사결정 지점에 탐색 인센티브를 집중시킵니다.
   • 최적화: 재구성된 어드밴티지는 GRPO (Group Relative Policy Optimization) 목적 함수에 통합되어, 고품질의 대조적 신호와 타겟팅된 탐색에 의해 업데이트가 이루어지도록 보장합니다.

주요 기여

• 통합 프레임워크: TAO-RL은 에이전틱 RL을 위해 특별히 설계된 데이터 수준의 궤적 필터링과 알고리즘 수준의 엔트로피 가이드 탐색을 결합한 최초의 프레임워크입니다.
• 이중 기준 필터링 전략: 도구 실행 유효성과 정답 판별력을 모두 고려하는 새로운 필터링 메커니즘을 도입하여, 기존 방식들을 괴롭히는 퇴보적인 학습 신호를 효과적으로 제거합니다.
• 타겟형 어드밴티지 재구성: 포스트-도구 호출의 고엔트로피 토큰에 탐색 인센티브를 국소화하는 엔트로피 가이드 보너스 메커니즘을 제안하여, 도구 상호작용의 구조적 역할을 해결합니다.
• 이론적 및 경험적 검증: 프레임워크가 그래디언트 신호 대 잡음비(SNR)를 개선하고 타겟 탐색을 위해 스텝 크기를 조절함을 보여주는 이론적 분석을 제공합니다.

실험 결과
7개의 도전적인 수학 추론 벤치마크(AIME 2024/2025, MATH500, OlympiadBench 포함)와 3가지 모델 규모(Qwen2.5-1.5B, Qwen3-4B-Base, Qwen2.5-7B)에 대해 광범위한 실험이 수행되었습니다.

• 성능: TAO-RL은 평균 정확도(Avg@K)와 통과율(Pass@K) 모두에서 베이스라인(TIR, SimpleTIR, AEPO)을 일관되게 능가합니다. 예를 들어, Qwen2.5-7B에서 TA-RL은 가장 강력한 베이스라인인 SimpleTIR에 비해 AIME24의 Avg@16에서 +2.09, AIME25에서 +2.92의 향상을 달성했습니다.
• 안정성: 학습 곡선은 TAO-RL이 TIR 및 SimpleTIR에 비해 훨씬 작은 그래디언트 노름 변동과 더 안정적인 유효 코드 비율을 보임을 입증하며, 이는 노이즈를 억제하는 필터링 전략의 효과를 확인시켜 줍니다.
• 추론 깊이: TAO-RL은 실질적으로 더 긴 응답(높은 Len@K)과 더 복잡한 코드(높은 Code Line 수)를 생성하며, 이는 이 방법이 더 깊은 추론 체인과 정교한 도구 사용 행동을 배양함을 나타냅니다.
• 일반화: 모델은 LiveCodeBench 벤치마크에서 정확도와 코드 생성 깊이 모두에서 베이스라인을 능가하며 강력한 분포 외(out-of-distribution) 일반화 능력을 보여줍니다.
• 어블레이션 연구 (Ablation Studies): 궤적 필터링이나 엔트로피 보너스 중 하나라도 제거하면 성능이 크게 저하되며, 이는 두 구성 요소가 모두 필요하며 상호 보완적임을 확인시켜 줍니다.

의의 및 주장
본 논문은 TAO-RL이 에이전틱 RL에서 학습 안정성과 효과적인 탐색 사이의 근본적인 긴장 관계를 해결한다고 주장합니다. 엄격한 데이터 필터링을 통해 "깨끗하고 정보가 풍부한 학습 토대"를 구축하고, 타겟팅된 엔트로피 보너스를 통해 "더 강력한 추론 행동"을 유도함으로써, TAO-RL은 최적화 과정을 불안정하게 만들지 않고도 우수한 성능을 달-성합니다. 저자들은 이 접근 방식이 단순한 형식 필터링이나 균일한 탐색을 넘어, 도구 통합으로 인해 발생하는 고유한 노이즈와 의사결정 역학을 다루는 원칙적인 방법을 제공한다고 강조합니다. 이 연구는 효과적인 에이전틱 학습을 위해서는 단순히 더 많은 데이터나 더 넓은 탐색이 아니라, 더 스마트한 데이터 선택과 결정적 순간에서의 정밀한 탐색 인센티브가 필요함을 시사합니다.