기술 요약: TRACE (장기적 호라이즌 에이전트를 위한 신용 추정을 통한 턴 단위 보상 할당)

1. 문제 정의

대규모 언 언어 모델(LLM) 에이전트는 최종 답변을 생성하기 전, 도구 상호작용(예: 웹 검색, 코드 실행)의 확장된 시퀀스를 통해 복잡한 과제를 해결합니다. 검증 가능한 보상(Verifiable Rewards)을 사용하는 강화 학습(RLVR)은 결정론적인 결과 보상을 사용하는 단일 턴 추론 작업(수학이나 코딩 등)에서는 성공적이었으나, 이를 장기적 호라이즌(long-horizon) 에이전트에 적용하는 데에는 근본적인 신용 할당(credit assignment) 문제가 존재합니다.

다중 턴 에이전트 롤아웃에서, 단일 터미널 보상(성공/실패)은 희소하며 분산이 큽니다. 이는 다음을 구분하지 못합니다:

• 유용한 행동: 최종적으로 실패하는 궤적의 일부일지라도, 필요한 증거를 수집하는 초기 도구 호출.
• 불필요하거나 해로운 행동: 목표에 기여하지 않거나 경로를 이탈하게 만드는 중간 단계.

결과 중심(outcome-only) 학습은 궤적 내의 모든 턴에 동일한 어드밴티지(advantage)를 할당하여, 생산적인 탐색에 대한 신용은 과소 평가하고, 무관한 행동에 대한 신용은 과대 평가하며, 궤적의 호라이즌이 길어짐에 따라 그래디언트 분산을 증가시킵니다. 기존의 프로세스 감독 방법들은 단계별 레이블, 강력한 LLM 판사, 또는 훈련된 프로세스 보상 모델을 요구하며, 이는 복잡성, 드리프트(drift), 또는 값비싼 감독에 대한 의존성을 초래합니다.

2. 방법론: TRACE

저자들은 추가적인 프로세스 레이블 훈련이나 학습된 크리틱(critic) 없이도 조밀한 턴 단위 보상을 생성하는 크리틱 프리(critic-free) 프레임워크인 TRACE(Turn-level Reward Assignment via Credit Estimation)를 제안합니다.

핵심 메커니즘

TRACE는 에이전트의 롤아웃을 **도구 호출 경계(tool-call boundaries)**에서의 상태 전이 시퀀스로 취급합니다 가치 함수(value function)를 학습하는 대신, 고정된 참조 모델($\pi_{ref}$)을 안정적인 프로브(probe)로 활용하여 현재 궤적 접두사(prefix)가 골드 답변(gold answer)을 생성할 준비가 되었는지(readiness)를 추정합니다.

1. 상태 표현: 롤아웃은 각 도구 호출 경계에서 접두사 $S_k$로 분할됩니다.
2. 상태 가치 추정:
   • 고정된 참조 모델은 접두사 $S_k$가 주어졌을 때 골드 답변 $y^*$의 로그 확률을 계산합니다: $\bar{\ell}_k = \frac{1}{|y^*|} \sum \log \pi_{ref}(y^*_t | S_k, y^*_{<t})$.
   • 원시 로그 확률의 변화가 오해를 불러일으킬 수 있는 스케일 문제(예: 정답에서 멀 때는 작은 이득이 중요하지만, 가까울 때는 미미함)를 처리하기 위해, TRACE는 이를 **로그 비율 상태 가치(log-ratio state value)**로 변환합니다:
     $$V(S_k) = \log \frac{-\bar{\ell}_0 + \epsilon}{-\bar{\ell}_k + \epsilon}$$
     여기서 $\epsilon$은 오프셋입니다. 이 값은 초기 답변 가능성 격차의 상대적 폐쇄 정도를 측정합니다.
3. TD(Temporal Difference)를 통한 턴 단위 보상:
   • 전이 $S_k \to S_{k+1}$에 대한 보상은 TD 오차(가치 차이)로부터 유도됩니다:
     $$\delta_k = V(S_{k+1}) - V(S_k) = \log \frac{d_k}{d_{k+1}}$$
   • 해석: 도구 호출과 그 관측값이 골드 답변을 더 예측 가능하게 만들면(상태 가치를 증가시키면) 양(+)의 보상이 할당됩니다. 궤적이 답변으로부터 멀어지면 음(-)의 보상이 할당됩니다.
   • 망원경 성질(Telescoping Property): 일보(one-step) TD 신용의 합은 궤적의 시작과 끝 사이의 총 가치 변화로 망원경처럼 연결됩니다. 이는 중복된 중간 턴이 총 신용을 인위적으로 부풀릴 수 없음을 보장합니다.
4. 룩어헤드(Look-Ahead) 및 앵커링(Anchoring):
   • 지연된 효과(예: 문서를 열기 전까지는 효과가 나타나지 않는 검색 쿼리)를 고려하기 위해, TRACE는 할인 계수 $\gamma_{td}$를 사용하는 절단된 K-step TD 백업을 사용합니다.
   • 최종 턴 단위 보상은 표준 결과 단위 어드밴티지($A^{out}$)를 사용하는 GRPO(Group Relative Policy Optimization)와 결합되어, 최종적인 정확도가 궁극적인 훈련 목표가 되도록 보장합니다.
5. 최적화: 정책은 턴 값을 프롬프트 그룹 전체에서 정규화하지 않고, 결과 어드밴티지와 턴 단위 TD 신용을 혼합하는 클리핑된 목적 함수를 사용하여 업데이트됩니다.

3. 주요 기여

• 크리틱 프리 조밀한 신용(Critic-Free Dense Credit): TRACE는 별도의 크리틱, 프로세스 보상 모델을 훈련하거나 단계별 인간/합성 레이블에 의존하지 않고도 장기적 호라이즌 에이전트를 위한 조밀한 턴 단위 보상을 제공합니다.
• 프로브로서의 고정된 참조 모델: 이 방법은 (KL 정규화에 주로 사용되는) 고정된 참조 모델을 재사용하여, 각 도구 상호작용이 골드 답변의 예측 가능성을 얼마나 높이는지 측정하는 안정적인 가치 추정기로 활용합니다.
• 로그 비율 TD 공식화: 답변 확률의 로그 비율 변환을 도입하여 견고한 상태 가치를 생성함으로써, 서로 다른 신뢰 수준 간에 신용을 정규화하고 중복 단계로 인한 보상 팽창을 방지합니다.
• 순수 RL 훈련: 이 접근 방식은 콜드 스타트 지도 미세 조정(SFT) 단계, 에이전틱 미드 트레이닝(agentic mid-training), 또는 라이브 웹 데이터 없이 순수 RL(결과 + 턴 단위 보상)을 사용하여 베이스 모델을 효과적으로 훈련할 수 있게 합니다.

4. 실험 결과

저자들은 Qwen3-4B와 Qwen3-30B-A3B 백본을 사용하여 장기적 호라이즌 복합 검색 작업에 대해 TRACE를 평가했습니다.

• 폐쇄형 웹 벤치마크 (BrowseComp-Plus):
  • Qwen3-4B: 베이스 점수 7.2에서 35.6으로 향상.
  • Qwen3-30B-A3B: 베이스 점수 8.4에서 42.6으로 향상.
  • TRACE는 결과 중심 베이스라인(GRPO, GSPO, GiGRPO)을 크게 능가했으며, 더 작은 백본과 최소한의 감독을 사용했음에도 불구하고 더 큰 외부 딥 리서치 에이전트(예: TongyiDS-30B-A3B)에 근접하거나 이를 넘어섰습니다.
• 오픈 웹 전이(Open-Web Transfer):
  • 학습된 검색 행동은 오픈 웹 벤치마크(BrowseComp, GAIA, xbench-DeepSearch)로 전이되었습니다.
  • 30B-A3B 에이전트는 BrowseComp에서 12.9, GAIA에서 52.0, xbench-DeepSearch에서 45.0을 달성하여, 훈련 코퍼스를 넘어선 일반화 능력을 입증했습니다.
• 학습 역학(Learning Dynamics):
  • TRACE는 결과 중심 베이스라인에 비해 더 빠른 개선과 빠른 수렴을 보여주었습니다.
  • 최종 답변이 정답이기 전이라도 중간 진행 상황에 보상을 주는 턴 단위 신호 덕분에, 초기 훈련 단계에서 상호작용 길이(궤적 규모)의 확장을 촉진했습니다.

5. 의의 및 주장

본 논문은 **검증기 기반의 턴 단위 신용(verifier-anchored turn-level credit)**이 순수 RL을 통해 장기적 호라이즌 에이전트를 훈련하는 데 있어 결정적인 누락 요소라고 주장합니다.

• 효율성: TRACE는 베이스 모델이 조밀한 신용 신호를 통해 잠재적인 추론 및 도구 사용 프리미티브를 잠금 해제할 수 있음을 보여주며, 이는 값비싼 SFT나 복잡한 프로세스 감독 파이프라인의 필요성을 제거합니다.
• 일반화: 이 방법은 단순히 훈련 코퍼스에 과적합되는 것이 아니라, 다양한 검색 환경과 언어에 걸쳐 전이 가능한 일반적인 상호작용 전략(검색, 읽기, 정제)을 가르칩니다.
• 한계: 저자들은 현재 방식이 압축되고 검증 가능한 답변(짧은 문자열)에 의존한다는 점을 겸허히 언급했습니다. 긴 구조화된 출력 또는 개방형 출력(예: 다중 파일 코드 패치)이 포함된 작업의 경우 로그 확률 프록시가 덜 신뢰할 수 있으며, 이는 향후 연구에서 대안적인 상태 가치 추정기가 필요함을 시사합니다.

요약하자면, TRACE는 고정된 참조 모델을 통해 도구 호출 경계에서 신용을 할당하는 것이 장기적 호라이즌 에이전트의 성능을 향상시키는 효과적이고 확장 가능하며 데이터 효율적인 전략임을 입증합니다.