기술 요약: TRIAGE – 에이전트 강화 학습을 위한 역할 유형별 신용 할당 (Role-Typed Credit Assignment)

1. 문제 정의

에이전트 강화 학습(Agentic Reinforcement Learning, RL)에서 에이전트는 최종 목표를 달성하기 위해 일련의 행동(예: 검색, 클릭, 편집, 탐색)을 통해 환경과 상호작용합니다. 표준적인 GRPO(Group Relative Policy Optimization)는 오직 최종 검증 결과(성공 또는 실패)에 기반하여 신용(credit)을 할당합니다. 이 결과 신호는 궤적(trajectory) 내의 모든 액션 토큰에 균등하게 방송됩니다.

저자들은 이러한 "결과 전용(outcome-only)" 접근 방식이 에이전트 작업에 있어 구조적으로 불완전하며, 다음과 같은 두 가지 체계적인 사각지대를 생성한다고 지적합니다:

1. 실패한 롤아웃에서의 유용한 탐색 (Useful Exploration in Failed Rollouts): 실패한 궤적이라 할지라도 그 안에는 중요한 정보 수집 행동(예: 파일 읽기, 테스트 실행)이 포함되어 있어 에이전트의 믿음 상태(belief state)를 개선했을 수 있습니다. 균등한 처벌은 이러한 가치 있는 탐색적 행동을 억제합니다.
2. 성공한 롤아웃에서의 퇴보 (Regression in Successful Rollouts): 성공한 궤적이라 하더라도 그 안에는 잘못된 편집이나 반복된 클릭과 같이 무익하거나 해로운 행동(regression)이 포함될 수 있으며, 이후에 이를 복구했을 수 있습니다. 균등한 강화는 최종 결과가 긍정적이라는 이유만으로 이러한 해로운 단계에까지 잘못된 신용을 부여합니다.

핵심 문제는 최종 결과 신호가 로컬 세그먼트의 의미론적 역할(예: 결정적 진전 vs 탐색 vs 퇴보)과 글로벌 궤적 성공 사이를 구분할 수 없다는 점입니다.

2. 방법론: TRIAGE

저자들은 **의미론적 역할 축(semantic role axis)**을 도입하여 결과 축을 보완하는 프레임워크인 TRIAGE를 제안합니다. TRIAGE는 검증기(verifier)를 대체하는 것이 아니라, 구조화된 역할 조건부 교정을 통해 신용 할당 과정을 보강합니다.

2.1 역할 분류 (Role Taxonomy)

이 프레임워크는 환경과 맞닿아 있는 각 세그먼트를 네 가지 의미론적 역할 중 하나로 분류합니다:

• 결정적 (Decisive, D): 검증 가능한 진전을 만들어내거나 필수적인 하위 목표를 완료하는 행동 (예: 아이템 구매, 정답 제출).
• 탐색 (Exploration, E): 즉각적인 과업 완수는 없지만 관련 상태를 드러내거나 정보 상태를 개선하는 행동 (예: 테스트 읽기, 컨테이너 조사).
• 진전 없음 (No-Progress, N): 과업 상태나 믿음 상태를 모두 변화시키지 않는 무해한 인프라적 행동 (예: 빈 이동, 중복 클릭).
• 퇴보 (Regression, R): 상태를 손상시키거나 이득 없이 정보를 반복하는 행동 (예: 잘못된 편집, 잘못된 구매).

2.2 TRIAGE 알고리즘

TRIAGE는 GRPO 학습 루프 중에 두 단계로 작동합니다:

1. 구조화된 역할 판단 (Structured Role Judgment): 제한된 로컬 컨텍스트 윈도우(예: 이전 5개 및 이후 5개의 액션-관측 쌍)가 구조화된 LLM 판사(judge)에게 입력됩니다. 판사는 각 세그먼트에 대해 이산적인 역할 레이블($\rho \in \{D, E, N, R\}$)을 할당합니다. 결정적으로, 판사는 제약 없는 보상 모델로 사용되는 것이 아니라, 로컬의 의미론적 역할을 진단하는 분류기 역할을 수행합니다.
2. 역할 조건부 신용 할당 (Role-Conditioned Credit Assignment): 궤적 $i$ 내의 세그먼트 $k$에 대한 어드밴티지(advantage)는 다음과 같이 계산됩니다:
   $$A^{TRIAGE}_{i,k} = A^{GRPO}_i + \lambda c_{\hat{\rho}_{i,k}}$$
   여기서:
   • $A^{GRPO}_i$는 표준 그룹 정규화 궤적 어드밴티지(최적화 방향)입니다.
   • $c_{\hat{\rho}}$는 할당된 역할에 특화된 고정된 프로세스 보상 상수입니다 (예: $c_D=1, c_E=0.5, c_N=-0.1, c_R=-0.5$).
   • $\lambda$는 로컬 신호의 혼합 강도를 제어하는 하이퍼파라미터입니다.

이 설계는 궤적 결과가 최적화 방향의 주요 원천으로 유지되도록 보장하면서, 역할 레이블이 사각지대를 해결하기 위한 제한된 세그먼트 수준의 교정을 제공하도록 합니다.

2.3 이론적 정당성

본 논문은 역할 조건부 신용이 역할 레이블만으로 표현 가능한 평균 제곱 오차(MSE) 최적의 세그먼트 교정임을 보여주는 이론적 정당성을 제공합니다.

• "신용 잔차(credit residual)"(진정한 세그먼트별 어드밴티지와 균등한 궤적 어드밴티지 간의 차이)는 역할 변수로 투영됩니다.
• 만약 역할 레이블이 이 잔차의 일부를 설명할 수 있다면 (즉, $E[\delta | \rho] \neq 0$), 역할 조건부 교정은 균등한 방송(uniform broadcasting)에 비해 어드밴티지 추정 오차를 줄여줍니다.
• 이러한 추정 오차의 감소는 판사가 신뢰할 수 있다는 전제하에 더 낮은 분산의 정책 경사(policy gradients)로 연결됩니다.

3. 주요 기여

1. 사각지대 식별: 결과 전용 신용 할당의 두 가지 구조적 실패(실패한 롤아웃에서의 유용한 탐색 억제 및 성공한 롤아웃에서의 퇴보 강화)를 공식적으로 정의했습니다.
2. TRIAGE 프레임워크: LLM 판사를 사용하여 의미론적 진단을 수행하고, 고정된 역할 조건부 규칙을 사용하여 신용을 조정함으로써 GRPO의 결과를 기본 신호로 유지하는 역할 유형별 신용 할당 시스템을 도입했습니다.
3. 이론적 근거: 역할 조건부 신용이 역할 레이블에 대한 어드밴티지 잔차의 최적 투영임을 증명하여, 신뢰할 수 있는 역할 타이핑을 낮은 분산의 정책 경사와 연결했습니다.
4. 실증적 검증: 세 가지 에이전트 벤치마크(ALFWorld, Search-QA, WebShop)에서 종합적인 평가를 통해, 성과가 단순히 밀집된 보상(dense rewards)을 추가해서가 아니라 역할 타이핑으로부터 발생함을 입증했습니다.

4. 실험 결과

저자들은 Qwen2.5-7B와 Qwen3-1.7B 두 가지 정책 모델을 사용하여 ALFWorld(체화된 계획), Search-QA(검색), WebShop(이커머스)에서 TRIAGE를 평가했습니다.

• 성능 향상: TRIAGE는 표준 GRPO 베이스라인을 지속적으로 능가했습니다.
  • Qwen2.5-7B의 경우, 성공률이 최대 7.9 퍼센트 포인트 향상되었습니다 (예: ALFWorld: 79.6% $\to$ 87.5%).
  • Qwen3-1.7B의 경우, 향상이 더욱 두드로워 최대 18.4 퍼센트 포인트에 달했습니다.
• 효율성: TRIAGE는 완료된 롤아웃에서의 환경 직면 턴(environment-facing turns) 수를 GRPO 대비 10.4%(ALFWorld) 및 14.8%(WebShop) 감소시켰습니다.
• 절제 연구 (Ablation Studies):
  • 역할 타이핑 vs 밀집 보상: 동일한 판사를 사용하되 역할 타이핑을 적용하지 않은 스칼라 프로세스 보상 베이스라인은 GRPO보다는 우수했지만 TRIAGE보다는 성능이 낮았습니다. 이는 성과가 단순히 밀집된 보상 신호를 추가했기 때문이 아니라, 역할의 의미론적 구별에서 온다는 것을 확인시켜 줍니다.
  • 퇴보 억제 (Regression Suppression): 가장 지배적인 개선 원인은 성공적인 궤적에서의 퇴보 신용을 억제하는 것("성공 속의 R" 사각지대 제거)이었습니다.
  • 판사 신뢰도: LLM 판사의 "사고(thinking)" 능력이 매우 중요했습니다. 사고 기능이 없는 판사는 성공적인 롤아웃에서의 퇴보를 감지하지 못해 TRIAGE가 GRPO보다 성능이 떨어지는 결과를 초래했습니다. 이는 정확한 역할 진단이 이 방법의 성공을 위한 전제 조건임을 강조합니다.
• 베이스라인: TRIAGE는 학습된 공유 백본 가치 베이스라인 및 상태 그룹화 방법(GiGPO)보다 우수한 성능을 보였으며, 특히 가치 헤드가 퇴보적 행동(반복된 클릭)을 구분하지 못하지만 의미론적 역할 분류기는 이를 명확히 구분할 수 있는 WebShop에서 두드러졌습니다.

5. 의의 및 주장

본 논문은 에이전트 RL에는 결과 축 외에도 의미론적 역할 축이 필요하다고 주장합니다. 주요 의의는 탐색은 "진전 없음"이 아니다라는 구분에 있습니다. 정보를 수집하는 행동(탐색)과 상태를 손상시키는 행동(퇴보)을 명시적으로 분류함으로써, TRIAGE는 취약한 행동 패턴 없이 희소한 보상 환경에서 학습을 가능하게 합니다.

저자들은 TRIAGE가 정보 수집과 복구에 성공 여부가 달려 있는 에이전트들을 위한 원칙적인 경로임을 강조합니다. 이 방법은 판사가 완벽하다고 가정하지 않습니다. 대신, 판사가 비대칭적 오류 교정(실패 속에서 유용한 단계를 찾고 성공 속에서 해로운 단계를 찾는 능력)을 수행할 수 있다는 점에 의존합니다. 이론적 및 실증적 결과는 판사가 이러한 특정 충돌 셀(conflict cells)을 식별할 만큼 충분히 신뢰할 수 있다면, 역할 조건부 교정이 어드밴티지 추정 오차를 줄이고 더 효율적이며 견고한 정책 학습을 이끌어낸다는 것을 시사합니다.