기술 요약: 미세한 보상 구조와 신용 할당을 통한 LLM 에이전트의 다회차 추론 강화

1. 문제 정의

강화 학습(RL)은 복잡하고 긴 호흡을 가진 다회차(multi-turn) 시나리오에서 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 주요 메커니즘이 되었습니다. 이러한 상호작용은 공식적으로 턴 단위의 마르코프 결정 과정(MDP)으로 모델링됩니다. 그러나 기존 문헌의 결정적인 한계는 희소한 궤적 수준 보상(예: 최종 답변의 정답 여부)에 의존한다는 점입니다. 이러한 접근 방식은 신용 할당(credit assignment) 문제를 야기하며, 모델이 다회차 궤적 내의 특정 중간 단계(turn)에 성공이나 실패의 원인을 귀속시키는 데 어려움을 겪게 만듭니다.

일부 선행 연구들이 중간 신호를 포함하려는 시도를 하지만, 이들은 종면 결과와 중간 보상을 하나의 지연된 궤적 수준 신호로 병합하여, 동적인 환경에서 효과적인 학습에 필요한 미세한 감독(supervision)을 제공하지 못하는 경우가 많습니다. 결과적으로, 에이전트는 검색 작업에서의 쿼리 선택이나 게임에서의 전략적 움직임과 같은 행동을 정교화하는 데 어려움을 겪는데, 이는 개별 상호작용 턴 단위의 밀도 높은 피드백이 부족하기 때문입니다.

2. 방법론

본 논문은 미세한 신용 할당을 가능하게 하는 밀도 높은 턴 단위 보상 구조를 활용하는 것에 대한 체계적인 조사를 제안합니다. 저자들은 보상의 입도(granularity)에 따라 보상 구조를 세 가지 유형으로 분류하며, 각 유형은 특정 턴 단위 MDP 형식에 대응합니다:

1. 종단 보상 ($M_1$): 중간 신호 없이 최종 결과 보상(예: 정답 여부)만을 제공합니다.
2. 지연 보상 ($M_2$): 중간 보상과 결과 보상을 궤적 끝에 할당되는 단일 지연 신호로 병합합니다.
3. 턴당 보상 ($M_3$): 각 턴마다 명시적이고 밀도 높은 보상을 제공하여, 개별 에이전트-환경 상호작용(예: 도구 호출 및 결과)의 정확성을 평가합니다.

저자들은 이러한 서로 다른 MDP 형식을 수용하기 위해 그룹 상대 정책 최적화(GRPO) 및 **근사 정책 최적화(PPO)**에 맞춤화된 RL 알고리즘을 도출했습니다.

2.1. 미세한 신용 할당을 적용한 GRPO (MT-GRPO)

표준 GRPO는 궤적 수준에서 어드밴티지(advantage)를 계산하여 응답 내의 모든 토큰에 균등한 어드밴티지를 할당합니다. 이를 해결하기 위해 저자들은 **다회차 GRPO (MT-GRPO)**를 도입했습니다:

• 어드밴티지 분해: 이 방법은 두 가지 유형의 어드밴티지를 정의합니다:
  • 결과 어드밴티지 ($A^O$): 최종 답변에 기반한 전역적 과업 완료 신호를 포착합니다.
  • 중간 어드밴티지 ($A^I$): 동일한 타임스텝(turn)에서 궤적 간의 리턴(return)을 비교함으로써 국소적 최적화 신호를 포착합니다.
• 집계된 어드밴티지: 이들은 현재 및 미래의 어드밴티지를 집계함으로써 전역 및 국소 규모 모두에서 신용을 할당하는 통합 어드밴티지 함수로 결려됩니다:
  $$A^{MT-GRPO}_{i,(k)} = \sum_{l=k}^{K-1} \alpha^{l-k} A^I_{i,(l)} + \alpha^{K-k} A^O_i$$
  여기서 $\alpha$는 할인 계수(discount coefficient)입니다.
• 롤아웃 구조: 궤적 단위의 롤아웃을 수행하는 표준 GRPO와 달리, MT-GRPO는 상태 단위(턴 단위) 롤아웃을 수행합니다. 이는 트리 기반 구조를 생성하며, 각 턴에서 $G$개의 샘플을 추출하여 $K$번의 턴 동안 총 $G^{K-1}$개의 궤적을 생성합니다.

2.2. 턴 단위 보상을 적용한 PPO (MT-PPO)

PPO의 경우, 저자들은 턴 단위 보상을 통합하기 위해 **일반화된 어드밴티스 추정(GAE)**를 활용합니다:

• 보상 할당: MT-PPO 변형에서는 중간 보상이 해당 턴의 마지막 토큰에 할당되는 반면, 결과 보상은 전체 궤적의 마지막 토큰에 할당됩니다.
• TD 오차 수정: 템포럴 차이(Temporal-Difference, TD) 오차 $\delta_t$는 턴 경계에서 명시적인 턴별 보상($R_I$)을 포함하도록 수정되어, 가치 함수(value function)가 각 단계에서 미세한 훈련 신호를 제공할 수 있게 합니다.
• 턴 분해 PPO: 본 논문은 또한 다회차 롤아웃을 단일 턴 훈련 인스턴스로 분해하는 변형을 탐구합니다. 그러나 실험 결과, 이러한 단순한 분해는 최종 과업 성공과 정교하게 정렬되지 않을 경우 하위 최적의 신용 할당을 초래할 수 있음을 시사합니다.

3. 주요 기여

1. 보상 구조의 분류 체계: 본 논문은 보상 입도에 따라 다회차 RL을 세 가지 MDP 형식($M_1, M_2, M_3$)으로 공식적으로 분류하고, 각각에 특화된 GRPO 및 PPO 알고리즘을 도출했습니다.
2. MT-GRPO 알고리즘: 턴 단위 롤아웃과 집계된 어드밴티지를 사용하여 전역 및 국소 규모 모두에서 신용 할당을 가능하게 하는 새로운 GRPO 변형입니다.
3. MT-PPO 전략: 명시적인 턴 단위 보상을 사용하기 위해 GAE 내에서 정교한 보상 할당 전략을 사용하여, 궤적 수준 베이스라인보다 우수한 안정성과 수렴성을 입증했습니다.
4. 실증적 검증: 다회차 검색 에이전트(Wikipedia 검색 사용) 및 게임 에이전트(Sokoban)에 대한 광범위한 실험을 통해, 밀도 높은 턴 단위 보상 구조가 희소한 종단 및 지연 보상 구조보다 일관되게 우수한 성능을 보임을 입증했습니다.

4. 실험 결과

저자들은 두 가지 주요 도메인인 다회차 검색 에이전트와 다회차 게임 에이전트에서 방법론을 평가했습니다.

4.1. 검색 에이전트 (질의응답)

• 데이터셋: NQ, TriviaQA, PopQA (일반 QA); HotpotQA, 2WikiMultiHopQA, Musique, Bamboogle (멀티홉 QA).
• 설정: Qwen2.5-7B를 기본 모델로 사용하였고, LLM 기반 심판(GPT-OSS-120B)을 사용하여 중간 턴 단위 보상을 제공했습니다.
• 결과:
  • 학습 역학: MT-PPO는 PPO-OR(종단 전용) 및 PPO-MR(지연)에 비해 현저히 높은 학습 안정성과 빠른 수렴 속도를 보였습니다. PPO-OR과 PPO-MR은 특히 복잡한 멀티홉 데이터셋에서 높은 분산과 성능 저하를 보였습니다.
  • 성능: MT-PPO는 모든 데이터셋에서 가장 높은 정답률(Exact Match)을 달립으로써 최신 기술(StepSearch 및 PPR 포함)을 상당한 차이로 앞질렀습니다 (예: PPO-OR 대비 평균 +3.5%).
  • 형식 및 검색: MT-PPO는 거의 완벽한 형식 정확도(~100%)와 더 일관된 검색 정확도를 달성하였으며, 이는 턴 단위 보상이 구조적 제약을 효과적으로 강제하고 추론을 유도함을 나타냅니다.

4.2. 게임 에이전트 (Sokoban)

• 설정: 되돌릴 수 없는 장기 계획이 필요한 작업인 6x6 그리드 Sokoban 환경에서 Qwen2.5-VL-3B를 사용했습니다.
• 결과:
  • MT-PPO는 300단계에서 가장 높은 성공률(0.6563)과 유효 행동률(0.9870)을 달성하여 GRPO 및 PPO 베이스라인을 크게 앞질렀습니다.
  • 이 방법은 단 한 번의 잘못된 움직임이 막다른 길로 이어지는 환경의 비가역성을 효과적으로 처리하며, 안정적이고 목적 있는 행동 시퀀스를 학습하는 능력을 보여주었습니다.

4.3. GRPO 결과

2회차 검색 설정에서 MT-GRPO는 도구 실행, 검색 답변 정확도, Exact Match 정확도를 포함한 모든 보상 지표에서 GRPO-OR 및 GRPO-MR보다 우수한 성능을 보였습니다. 특히, MT-GRPO는 학습 중 낮은 분산을 보였으며 도구 사용량이 일시적으로 감소하더라도 이를 회복하는 능력을 보여주어, 미세한 신용 할당의 견고함을 입증했습니다.

5. 의의 및 주장

본 논문은 밀도 높은 턴 단위 보상 구조와 미세한 신용 할당이 긴 호흡을 가진 다회차 과업에서 LLM 에이전트의 성능을 향提升하는 데 근본적임을 주장합니다.

• 희소 보상 대비 우월성: 저자들은 GRPO와 PPO 모두에서 밀도 높은 턴 단위 보상 구조가 학습 역학, 수렴 속도 및 최종 수치적 성능 측면에서 희소한 종단 및 지연 보상 설계보다 일관되게 우수하다고 단언합니다.
• 안정성 및 견고성: 제안된 방법들(MT-PPO 및 MT-GRPO)은 궤적 수준 RL 접근 방식에서 흔히 관찰되는 분산 및 붕괴 현상을 줄여 더 큰 학습 안정성을 제공합니다.
• 일반화 가능성: 이 접근 방식은 정보 검색(검색)에서부터 복잡한 의사결정(Sokoban)에 이르기까지 다양한 도메인에서 효과적임이 입증되었으며, 이는 명시적인 턴 단위 피드백이 에이전트가 동적인 환경과 효과적으로 상호작용하는 전략을 학습하는 데 필수적임을 입증합니다.

본 논문은 이러한 밀도 높은 보상 구조를 활용함으로써 LLM 에이전트가 개별 상호작용 단계의 입도에서 행동을 정교화할 수 있으며, 이를 통해 더 정확한 최종 결과와 더 잘 구조화된 출력을 도출할 수 있다고 결론짓습니다.