🤖 AI

RTPO: Reverse-Turn Policy Optimization for Stabilizing Agentic RL Training

본 논문은 컨텍스트 불일치를 제거하고, 인과적으로 일관된 신용 할당을 가능하게 하며, 비동기적 정책 드리프트를 제어하기 위해 롤아웃을 희소 역트리(sparse reverse trees)로 재구조화함으로써 멀티 턴 에이전트 RL 학습을 안정화하는 통합 프레임워크인 역턴 정책 최적화(Reverse-Turn Policy Optimization, RTPO)를 소개하며, 이를 통해 기존 베이스라인들을 유의미하게 능가한다.

원저자: Yugu Li, Jimmy Cao, Jianglin Qiao, Siyi Hu

게시일 2026-08-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yugu Li, Jimmy Cao, Jianglin Qiao, Siyi Hu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능이 급격히 진화하는 세상에서, 연구자들은 대규모 언어 모델이 자율적인 에이전트로서 행동하도록 가르치고 있습니다. 이들은 단순히 질문에 답하는 챗봇이 아니라, 복잡한 문제를 해결하기 위해 계획을 세우고, 추론하며, 계산기나 웹 검색 엔진과 같은 외부 도구를 사용하도록 설계된 시스템입니다. 이러한 에이전트를 더 똑똑하게 만들기 위해 과학자들은 종종 '강화 학습'이라 불리는 방법을 사용합니다. 새로운 게임을 배우는 학생을 상상해 보세요. 학생은 여러 가지 움직임을 시도하고, 만약 승리한다면 보상을 받습니다. 시간이 흐르면서 학생은 어떤 움직임이 성공으로 이어지는지를 배웁니다. 디지털 영역에서 '움직임'은 모델이 생성하는 단어들이며, '보상'은 작업이 끝난 직나 매우 마지막에 주어지는 점수입니다. 이 접근 방식은 한 번에 수학 문제를 푸는 것과 같은 단일 단계 작업에는 매우 성공적이었습니다. 그러나 이 에이전트들에게 주제를 조사하고, 데이터를 수집하고, 여러 차례의 대화에 걸쳐 보고서를 작성하는 것과 같은 길고 다단계적인 워크플로우를 수행하도록 요청하면, 훈련 과정은 악명 높게 불안정해집니다. 모델은 종종 짧은 작업은 잘 해결하지만, 작업이 길어지면 처참하게 실패하며, 단계의 수가 증가함에 따라 성능이 무너져 내립니다.

호주와 미국의 대학 연구진은 왜 이런 붕괴가 발생하는지를 식별하고 이를 해결할 새로운 방법을 제안했습니다. 그들은 이 불안정성이 여러 턴에 걸쳐 에이전트를 훈련할 때 발생하는 세 가지 깊게 연결된 문제에서 기인한다는 것을 발견했습니다. 첫째, 모델이 연습하는 동안 보는 것과 교육받는 동안 보는 것 사이에 불일치가 존재합니다. 연습 중에 모델은 공간을 절약하기 위해 대화의 요약본만을 볼 수도 있지만, 훈련 중에는 컴퓨터가 전체 대화 기록 전체를 보도록 강제합니다. 이러한 차이는 모델을 혼란스럽게 만들어, 어떤 문맥을 신뢰해야 할지 확신하지 못하게 만듭니다. 둘째, 시스템은 긴 추론 사슬 속에서 정확히 어떤 단계가 최종적인 성공이나 실패를 이끌어냈는지 파악하는 데 어려움을 겪습니다. 모델이 열 단계의 과정 끝에 보상을 받을 때, 훈련 알고리즘은 종-종 열 단계 전체에 그 공로(또는 책임)를 균등하게 분배하곤 하는데, 실제로는 다섯 번째 단계가 결정적인 실수였을 수도 있습니다. 이는 에이전트가 올바른 행동을 배우는 것을 어렵게 만듭니다. 셋-째, 훈련이 진행됨에 따라 모델은 변화합니다. 만약 시스템이 모델이 더 "어리고" 숙련도가 낮았던 시절에 시작된 긴 대화로부터 배우려고 시도하는데, 훈련이 끝날 때는 모델이 더 "나이가 들고" 숙련된 상태라면, 데이터는 일관성을 잃게 됩니다. 모델은 본질적으로 자신의 과거 모습으로부터 배우려고 노력하는 셈이며, 이는 학습 과정을 불안정하게 만드는 드리프트(drift) 현상을 생성합니다.

이러한 문제들을 해결하기 위해 연구진은 '역방향 턴 정책 최적화(Reverse-Turn Policy Optimization, RTPO)'라고 불리는 새로운 프레임워크를 개발했습니다. 긴 대화를 하나의 거대하고 평평한 텍스트 블록으로 취급하는 대신, 그들은 훈련 과정을 일련의 구별되고 연결된 순간들로 재구상했습니다. 핵심 아이디어는 작업의 맨 마지막 단계부터 시작하여 처음을 향해 역순으로 작업함으로써 모델을 훈련하는 것입니다. 시스템이 대화의 특정 턴에 도달하면, 잠시 멈추고 여러 개의 '형제(sibling)' 버전의 미래를 생성합니다. 시스템은 모델에게 다음과 같이 묻습니다: "만약 내가 지금 이 특정 결정을 내린다면, 그다음에 어떤 일이 벌어질까?" 그런 다음, 이 미래 시나리오들을 앞으로 실행하여 그것들이 좋은 결과로 이어지는지 확인합니다. 이러한 형제 미래들을 비교함으로써, 시스템은 이전의 노이즈나 나중의 불확실성 없이, 현재의 턴에서 어떤 결정이 가장 좋았는지를 정확히 짚어낼 수 있습니다. 이 방법은 모델이 항상 일관된 문맥으로부터 학습하도록 보장하며, 성공적인 결과에 대한 공로가 그것을 유발한 결정에 정확하게 할당되도록 합니다.

이 새로운 접근 방식의 결과는 놀라웠습니다. 어려운 수학적 추론 과제와 복잡한 웹 검색 도전 과제에 대해 테스트했을 때, 이 새로운 방법은 기존 기술들을 크게 능가했습니다. 어려운 수학 문제 세트에서, 이 새로운 방법은 기존 표준 방식들에 비해 에이전트의 정확도를 21% 이상 향 향상시켰습니다. 지식 기반 작업에서는 성능이 거의 11% 향상되었습니다. 아마도 더 중요한 점은, 훈련 과정 자체가 훨씬 더 안정적이었다는 것입니다. 이전 방식들에서는 작업이 길어질수록 모델의 성능이 저하되는 경우가 많았지만, 이 새로운 접근 방식에서는 단계의 수가 증가함에 따라 모델이 계속해서 개선되었습니다. 연구진은 또한 에이전트가 도구를 더 효율적으로 사용하는 법을 배웠다는 것을 발견했습니다. 수학 문제의 경우, 에이전트는 도구 호출 횟수는 줄었지만 정답률은 높아졌는데, 이는 에이전트가 스스로의 추론에 더 의존하고 꼭 필요한 경우에만 도구를 사용하도록 학습했음을 시사합니다. 연구 작업의 경우, 도구 호출은 더 많아졌지만, 이러한 호출은 더 전략적이었으며 더 나은 정보 수집으로 이어졌습니다.

연구진은 각자의 문제를 격리함으로써 자신들의 해결책이 작동함을 검증했습니다. 그들은 문맥 불일치를 해결함으로써 모델이 무엇을 보아야 하는지에 대해 혼란을 겪지 않게 된다는 것을 보여주었습니다. 신용 할당(credit assignment) 문제를 해결함으로써, 모델은 최종 결과에 근거해 추측하는 대신 각 특정 단계에서 더 나은 결정을 내리는 법을 배웠습니다. 그리고 훈련 데이터를 현재 버전의 모델과 일관되게 유지함으로써, 긴 훈련 세션을 실패하게 만드는 드리프트를 제거했습니다. 이 연구는 복잡한 다단계 작업을 수행할 때 길을 잃지 않고 처리할 수 있는 더 신뢰할 수 있는 AI 에이전트를 구축하기 위한 명확한 경로를 제공합니다. 이는 장기적인 추론을 마스터하는 열쇠가 단순히 모델에게 더 많은 데이터를 주는 것이 아니라, 데이터로부터 학습하는 방식을 재구조화하여 모든 결정이 적절한 미래 가능성에 대해 공정하고 정확하게 평가되도록 하는 것임을 시사합니다. 이 연구는 한 번에 한 번의 사려 깊은 단계로 현실 세계의 복잡성을 진정으로 탐색할 수 있는 AI 비서를 만드는 데 있어 중요한 진전입니다.

기술 요약: 에이전트형 RL 학습의 안정화를 위한 역순 턴 정책 최적화 (RTPO)

1. 문제 정의

다중 턴(multi-turn) 에이전트 워크플로우를 강화학습(RL)으로 학습시키는 것은 대규모 언어 모델(LLM)이 복잡한 추론을 수행하고, 외부 도구를 활용하며, 반복적인 탐색을 수행할 수 있게 한다. 그러나 기존 방식들은 턴 수가 증가함에 따라 심각한 불안정성을 겪으며, 종종 성능 저하로 이어진다. 본 논문은 이러한 불안정성의 세 가지 밀접하게 결합된 원인을 식별하였으며, 이들은 모두 **평탄화된 궤적 최적화(flattened trajectory optimization)**라는 공통된 구조적 기원에 뿌리를 두고 있다.

롤아웃-학습 컨텍스트 불일치 (Rollout–Training Context Mismatch): 다중 턴 설정에서 롤아웃은 컨텍스트 길이를 관리하기 위해 절단되거나 요약된 컨텍스트 하에서 생성되는 경우가 많으나, 학습 시에는 전체 연결된 히스토리를 바탕으로 우도 비(likelihood ratios)를 재계산한다. 이러한 불일치는 정책 최적화(예: PPO, GRPO)에서 사용되는 중요도 샘플링(IS) 비를 편향시켜, 생성된 턴 수준 컨텍스트와 최적화되는 컨텍스트 사이의 일관성을 깨뜨린다.
취약한 턴 단위 신용 할당 (Weak Turn-Level Credit Assignment): 평탄화된 방식은 단일 궤적 수준의 어드밴티지(advantage)를 모든 토큰에 할당한다. 이는 특히 종단 보상(terminal reward)이 희소할 때, 개별 턴의 구체적인 기여도를 모호하게 만든다. 궤적 어드밴티지는 진정한 턴 수준의 신호를 상위 상태의 효과 및 하위의 확률적 변동성과 얽히게 하여, 특정 턴에 대해 그래디언트 방향을 역전시킬 가능성이 있다.
비동기적 정책 드리프트 (Asynchronous Policy Drift): 비동기 학습에서는 짧은 궤적이 정책을 업데이트하는 동안, 더 긴 궤적은 여전히 이전 정책 하에서 생성되고 있을 수 있다. 이 긴 궤적들이 결국 최적화될 때, 이들은 현재 모델에 대해 오프-폴리시(off-policy) 상태가 된다. PPO/GRPO의 표준 토큰 수준 클리핑(clipping)은 긴 호라이즌에 대해 이 드리프트를 충실히 교정할 수 없는데, 그 이유는 클리핑된 비들의 곱이 진정한 궤적 수준의 IS 비와 일치하지 않기 때문이다.

2. 방법론: 역순 턴 정책 최적화 (RTPO)

RTPO는 다중 턴 상호작용을 희소 트리(sparse trees)로 구성하고 시간적 역순으로 턴 단위 정책 업데이트를 수행하는 통합된 **역순 턴 정식화(reverse-turn formulation)**를 통해 이러한 문제들을 해결한다.

핵심 구성 요소:

턴 경계 MDP (Turn-Boundary MDP): 상호작용은 계층적 MDP로 모델링되며, 턴 $k$ 에서의 상태는 상호작용 히스토리 $S_k$ 이다. 정책은 $K$ 개의 턴 수준 서브 정책 $\pi_{\theta, k}$ 로 분해되며, 각 정책은 컨디셔닝 컨텍스트 $c_k$ (롤아웃 컨텍스트와 정확히 일치함)를 완전한 응답 $l_k$ 로 매핑한다.
역순 순서 학습 (Reverse-Order Training): 학습은 마지막 턴( $K-1$ )에서 첫 번째 턴($0 $)으로 진행된다. 턴$ k $를 최적화할 때 하위 정책들($ k+1 \dots K-1$)은 고정(frozen)된다. 이는 신용 할당에 사용되는 지속 가치(continuation value)가 정적이며 현재 최적화 대상과 일치하도록 보장한다.
희소 트리 롤아웃 및 상태 매칭 형제 (Sparse Tree Rollouts & State-Matched Siblings): 각 턴 $k$ 에 대해, RTPO는 공유된 경계 상태 $S_k$ 로부터 $G-1$ 개의 형제 롤아웃을 분기(fork)한다. 이 형제들은 서로 다른 턴- $k$ 액션을 샘플링하지만 동일한 히스토리를 공유한다. 이를 통해 인과적으로 일관된 턴 수준 어드밴티지( $A^H_{j,k}$ )를 추정할 수 있으며, 상위 상태의 오염을 제거하고 동일한 하위 조건 하에서 비교가 이루어지도록 보장한다.
온-폴리시 지속 (On-Policy Continuation): 비동기 드리프트를 제거하기 위해, RTPO는 각 역순 단계에서 온-폴리시 방식으로 형제 지속(sibling continuations)을 재생성한다. 턴 $k$ 를 최적화할 때, 하위 턴들은 현재 업데이트된 정책 $\pi_{\theta > k}$ 를 사용하여 샘플링된다. 이를 통해 궤적 수준의 중요도 가중치가 동일하게 1이 되도록( $\omega \equiv 1$ ) 하여, 불안정한 장기 호라이즌 IS 교정의 필요성을 제거한다.

이론적 보장:

본 논문은 세 가지 핵심 정리를 제공한다:

재귀적 최적성으로의 수렴 (Convergence to Recursive Optimality): 표준 가정(유한 상태/액션 공간, Robbins-Monro 스텝 사이즈) 하에서, 고정된 하위 정책을 사용하는 역순 최적화는 재귀적으로 최적인 정책 시퀀스로 수렴한다.
인과적으로 일관된 어드밴티지 추정 (Causally Consistent Advantage Estimation): 상태 매칭 형제 추정기는 궤적 수준 베이스라인에 존재하는 상위 상태 오염 항을 제거하여, 신용 할당의 분산과 편향을 줄인다.
드리프트 없는 온-폴리시 지속 (Drift-Free On-Policy Continuation): 지속 과정을 온-폴리시로 재생성함으로써, RTPO는 장기 호라이즌 중요도 샘플링 교정과 관련된 지수적 분산 증가를 방지한다.

3. 주요 기여

불안정성 원인 식별: 본 논문은 다중 턴 에이전트 RL의 결합된 불안정성 원인인 컨텍스트 불일치, 취약한 신용 할당, 비동기 드리프트를 공식적으로 식별하고 분석하였다.
구조적 진단: 이러한 문제들이 평탄화된 궤적 최적화라는 공통된 기원을 공유하며, 기존 방식들(PPO, GRPO, 트리 기반 방식)은 이 근본 원인을 공동으로 해결하지 못함을 입증하였다.
RTPO 프레임워크: 롤아웃-학습 일관성, 턴 단위 신용 할당, 그리고 재귀적 최적성과 감소된 신용 편향에 대한 이론적 보장을 갖춘 온-폴리시 지속을 통합한 새로운 프레임워크를 제안한다.
실험적 검증: 수학적 추론 및 지식 집약적 탐색을 포함하는 포괄적인 다중 턴 에이전트 RL 벤치마크에서 RTPO를 검증하였다.

4. 실험 결과

Qwen3-8B를 백본으로 사용하여 수학적 추론(GSM8K, MATH500, AIME24/25, AMC23, OE-Math) 및 지식 추론(HotpotQA, 2Wiki, GAIA, WebWalkerQA, XBench, HLE)을 포함한 12개 벤치마크에서 실험을 수행하였다.

성능 향상: RTPO는 전체 정확도 측면에서 궤적 수준 베이스라인(GRPO)보다 21.50%, 턴 수준 베이스라인(SeeUPO)보다 10.76% 높은 성능을 보였다.
안정성: RTPO는 학습 전반에 걸쳐 안정적인 롤아웃-학습 일관성(로그 확률 비가 1.0에 근접)을 유지한 반면, 베이스라인들은 상당한 드리프트와 회복 패턴을 보였다.
도구 사용 효율성:
- 수학적 추론에서 RTPO는 더 적은 도구 호출로 더 높은 정확도를 달로 성, 이는 모델이 반복적이고 비효적인 검증을 위해 도구를 사용하는 대신, 내부 추론에 의존하고 정밀한 검증을 위해서만 도구를 사용하도록 학습되었음을 나타낸다.
- 지식 추론에서 RTPO는 외부 증거를 통합하기 위해 더 많은 도구 호출을 효과적으로 활용하였으며, 이는 최적화 목적 함수가 도구 사용 전략을 무차별적으로 억제하거나 장려하는 것이 아니라 과업의 특성에 맞게 적응함을 보여준다.
절제 연구 (Ablation Studies):
- 신용 할당 (Credit Assignment): 컨텍스트 불일치를 통제했을 때, RTPO의 턴 수준 신용 할당만으로도 베이스라인 대비 성능이 유의미하게 향상되었다.
- 온-폴리시 지속 (On-Policy Continuation): 장기 호론의 딥 서치(deep-search) 작업에서, RT포의 온-폴리시 변형은 오래된 지속을 재사용하는 오프-폴리시 변형보다 크게 우수한 성능을 보였으며, 이는 정책 드리프트를 피하는 것의 이론적 이점을 확인시켜 준다.

5. 의의 및 주장

본 논문은 RTPO가 롤아웃과 학습 컨텍스트 사이의 불일치를 구조적으로 제거하고 정책 드리프트를 제어함으로써, 다중 턴 에이전트 RL 학습을 안정화하는 원칙적인 프레임워크를 제공한다고 주장한다.

이론적 기여: 역순 턴 단위 최적화가 상태 매칭 형제 비교 및 온-폴리시 지속과 결합될 때, 재귀적 최적성과 인과적으로 일치하는 신용 할당을 달성할 수 있음을 입증하여 평탄화된 궤적 접근 방식의 한계를 해결하였다.
실질적 영향: 이 방법은 도구를 사용하는 에이전트, 특히 기존 방식들이 실패하는 장기 호라이즌 시나리오에서 더 안정적인 학습을 가능하게 한다. 또한 에이전트가 (정밀한 검증 혹은 철저한 검색과 같이) 과업의 특성에 맞춰 효율적인 도구 사용 전략을 학습할 수 있게 하며, 컨텍스트 불일치나 비동기 업데이트로 인한 불안정성을 겪지 않도록 한다.
한계점: 저자들은 형제 생성 및 역순 동기화로 인해 RTPO가 약 41% 더 많은 GPU 시간을 소모한다는 점을 인정하였다. 또한, 엄격한 수렴 보장은 테이블 형식(tabular formulation)에 적용되며, 신경망 구현은 보편적 근사 가정에 의존한다는 점을 언급하였다. 아울러, 작은 규모의 희소 보상 데이터셋에서 후기 학습 단계에 진입할 때 과최적화(over-optimization)로 인해 성능이 저하될 수 있음도 명시하였다.

요약하자면, RTPO는 다중 턴 에이전트 RL의 구조적 불안정성에 대한 통합된 솔루션을 제공하며, 역순 턴 정식화를 통해 컨텍스트 불일치와 신용 할당의 근본 원인을 해결함으로써 우수한 성능과 안정성을 입증하였다.