🤖 machine learning

Agentic Reinforcement Learning with Self-Distilled Reward Shaping

이 논문은 교사 신뢰도와 실현된 보상에 의해 공동으로 보정 및 게이팅되는 자기 증류된 특권 기술 신호를 통해 보상과 연관된 토큰 수준의 크레딧을 생성함으로써 장기 의사결정 언어 에이전트의 성능을 향상시키는 자기 증류 보상 형성 기반 에이전트 강화 학습(ADRS) 프레임워크를 소개한다.

원저자: Ranxu Zhang, Guinan Chen, Chenshaodong, Jinghao Lin, Xiaozhou Xu, Sunzhe, Yanyong Zhang, Chao Wang

게시일 2026-08-05

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ranxu Zhang, Guinan Chen, Chenshaodong, Jinghao Lin, Xiaozhou Xu, Sunzhe, Yanyong Zhang, Chao Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 거대하고 지저분한 집 안을 탐색하여 따뜻한 차 한 잔 같은 특정 물건을 찾는 법을 가르치고 있다고 상상해 보십시오. 단순히 로봇이 마침내 차를 찾았을 때만 "잘했어!"라고 말할 수는 없습니다. 그렇게 너무 늦게까지 기다린다면, 로봇은 어떤 구체적인 단계가 도움이 되었는지 알 수 없을 것입니다. 올바른 문을 열었던 것일까요? 올바른 머그잔을 집었던 것일까요? 아니 아니면 그저 운 좋게 성공하기 전까지 10분 동안 정처 없이 헤매돌았던 것일까요? 이것이 바로 **강화 학습(Reinforcement Learning)**의 핵심적인 퍼즐입니다. 즉, 최종적인 보상이 드물고 멀리 떨어져 있을 때, 어떻게 하면 큰 성공으로 이어지는 작고 중간적인 결정들에 공로를 돌릴 수 있는가 하는 문제입니다.

이를 해결하기 위해 과학자들은 종-종 **자기 증류(Self-Distillation)**라는 기법을 사용합니다. 이것은 마치 학생이 시험을 치른 직후, 동일한 학생이 엄격한 선생님이 되어 자신의 답안을 채점하는 것과 같습니다. 이 "선생님" 버전은 시험을 치르는 동안에는 갖지 못했던 특별한 참조 시트("특권 정보"라고 불리는)를 가지고 있습니다. 학생이 한 행동과 참조 시트를 가진 선생님이 했을 법한 행동을 비교함으로써, 우리는 어떤 움직임이 영리했고 어떤 움직임이 운이었는지를 파악할 수 있습니다. 하지만 여기에는 함정이 있습니다. 선생님이 어떤 답이 "좋다"고 생각한다고 해서 그것이 반드시 올바른 결과로 이어졌음을 의미하는 것은 아닙니다. 선생님은 확신에 차 있지만 틀렸을 수도 있고, 혹은 확신이 없지만 올바른 길을 가고 있을 수도 있습니다.

이 지점에서 중국과학기술대학교와 알리바바 그룹의 연구진이 발표한 새로운 연구가 등장합니다. 그들은 그 "선생님의 확신"을 어떻게 하면 로봇이 실제 게임을 하는 동안에는 참조 시트를 전혀 사용하지 않으면서도, 다음 동작을 위한 신뢰할 수 있는 가이드로 바꿀 수 있는지에 대한 문제를 다루었습니다. 그들은 이 새로운 방법을 ADRS(Agentic Reinforcement Learning with Self-Distilled Reward Shaping)라고 부릅니다.

연구진은 단순히 선생님의 점수를 그대로 복사하는 것이 효과적이지 않다는 것을 발견했습니다. 왜냐하면 선생님의 확신은 오해를 불러일으킬 수 있기 때문입니다. 때로는 선생님이 실패로 이어지는 움직임에 대해 매우 확신할 수도 있고, 성공으로 이어지는 움직임에 대해 확신이 없을 수도 있습니다. 이를 해결하기 위해 ADRS는 스마트한 필터 역할을 합니다. 먼저, 과업의 서로 다른 부분들 사이에서 공정하게 비교할 수 있도록 선생님의 점수를 정규화합니다. 그다음, 선생님의 확신이 실제로 최종 결과와 일치하는지 확인합니다(확신에 찬 움직임이 승리로 이어졌는가?). 만약 확신과 결과가 일치한다면 그 움직임의 점수를 높이고, 만약 서로 어긋난다면 그 신호를 약화시킵니다. 마지막으로, 이 정제된 신호를 로봇이 다음 행동을 결정하기 전, 로봇의 학습 과정에 직접 주입합니다.

결과는 이 방법이 상당히 효과적임을 시사합니다. 가상 가옥 탐색, 시뮬레이션된 웹사이트에서의 쇼핑, 그리고 온라인 정보 검색이라는 세 가지 도전적인 과업에서 테스트했을 때, ADRS는 AI 에이전트들이 특히 길고 복잡한 과업을 수행할 때 지속적으로 더 나은 성과를 내도록 도왔습니다. 예를 들어, 가옥 탐색 과업에서 이 방법은 특정 AI 모델이 이전의 최고 기록들을 상당한 차이로 앞지르며 94.5%의 성공률을 달ert하도록 도왔습니다. 또한 연구는 이 AI가 평소보다 적은 학습 데이터만을 사용하여 이러한 기술을 습득할 수 있었으며, 과업이 약간 달라지거나 어려워지더라도 여전히 잘 수행할 수 있음을 보여주었습니다. 결정적으로, 연구진은 AI가 실제 게임 중에는 "참조 시트"가 필요하지 않다는 것을 입증했습니다. 그것은 단지 더 나은 결정을 내리는 법을 배우기 위한 훈련 단계에서만 필요했습니다. 이는 우리가 실세계의 결과에 기반하여 "선생님"의 의견을 얼마나 신뢰할지 주의 깊게 조정함으로써, AI 에이전트가 복잡하고 다단계적인 문제를 훨씬 더 신뢰할 수 있고 효율적으로 해결하도록 가르칠 수 있음을 시사합니다.

기술 요약: 자기 증류 보상 형성(ADRS)을 통한 에이전트 강화 학습

문제 정의

에이전트 강화 학습(Agentic RL)은 LLM 에이전트가 환경과의 상호작용을 통해 학습할 수 있게 합니다. 그러나 표준적인 에이전트 RL은 일반적으로 희소한 궤적 수준의 최종 보상(terminal rewards)에 의존합니다. 이러한 보상은 궤적이 성공했는지 여부는 나타내지만, 어떤 중간 결정(쿼리 또는 행동)이 공로를 인정받아야 하는지는 식별하지 못합니다. 이러한 희소성은 GRPO나 GiGPO와 같은 크리틱 프리(critic-free) 그룹 상대적 방법론에서도 토큰 수준의 시간적 신용 할당(temporal credit assignment)을 어렵게 만듭니다.

자연어 기술(예: 하위 목표, 행동 규칙)과 같은 자연어 스킬은 더 조밀한 가이드를 제공할 수 있지만, 기존 방법론들은 이 정보를 효과적으로 통합하는 데 어려움을 겪습니다. 구체적으로, 현재의 접근 방식들은 "특권적(privileged)" 정보(학습 중에만 사용 가능한 스킬)를 사용할 때 세 가지 기술적 과제에 직면합니다:

점수 보정(Score Calibration): 원시 교사 로그 확률(teacher log-probabilities)은 컨텍스트 길이와 응답 구성에 따라 상호작용 단계마다 오프셋과 스케일이 달라지므로 서로 비교할 수 없습니다.
신뢰성 추정(Reliability Estimation): 높은 교사 확신도가 반드시 더 높은 실현 수익(realized returns)과 상관관계를 갖는 것은 아닙니다. 교사는 언어적으로 전형적인 결정을 선호할 수 있지만, 그 결정이 작업 결과 달성에 실패할 수도 있습니다.
신용 통합(Credit Integration): 기존 방법들은 특권적 감독을 별도의 보조 목적 함수로 취급하는 경우가 많으며, 이는 토큰 수준의 업데이트를 RL 백본의 고유한 보상-대 이득(reward-to-advantage) 구축 방식과 어긋나게 만들 수 있습니다.

방법론: ADRS 프레임워크

저자들은 **자기 증류 보상 형성(ADRS)**을 제안합니다. 이는 롤아웃이나 추론 시에는 스킬을 요구하지 않으면서, 작업에 부합하는 절차적 스킬을 수익과 연관된 토큰 수준 보상으로 변환하는 프레임워크입니다. ADRS는 궤적 수집과 액터 최적화 사이의 신용 구축 레이어로 작동하며, 다음 세 가지 모듈을 통해 앞서 언급한 세 가지 문제를 해결합니다:

1. 단계 내 상대적 특권 점수 산출 (점수 보정)

단계 간 점수의 비교 불가능성을 해결하기 위해, ADRS는 특권적 컨텍스트(작업 매칭 스킬) 하에서의 동결된 정책 스냅샷을 사용하여 학생이 생성한 토큰을 재점수화합니다. 그 후 단계 내 중심화 및 스케일 정규화를 적용합니다:

특정 상호작용 단계 내에서 특권적 점수의 평균 로그 확률( $b_s$ )을 계산합니다.
각 토크의 평균으로부터의 부호 있는 편차( $q_{s,j}$ )를 계산합니다.
단계 내 편차의 표준 편차( $\sigma_q$ )로 정규화합니다.
이를 통해 결정 단계 내에서의 상대적 토큰 선호도를 나타내는 중심화되고 스케일이 제어된 점수( $\hat{q}_{s,j}$ )를 얻으며, 이는 단계 의존적인 드리프트를 억제하면서도 후속 신뢰성 추정을 위한 원시 점수를 유지합니다.

2. 수익 연관 TVA 신뢰성 게이팅 (신뢰성 추정)

특권 신호가 실제 작업 성공과 일치하도록 하기 위해, ADRS는 교사 가치 이득(Teacher Value Advantage, TVA) 게이트를 도입합니다. 이 게이트는 비교 그룹(예: GRPO의 동일 프롬프트에 대한 궤적, 또는 GiGPO의 앵커 상태) 내에서 특권적 확신도와 실현 수익 사이의 연관성을 바탕으로 정규화된 신호를 조절합니다.

각 단위(궤적 또는 단계)에 대해 평균 특권 로그 확률을 기반으로 부드러운 고확신 가중치( $\alpha_u$ )를 계산합니다.
고확신 단위의 수익( $\mu^+_g$ )을 저확신 단위의 수익( $\mu^-_g$ )과 대조합니다.
그 차이( $d_g$ )는 스칼라 게이트( $m_u$ ) 역할을 합니다. 만약 높은 확신도가 높은 수익과 상관관계가 있다면 게이트는 신호를 증폭하고, 그렇지 않다면 신호를 억제합니다.
명제 1은 TVA 게이트의 부호가 그룹 내 특권적 확신도와 수익 사이의 경험적 공분산에 대응함을 입증합니다.

3. 교사 유도 per-token 이득 조절 (신용 통합)

별도의 보조 손실을 사용하는 대신, ADRS는 게이트가 적용된 신호를 이득 구축 전의 고유 보상-대 이득 경로에 통합합니다.

교사 보상: 게이트가 적용된 정규화된 점수는 토큰 수준 보상( $r^T_{s,j} = \eta m_{s,j} \hat{q}_{s,j}$ )으로 변환됩니다.
형성된 보상: 이는 기본 환경 보상에 더해집니다 ( $\tilde{r}_{s,j} = r^{base}_{s,j} + r^T_{s,j}$ ).
이득 구축: 형성된 보상은 표준 이득 연산자(예: GRPO 또는 GiGPO)를 통과합니다.
이중 경로: 단계 중심적 교사 보상의 합이 0이 되기 때문에(명제 2), 궤적 수준의 합은 변하지 않고 환경이 정의한 결과 방향을 보존합니다. 그러나 토큰 수준의 이득은 재분배되어( $A^{ADRS} = A^{traj} + \eta Z^T$ ), 정책이 성공적인 궤적 내의 어떤 특정 토큰이 가장 중요했는지 학습할 수 있게 합니다.

주요 기여

ADRS 프레임워크: 훈련 중에만 사용 가능한 절차적 스킬을 수익과 연관된 토큰 보상으로 변환하는 자기 증류 보상 형성 방법입니다. 이는 롤아웃 및 추론 시 스킬 없이도 작동하며, 단계 내 점수 보정과 TVA 게이팅을 독특하게 결합합니다.
고유 통합: 저자들은 게이트가 적용된 신호를 별도의 보조 목적 함수가 아닌, **사전 이득 보상 형성(pre-advantage reward shaping)**으로 공식화하여 특권적 가이드를 RL의 고유한 신용 구축에 직접 통합했습니다. 또한 GRPO/GiGPO와의 호환성 및 샘플링된 토큰 보조 업데이트와의 국소적 1차 동등성을 규명했습니다.
실험적 검증: 세 가지 대화형 벤치마크(ALFWorld, Search-based QA, WebShop)에 대한 광범위한 실험을 통해 일관된 성능 향상을 입증했습니다.

실험 결과

논문은 Qwen2.5 (3B, 7B) 및 Qwen3 (1.7B) 모델을 사용하여 세 가지 벤치마크에서 ADRS를 평가합니다:

최첨단 성능: ADRS는 세 가지 벤치마크 모두에서 새로운 SOTA 결과를 달나합니다. 예를 들어, Qwen2.5-3B의 경우 ALFWorld에서 94.5%의 성공률을 달성했습니다(가장 강력한 베이스라인보다 10.1% 포인트 향상). Search-based QA에서는 45.0%의 매크로 평균을 기록했습니다.
장기 궤적 작업: ADRS는 장기 절차적 작업(ALFWorld)에서 특히 강점을 보이며, 확장된 훈련(300 스텝)과 다양한 RL 백본(GRPO 및 GiGPO) 전반에 걸쳐 성능 향상을 유지합니다.
데이터 효율성: ADRS는 사용 가능한 훈련 데이터의 60%만을 사용하여 전체 데이터 GRPO 베이스라인을 능가합니다.
일반화: ADRS는 ALFWorld의 미학습 작업 분할(unseen task splits)에도 효과적으로 전이되어 대부분의 카테고리에서 성공률을 높입니다.
메커니즘 분석: 진단 분석 결과, ADRS는 업데이트 대비를 작업 수행 행동 및 객체 토큰에 집중시켜 일반적인 스타일 토큰과 분리하며, 이것이 장기 상호작용에서의 효능을 설명합니다.

의의 및 주장

본 논문은 ADRS가 에이전트 RL에서 중간 결정에 신용을 할당하는 근본적인 문제를 성공적으로 해결한다고 주장합니다. 훈련 전용 특권 지식을 보정 가능하고(비교 가능), 신뢰할 수 있으며(수익과 연관됨), 통합된(RL 목적 함수에 고유함) 신호로 변환함으로써, ADRS는 에이전트가 희소한 피드백으로부터 더 효과적으로 학습할 수 있게 합니다.

저자들은 ADRS가 추론 시 특권 정보를 요구하지 않으므로, 스킬 가이드 훈련으로부터 학습된 스킬 프리(skill-free) 에이전트를 배포하는 데 실용적인 프레임워크임을 강조합니다. 결과는 훈련 전용 절차적 지식이 어떻게 토큰 수준의 신용으로 효과적으로 변환되어 네이티브 보상-대 이득 구축에 직접 통합될 수 있는지를 보여주며, 다회차 언어 에이전트를 개선하는 강력한 경로를 제시합니다.