🤖 AI

Agent-G $^2$ : Gaussian Guidance for Agentic Reinforcement Learning

Agent-G $^2$ 는 온라인으로 추정된 가우시안 분포로부터 샘플링함으로써 힌트 기반 가이드 깊이를 최적화하는 새로운 강화 학습 프레임워크로, 이를 통해 기존의 결정론적 및 프로빙 기반 방식보다 에이전트 작업에서 우수한 성능을 보이면서도 계산 비용을 크게 절감한다.

원저자: Zixuan Wang, Yanrui Miao, Zhengxi Lu, Teng Pan, Yiwen Qiu, Hongxing Li, Peng Qiu, Ruiqing Zhang, Yongliang Shen

게시일 2026-08-25

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zixuan Wang, Yanrui Miao, Zhengxi Lu, Teng Pan, Yiwen Qiu, Hongxing Li, Peng Qiu, Ruiqing Zhang, Yongliang Shen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터 프로그램이 집 안을 돌아다니는 로봇이나 웹사이트에서 쇼핑을 하는 가상 에이전트처럼 복잡한 세상을 탐색하는 법을 배우려고 한다고 상상해 보십시오. 이러한 작업들은 종면 성공하거나 실패할 때까지 많은 단계를 거쳐야 하는 긴 결정의 사슬을 필요로 합니다. 핵심적인 문제는 프로그램이 마지막에 도달했을 때 비로소 성공했는지 혹은 실패했는지를 알려주는 신호만을 받는다는 점입니다. 이는 마치 자전거 타기를 배울 때, 중간에 핸들을 제대로 조절하고 있었는지에 대한 피드백 없이 1마일을 이동한 후에야 "잘했어" 또는 "넘어졌어"라는 말만 듣는 것과 같아서 학습을 매우 어렵게 만듭니다. 프로그램이 학습하는 것을 돕기 위해, 연구자들은 각 시도의 시작 부분에 전문가가 지나간 완벽한 경로의 짧은 조각(snippet)을 '힌트'로 제공하는 방법을 시도해 왔습니다. 이는 프로그램에게 출발점을 제공하여 남은 단계들을 학습할 수 있도록 도와줍니다. 하지만 문제는 그 전문가의 경로를 얼마나 많이 보여주어야 하는가 하는 것입니다. 너무 적게 보여주면 프로그램은 여전히 길을 잃게 되고, 너무 많이 보여주면 새로운 것을 배우지 못한 채 단순히 전문가를 모방하기만 하게 됩니다.

오랫동안 연구자들은 이 질문을 모든 작업에 적용되는 하나의 완벽한 도움 양이 존재하는 것처럼 취급했거나, 다양한 도움 수준을 테스트하기 위해 많은 비용이 드는 추가 연습 라운드를 실행하여 각 특정 작업에 맞는 적절한 양을 추측하려고 노력했습니다. 저장강원대학교와 바이두(Baidu) 연구팀의 새로운 연구는 두 가지 접근 방식 모두가 목표를 놓치고 있다고 제안합니다. 연구진은 '도움의 최적점'이 하나의 정밀한 지점이 아니라 하나의 범위라는 것을 발견했습니다. 어떤 주어진 작업에 대해서도 잘 작동하는 도움의 양은 다양한 범위를 가지고 있으며, 이 범위는 작업의 난이도에 따라 달라집니다. 연구진은 정확한 하나의 숫자를 찾아내는 대신, 도움의 적절한 양을 학습 과정에 따라 변화하는 유연한 범위로 다루는 방법을 개발했습니다. 그들은 이 시스템을 Agent-G2라고 부릅니다.

연구진은 두 가지 도전적인 환경에서 이 아이디어를 테스트했습니다. 하나는 에이전트가 물건을 집거나 청소하는 등의 가사 노동을 완수해야 하는 텍스트 기반 세계이고, 다른 하나는 에이전트가 특정 품목을 검색하고 구매해야 하는 시뮬레이션된 온라인 상점입니다. 그들은 이 에이전트들의 두뇌로 언어 모델을 사용했습니다. 실험을 통해, 그들은 가장 효과적인 도움의 양이 이상적인 지점을 중심으로 종 모양의 곡선(bell-shaped curve)을 형성한다는 것을 발견했습니다. 이는 어려운 작업의 경우 넓은 범위의 도움 수준이 작동할 수 있는 반면, 쉬운 작업의 경우에는 그 범위가 더 좁을 수 있음을 의미합니다. 결정적으로, 연구진은 작업의 난이도가 전문가 경로의 길이와 밀접하게 연관되어 있다는 것을 발견했습니다. 20단계를 요구하는 작업은 일반적으로 2단계를 요구하는 작업보다 어렵습니다.

적절한 도움 수준을 찾는 데 시간을 낭비하지 않기 위해, Agent-G2는 작업들을 그 길이에 따라 그룹화한 다음, 현재의 연습 라운드 결과를 사용하여 다음 라운드의 도움을 조정합니다. 만약 짧은 작업 그룹이 너무 쉽게 성공하고 있다면, 시스템은 자동으로 그들에게 주어지는 도움을 줄입니다. 만약 긴 작업들이 실패하고 있다면, 도움을 늘립니다. 시스템은 각 그룹에 대한 중심점과 퍼짐 정도(spread)를 계산함으로써 이 작업을 수행하며, 본질적으로 학습이 일어나야 할 위치에 대한 동적인 지도를 생성합니다. 그런 다음 각 새로운 시도를 위해 그 지도에서 특정 도움 양을 무작위로 선택합니다. 이 접근 방식은 다양한 출발점을 동시에 탐색할 수 있게 하여, 추가적인 테스트를 실행하여 설정을 알아낼 필요 없이 쉬운 작업과 어려운 작업 모두에 적절한 추진력을 제공합니다.

결과는 놀라웠습니다. 가사 작업 환경에서, 이 새로운 방법은 더 작은 모델에서 95.3퍼센트, 더 큰 모델에서 98.4퍼센트의 성공률을 달enc했습니다. 이는 힌트를 사용하는 기존의 강력한 방법들과 힌트 없이 학습하려는 방법들보다 뛰어난 성과였습니다. 무엇보다도, 새로운 방법은 각 작업에 맞는 도움 수준을 추측하기 위해 개별적으로 많은 추가 연습 라운드를 실행해야 했던 이전의 최선책들보다 훨씬 적은 컴퓨터 자원을 사용하여 이러한 결과를 달성했습니다. 새로운 시스템은 에이전트를 개선하기 위해 이미 수집하고 있는 데이터를 사용하여 실시간으로 적절한 설정을 학습했습니다.

이 연구는 또한 시스템이 다양한 크기의 컴퓨터 모델에서도 잘 작동함을 보여주었으며, 이는 도움을 전달하는 방식이 학습하는 두뇌의 크기만큼 중요하다는 것을 증명합니다. 실제로, 이 스마트한 가이드 시스템을 사용하는 작은 모델이 오래되고 덜 정교한 방법을 사용하는 훨씬 더 큰 모델보다 더 나은 성능을 보였습니다. 연구진은 자신들의 방법이 모든 작업에 대해 완벽한 예시 경로를 사용할 수 있어야 한다는 점에 주목했습니다. 만약 그러한 완벽한 경로가 존재하지 않는다면, 이 시스템을 직접 사용할 수 없습니다. 그러나 전문가가 올바른 경로를 시연할 수 있는 많은 현실 세계의 문제들에서, 이 방식은 인공지서가 단순히 보는 것을 복제하는 것이 아니라 자신의 실수로부터 배우는 법을 가르치는 강력한 방법이 됩니다. 적절한 안내를 고정된 숫자가 아닌 유연한 범위로 취급함으로써, 연구자들은 기계가 복잡하고 장기적인 목표를 마스터하도록 돕는 더 효율적이고 견고한 방법을 찾아냈습니다.

기술 요약: Agent-G2: 에이전트 강화 학습을 위한 가우시안 가이던스 (Gaussian Guidance for Agentic Reinforcement Learning)

1. 문제 정의

대규모 언어 모델(LLM) 에이전트를 위한 강화 학습(RL)은 장기 의사결정 과제(long-horizon decision-making tasks)에서 핵심적인 과제인 보상 희소성(reward sparsity) 문제에 직면해 있습니다. 웹 네비게이션이나 체화된 제어(embodied control)와 같은 환경에서, 에이전트는 수십 번의 연속적인 결정 후에 종료 상태에서만 이진 성공 신호를 받는 경우가 많습니다. 결과적으로, 초기 상태로부터 시작하는 온-폴리시(on-policy) 탐색은 성공적인 종료 상태에 도달하기 매우 어렵습니다. 이는 GRPO(Group Relative Policy Optimization)와 같은 학습 알고리즘에서 "어드밴티지 붕괴(advantage collapse)"를 초래합니다.

**힌트 기반 RL(Hint-based RL)**은 각 롤아웃(rollout) 전에 전문가 궤적(expert trajectory)의 접두사(prefix)를 유지함으로써 이를 완화하려고 시도하며, 이를 통해 정책이 성공에 더 가까운 상태에서 탐색할 수 있도록 합니다. 그러나 이 방식의 효과는 가이던스 깊이(guidance depth, $d$ ), 즉 유지할 전문가 궤적의 비율에 달려 있습니다.

가이던스가 너무 적으면: 정책이 너무 일찍 시작되어 성공적인 롤아웃이 거의 발생하지 않습니다.
가이던스가 너무 많으면: 보상이 포화되어 효과적인 어드밴티지 추정에 필요한 대비(contrast)가 사라집니다.

기존 방법들은 이 깊이를 **결정론적 스칼라(deterministic scalar)**로 취급하여 다음과 같은 두 가지 차선의 패러다임을 따릅니다:

스케줄 기반 방법(Schedule-based methods): 모든 샘플에 대해 단일 깊이 값을 공유합니다(예: 학습 단계에 따라). 이는 배치 내의 작업들이 서로 다른 난이도(예: 2단계 작업 vs. 20단계 작업)를 가질 수 있다는 작업 간 이질성을 무시합니다.
개별 샘플 프로빙 방법(Per-sample probing methods): 이진 탐색이나 열거법을 통해 각 샘플에 대한 최적의 깊이를 추정합니다. 더 정확하지만, 높은 계산 비용( $O(\log n)$ 또는 샘플당 $N \times$ 추가 롤아웃 필요)이 발생하며 제한된 롤아웃 예산 하에서는 노이즈를 유발합니다.

저자들은 이러한 접근 방식에서 근본적인 구조적 불일치를 발견했습니다. 즉, 기존 방식들은 각 작업마다 단 하나의 최적의 깊이가 존재한다고 가정합니다. 그러나 경험적 분석 결과, 유용한 가이던스는 최적점 주변의 특정 "대역(band)"을 점유하며, 그 정보성 프로필(informativeness profile)은 대략 가우시안 분포를 따른다는 것이 밝혀졌습니다.

2. 방법론: Agent-G2

저자들은 가이던스 깊이를 스칼라가 아닌 태스크별 가우시안 분포( $N(\mu_i, \sigma_i^2)$ )로 모델링하는 가우시안 가이던스 프레임워크인 Agent-G2를 제안합니다. 이 분포는 추가적인 프로브 롤아웃이나 학습된 깊이 예측기 없이, 정책 최적화 과정 중에 수집된 롤아웃 통계로부터 온라인으로 추정됩니다.

핵심 구성 요소

오프라인 클러스터링(Offline Clustering):
작업들을 전문가 궤적 길이(난이도의 대리 지표)를 기준으로 $K$ 개의 클러스터로 분할합니다. 이를 통해 시스템은 서로 다른 난이도 수준에 대해 별도의 통계를 유지함으로써 이질성을 처리할 수 있습니다.
적응형 가우시안 스케줄(Adaptive Gaussian Schedule):
클러스터 $k$ 에 속한 각 작업 $i$ 에 대해, 파라미터 $\mu_i$ (중심)와 $\sigma_i$ (확산)는 동적으로 계산됩니다:
- 글로벌 베이스라인( $\mu_{global}$ ): 전반적인 정책의 진척도를 추적합니다. 이는 배치 성공률( $acc_B$ )이 타겟 성공률( $p_{target} = 0.5$ , 즉 '막 배울 수 있는' 단계)에 비해 어떻게 변하는지에 따라 조정됩니다.
- 클러스터 통계: 각 클러스터 $k$ 에 대해, 시스템은 경험적 성공률( $A_k$ )과 분산( $V_k$ )의 지수 이동 평균(EMA)을 유지합니다.
- 파라미터 계산:
  - $\mu_i = \text{clip}(\mu_{global} + \lambda(p_{target} - A_k), 0, 1)$ : 글로벌 베이스라인 대비 클러스터의 난이도에 따라 중심을 조정합니다.
  - $\sigma_i = \max(\gamma V_k, \sigma_{min})$ : 클러스터 내의 분산을 기반으로 확산 정도를 설정하여, 이질적인 작업들에 대해 넓은 커버리지를 보장합니다.
샘플링 및 롤아웃(Sampling and Rollout):
각 작업에 대해 가이던스 비율 $r_i$ 를 $N(\mu_i, \sigma_i^2)$ 에서 샘플링하고 $[0, 1]$ 범위로 클리핑합니다. 이는 접두사 길이 $n_i$ 를 결정합니다. 에이전트는 전문가 접두사를 실행하여 상태 $s_i$ 에 도달한 후, $s_i$ 로부터 $R$ 번의 독립적인 롤아웃을 수행합니다.
학습 루프(Training Loop):
- 정책 업데이트: 정책은 GRPO 손실( $R$ 번의 롤아웃에 대해)과 샘플링된 전문가 접두사에 대한 보조 손실( $L_{aux}$ , 모방 학습)의 조합을 사용하여 업데이트됩니다.
- 스케줄 업데이트: 정책 업데이트에 사용된 동일한 롤아웃이 다음 배치를 위해 글로벌 베이스라인과 클러스터 통계( $A_k, V_k$ )를 갱신합니다. 이는 가이던스 분포가 정책의 능력과 함께 진화하는 폐쇄 루프(closed-loop) 시스템을 형성합니다.

3. 주요 기여

구조적 통찰: 본 논문은 유용한 가이던스 깊이가 단일 지점이 아닌 **대역(band)**을 형성함을 밝혀냈습니다. 이 대역 내의 학습 신호 프로필은 단봉형(unimodal)이며 대칭적이고, 가우시안 분포에 잘 부합합니다. 이는 공유 깊이 스케줄러(구조적 불일치)와 개별 샘플 프로빙(노이즈/비용 트레이드오프)의 실패 원인을 설명합니다.
Agent-G2 프레임워크: 글로벌-로컬 분해를 사용하여 온라인으로 태스크별 깊이 분포를 추정하는 새로운 프레임워크입니다. 추가적인 프로브 롤아웃이나 보조 네트워크 없이도 태스크별 깊이 변화를 달성합니다.
경험적 우월성: Qwen2.5-1.5B 및 7B 모델을 사용하여 ALFWorld와 WebShop에서 광범한 평가를 수행한 결과, Agent-G2는 프로빙 방식의 롤아웃 비용보다 1/3 미만의 비용으로 작동하면서도 기존의 최첨단 베이스라인(힌트 기반, 힌트 프리, 보조 RL 방식 포함)을 능가하는 성능을 보여주었습니다.

4. 실험 결과

ALFWorld: Agent-G2는 1.5B 모델에서 95.3%, 7B 모델에서 **98.4%**의 성공률을 달성했습니다. 이는 가장 강력한 힌트 기반 및 힌트 프리 베이스라인보다 각각 +2.3 및 +3.9 포인트 향상된 수치입니다.
WebShop: Agent-G1은 92.3의 보상 점수와 **84.4%**의 구매 성공률(7B 모델)을 기록하며, 모든 비-프로빙 베이스라인을 앞질렀습니다.
효율성: Agent-G2는 단순 스케줄 기반 방법과 비교했을 때 약간의 단계당 오버헤드가 있지만, 추가 롤아웃을 피함으로써 프로빙 기반 방법(이진 탐색, 열거법)보다 훨씬 빠릅니다(3.24배~4.83배 빠름).
절제 연구(Ablation Studies):
- 확률적 샘플링을 제거하고 (평균 $\mu_i$ 만 사용)했을 때 성능이 5.5 포인트 하락하여, 정보성 대역을 커버하는 것의 필요성을 확인했습니다.
- 클러스터별 적응을 제거했을 때( $K=1$ ) 성능이 6.2 포인트 하락하여, 작업 이질성을 처리하는 것의 중요성을 강조했습니다.
- 보조 손실( $L_{aux}$ )은 안정성을 제공했지만(+8.6 포인트), 주요 성능 동력은 아니었습니다. 접두사 이후의 상태에서 수행되는 GRPO 학습이 결정적이었습니다.

5. 의의 및 주장

본 논문은 Agent-G2가 가이던스 깊이를 정적인 결정론적 하이퍼파라미터가 아닌 동적인 확률 변수로 취급하는 패러다임의 전환을 나타낸다고 주장합니다. 단일 지점이 아닌 유용한 가이던스의 "이웃(neighborhood)"을 모델링함으로써, 이 방법은 장기 과제에서 탐색과 활용 사이의 균형을 효과적으로 맞춥니다.

저자들은 스케줄 설계가 백본 스케일링을 대체할 수 있음을 강조합니다. 특히, Agent-G2를 적용한 1.5B 모델이 7B BEACON 베이스라인을 능가했다는 점은 지능적인 가이던스 전략이 제한된 모델 용량을 보완할 수 있음을 시사합니다.

인정된 한계점:

이 방법은 태스크당 하나의 전문가 궤적이 필요하며, 그러한 데이터가 없는 곳에는 직접 적용할 수 없습니다.
가우시안 파라미터화는 경험적으로 도출된 것입니다. 다봉형(multimodal)이거나 편향이 심한 깊이 프로필을 가진 작업에는 더 풍부한 분포가 필요할 수 있습니다.
난이도 클러스터링은 현재 오프라인 궤적 길이에 기반하고 있으며, 온라인 난이도 추정이 향후 연구 방향이 될 수 있습니다.

요약하자면, Agent-G2는 가이던스 깊이의 통계적 구조를 활용하여 값비싼 프로빙 없이도 실시간으로 작업 이질성에 적응함으로써, 에이전트 RL의 보상 희소성 문제를 해결하는 비용 효율적이고 확장 가능한 솔루션을 제공합니다.