🤖 AI

Agentic-DPO: From Imitation to Agentic Policy Optimization on Expert Trajectories

Agentic-DPO는 전문가 궤적을 상태 조건부 행동 선호도로 변환하여 LLM 에이전트가 단순한 모방을 넘어 최적의 의사결정을 학습할 수 있도록 하는 경량 오프라인 정책 최적화 방법으로, 환경 롤아웃이나 보상 모델을 필요로 하지 않으면서도 온라인 강화 학습에 필적하는 성능을 달성합니다.

원저자: Yixiong Chen, Alan Yuille

게시일 2026-07-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yixiong Chen, Alan Yuille

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇 집사에게 지저분한 방을 청소하는 법을 가르치고 있다고 상상해 보세요. **지도 미세 조정(Supervised Fine-Tuning, SFT)**이라 불리는 기존 방식은, 로봇에게 인간이 청소하는 영상을 보여주며 "보는 대로 똑같이 따라 해"라고 말하는 것과 같습니다. 로봇은 양말을 집어 들고, 빨래 바구니에 넣고, 빗자루를 잡는 식의 동작 순서를 모방하는 법을 배웁니다. 하지만 여기에는 함정이 있습니다. 로봇은 왜 그런 동작들이 선택되었는지 그 이유를 실제로 배우지는 못한다는 점입니다. 만약 양말이 사실은 쓰레기였다 하더라도, 로봇은 단지 영상을 복사하고 있을 뿐이기에 그 실수를 인지하고 생각하는 것이 아니라 그냥 양말을 집어 들 것입니다.

이 논문은 이를 해결하기 위해 Agentic-DPO라는 더 가벼운 새로운 방법을 소개합니다. 단순히 복사하는 대신, 이 방법은 훈련 데이터를 로봇이 자신의 잠재적인 실수를 스스로 포착할 수 있는 "선택형 모험(Choose Your Own Adventure)" 게임으로 바꿉니다.

핵심 아이디어: "그냥 복사하지 말고, 비교하라"

저자들은 전문가의 경로를 단순히 암기해야 할 하나의 텍스트 선으로 취급하는 대신, 모든 단계를 하나의 결정 지점으로 보아야 한다고 제안합니다. 어느 순간이든 로봇은 전문가의 올바른 동작을 선택할 수도 있고, 혹은 "그럴듯한 실수"를 선택할 수도 있습니다.

Agentic-DPO는 다음과 같이 작동합니다:

설정: 전문가의 이력 중 특정 순간(상태)을 로봇에게 보여줍니다.
테스트: 로봇에게 묻습니다. "지금 당신이라면 무엇을 하겠습니까?"
비교: 만약 로봇이 전문가와 다른 행동을 제안한다면, 하나의 쌍을 만듭니다: "전문가의 동작 (좋음)" 대 "로봇의 추측 (나쁨)".
교훈: 로봇이 자신의 실수보다 전문가의 동작을 선호하도록 가르칩니다.

이는 거대한 변화입니다. 논문은 기존 방식들이 단순히 복사하거나(SFT), 혹은 강화 학습(Reinforcement Learning)을 통해 실제 환경에서 게임을 반복해서 플레이하며 배우려 했다고 지적합니다. 하지만 강화 학습은 느리고 비용이 많이 들며 복잡한 채점 시스템이 필요합니다. Agentic-DPO는 게임을 실제로 플레이하거나 매 동작마다 인간 심판을 고용하지 않고도 실수를 통해 배울 수 있는 이점을 얻을 수 있다고 제안합니다.

"마법의 기술": 규칙을 명확하게 유지하기

로봇을 가르칠 때 까다로운 문제가 하나 있습니다. 로봇이 의미가 아니라 표현 방식에 혼동을 느낄 수 있다는 점입니다. 예를 들어, 로봇에게 "도구를 호출하라"고 요청할 때 이것이 call_tool()로 쓰일 수도 있고, {"tool": "call"}로 쓰일 수도 있습니다. 만약 로봇이 전문가의 텍스트 형식을 그대로 선호하도록 학습한다면, 형식이 바뀌었을 때 실패하게 됩니다.

이를 해결하기 위해 저자들은 **정책 보존 증강(Policy-Preserving Augmentation, PPA)**이라는 영리한 기법을 도입했습니다. 수학 문제를 푸는 학생을 가르친다고 상상해 보세요. 당신은 같은 문제를 영어로, 스페인어로, 때로는 만화책 스타일로 보여주지만, *풀이 과정(수학)*은 동일하게 유지합니다. PPA는 로봇에게 이와 똑같은 작업을 수행합니다. 핵심 결정은 동일하게 유지하면서 전문가의 행동을 다양한 "방언"이나 형식으로 다시 쓰는 것입니다. 이를 통해 로봇이 특정 단어를 배우는 것이 아니라 선택의 논리를 배우도록 강제합니다.

숫자가 말해주는 것들

저자들은 로봇이 도구, 사용자, 웹사이트와 상호작용하는 세 가지 서로 다른 "놀이터"에서 이 아이디어를 테스트했습니다:

StableToolBench: 도구 사용을 테스트하는 곳.
τ-bench (tau-bench): 로봇이 고객과 대화하는 소매 시뮬레이션.
Mind2Web: 로봇이 실제 웹사이트를 탐색하는 작업.

결과는 Agentic-DPO가 다양한 크기의 모델에 대해 표준적인 "복사" 방식(SFT)을 일관되게 능가했음을 보여줍니다:

τ-bench 소매 작업에서, 90억 개의 파라미터를 가진 모델은 표준 복사 방식의 성공률 **21.7%**에서 Agentic-DPO를 통해 **41.4%**로 뛰어올랐습니다.
StableToolBench에서, 더 작은 20억 개의 파라미터를 가진 모델은 **57.1%**에서 **90.9%**로 향상되었습니다.
Mind2Web에서, 단계별 평균 성공률은 **45.6%**에서 **64.4%**로 증가했습니다.

흥로하게도, 논문은 Agentic-DPO가 훨씬 더 많은 비용이 드는 GRPO 방식(로봇이 학습을 위해 수천 번 실제로 게임을 플레이해야 하는 방식)만큼 성능이 좋았음을 언급합니다. 그런데 Agentic-DPO는 훈련 단계 동안 실제 환경과 전혀 상호작용하지 않고도 이 성과를 냈습니다.

이 방법이 해결하지 "못하는" 것

이 방법이 해결할 수 없다고 명시한 부분도 중요합니다. 논문은 이 방법이 전문가가 보지 못한 새로운 상황을 발견할 수는 없다고 명시적으로 밝힙니다. 이 방법은 오직 전문가가 존재하는 기존의 상태들로부터만 배우기 때문에, 전문가가 한 번도 들어가지 않은 방을 탐험할 수는 없습니다. 이는 일종의 트레이드오프(trade-off)입니다. 즉, 알려진 결정 지점들에 대해서는 매우 잘 작동하는 저렴하고 빠른 훈련 방법을 얻는 대신, 정해진 길을 벗어나 새로운 해결책을 찾아내는 능력은 포기하는 것입니다.

결론

저자들은 전문가의 시연을 매 단계마다 "맞음 vs 틀림"의 선택지로 바꾸고, 논리에 집중하도록 "형식 셔플링(format-shuffling)" 기술(PPA)을 사용함으로써, 이전보다 훨씬 저렴하게 더 똑똑한 에이전트를 훈련할 수 있다고 제안합니다. 이는 로봇을 단순한 앵무새에서, 끝없는 시뮬레이션을 돌리기 위해 수백만 달러의 컴퓨터 자원을 들이지 않고도 자신이 왜 틀릴 수 있는지에 대해 실제로 고민하는 학생으로 업그레이드하는 것과 같습니다.

기술 요약: Agentic-DPO

1. 문제 정의

대규모 언어 모델(LLM) 에이전트는 주로 전문가 궤적(expert trajectories)을 통한 지도 미세 조정(SFT)을 통해 학습됩니다. SFT는 단순하고 비용이 저렴하지만, 멀티 턴 에이전트 행동을 일반적인 텍스트 모방으로 취급합니다. 이러한 접근 방식은 행동 복제(behavior cloning)의 한계를 그대로 물려받습니다. 즉, 모델은 전문가의 토큰 시퀀스를 모방하는 법은 배우지만, 특정 상태에서 직면한 그럴듯한 실수(plausible mistakes)에 대응하여 올바른 행동을 선택하는 방법은 배우지 못합니다.

이를 해결하기 위한 기존 방법들(예: 선호도 학습 또는 강화 학습(RL))은 높은 비용의 환경 롤아웃(rollouts), 보상 모델, 또는 전체 궤적에 대한 학생 모델의 탐색을 요구하는 경우가 많습니다. 또한, 에이전트 행동에 선호도 학습을 나이브하게 적용하는 것은 문제가 될 수 있는데, 액션 문자열이 잠재적 정책 결정(latent policy decision)과 스키마 특유의 렌더링(예: JSON vs ReAct 포맷)을 혼합하기 때문입니다. 제어되지 않을 경우, 모델은 근본적인 결정보다는 렌더링 스타일에 최적화될 수 있습니다.

핵심 과제는 온라인 RL의 계산 오버헤드나 외부 보상 모델 없이도, 에이전트가 자신의 발생 가능한 실수를 피하도록 가르치는 **상태 조건부 액션 선호도(state-conditioned action preferences)**로 전문가 궤적을 변환하는 것입니다.

2. 방법론: Agentic-DPO

저자들은 경량화된 오프라인 에이전트 정책 최적화 방법인 Agentic-DPO를 제안합니다. 이 방법은 전문가 궤적을 동일한 상태에서의 현재 학생 정책으로부터 샘플링된 "그럴듯하게 틀린 액션"과 전문가 액션을 대조함으로써 선호도 감독(preference supervision)으로 변환합니다.

핵심 메커니즘

상태 조건부 선호도 구축:
- 각 궤적의 전문가 단계 $(s_t, u^+_t)$ 에 대해, 이 방법은 전문가 액션을 "선호되는" 선택으로 취급합니다.
- 동일한 상태 $s_t$ 에서 현재 학생 정책( $\pi_{\theta_{student}}$ )으로부터 한 단계의 액션을 샘플링합니다.
- 학생의 샘플링된 액션은 잠재적 결정(latent decision)으로 파싱됩니다. 만약 이것이 전문가 액션과 동일한(동일한 도구/인자) 경우, 이는 폐기됩니다. 만약 이것이 다른 유효한 결정이라면, 이는 "거부된"(rejected) 샘플( $u^-_t$ ) 역할을 합니다.
- 이를 통해 모델이 학생이 저지를 가능성이 높은 특정 실수보다 전문가의 액션을 선호하도록 학습시키는 선호도 트리플 $(s_t, u^+_t, u^-_t)$ 을 생성합니다.
손실 함수:
- 이 방법은 생성된 액션 토큰에 대해서만 최적화되는 DPO 스타일의 손실 함수를 사용합니다.
- 서로 다른 도구나 GUI 상호작용에 따른 가변적인 액션 길이를 처리하기 위해, 긴 액션이 단순히 토큰 수 때문에 그래디언트를 지배하는 것을 방지하는 길이 스케일링 선호도 계수 $\beta_{eff}$ 를 사용합니다.

안정화 전략

모델이 결정 로직이 아닌 표면적인 포맷팅을 최적화하는 것을 방지하고 안정성을 확보하기 위해, Agentic-DPO는 두 가지 핵심 구성 요소를 도입합니다.

SFT 앵커(SFT Anchor):
- 훈련은 학생이 유효한 액션 형식을 이해할 수 있도록 SFT 웜업으로 시작됩니다.
- DPO 훈련 중에는 SFT 단계의 동결된 참조 정책( $\pi_{ref}$ )이 사용됩니다.
- 전체 손실은 DPO 대조 항과 SFT 항의 결합으로 구성됩니다 ( $L_{train} = L_{ADPO} + \lambda L_{SFT}$ ). 이 앵커는 선호도 손실이 전문가 액션의 확률을 너무 공격적으로 억제하여 유효한 구문을 유지하지 못하는 것을 방지합니다.
정책 보존 증강(Policy-Preserving Augmentation, PPA):
- PPA는 동일한 잠재 궤적을 여러 스키마 뷰(예: 도구 이름 변경, ReAct와 JSON 포맷 간 전환, 또는 복구 컨텍스트 주입)로 렌더링합니다.
- 훈련 중에 동일한 잠재 선호 쌍에 대해 서로 다른 뷰 $\phi$ 를 샘플링함으로써, 스키마 특유의 형태와 관련된 그래디언트( $H_\theta$ )를 평균화하여 모델이 잠재적 결정 마진( $G_\theta$ )을 최적화하도록 보장합니다.

훈련 절차

훈련은 "리프레시 라운드(refresh rounds)" 단위로 진행됩니다. 각 라운드에서 현재 학생 정책을 사용하여 전문가 데이터의 일부에 대해 새로운 부정적 액션(negative actions)을 샘플링합니다. 이를 통해 부정적 샘플이 학생의 발전에 따라 진화할 수 있게 하며, 환경 상호작용 없이도 동적인 "하드 네거티브(hard negative)" 신호를 제공합니다.

3. 주요 기여

Agentic-DPO: 온라인 환경 롤아웃이나 보상 모델 없이, 상태-액션 구조를 활용하여 상태 조건부 액션 선호도를 구축하는 경량 오프라인 정책 최적화 방법입니다.
정책 보존 증강(PPA): 액션 수준의 DPO를 안정화하기 위해 잠재 궤적을 여러 스키마로 렌더링하여 스키마 지배적인 선호도 그래디언트를 줄이는 기술입니다.
실증적 검증: Agentic-DPO가 다양한 벤치마크(도구 사용, 장기 궤적 사용자 상호작용, 웹-GUI 그라운딩)와 모델 규모 전반에서 성능을 향상시키며, 표준 SFT를 능가하고 온라인 RL의 성능에 근접함을 입증했습니다.

4. 실험 결과

저자들은 Qwen3.5 모델(2B, 4B, 9B)과 Gemma3-4B를 사용하여 세 가지 벤치마크(StableToolBench (도구 사용), $\tau$ -bench retail (장기 궤적 사용자 인터리브 상호작용), Mind2Web (웹-GUI 그라운딩))에서 Agentic-DPO를 평가했습니다.

성능 향상: Agentic-DPO는 모든 모델 규모에서 SFT 및 기타 베이스라인(PPA+SFT, DFT, ETO, GRPO)을 일관되게 능가했습니다.
- $\tau$ -bench retail에서, Agentic-DPO는 9B 모델의 정확도를 **21.7% (SFT)**에서 **41.4%**로 높였으며, 이는 온라인 GRPO(40.0%)의 성능과 일치하지만 온라인 RL 롤아웃은 필요하지 않았습니다.
- StableToolBench에서, 2B 모델의 성능을 57.1% (SFT)에서 **90.9%**로 개선하여 강력한 베이스라인들을 넘어섰습니다.
- Mind2Web에서, 홀드아웃 분할에 대해 64.4%의 평균 스텝 성공률을 달로했습니다.
효율성: Agentic-DPO는 온라인 RL보다 훨씬 저렴합니다. $\tau$ -bench 기준, SFT 대비 스텝당 벽 시간(wall time)은 1.6배인 반면, GRPO는 멀티 턴 롤아웃으로 인해 13.6배가 소요됩니다.
절제 연구(Ablation Studies):
- SFT 웜업을 제거하면 파서 거부(parser rejection)로 인해 성능이 0.0%로 붕괴되었습니다.
- 훈련 중 SFT 앵커를 제거하면 변동성이 높아지고 정확도가 낮아졌습니다.
- PPA를 제거하면 높은 캐노니컬(canonical) 정확도는 유지되었으나, 캐노니컬과 섭동된(perturbed, OOD) 성능 사이의 격차가 크게 벌어졌습니다. 이는 PPA가 강건성(robustness)에 필수적임을 나타냅니다.
스케일링: 샘플링된 부정적 샘플의 수( $K$ )가 2~4개를 넘어서면 수익 체감 현상이 나타나는데, 이는 주요 이점이 전체 롤out 분포를 근사하는 것이 아니라 하나의 그럴듯한 국소적 실수를 찾는 데서 온다는 것을 시사합니다. 또한 매우 데이터 효율적이어서, 전문가 데이터의 25%만으로도 우수한 성능을 보였습니다.

5. 의의 및 주장

본 논문은 전문가 궤적의 상태-액션 구조를 직접 활용할 때 저비용의 에이전트 정책 최적화가 가능하다는 점을 주장합니다. 전문가 시연을 상태 수준의 액션 선호도로 변환함으로써, Agentic-DPO는 단순 모방(SFT)과 비용이 많이 드는 온라인 강화 학습(RL) 사이의 간극을 메웁니다.

저자들은 Agentic-DPO가 RL의 지배적인 비용(반복적인 전체 궤적 환경 롤아웃 및 보상 모델 훈련) 없이도 "학생 인지적(student-aware)" 훈련 신호를 제공하여, 모델이 자신의 발생 가능한 실수를 피하도록 가르친다는 점을 강조합니다. 비록 전문가 데이터에 존재하는 상태로 제한되는 오프라인 방법이지만(새로운 상태를 탐색할 수 있는 온라인 RL과 달리), 결과는 이 방법이 다양한 상호작용 패러다임 전반에서 에이전트의 의사결정을 개선하는 데 매우 효과적이고 실용적인 접근법임을 보여줍니다.