기술 요약: LLM 에이전트 시대의 DAgger 재검토

문제 정의

장기적 (Long-horizon) 대규모 언어 모델 (LLM) 에이전트는 소프트웨어 엔지니어링, 웹 탐색과 같은 다중 턴 상호작용 환경에서 작동하며, 이때 초기의 단일 오류가 상태 분포를 변경하여 에이전트가 성공적인 전문가 시연의 궤적에서 벗어나게 할 수 있습니다. 이를 **공변량 이동 (covariate shift)**이라고 하며, 사후 학습 (post-training) 알고리즘에 중대한 도전 과제를 제기합니다. 기존 방법론들은 이러한 설정에서 구조적 한계를 겪습니다:

• 지도 미세 조정 (SFT): 전문가가 유도한 상태로 학습하지만, 학생이 자체적으로 상태를 생성함에 따라 학습과 테스트 분포 간의 불일치가 발생하여 배포 시 실패합니다.
• 검증 가능한 보상을 통한 강화 학습 (RLVR): 분포 불일치를 피하기 위해 온-정책 (on-policy) 롤아웃에서 학습하지만, 희소하고 결과 수준의 보상에 의존하여 어려운 신용 부여 (credit assignment) 문제와 높은 계산 비용을 초래합니다.
• 온-정책 증류 (OPD): 온-정책 상태 커버리지와 교사 감독을 결합하려 하지만, 학습 초기에 약한 학생이 비생산적인 궤적을 생성하여 교사가 실패한 접두사 (prefix) 를 감독해야 하는 '콜드스타트 (cold-start)' 병목 현상에 직면합니다. 또한 OPD 는 종종 교사 로짓 (logits) 접근이 필요하여 블랙박스 모델과의 사용이 제한됩니다.

이 논문이 다루는 핵심 질문은 다음과 같습니다: 밀집된 피드백을 활용하고, 온-정책 상태 커버리지를 유지하며, 성공적인 궤적에 대한 초기 접근을 제공할 수 있는 방법은 존재하는가?

방법론

저자들은 고전적인 모방 학습 알고리즘인 **데이터셋 집계 (DAgger)**를 재검토하여 다중 턴 LM 에이전트에 맞게 적용합니다. 핵심 원리는 전문가가 유도한 상태뿐만 아니라 학생이 실제로 방문할 가능성이 높은 상태에서 학습하는 것입니다.

교사 교차 롤아웃 (Teacher-Interleaved Rollout)

제안된 방법은 궤적 수집 과정에서 학생 및 교사 정책의 **확률적 혼합 (stochastic mixture)**을 사용합니다. 두 가지 구체적인 롤아웃 전략이 소개됩니다:

1. DAgger 스타일 (턴 단위 혼합): 각 턴 $t$에서 행동은 확률 $\beta_i$로 교사 정책 $\pi_e$에 의해 실행되거나, 확률 $1-\beta_i$로 학생 정책 $\pi_\theta$에 의해 실행됩니다. 혼합 매개변수 $\beta_i$는 학습 반복에 따라 1.0 에서 하한 (예: 0.6) 으로 어닐링 (annealed) 됩니다.
2. AggreVaTe 스타일 (궤적 단위 혼합): 학생이 길이 $\kappa$의 초기 접두사를 생성한 후, 교사가 나머지 궤적을 완성합니다. 접두사 길이 분포는 시간이 지남에 따라 증가하도록 스케줄링됩니다.

핵심 메커니즘: 특정 상태에서 학생이 행동하든 교사가 행동하든, 모든 방문된 상태에서 교사는 올바른 행동을 질의받습니다. 그런 다음 학생은 실제로 마주친 상태에서 이러한 교사 행동을 모방하도록 지도 학습 (교차 엔트로피 손실) 을 통해 학습됩니다.

통합 프레임워크

이 논문은 이 접근법을 세 가지 구성 요소로 정의된 통합 사후 학습 프레임워크 내에서 위치시킵니다:

• 맥락 분포 ($p_s$): 방문된 상태의 분포 (DAgger 의 학생과 교사의 혼합 대 SFT 의 순수 교사 또는 RL 의 순수 학생).
• 레이블 분포 ($p_a$): 행동 레이블의 출처 (DAgger 의 교사 대 RL/OPD 의 학생).
• 점수 함수 ($w(s,a)$): 샘플에 할당된 가중치 (DAgger 의 균일 대 RL 의 어드밴티지 기반).

교사 레이블과 균일 가중치를 가진 혼합 맥락 분포를 사용함으로써, 이 방법은 밀집된 감독과 공변량 이동 (SFT) 과 온-정책 커버리지 및 희소 보상/콜드스타트 문제 (RL/OPD) 간의 간극을 연결합니다.

주요 기여

1. 알고리즘적 적응: DAgger 를 장기적 LLM 에이전트에 성공적으로 적용하여, 모델이 실제 배포 상태에서 학습하면서도 교사로부터 밀집된 토큰 수준의 감독을 받을 수 있게 합니다.
2. 콜드스타트 완화: OPD 와 달리, 교사 교차 접근법은 초기 궤적이 교사에게 의해 안내되도록 하여 학습 초기 단계에서 학생이 비생산적인 상태에 갇히는 것을 방지합니다.
3. 블랙박스 호환성: 이 방법은 교사가 로짓이 아닌 행동 레이블 (토큰) 만 제공하면 되므로, GPT, Gemini 와 같은 블랙박스 LLM 과 호환됩니다.
4. 실증적 검증: 소프트웨어 엔지니어링 작업에서 SFT, RL (GRPO), 온-정책 증류보다 일관된 개선을 입증했습니다.

실험 결과

이 방법은 Qwen3-4B 및 Qwen3-8B 학생 모델과 Qwen3-30B 교사를 사용하여 SWE-Gym(학습) 및 SWE-Bench Verified(도메인 외 평가) 에서 평가되었습니다.

• 성능 향상:
  • 4B 모델: SWE-Bench Verified 에서 **27.3%**를 달성하여, 가장 강력한 사후 학습 베이스라인 (OPD) 보다 +3.9 포인트 우위를 점하고 대표적인 공개된 8B SWE 에이전트 시스템을 능가했습니다.
  • 8B 모델: SWE-Bench Verified 에서 **29.8%**를 달성하여 OPD 보다 +3.6 포인트 초과했으며, 32B 규모 SWE-Gym-32B 시스템을 +9.2 포인트 능가했습니다.
• 학습 안정성: 이 방법은 SFT 및 OPD 에 비해 더 안정적인 확장 궤적을 보였으며, 특히 초기 단계 (콜드스타트) 에서 두드러졌습니다.
• 공변량 이동 감소: 역 KL 발산 (reverse KL divergence) 분석 결과, DAgger 스타일 학습은 학습이 진행됨에 따라 발산이 반등했던 SFT 와 비교하여 학생의 배포 분포와 교사 분포 간의 발산을 크게 감소시켰습니다.
• 행동 개선: 정성적 분석에 따르면 DAgger 로 학습된 에이전트는 구문/런타임 오류를 더 적게 발생시키고 더 나은 복구 행동을 보였으며, 실패 모드가 "수동적" 오류 (예: 제출 없음) 에서 컨텍스트 오버플로우와 같은 더 어려운 제한 사항으로 전환되었습니다.

중요성과 주장

이 논문은 교사 교차 DAgger 를 통한 명시적 상태 분포 보정이 장기적 LM 에이전트 사후 학습을 위한 강력한 요소라고 주장합니다. 결과는 다음과 같이 시사합니다:

• 이 방법으로 학습된 더 작은 모델 (4B/8B) 은 훨씬 더 큰 시스템 (32B) 의 성능에 근접하거나 능가할 수 있습니다.
• 이 접근법은 SFT 고유의 학습 - 테스트 분포 불일치를 효과적으로 완화하면서 RL 및 OPD 의 희소 보상 및 콜드스타트 문제를 피합니다.
• 이 방법론은 복잡하고 다중 턴 환경에서 견고한 도구 사용 에이전트를 배포하기 위한 실용적이고 샘플 효율적인 레시피를 제공합니다.

저자들은 이 방법이 신뢰성과 샘플 효율성을 개선하지만, 이러한 에이전트의 남은 병목 현상은 점차 학습 알고리즘 자체보다는 장기 컨텍스트 용량 (예: 컨텍스트 오버플로우) 과 관련이 있다고 강조합니다.