기술 요약: LLM 에이전트를 위한 결과 검증형 비교 자기 증류 (Outcome-Verified Comparative Self-Distillation)

문제 정의

최근 대규모 언어 모델(LLM) 에이전트의 발전은 외부 능력 인출(추론 시 검색 또는 외부 도구에 의존)에서 능력 내재화(모델 파라미터에 직접 기술을 임베딩)로 초점이 이동했습니다. 온폴리시 자기 증류(On-Policy Self-Distillation, OPSD)는 특권 있는 교사(기술을 갖춘 모델)가 기술이 없는 학생 모델을 감독함으로써 내재화를 위한 유망한 경로를 제공하지만, 기존 방식은 두 가지 결정적인 한계점을 가집니다:

1. 검증되지 않은 교사의 선호도: 현재 방식은 일반적으로 교사의 국소적 선호도에 기반하여 학생의 행동을 점수화합니다. 그러나 높은 점수를 받은 행동이 장기 과업(long-horizon tasks)에서 최종적인 과업 성공을 보장하지는 않으며, 낮은 점수는 올바른 대안 행동을 지시하지 못합니다. 교사의 선호도는 실제 환경 결과에 의해 검증되지 않습니다.
2. 활용되지 못한 정보: 기존 접근 방식은 학생과 교사의 궤적(trajectory) 간의 관계를 충분히 활용하지 못합니다. 이들은 실패한 학생의 롤아웃을 폐기하거나 교사의 궤적을 균등하게 취급하며, 학생이 실패하고 교사가 성공한 특정 상태를 무시합니다. 또한, 행동의 분기점(divergence)에서 궤적을 정렬하여 교정적 결정(corrective decision)만을 분리해내는 메커니즘이 부족합니다.

방법론: 결과 검증형 비교 자기 증류 (OVCSD)

OVCSD는 단순히 교사의 점수에만 의존하는 것이 아니라, 성공적인 환경 상호작용을 통해 특권 있는 가이드를 내재화하도록 설계된 온폴리시 학습 프레임워크입니다. 이 방법은 실패한 학생의 롤아웃을 분석하여 도출된 세 가지 핵심 관찰을 바탕으로 구축되었습니다:

1. 공유 상태 구조 (Shared State Structure): 실패한 궤적들은 동일한 최종 실패 보상을 받더라도 유효한 중간 접두사(prefix)를 공유하는 경우가 많습니다.
2. 상태 및 결과 의존성 (State- and Outcome-Dependence): 개입의 효용은 도달한 특정 상태에 따라 달라지며, 교사의 행동은 신뢰할 수 있도록 반드시 환경 결과에 의해 검증되어야 합니다.
3. 정렬 인식 비교 가능성 (Alignment-Aware Comparability): 실패한 학생의 분기와 성공한 교사의 분기 사이의 관계는 첫 번째 상태 정렬 분기점($d$)에서 변화합니다. 이 지점 이전에는 행동이 동일하며, 분기점에서 서로 달라지며, 그 이후에는 이력이 분리됩니다.

핵심 구성 요소

1. 적응형 결과 검증 개입 (Adaptive Outcome-Verified Intervention)

• 접두사 트리 구축 (Prefix Tree Construction): OVCSD는 실패한 학생 궤적을 접두사 트리로 구성하여 공유된 중간 상태를 식별합니다.
• 적응형 백트래킹 (Adaptive Backtracking): 고정된 개입 지점 대신, 시스템은 유효한 학생의 진행 상황을 보존하기 위해 트리의 더 깊은 노드를 우선시합니다. 만약 교사가 깊은 상태에서 회복하지 못할 경우, 더 얕은 조상 노드로 백트래킹합니다.
• 결과 검증 (Outcome Verification): 특권 있는 교사(기술 컨텍스트를 가진 동결된 정책)가 복구된 학생 상태로부터 행동합니다. 결정적으로, 교사의 지속적인 행동은 환경 보상에 따라 과업을 성공적으로 완료하는 경우에만 수락됩니다. 이는 감독이 단순한 가능성이 아닌, 실행 가능한 성공에 근거하도록 보장합니다.

2. 정렬 인식 비교 학습 (Alignment-Aware Comparative Learning)
OVCSD는 검증된 교사의 지속(continuation)과 실패한 학생의 분기 사이의 분기점($d$)을 기준으로 두 가지 상보적인 목적 함수를 사용합니다:

• 국소적 분기 교정 (Localized Divergence Correction): 첫 번째 상태 정렬 분기점에서, OVCSZ는 국소적 비교 목적 함수를 적용합니다. 이는 실패한 학생의 대안들의 확률은 낮추고, 검증된 교사의 행동 확률은 높입니다. 이는 교사 행동은 양(+)의 어드밴티지를 받고 실패한 학생의 대안은 음(-)의 어드밴티지를 받는 정규화된 어드밴티지 신호를 계산함으로써 달성됩니다.
• 후속 분기 주석 증류 (Post-Divergence Suffix Distillation): 분기점 이후, 교사의 남은 궤적(suffix)은 쿨백-라이블러(KL) 발산 목적 함수를 사용하여 기술이 없는 학생 정책으로 증류됩니다. 이는 학생이 올바른 결정을 내린 후 과업을 어떻게 완료해야 하는지를 가르칩니다.

3. 훈련 및 추론 (Training and Inference)
전체 훈련 목적 함수는 국소적 어드밴티지 업데이트와 후속 분기 증류 손실을 결합합니다. 추론 시, OVCSD는 기술 검색, 접두사 트리 구축, 또는 교사 상호작용 없이 결과물인 기술 없는 정책을 배포합니다.

주요 기여

1. 결과 검증형 자기 증류: 단순한 교사 점수가 아닌 성공적인 환경 상호작용을 통해 특권 있는 가이드를 내재화하는 프레임워크인 OVCSD를 도입했습니다.
2. 정렬 인식 학습: 다회차(multi-turn) 과업에서 성공적인 교사 행동과 실패한 학생 탐색으로부터 학습하기 위한 핵심 메커니즘으로서 상태 정렬 비교를 식별하였으며, 특히 교정적 결정과 완료 행동을 분리하였습니다.
3. 최첨단 기술 없는 성능 (State-of-the-Art Skill-Free Performance): OVCSD가 다양한 모델 규모와 벤치마크에서 최고의 기술 없는 성공률을 달성함을 입증하였으며, 기존의 RL 및 자기 증류 베이스라인을 크게 상회함을 보여주었습니다.

실험 결과

실험은 세 가지 모델 규모(Qwen3-1.7B, Qwen2.5-3B, Qwen2.5-7B)를 사용하여 ALFWorld(가사 과업)와 WebShop(이커머스 검색)에서 수행되었습니다.

• 성능 향상: OVCSD는 강력한 베이스라인들을 일관되게 능가했습니다.
  • ALFWorld에서, 가장 강력한 베이스라인인 SDAR 대비 최대 29.7 포인트의 절대적 성공률 상승을 달성했습니다.
  • WebShop에서, 최대 5.4 포인트의 상승을 달성했습니다.
  • 이러한 개선은 여러 의존적 결정이 필요한 구성적 과업(예: Heat, Cool, Pick2)에서 특히 두드러졌습니다.
• 효율성: 이 방법은 훈련 중에 3% 미만의 특권 상호작용(환경 단계)을 추가했습니다. 누적 환경 행동과 비교했을 때, OVCSD는 GRPO의 최종 성공률에 도달하는 데 2.1배 적은 행동을 사용하였으며, 이는 이 성과가 단순히 샘플링 예산을 늘린 결과가 아님을 나타냅니다.
• 절제 연구 (Ablation Studies):
  • 국소적 어드밴티지 업데이트나 후속 분기 증류 중 하나라도 제거하면 성능이 크게 감소하여, 두 신호 모두의 필요성을 확인했습니다.
  • 결과 검증을 제거하거나 무작위 개입 앵커를 사용하는 경우, 학습 과정의 효율성과 검증된 분기의 수가 감소했습니다.
  • 정책 분석 결과, OVCSD는 표준 GRPO와 달리 분기점에서 교사 행동에 대해 국소적인 선호도를 유도함을 보여주었습니다.

의의

본 논문은 OVCSD가 장기 과업에서 교사 선호도의 취약성을 해결함으로써 효과적인 능력 내재화 접근법을 제공한다고 주장합니다. 접두사 트리에 실패를 구성하고 결과 검증을 강제함으로써, 이 방법은 학생이 가설적인 선호도가 아닌 실행 가능하고 성공적인 행동으로부터 학습하도록 보장합니다. 교정적 결정(분기)과 완료 행동(후석)의 분리는 더 정밀하고 효율적인 학습을 가능하게 하여, 기술 없는 에이전트가 추론 시 외부 검색에 의용하지 않고도 높은 성공률로 복잡한 다단계 과업을 수행할 수 있게 합니다.