기술 요약: TurnOPD

문제 정의

온-폴리시 증류(On-policy distillation, OPD)는 학생 모델이 자신의 생성된 궤적(trajectory) 상에서 강력한 교사 모델의 분포를 모방하며 학습하는 언어 에이전트 훈련을 위한 유망한 프레임워크입니다. 그러나 바닐라(vanilla) OPD를 장기적 호라이즌(long-horizon) 에이전트 태스크(다회차 상호작용, 도구 사용, 환경 변화 포함)에 적용하면, 훈련 성능과 자원 활용도를 저하시키는 두 가지 결정적인 비효율성이 나타납니다.

1. 외부 불일치 (롤아웃 깊이 - External Mismatch): 바닐라 OPD는 일반적으로 고정된 전체 호라이즌 롤아웃을 사용합니다. 저자들은 역-KL(reverse-KL) 감독 신호가 초반 턴에 크게 치우쳐 있다는 점을 지적합니다. 훈련이 진행되고 궤적이 길어짐에 따라, "꼬리(tail)" 부분의 턴들은 약하거나 노이즈가 많으며 정보력이 낮은 KL 신호를 제공하는 경우가 많습니다. 이러한 저수익 단계에 대해 전체 길이의 롤아웃을 계속 계산하는 것은 실제 시간(wall-clock) 자원을 낭비합니다.
2. 내부 불일치 (손실 할당 - Internal Mismatch): 표준 궤적 수준 KL 목적 함수는 토큰 수에 따라 손실을 정규화합니다. 초반 턴은 종종 더 많은 토큰을 포함하고 초기 KL 발산이 높기 때문에 손실 예산을 독점합니다. 결과적으로, 장기적 성공에 필수적이지만 토큰 수가 적고 원시(raw) KL이 낮은 심층 의사결정 턴들은 충분한 감독을 받지 못하게 됩니다. 저자들은 이를 **오염-압축 메커니즘(contamination-compression mechanism)**으로 공식화했습니다. 즉, 학생이 컨텍스트를 더 많이 생성함에 따라 다음 토큰 분포가 포맷팅이나 반복적인 패턴에 의해 점점 더 "강제(forced)"되어, 실제 정책 불일치가 존재하더라도 관찰 가능한 KL이 압축되는 현상입니다. 이는 초기 행동이 일치한 이후 심층 턴들이 충분히 학습되지 못하는 시나리오로 이어집니다.

방법론: TurnOPD

이러한 불일치를 해결하기 위해, 저자들은 롤아웃 호라이즌과 손실 할당을 모두 동적으로 관리하는 턴 수준 예산 책정 전략인 TurnOPD를 제안합니다. TurnOPD는 두 개의 적응형 컨트롤러로 구성됩니다.

1. 적응형 롤아웃 깊이 예산 책정 (Adaptive Rollout-Depth Budgeting)

이 컨트롤러는 저수익 꼬리 턴에 대한 계산 낭비를 방지하기 위해 최적의 롤아웃 길이($H_{ctrl}$)를 동적으로 결정합니다. 이는 두 가지 신호를 합성합니다:

• 효율성 프록시 ($H_{eff}$): 생존자 가중 역-KL 분포의 중심(centroid)을 계산합니다. 이는 KL 신호를 증류 질량(distillation mass)의 분포로 취급하여, 의미 있는 교정 신호가 집중되는 지점에 따라 목표 깊이를 이동시킵니다.
• 커버리지 하한선 ($H_{cov}$): 특정 분위수(예: 80%)의 성공적인 궤적을 커버할 수 있을 만큼 롤아웃이 충분히 깊도록 보장합니다. 이는 컨트롤러가 롤아웃을 너무 공격적으로 단축하여 학생이 충분한 성공적 완결 과정을 관찰하지 못하는 것을 방지합니다.
• 메커니즘: 컨트롤러는 통계량을 추정하기 위해 주기적인 전체 길이 프로브(probe) 롤아웃을 사용하면서, 루틴 훈련 단계에서는 제한된 호라이즌을 사용하는 방식으로 $H_{ctrl} = \max(H_{eff}, H_{cov})$를 업데이트합니다.

2. 점진적 턴 정규화 손실 예산 책정 (Progressive Turn-Normalized Loss Budgeting)

이 컨트롤러는 손실 집계 전략을 토큰 수준에서 턴 균형 감독으로 점진적으로 전환함으로써 내부 불일치를 해결합니다.

• 선형 블렌딩 (Linear Blending): 하드 스위칭 대신, 표준 궤적 수준 가중치(토큰 수에 비례하는 $q_{traj}$)와 균등한 턴 수준 가중치($q_{turn}$) 사이를 선형 보간합니다.
• 진행 단계: 블렌딩 계수 $\alpha$는 훈련 진행에 따라 선형적으로 증가합니다. 초기에는 ($\alpha \approx 0$) 안정성을 확보하기 위해 토큰 질량을 따릅니다. 훈련이 진행됨에 따라 $\alpha$가 증가하여, 복잡한 의사결정 정교화를 위해 심층 턴에 가중치를 이동시켜 이들이 충분한 감독을 받도록 합니다.

주요 기여

1. 턴 수준 진단: 본 논문은 장기적 호라이즌 설정에서의 OPD에 대한 체계적인 분석을 제공하며, 감독 신호와 최적화 예산이 턴에 따라 비균등하게 분포되어 있음을 밝혀냈습니다. 또한 컨텍스트 유도 제약이 심층 턴의 관찰 가능한 KL을 인위적으로 억제하는 "오염-압축" 현상을 식별했습니다.
2. 불일치의 공식화: 저자들은 "외부 불일치"(고정된 깊이 vs 변동하는 신호 효용)와 "내부 불일치"(토큰 가중 손실 vs 턴 수준 중요도)를 바닐라 OPD 비효율성의 근본 원인으로 공식화했습니다.
3. TurnOPD 프레임워크: 에이전트 상호작용의 턴 조건부 특성에 맞게 롤아웃 깊이와 손실 정규화를 동시에 적응시키는 듀얼 컨트롤러 시스템을 제안했습니다.
4. 실험적 검증: TurnOPD가 바닐라 OPD 및 기타 베이스라인 모델에 비해 훨씬 적은 훈련 시간으로도 우수한 성능을 달상하며 정확도-시간 프런티어(accuracy–time frontier)를 발전시킨다는 것을 광범대한 실험을 통해 입증했습니다.

실험 결과

저자들은 ALFWorld(체화된 계획), WebShop(웹 네비게이션), Multi-Hop Search(정보 검색)의 세 가지 대표 벤치마크에서 TurnOPD를 평가했습니다. 다양한 학생-교사 쌍(예: Qwen3-8B/9B 교사로부터 증류된 Qwen3-1.7B/4B 학생)을 사용했습니다.

• 정확도-시간 프런티어: TurnOPD는 일관되게 가장 좋은 "최소 시간(Least-Time)" 정확도(어떤 방법이든 100단계를 완료하는 데 필요한 최소 실제 시간을 기준으로 달성한 최고 정확도)를 기록했습니다.
  • ALFWorld-1.7B에서 TurnOP의 Same-Step Avg@4는 83.0(Vanilla OPD)에서 86.3으로 향상되었으며, 실제 시간은 4.42시간에서 1.93시간으로 단축되었습니다 (2.29배 속도 향상).
  • WebShop에서 정확도를 개선하는 동시에 시간을 1.57시간에서 1.24시간으로 단축했습니다.
  • Multi-Hop Search에서 공유된 시간 예산 내에서 Vanilla OPD보다 뛰어난 성과를 내며 최고의 Least-Time 정확도를 달성했습니다.
• 절제 연구 (Ablation Studies):
  • 적응형 깊이 단독 적용: 롤아웃을 단축하여 실제 시간을 크게 줄였으나 정확도는 약간 저하되었습니다. 이는 롤아웃을 줄이는 것이 계산량은 절감하지만 손실 할당 문제를 해결하지는 못함을 확인시켜 줍니다.
  • 선형 블렌드 정규화 단독 적용: 손실을 심층 턴으로 재할당하여 정확도는 개선했으나 실제 시간을 줄이지는 못했습니다.
  • 결합 모델: 전체 TurnOPD 접근 방식은 효율성과 최적화 레버를 모두 활용하여 최적의 트레이드오프를 달과 달성했습니다.
• 컨트롤러 역학: 분석 결과, 적응형 컨트롤러가 성공적인 궤적이 나타남에 따라 롤아웃 깊이를 증가시키며 효율성과 커버리지 제약 사이의 균형을 맞추는 등 진단 신호를 성공적으로 추적했음을 보여주었습니다.

의의 및 주장

본 논문은 TurnOPD가 장기적 호리즌 언어 에이전트를 훈련하기 위한 더 효율적이고 효과적인 프레임워크를 제공한다고 주장합니다. 이의 주요 의의는 감독의 패러다임을 평면적인 토큰 위치에서 진화하는 상호작용 궤적 내의 턴 조건부 의사결정으로 전환했다는 점에 있습니다.

저자들은 다음과 같이 단언합니다:

• 전체 궤적을 따른 표준 KL 감독 및 정규화는 특정 구조적 불일치로 인해 장기적 호리즌 에이전트에게 불충분합니다.
• TurnOPD는 정확도-시간 프런티어를 전진시켜, 에이전트가 최대 2.29배 빠른 훈련 시간 내에 더 높은 성능 수준에 도달할 수 있게 합니다.
• 이 접근 방식은 다양한 모델 크기와 태스크 유형에서 견고하며, 이는 턴 인식 예산 책정이 에이전트 훈련을 위한 일반화 가능한 원칙임을 시사합니다.

결론적으로, TurnOPD는 바닐라 시퀀스 생성 목적 함수가 해결하지 못하는 장기적 호리즌 에이전트 태스크의 특정 과제들을 해결함으로써, 턴 인식 및 예산 적응형 훈련을 향한 경로를 열어줍니다.