기술 요약: 잠재적 온-폴리시 자기 증류 (Latent On-Policy Self-Distillation, LOPD)

1. 문제 정의

본 논문은 AI 에이전트가 경험으로부터 학습하고 이를 자신의 정책(policy)에 내재화하여 스스로 진화할 수 있도록 하는 과제를 다룹니다. **온-폴리시 자기 증류(On-Policy Self-Distillation, OPSD)**는 "특권적(privileged)" 자기 교사(self-teacher)를 사용하여 학생의 궤적(trajectory)에 대해 조밀한 감독을 제공함으로써 유망한 경로를 제시하지만, 기존 방식들은 근본적인 한계점을 가집니다. 즉, 설계자가 지정한 특권적 아티팩트(예: 고정된 정답, 추론 흔적, 스킬 또는 검색된 궤적)에 과도하게 의존한다는 점입니다.

이러한 수작업으로 만들어진 컨텍스트는 시스템을 설계자가 선택한 특정 정보 형식에 종속시킵니다. 이는 교사가 이전 경험 중 어떤 측면이 현재 학생의 궤적을 감독하는 데 실제로 유용한지, 혹은 그 경험의 표현(representation)을 특정 작업이나 학습 상태에 어떻게 적응시켜야 하는지를 학습할 수 없게 만듭니다. 본 논문은 자가 진화하는 AI가 확장 가능해지려면, 경험의 유용한 내용뿐만 아니라 그 표현 방식 또한 인간의 휴리스틱에 의해 고정되어서는 안 된다고 주장합니다.

연구 질문: 특권적 컨텍스트 자체를 경험으로부터 엔드투엔드(end-to-end)로 학습할 수 있는가? 이를 통해 자기 교사가 어떤 경험적 지식을 유지하고, 밀도 높은 온-폴리시 감독을 위해 이를 어떻게 인코딩할지를 스스로 결정할 수 있는가?

2. 방법론: 잠재적 온-폴리시 자기 증류 (LOPD)

LOPD는 특권적 컨텍스트를 미리 정의된 텍스트 아티팩트가 아닌, **학습 가능한 잠재 기질(learnable latent substrate)**로 재정의합니다. 이 프레임워크는 다음 구성 요소들을 통해 작동합니다.

A. 학습 가능한 잠재 특권 컨텍스트 (Learnable Latent Privileged Context)

교사에게 고정된 텍스트 아티팩트를 전달하는 대신, LOPD는 검색된 경험으로부터 연속적이고 미분 가능한 컨텍스트를 구축합니다.

1. 경험 검색 (Experience Retrieval): 오프라인 경험 뱅크는 성공적인 롤아웃(작업 설명 + 압축된 액션-결과 흔적)을 저장합니다. 현재 작업에 대해, 밀집 검색기(dense retriever)는 가장 관련성이 높은 상위 $J$개의 궤적을 가져옵니다.
2. 잠재 컴포저 (Latent Composer): 학습 가능한 모듈($\Phi_\phi$)은 검색된 궤적들을 압축된 연속적 잠재 토큰 세트로 변환합니다.
   • 인코더 (Encoder): 학습 가능한 LoRA 파라미터로 증강된 동결된 백본(frozen backbone)이 작업-경험 쌍을 은닉 상태(hidden states)로 인코딩합니다.
   • 압축기 (Compressor): 학습된 쿼리를 가진 QFormer 스타일의 모듈이 가변 길이의 상태들을 경험당 고정된 개수($K$)의 연속적 잠재 토큰으로 압축합니다.
   • 컨텍스트 형성 (Context Formation): 이 토큰들은 특수 토큰으로서 교사의 입력 윈도우에 결합되어 특권적 컨텍스트 $c_\phi$를 형성합니다.

B. 온-폴리시 자기 증류 프로세스 (On-Policy Self-Distillation Process)

학습 루프는 학습 가능한 컨텍스트를 사용하여 표준 OPSD를 따릅니다.

1. 학생 롤아웃 (Student Rollout): 학생 정책($\pi_S$)은 오직 작업과 상호작용 이력만을 기반으로 궤적을 생성합니다(특권적 컨텍스트 없음).
2. 교사 평가 (Teacher Evaluation): 동일한 백본에서 초기화된 동결된 교사 모델($\pi_T$)은 학생 궤적의 방문된 접두사(visited prefixes)를 재평가합니다. 결정적으로, 교사는 검색된 경험에서 유도된 학습된 잠재 컨텍스트에 조건화됩니다.
3. 증류 목적 함수 (Distillation Objective): 학생은 상위 $M$개의 로짓(logits)과 테일 버킷(tail bucket)에 대한 **역 KL 발산(reverse KL divergence)**을 사용하여 교사의 토큰 수준 분포를 일치시키도록 최 optimization됩니다. 이는 학생이 교사의 풍부한 컨텍스트에 의해 뒷받침되는 행동에 집중하도록 유도합니다.

C. 특권 마진 제약 (Privileged-Margin Constraint)

교사가 단순히 학생을 모방하여 잠재 컨텍스트가 무의미해지는 "붕괴(collapse)" 현상을 방ло하기 위해, LOPD는 특권 마진 목적 함수를 도입합니다.

• 결과 정렬 (Outcome Alignment): 시스템은 교사의 토큰 수준 이점(advantage)을 궤적의 검증된 결과와 연결합니다.
• 제약 조건 (Constraint): 이중 변수 $\beta$는 성공적인 궤적에서 교사의 로그 확률 이점이 학생보다 임계값 이상의 마진 $m$을 초과하도록 강제합니다.
• 효과 (Effect): 이는 학습된 컨텍스트가 유익한 정보를 유지하고 검증 가능한 이점을 제공하도록 보장하며, 컴포저가 사소한 해결책이 아닌 성공적인 행동을 뒷받침하는 증거를 향하도록 유도합니다.

D. 추론 (Inference)

학습 후에는 학생 정책만을 남깁니다. 경험 뱅크, 검색기, 컴포저 및 잠재 컨텍스트는 폐기됩니다. 학생은 이미 가이드를 내재화했으므로, 배포 시 외부 데이터베이스나 특권적 입력이 필요하지 않습니다.

3. 주요 기여

1. 컨텍스트의 재정의: 본 논문은 특권적 컨텍스트의 패러다임을 미리 정의된 수작업 텍스트 아티팩트에서 엔드투엔드로 학습 가능한 잠재 기질로 전환합니다. 이를 통해 교사가 가공되지 않은 궤적으로부터 작업 관련 감독 신호를 자동으로 추출할 수 있게 합니다.
2. 제안된 솔루션 (LOPD): 특권적 컨텍스트(컴포저를 통해)와 학생 정책를 공동으로 최적화하는 프레임워크를 제안합니다. 여기에는 학습된 컨텍스트가 유익한 정보를 유지하고 교사가 학생으로 붕괴하는 것을 방지하기 위한 특권 마진 제약이 포함됩니다.
3. 실험적 검증: LOPD는 기존 방식들에 비해 우수한 성능과 효율성을 입증했습니다.

4. 실험 결과

저자들은 세 가지 모델 백본(Qwen3-4B, Qwen3-8B, Olmo3-7B)과 에이전트 도구 사용(EnvScaler, BFCL-v3, ACEBench) 및 코드 생성(LiveCodeBench, EvalPlus)을 아우르는 7개의 벤치마크에서 LOPD를 평가했습니다.

• 성능: LOPD는 10개의 백본-벤치마크 비교 전반에서 최고의 종합 성과를 달 나타냈습니다.
  • Qwen3-8B를 사용한 EnvScaler에서 LOPD는 66.4를 기록하여 가장 강력한 베이스라인인 Skill-SD(60.2)를 능가했습니다.
  • ACEBench에서 LOPD는 62.7을 기록하여 OPSD(52.7)와 SDPO(52.0)를 크게 앞질렀습니다.
  • 코드 생성 분야에서 LPD는 LiveCodeBench와 EvalPlus의 pass@1 점수를 개선하였으며, GRPO 및 Skill-SD와 같은 베이스라인을 지속적으로 능가했습니다.
• 샘플 효율성: LDP는 GRPO 및 Skill-SD의 30% 미만 롤아웃 예산만으로도 이들을 능가하는 성능을 보였으며, 훈련 초기 단계에서 강력한 성능에 도달했습니다(예: 320번의 생성 후 평균 보상 0.61을 초과하여 베이스라인의 점진적 개선과 대조됨).
• 절제 연구 (Ablation Studies):
  • 공동 최적화 (Joint Optimization): 컨텍스트를 공동으로 학습하는 것이 필수적입니다. 고정된 컴포저를 사용하거나 마진 제약을 제거하면 성능 저하가 발생하여, 이 이득이 단순히 파라미터를 추가하는 것이 아니라 표현(representation)을 학습하는 데서 온다는 것을 확인했습니다.
  • 학습 가능 vs 고정형 (Learnable vs Fixed): 고정된 컨텍스트 방식(SDPO 또는 OPSD 등)은 때때로 바닐라 모델보다 성능이 저하되었던 반면, LOPD는 바닐라 베이스라인보다 지속적으로 개선된 성능을 보여주어 학습 가능한 표현이 다양한 작업과 학습 상태에 더 잘 적응함을 입증했습니다.
  • 행동 내재화 (Behavioral Internalization): 분석 결과, LPD 학생 모델은 잠재 컨텍스트에 접근할 수 없는 상태에서도 더 순차적인 계획 행동(단계당 도구 호출 횟수 감소, 첫 단계 응답 단축)을 채택하였으며, 이는 가이드가 성공적으로 내재화되었음을 증명합니다.

5. 의의 및 주장

본 논문은 LOPD가 에이전트 진화를 위한 더욱 확장 가능하고 자기 주도적인 패러다임을 향한 단계라고 주장합니다.

• 설계 원칙: 핵심 주장은 경험의 표현이 정책을 개선하기 위해 설계된 방식대로 엔드투엔드로 최적화되어야 한다는 것입니다. 이는 점점 더 정교해지는 인간 작성 경험 형식에 의존하는 것과는 대조됩니다.
• 확장성: 특권적 컨텍스트를 학습 가능하게 만듦으로써, 시스템은 새로운 도메인이나 작업 유형마다 수작업으로 아티팩트를 제작해야 하는 병목 현상을 피할 수 있습니다.
• 내재화: 이 방법은 가공되지 않은 궤적을 학습 가능한 감독 기질로 성공적으로 전환하여, 에이전트가 무엇을 보존하고 어떻게 인코딩할지를 스스로 발견할 수 있게 함으로써 경험 학습을 진정한 엔드투엔드로 만듭니다.

저자들은 검색(retrieval)만으로는 불충분하며, 제약 없는 최적화는 붕괴를 초래할 수 있지만, 잠재적 구성(latent composition)과 특권 마진 제약의 결격이 결합되면 컨텍스트가 제거된 후에도 지속되는 생산적인 감독을 가능하게 한다고 강조합니다.