기술 요약: PCSD – 에이전트 강화 학습을 위한 자기 증류(Self-Distillation)에서의 지속적 일관성(Persistent Consistency)

문제 정의

대규모 언어 모델(LLM) 에이전트는 복잡한 다회차 상호작용 작업에서 **보상 희소성(reward sparsity)**으로 인해 상당한 어려움에 직면합니다. ALFWorld나 WebShop과 같은 환경에서는 하나의 궤적이 수십 번의 턴과 수백 개의 토큰에 걸쳐 진행될 수 있지만, 결과적으로는 마지막에 단 하나의 스칼라 결과값(성공 또는 실패)만을 받게 됩니다. 이러한 지연된 피드백은 어떤 특정 중간 행동이나 토큰이 최종 결과에 기여했는지 결정하는 신용 할당(credit assignment) 문제를 매우 어렵게 만듭니다.

**온-폴리시 자기 증류(On-Policy Self-Distillation, OPSD)**는 특권 있는 교사(privileged teacher, 학생 모델의 스킬이 보강된 고정된 복사본)를 사용하여 조밀한 토큰 수준의 감독을 제공함으로써 해결책을 제시하지만, 이는 새로운 신뢰성 문제를 야기합니다. 교사의 가이드는 항상 일관되게 신뢰할 수 있는 것은 아닙니다. 불완전한 검색, 노이즈가 섞인 컨텍스트, 또는 작업의 모호성과 같은 요인들로 인해 교사가 특정 위치에서 최적이 아닌 토큰을 선호할 수 있습니다. 기존의 신뢰도 인식 증류 방법들은 두 가지 극단 사이에서 균형을 잡는 데 어려움을 겪습니다:

1. 토큰 수준 방법: 단일 위치에서의 고립된 불일치에 의존하며, 이로 인해 샘플링 노이즈와 일시적인 변동에 민감합니다.
2. 스텝 수준 방법: 전체 추론 단계에 걸쳐 신호를 집계하여 모든 토큰에 공유된 가중치를 할당합니다. 이는 견고성을 개선하지만, 교사의 신뢰도에 대한 결정적인 위치별 변화를 가려버립니다.

방법론: PCSD

저자들은 **지속적 일관성 자기 증류(Persistent Consistency Self-Distillation, PCSD)**를 제안합니다. 이 프레임워크는 **국소적 지속성(local persistence)**을 기반으로 교사의 신뢰도를 추정합니다. 핵심 통찰은 유익한 교사의 이점은 국소적 이웃 영역 전반에 걸쳐 지속되어야 하는 반면, 고립된 스파이크는 노이즈를 반영할 가능성이 높다는 것입니다. PCSD는 세 가지 상호 보완적인 메커니즘을 통해 연속적인 토큰 수준 증류 가중치($w_{k,i}$)를 생성합니다.

1. 지속적 일관성 평가 (Persistent Consistency Assessment)

단순히 교사와 학생 사이의 단일 지점 로그 확률 차이($\delta_{k,i}$)에 의존하는 대신, PCSD는 **지수적 감쇠(exponential decay)**를 사용하여 전방향 윈도우(forward-looking window)를 통해 이러한 차이를 집계합니다. 이는 현재 토근에 더 가까운 위치에 더 높은 중요성을 부여하면서도 즉각적인 국소 영역으로부터의 증거를 통합하여, "지속적 일관성 추정치"($\bar{\delta}^{(N)}_{k,i}$)를 생성합니다.

2. 적응형 집계 메커니즘 (Adaptive Aggregation Mechanism)

응답에 따라 차이 패턴이 달라진다는 점을 인식하여, PCSD는 소프트 적응형 윈도잉 전략을 채택합니다. 이는 최대 분석 윈도우($N_{max}$) 내에서 차이 시퀀스의 국소 분산을 계산합니다.

• 낮은 분산: 국소 차이가 안정적인 경우, 미세한 위치 해상도를 유지하기 위해 짧은 윈도우 추정치를 선호합니다.
• 높은 분산: 국소 차이에 노이즈가 많은 경우, 더 강력한 평활화(smoothing)를 제공하기 위해 긴 윈도우 추정치로 비중을 옮깁니다.
  이를 통해 적응형 추정치($\bar{\delta}^{adaptive}_{k,i}$)는 이산적인 윈도우 전환 없이 정밀도와 견고성 사이의 균형을 동적으로 맞춥니다.

3. 트렌드 변조 및 연속 게이팅 (Trend Modulation and Continuous Gating)

일시적인 신호가 지배적인 영향을 미치는 것을 방지하기 위해, PCSD는 **단방향 트렌드 변조(one-sided trend modulation)**를 적용합니다. 이는 차이 시퀀스의 국소 기울기를 계산하며, 교사의 지지가 감소하는 경우(음의 기울기) 가중치를 감쇄시킵니다. 이는 적응형 추정치를 유계된 가중치($w_{k,i}$)로 매핑하는 시그모이드 게이팅(sigmoid gating) 함수와 결합됩니다.

• 트렌드 인자 ($\eta_{k,i}$): 지지가 감소하는 신호에 대한 의존도를 줄입니다.
• 시그모이드 게이팅: 신뢰도 추정치를 매끄럽고 연속적인 가중치로 변환합니다.

훈련 목적 함수 (Training Objective)

최종 목적 함수는 희소한 궤적 수준 보상을 사용하는 표준 GRPO (Group Relative Policy Optimization) 손실과 PCSD 증류 손실을 결합합니다:
$$\mathcal{L}_{total} = \mathcal{L}_{GRPO} + \lambda_{PCSD} \mathcal{L}_{PCSD}$$
여기서 $\mathcal{L}_{PCSD}$는 지속적이고 안정적인 지지가 감지되는 위치에서만 학생이 교사와 정렬하도록 유도하는 가중 부정 로그 가능도(weighted negative log-likelihood)입니다.

주요 기여

1. PCSD 프레임워크: 교사의 신뢰도를 신호의 국소적 지속성을 통해 추정함으로써, 미세한 식별 능력과 노이즈 견고성을 효과적으로 결합한 토큰 수준 온-폴리시 자기 증류 방법입니다.
2. 적응형 집계: 위치적 국소성을 보존하기 위해 지수적 감 decay를 사용하고 국소 차이 통계에 따라 유효 윈도우 크기를 조정하는 메커니즘입니다.
3. 트렌드 인식 변조: 감소하거나 불안정한 교사의 지지를 필터링하기 위해 단방향 트렌드 변조와 연속 시그모이드 게이팅을 도입했습니다.
4. 실증적 검증: 다양한 모델 규모와 작업에 대해 PCSD가 결과 중심의 GRPO 및 기존 가중치 방식(RLSD 및 SDAR 등)보다 우수함을 입증하는 광범위한 실험을 수행했습니다.

실험 결과

저자들은 Qwen2.5-3B-Instruct 및 Qwen3-1.7B-Instruct 백본을 사용하여 ALFWorld(텍스트 기반 체화된 AI)와 WebShop(이커머스 네비게이션)에서 PCSD를 평가했습니다.

• ALFWorld 성능: PCSD는 모든 베이스라인 중 가장 높은 종합 성공률을 달성했습니다.
  • Qwen2.5-3B 사용 시: 90.6% (GRPO보다 15.6포인트, SDAR보다 6.2포인트 높음).
  • Qwen3-1.7B 사용 시: 59.4% (GRPO보다 13.3포인트, SDAR보다 5.5포인트 높음).
  • Heat, Cool, Pick2와 같은 서브태스크에서 주목할 만한 개선이 관찰되었습니다.
• WebShop 성능: PCSD는 Qwen2.5-3B에서 가장 높은 점수(85.0)를 기록했으며, 두 백본 모두에서 SDAR와 함께 가장 높은 정확도(67.2%)를 기록했습니다.
• 일반화: ALFWorld의 미학습 분할 데이터셋(unseen split)에서 PCSD는 86.7%의 성공률을 유지하며 GRPO(70.9%) 및 SDAR(72.7%)를 크게 앞질렀습니다.
• 절제 연구 (Ablation Studies): 적응형 집계, 트렌드 변조 또는 지수적 감쇠를 제거하면 성능이 일관되게 저하되어 각 구성 요소의 필요성을 입증했습니다. 증류 계수 $\lambda_{PCSD}$는 비단조적(non-monotonic)인 특성을 보였으며, 0.01일 때 최적의 결과를 냈습니다.

의의 및 주장

본 논문은 **지속적 일관성(Persistent Consistency)**이 효과적인 에이전트 RL을 위한 자기 증류의 핵심 요소라고 주장합니다. 고립된 토큰 불일치나 거친 스텝 수준 평균을 넘어섬으로써, PCSD는 어떤 교사 신호가 신뢰할 수 있는지 성공적으로 식별합니다. 저자들은 이 방법이 추론 시의 스킬 검색(skill retrieval)을 요구하지 않고, 오직 훈련된 학생 정책이 지속적인 교사 가이드를 활용하는 능력에만 의존하여 이러한 결과를 달고 있음을 강조합니다.

이 연구는 토큰 수준의 정밀도와 집계 기반의 견고성 사이의 근본적인 트레이드오프를 해결하며, 밀집한 교사 가이드가 희소한 환경 피드백을 효과적으로 보완할 수 있는 솔루션을 제공합니다. 저자들은 현재 접근 방식이 가중치 메커니즘의 효과를 격리하기 위해 고정된 하이퍼파라미터를 사용하고 있지만, 향arian 연구에서는 이를 궤적 통계 및 교사 불확실성으로부터 동적으로 학습하는 방법을 탐구할 수 있다고 언급했습니다.