기술 요약: 자기 증류 에이전트 강화 학습 (SDAR)

문제 제기

강화 학습 (RL) 은 특히 장기적, 다회전 상호작용을 위한 대규모 언어 모델 (LLM) 에이전트의 후속 학습을 위한 핵심 패러다임으로 자리 잡았습니다. 그러나 표준 RL 은 궤적 수준의 보상 신호에 의존하며, 이는 복잡한 다단계 작업에 대해 거친 감독만 제공합니다. 이를 해결하기 위해, 특권 컨텍스트 (예: 검색된 기술) 로 강화된 '교사' 분기에서 밀집된 토큰 수준의 지침을 도입하는 온-폴리시 자기 증류 (OPSD) 가 제안되었습니다.

이론적 매력에도 불구하고, OPSD 를 다회전 에이전트로 이전하는 작업은 본 논문에서 식별된 두 가지 중요한 과제를 안고 있습니다:

1. 다회전 불안정성: 학생 에이전트가 교사 지원 궤적에서 벗어남에 따라, 토큰 수준의 감독은 점점 더 신뢰할 수 없게 됩니다. 이로 인해 누적 오류가 발생하고, 회전당 KL 발산이 급증하며, 작업 수행 능력이 치명적으로 저하됩니다.
2. 특권 지침에 대한 비대칭적 신뢰: 기술 조건부 OPSD 에서 교사는 특권 컨텍스트 (예: 검색된 기술) 로 강화된 동일한 정책일 뿐, 본질적으로 더 강력한 모델이 아닙니다. 따라서 '부정적 간격'(교사가 학생보다 토큰에 낮은 확률을 할당하는 경우) 이 항상 해당 토큰을 억제해야 함을 의미하는 것은 아닙니다. 이는 오히려 불완전한 기술 검색, 관련 없는 기술, 또는 교사가 기술을 신뢰할 수 있는 선호도로 연결하지 못한 결과일 수 있습니다. 모든 교사 신호를 동등하게 취급하면 불안정이 초래되며, 특히 부정적 간격 토큰이 훈련 데이터의 상당 부분을 차지할 때 (>50% 로 관찰됨) 더욱 그렇습니다.

기존의 하이브리드 접근법 (예: 단순히 RL 에 OPSD 손실을 추가하는 것) 이나 경직된 커리큘럼 방법은 이러한 문제를 해결하지 못하며, 종종 RL 신호를 압도하는 무제한 증류 기울기에 시달리거나 토큰 수준의 역동성에 적응하지 못하는 수동으로 설계된 일정에 의존합니다.

방법론: SDAR

저자들은 **자기 증류 에이전트 강화 학습 (SDAR)**을 제안합니다. 이는 RL 을 주요 최적화 백본으로 유지하면서 OPSD 를 신중하게 통제된 보조 목적 함수로 취급하는 프레임워크입니다. 핵심 혁신은 교사의 지침 신뢰도에 기반하여 증류 신호를 조절하는 토큰 수준 적응형 게이트 메커니즘입니다.

1. 최적화 프레임워크

전체 훈련 목적 함수는 표준 그룹 상대 정책 최적화 (GRPO) 손실과 게이트가 적용된 자기 증류 손실을 결합합니다:
$$\mathcal{L}(\theta) = \mathcal{L}_{GRPO}(\theta) + \lambda_{SDAR} \cdot \mathcal{L}_{SDAR}(\theta)$$

• $\mathcal{L}_{GRPO}$: 환경 보상 및 검증자 피드백에 의해 주도되는 주요 RL 손실은 편향 없는 정책 최적화를 유지하기 위해 변경되지 않습니다.
• $\mathcal{L}_{SDAR}$: 선택적으로 적용되는 보조 증류 손실입니다.

2. 토큰 수준 게이트 메커니즘

증류를 균일하게 적용하는 대신, SDAR 는 각 토큰 $t$에 대해 교사의 영향력을 조절하는 게이트 $g_t \in [0, 1]$를 계산합니다.

• 교사 - 학생 간격 ($\Delta_t$): 특권 교사와 학생 간의 로그 확률 차이로 정의됩니다: $\Delta_t = \log \pi_T(y_t | s^+_t) - \log \pi_\theta(y_t | s_t)$.
• 시그모이드 게이팅: 간격은 날카로움 매개변수 $\beta$를 가진 시그모이드 함수를 통과합니다:
  $$g_t = \sigma(\beta \cdot \Delta_t)$$
  이는 다음과 같은 부드럽고 미분 가능한 가중치를 생성합니다:
  • 양적 간격 토큰(교사가 학생의 선택을 지지하는 경우) 에 대해 증류를 증폭하여 이를 고신뢰도 지침으로 취급합니다.
  • 부정적 간격 토큰(교사가 이의 제기하는 경우) 에 대해 증류를 감쇠시켜, 모델이 잠재적으로 노이즈가 있거나 관련 없는 기술 기반 거절을 맹목적으로 따르지 않도록 방지합니다.
• 그라디언트 중단: 게이트 $g_t$는 그라디언트 계산에서 분리됩니다. 이는 게이트가 순수한 신뢰도 가중치로 작용하도록 보장하며, 자기 참조 최적화 루프를 방지하고 안정적이고 1 차적인 업데이트를 보장합니다.

3. 기술 검색 및 컨텍스트

SDAR 는 특권 컨텍스트 $c^+$ (예: SkillBank 에서 검색된 기술) 를 조건으로 하는 '자기 - 교사' 분기를 활용합니다. 이 프레임워크는 UCB(상위 신뢰 구간), 키워드 매칭, 전체 검색, 무작위 검색이라는 네 가지 검색 전략에 대한 견고성을 평가합니다. 게이트 메커니즘은 저품질 또는 관련 없는 검색된 기술로 인한 노이즈를 필터링하도록 설계되었습니다.

주요 기여

1. 비대칭적 신뢰의 식별: 이 논문은 다회전 에이전트 훈련에서 특권 지침이 본질적으로 비대칭적임을 확립합니다. 특권 컨텍스트를 가진 교사의 긍정적 지지는 신뢰할 수 있지만, 부정적 거부는 토큰의 품질이 아니라 컨텍스트 불안정성에서 비롯될 수 있습니다.
2. 적응형 토큰 수준 게이팅: SDAR 는 각 토큰이 자율적으로 증류 강도를 조절할 수 있는 새로운 게이팅 전략을 도입합니다. 이는 경직된 수동 설계 일정을 가장 미세한 단위로 작동하는 동적, 자기 주도 커리큘럼으로 대체합니다.
3. 안정성과 견고성: 증류 신호를 주요 RL 목적 함수에서 분리하고 부정적 신호에 부드러운 감쇠를 적용함으로써, SDAR 는 단순한 GRPO+OPSD 조합에서 관찰된 치명적인 불안정을 피합니다.
4. 지식의 내재화: 추론 시 외부 기술에 의존하는 방법과 달리, SDAR 는 특권 지식을 정책 매개변수 내부에 성공적으로 내재화하여, 테스트 중 검색된 기술이 없더라도 강력한 성능을 발휘합니다.

실험 결과

저자들은 ALFWorld(embodied AI), Search-QA(검색 증류 추론), WebShop(전자상거래 상호작용) 의 세 가지 다양한 벤치마크에서 SDAR 를 평가했습니다. 실험은 Qwen2.5(3B, 7B) 및 Qwen3(1.7B) 모델 계열에서 수행되었습니다.

• 성능 향상: SDAR 는 기준선 GRPO 를 크게 능가합니다.
  • ALFWorld: Qwen2.5-3B 에서 9.4% 향상.
  • Search-QA: 7.0% 향상.
  • WebShop: 정확도에서 10.2% 향상 (Qwen2.5-7B).
• 하이브리드와의 비교: SDAR 는 모든 모델 규모에서 Skill-SD 및 RLSD 와 같은 하이브리드 기준선을 일관되게 능가합니다. 특히, Qwen3-1.7B 와 같은 작은 모델에서 성능이 크게 저하되는 단순한 GRPO+OPSD 에서 관찰된 성능 붕괴를 피합니다.
• 검색 품질에 대한 견고성: 중요한 발견은 SDAR 가 검색 품질에 따라 우아하게 저하된다는 점입니다. 무작위 검색(0 의 작업 인식) 을 사용하더라도 SDAR 는 순수 GRPO 기준선보다 우수한 성능을 보입니다. 이는 게이트 메커니즘이 저품질 기술로 인한 노이즈를 효과적으로 필터링하여 유익한 신호만 추출함을 확인시켜 줍니다.
• 추론 독립성: SDAR 는 추론 시 기술 검색이 필요하지 않은 최첨단 결과를 달성하여 진정한 지식 내재화를 보여줍니다. 예를 들어, Qwen2.5-3B 를 사용한 ALFWorld 에서 SDAR(84.4%) 은 테스트 시 기술에 의존하는 Skill-GRPO*(80.5%) 를 능가합니다.

중요성 및 주장

이 논문은 SDAR 가 다회전 에이전트 RL 에 자기 증류를 적용할 때 발생하는 불안정성에 대한 원칙적인 해결책을 제공한다고 주장합니다. 증류를 주요 동인이거나 경직된 제약이 아닌 게이트가 적용된 보조 목적 함수로 취급함으로써, SDAR 는 환경 주도적인 RL 의 거친 최적화와 특권 컨텍스트의 밀집된 토큰 수준 지침을 조화시킵니다.

저자들은 그들의 접근 방식이 별도의 더 강력한 교사 모델을 필요로 하지 않으며, 대신 특권 컨텍스트로 강화된 동일한 정책을 활용하여 확장 가능하고 실용적임을 강조합니다. 게이트 메커니즘이 긍정적 신호는 신뢰하면서도 부정적 신호는 보수적으로 감쇠시키는 비대칭적 지침 처리 능력은 다회전 훈련을 안정화하고 다양한 모델 크기와 작업 도메인 전반에 걸쳐 견고한 일반화를 가능하게 하는 핵심으로 제시됩니다. 이 연구는 다회전 에이전트의 경우, RL 이 주요 백본으로 남아야 하며 증류는 정적 감독자가 아닌 동적 토큰 수준 조절기로 기능해야 함을 시사합니다.