기술 요약: 무엇을 언제 증류할 것인가: 멀티턴 에이전트를 위한 선택적 사후 증류

1. 문제 제기

강화 학습 (RL) 은 웹 탐색, 구체적 작업 (embodied tasks) 과 같은 장기적 상호작용 환경에서 대규모 언어 모델 (LLM) 에이전트를 훈련시키는 주요 패러다임입니다. 그러나 **신용 할당 (credit assignment)**에 있어 치명적인 병목 현상이 존재합니다. 희소하고 궤적 수준의 성공 신호 (예: 단일 "작업 완료" 보상) 가 수십 개의 행동에 분배되어야 하는데, 그중 많은 행동이 결과에 인과적 영향을 미치지 않는 단순한 탐색이나 포맷팅 단계이기 때문입니다.

기존 방법론은 두 가지 주요 한계에 직면해 있습니다:

1. 거친 신용 할당: GRPO 와 같은 그룹 상대적 방법은 단일 궤적 수준의 이득 (advantage) 을 모든 토큰에 브로드캐스트하여, 결정적인 결정과 무기력한 인터페이스 토큰을 동일하게 취급합니다.
2. 증류 과정에서의 특권 정보 누출: 온-정책 자기 증류 (OPD) 는 환경 피드백을 관찰하는 "교사" 모델을 사용하여 조밀한 토큰 수준의 감독을 제공할 수 있지만 (사후 관점), 무분별한 모방은 의사 결정 시점에 학생이 접근할 수 없는 정보 (예: 미래 관측치, 오류 메시지) 가 누출될 위험이 있습니다. 이는 작업 성공과 무관한 스타일적 선호도를 증폭시키고 훈련을 불안정하게 만들 수 있습니다.

핵심적인 과제는 어떤 피드백 소스가 유용한지, 어디 (어떤 세분성으로) 적용되어야 하는지, 그리고 에이전트의 결정과 최종 보상 사이의 인과적 연결을 훼손하지 않으면서 이를 어떻게 통합할 것인지 결정하는 것입니다.

2. 방법론: SERL

저자들은 업데이트의 방향과 업데이트의 크기 및 배치를 분리하는 SERL(선택적 환경 재가중 학습, Selective Environment-Reweighted Learning) 프레임워크를 제안합니다.

핵심 원리

• 작업 보상: 정책 업데이트의 방향 (행동을 강화하거나 억제할지 여부) 을 결정합니다.
• 환경 피드백: 해당 업데이트의 배치 (어떤 토큰에 적용할지) 와 크기 (얼마나 강하게 적용할지) 만 조정합니다.

주요 구성 요소

A. 사후 배치 (소스 및 세분성)

SERL 은 피드백 소스와 삽입 지점의 설계 공간을 체계적으로 탐색합니다:

• 피드백 소스: 즉각적인 피드백 ($r_t$), 다음 관측치 ($s_{t+1}$), 미래 궤적 ($\tau_{>t}$), 성공적인 궤적 ($\tau_+$), 그리고 이들의 조합.
• 세분성:
  • 단계 수준 (Step-Level): 모든 전이에 피드백을 적용합니다.
  • 앵커 수준 (Anchor-Level): 의미적으로 유사한 상태를 "앵커"로 그룹화하고, 중복과 노이즈를 줄이기 위해 의미 있는 상태 변화 시에만 피드백을 적용합니다.

B. 비대칭 교사 - 학생 메커니즘

SERL 은 배치된 사후 관점 $\Phi(t)$에 조건부로 설정된 그라디언트 중지 (stop-gradient) 교사 정책 ($\pi_T$) 을 사용하며, 학생 ($\pi_\theta$) 은 의사 결정 시점의 맥락만 봅니다.

1. 로그 확률 차이: 시스템은 토큰에 대한 교사와 학생의 로그 확률 사이의 차이를 계산합니다: $\Delta_{t,i} = \log \pi_T - \log \pi_\theta$.
2. 부호 인식 재가중: 이 차이를 경계된 가중치 $w_{t,i}$로 변환하여 GRPO 이득을 수정합니다. 핵심적으로, 원래 GRPO 이득 ($A_t$) 의 부호는 차이를 해석하는 방식을 결정합니다:
   • $A_t > 0$ (성공적인 궤적) 인 경우, 교사가 선호하는 토큰은 더 큰 양의 업데이트를 받습니다.
   • $A_t < 0$ (실패한 궤적) 인 경우, 교사가 선호하지 않는 토큰은 더 가혹하게 패널티를 받습니다.
3. 실행 가능 행동 토큰 마스킹: 재가중은 실행 가능한 행동 토큰으로 제한됩니다. 추론 및 포맷팅 토큰은 원래 GRPO 가중치를 유지하여, 교사가 생성의 비의사결정적 부분에 영향을 미치는 것을 방지합니다.
4. 감쇠 스케줄: 사후 재가중의 강도 ($\alpha_k$) 는 훈련 과정에서 감쇠됩니다. 초기 단계는 탐색 중 신용 할당을 위해 조밀한 사후 관점을 활용하고, 후기 단계는 지속적인 특권 편향을 방지하기 위해 제어권을 보상 주도 목표에 반환합니다.

C. 목적 함수

최종 목적 함수는 재가중된 RL 손실 ($\mathcal{L}_{rw}$) 과 경량화된 행동 전용 증류 항 ($\mathcal{L}_{act}$) 을 결합합니다:
$$\mathcal{L}_{SERL} = \mathcal{L}_{rw} + \lambda \mathcal{L}_{act}$$
이를 통해 특권 사후 관점은 전체 응답 업데이트 방향을 결정하지 않고, 경계된 행동 수준의 신용 조정으로만 기능하도록 보장합니다.

3. 주요 기여

1. 피드백 설계에 대한 체계적 연구: ALFWorld 와 WebShop 에서 다섯 가지 피드백 소스와 두 가지 삽입 세분성을 평가한 장기적 LLM 에이전트 RL 을 위한 환경 피드백에 대한 최초의 포괄적 분석.
2. SERL 프레임워크: 특권 사후 관점을 정책 그라디언트의 경계된 행동 수준 재가중으로 변환하고, 최적화 방향을 작업 보상에 고정시키는 GRPO 호환 목적 함수.
3. 실증적 통찰: 효과적인 피드백이 단순히 "가장 풍부한" 맥락이 아님을 입증. 의미 있는 삽입 지점 (앵커 수준) 에서의 구체적이고 행동 관련 신호가 더 길거나 더 특권적인 맥락을 무분별하게 사용하는 것보다 일관되게 우월함을 보여줌.

4. 실험 결과

실험은 Qwen2.5-7B-Instruct 를 기본 모델로 사용하여 ALFWorld(구체적 의사 결정) 와 WebShop(온라인 쇼핑 탐색) 에서 수행되었습니다.

• 성능: SERL 은 ALFWorld 에서 평균 **90.0%**의 성공률을, WebShop 에서 **80.1%**의 성공률을 달성했습니다.
• 비교:
  • 강력한 RL 베이스라인 (예: GRPO, HGPO) 을 유의미한 차이로 능가했습니다 (예: ALFWorld 평균 성공률에서 GRPO 대비 +14.7 점).
  • 종종 장기적 작업에서 일관되지 않은 향상이나 불안정을 겪었던 RL-증류 하이브리드 (예: SDPO, RLSD) 를 능가했습니다.
• 어블레이션 발견:
  • 소스: 성공적인 궤적 + 즉각적인 피드백의 조합이 가장 좋은 결과를 낳았으며, 이는 참조 행동이 현재 롤아웃의 실제 전이에 기반해야 함을 시사합니다.
  • 세분성: 앵커 수준 배치는 중복 업데이트를 억제하면서 인과적 신호를 보존하여 다중 소스 피드백의 경우 일반적으로 단계 수준 배치보다 우월했습니다.
  • 감쇠: 교사 신호의 감쇠가 결정적이었습니다. 훈련 내내 사후 관점을 균일하게 사용하면 후기 단계에서 특권 정보 누출로 인해 최적이지 않은 성능으로 이어졌습니다.

5. 중요성 및 주장

이 논문은 에이전트 RL 의 주요 병목 현상이 그라디언트 추정의 분산 감소가 아니라, 장기 궤적에서의 신용 할당 불일치라고 주장합니다.

• 구체적 vs 풍부함: 더 많은 맥락 (예: 전체 미래 궤적) 이 항상 더 좋다는 가정을 도전합니다. 대신, 에이전트의 특정 결정과 인과적 정렬을 유지하는 구체적이고 행동 관련 신호가 의미 있는 지점에서 더 우월하다고 주장합니다.
• 제어된 증류: 교사 신호를 모방의 직접적인 목표가 아닌 크기 조정을 위한 계수로 비대칭적으로 사용할 경우, 증류를 RL 에 통합하여 불안정성을 피할 수 있음을 SERL 이 보여줍니다.
• 설계 원칙: 효과적인 에이전트 RL 을 위해서는 세 가지 설계 선택의 정렬이 필요함을 확립합니다: 피드백의 소스, 해당 피드백의 배치(세분성), 그리고 정책 업데이트에 대한 그 영향의 강도.

증류의 "무엇과 언제"를 해결함으로써, SERL 은 특권 정보 누출의 함정에 빠지지 않으면서 조밀한 환경 피드백을 효과적으로 활용할 수 있는 멀티턴 에이전트 훈련을 위한 안정적인 경로를 제공합니다.