기술 요약: 온라인 모방 학습(Online Imitation Learning)은 언제 LLM 사후 학습에 도움이 되는가?

문제 정의

본 논문은 대규모 언어 모델(LLM) 사후 학습의 근본적인 질문을 다룹다: 왜, 그리고 언제 온라인 모방 학습(IL), 구체적으로는 온-폴리시 증류(on-policy distillation)가 오프라인 지도 미세 조정(SFT)보다 우수한 성능을 보이는가?

경험적 연구들은 온라인 IL이 더 우수하다고 시사하지만, 기존의 이론적 설명—즉, 온라인 상호작용이 긴 호라이즌(horizon)에서 "오차 누적(error accumulation)"을 완화한다는 설명(DAgger 스타일 알고리즘에서와 같은)—은 최근의 연구 결과들에 의해 도전받고 있다. Foster 등[15]은 실현 가능(realizable) 설정(전문가 정책이 학생의 가설 클래스 내에 존재하는 경우)에서, 로그 가능도(log-likelihood) 목적 함수를 사용하는 오프라인 IL이 온라인 방식과 동일한 샘플 복잡도 보장(sample complexity guarantees)을 달성함을 입증했다. 이는 만약 오차 누적이 유일한 동인이 아니라면, 학생 모델이 모방하는 전문가보다 흔히 작고 능력이 떨어지는 실제 LLM 훈련 환경에서 온라인 IL의 이점은 어디에서 오는가라는 의문을 제기한다.

저자들은 비실현성(non-realizability, misspecification)—학생 정책 $\Pi$가 전문가 정책 $\pi_e$를 표현할 수 없는 시나리오—이 핵심 요인이라고 제안한다. 그들은 호라이즌 $H=1$인 컨텍스추얼 밴딧(contextual bandit) 상황에서도 비실현적 설정에서 온라인 상호작용이 이점을 제공하는지 조사한다.

방법론

이론적 프레임워크

저자들은 LLM 사후 학습을 호라이즌 $H=1$인 컨텍스추얼 밴딧 문제로 추상화한다.

• 컨텍스트 ($X$): 프롬프트.
• 액션 ($Y$): 생성된 응답 시퀀스.
• 정책 ($\pi$): 응답에 대한 조건부 분포.
• 실현 가능성(Realizability): $\pi_e \in \Pi$로 정의된다. 만약 $\pi_e \notin \Pi$라면, 이는 비실현적(non-realizable) 설정이다.

그들은 두 가지 학습 패러다임을 분석한다:

1. 오프라인 IL (SFT): 행동 복제(behavior cloning) 손실(음의 로그 가능도)을 최소화함으로써 i.i.d. 전문가 데모 데이터 $(x_i, y_i)$로부터 학습한다.
2. 온라인 IL (On-policy Distillation): 학습자는 자신의 현재 정책 $\pi$로부터 샘플을 추출하고, 전문가에게 확률 $\pi_e(y|x)$를 질의하며, 역-KL 발산(reverse-KL divergence) 목적 함수(또는 일반적인 형성 함수 $f(\pi_e(y|x))$)를 최적화한다.

주요 분석 도구

1. 불일치 분석(Discrepancy Analysis): 본 논문은 전문가와 학생 사이의 분포 불일치(예: 총 변동 거리(Total Variation), 헬링거 거리)에 의존하는 전통적인 경계값(bounds)을 비판한다. 저자들은 이러한 경계값들이 비실현적 설정에서 지나치게 비관적이며, 실제 보상 목적 함수와 일치하지 않는다고 주장한다.
2. 정보 이론적 하한(Information-Theoretic Lower Bounds, 오프라인): 저자들은 비실현적 설정에서 오프라인 IL의 샘플 복잡도에 대한 하한을 도출하며, 이것이 커버리지 계수(coverage coefficient) $C_\infty^e$에 따라 스케일링됨을 보여준다. 이 계수는 전문가의 분포와 제한된 학생 클래스 내에서 달성 가능한 최적의 정책 사이의 불일치를 측정한다.
3. 온라인 IL을 위한 구조적 조건 (Misspecification–Reward Alignment): 온라인 IL의 성공을 설명하기 위해, 저자들은 전문가의 신호(증류에 사용됨)가 학생 클래스가 활용할 수 있는 방식으로 보상 함수와 정렬되는 조건을 제안한다.
   • 가정 1 (Misspecification–Reward Alignment): 전문가 신호 $f(\pi_e(y|x))$는 보상과 정렬된 성분 $\alpha r(x,y)$와 잔차(residual) $h(x,y)$로 분해된다. 이 조건은 온라인 목적 함수에 대해 근사 최적(near-optimal)인 정책들 내에서, 잔차 항 $h$가 보상 성능 면에서 차이가 나는 정책들을 유의미하게 구별하지 않을 것을 요구한다. 본질적으로, "미스스펙리피케이션(misspecification)"은 보상에 직교하거나 학생 클래스에 의해 표현 불가능해야 한다.

주요 기여 및 결과

1. 실현 가능한 설정: 오프라인 IL로 충분함

저자들은 실현 가능한 설정에서 온라인 IL이 오프라인 IL에 비해 어떠한 이점도 제공하지 않음을 실험적으로 검증한다.

• 실험: 합성(Countdown) 및 실제 수학 추론(GSM8K, DeepScaleR) 작업에 대해 실험을 수행했다. 이 설정에서 "전문가"는 학생과 동일한 계열의 RL 학습 모델에 의해 생성되었으므로 실현 가능성이 보장되었다.
• 결과: SFT(오프가인)는 전문가의 성능을 완전히 회복했다. 온-폴리시 증류(온라인)는 SFT와 비교했을 때 최종 정확도나 훈련 속도 면에서 아무런 이득을 주지 못했다. 이는 실현 가능한 체제에서 오차 누적이 온라인 IL 성공의 주요 동인이 아님을 확인시켜 준다.

2. 비실현적 설정: 정보 병목 현상

비실현적 설정(전문가가 훨씬 크거나 다른 모델인 경우)에서, 본 논문은 오프라인 IL의 근본적인 한계를 식별한다:

• 정리 1: i.i.d. 전문가 데이터로부터 학습하는 오프라인 IL 알고리즘은 정보 이론적 장벽에 직면한다. 만약 전문가가 제한된 학생 클래스가 학습할 수 있는 특정 응답에 낮은 확률 질량을 할당한다면(높은 $C_\infty^e$), 오프라인 IL은 샘플 크기에 관계없이 vanishing suboptimality(사라지는 하위 최적성)를 달성할 수 없다. 즉, 전문가의 데모에는 학생이 자신의 클래스 내에서 최적의 정책을 배우기에 "적절한" 예시가 포함되어 있지 않을 수 있다.

3. 구조적 정렬을 통한 온라인 IL의 이점

본 논문은 왜 온라인 IL이 비실현적 설정에서 성공하는지에 대한 이론적 근거를 제공한다:

• 정리 2: Misspecification–Reward Alignment 조건 하에서, 온라인 IL은 큰 분포 불일치에도 불구하고 낮은 보상 하위 최적성(reward suboptimality)을 달상할 수 있다.
• 메커니즘: 온라인 상호작용을 통해 학생은 자신이 실제로 방문하는 상태(프롬프트)에 대해 전문가에게 질의할 수 있다. 만약 전문가의 신호가 보상 관련 정보가 접근 가능한 방식으로 구조화되어 있다면(비록 전문가의 전체 분포는 아닐지라도), 온라인 IL은 높은 보상을 가진 정책으로 수렴할 수 있다.
• 경험적 검증: DeepSeek-R1 모델을 사용하여, 분포 불일치(예: 응답 길이 또는 키워드 빈도)가 매우 클 수 있음에도(예: TV 거리가 30%) 성능 차이는 작게 유지될 수 있음을 보여주었다(5%). 이는 불일치 기반 경계값이 느슨하다는 주장을 뒷받침한다. 또한, 더 나은 "정렬"을 가진 전문가(Skywork-7B)로부터 증류하는 것이 정렬이 덜 된 전문가(R1-Distill-7B)보다 훨씬 더 나은 학생 성능을 낸다는 것을 보여주었으며, 이는 저자들의 이론적 경계값 추정과 일치한다.

의의 및 주장

본 논문은 LLM 사후 학습의 이론적 이해를 오차 누적 관점에서 미스스펙리피케이션(misspecification) 관점으로 전환한다고 주장한다.

1. 이점의 재정의: LLM에서 온라인 IL의 주요 이점은 단순히 긴 호라이즌에서의 오차 누적을 교정하는 것이 아니라, 비실현성으로 인한 정보 이론적 병목 현상을 극복하는 것이다. 실현 가능한 설정에서는 오프라인 SFT만으로도 이론적, 경험적으로 충분하다.
2. 보상 인식 분석의 필요성: 저자들은 IL을 단지 분포 불일치(예: KL 발산)를 통해 분석하는 것은 불충분하며 종종 오해의 소지가 있다고 주장한다. 학생이 전문가를 완벽하게 모방할 수 없는 상황에서 온라인 방식이 왜 성공하는지를 설명하려면 **보상 의존적 분석(reward-dependent analysis)**이 필요하다.
3. 실무적 시사점: 결과는 실제 SFT와 온라인 방식(RL 또는 온-폴리시 증류와 같은) 사이에서 관찰되는 성능 격차가 흔히 전문가에 대한 비실현성에서 기인함을 시사한다. 만약 전문가가 너무 강력하거나 구조적으로 다르다면, 오프라인 데이터는 불충분할 수 있으며, 학생을 자신의 정책 공간 내 고보상 영역으로 안내하기 위해 온라인 상호작용이 필수적이 된다.

본 논문은 자신들의 프레임워크가 오프라인-온라인 간극을 설명하지만, 왜 온-폴리시 증류가 (마찬가지로 온라인 상호작용을 사용하는) RL보다 때때로 샘플 효율적인지에 대해서는 완전히 설명하지 못한다고 결론지으며, 언어 생성의 다단계 구조와 조밀한 보상 신호는 향리 연구 과제로 남아 있음을 시사한다.