기술 요약: 행동 복제(Behavior Cloning)만으로는 충분하지 않다

문제 정의

본 논문은 모방 학습(Imitation Learning, IL)의 핵심적인 수수께끼를 다룹니다. 이론적으로는 오프라인 방식인 행동 복제(Behavioral Cloning, BC)가 깨끗한 전문가 설정(clean expert setting)에서 호라이즌(horizon)에 무관한 최적의 성능을 달ras할 수 있다고 제안되지만, 현대의 응용 분야(특히 온-폴리시 증류(On-Policy Distillation, OPD)를 통한 대규모 언어 모델 학습)에서의 실증적 증거는 온라인 방식이 오프라인 방식보다 우수한 성능을 보인다는 것을 일관되게 보여줍니다.

저자들은 이러한 불일치를 설명하기 위해 **노이즈가 섞인 전문가 모델(noisy expert model)**을 제안합니다. 이 설정에서 학습자는 완벽한 전문가 정책 $\pi^\star$에 접근하는 것이 아니라, 오염된 버전인 $\pi^\star_\eta = (1-\eta)\cdot\pi^\star + \eta\cdot\nu$에 접근하게 됩니다. 여기서 $\eta$는 노이즈 수준이고 $\nu$는 노이즈 분포입니다. 학습자의 목표는 노이즈가 섞인 전문가로부터 생성된 궤적(trajectory)만을 가지고 있음에도 불구하고, 깨끗한 전문가 $\pi^\star$의 기대 보상과 경쟁하는 정책 $\hat{\pi}$를 학습하는 것입니다. 이 모델은 불완전한 인간 텍스트로부터 언어 모델을 학습시키거나, 거대 교사 모델이 완전히 수렴하지 않은 상태에서 증류하거나, 혹은 "전문가"가 확률적인 추론 과제를 수행하는 등의 실제 환경 시나리오를 포착합니다.

방법론 및 이론적 프레임워크

저자들은 노이즈가 섞인 전문가 가정을 바탕으로 헬링거 거리(Hellinger distance)를 레그렛(regret)의 대리 지표로 사용하여 오프라인 및 온라인 IL 설정을 모두 분석합니다.

1. 오프라인 모방 학습 (난해성 결과)

오프라인 설정에서 학습자는 $\pi^\star_\eta$로부터 생성된 $n$개의 궤적으로 구성된 고정된 데이터셋을 받습니다.

• 분석: 저자들은 깨끗한 전문가 $\pi^\star$에 근접한 정책을 회복하기 위해서는 노이즈를 역전(invert)해야 함을 보여줍니다. 그들은 깨끗한 궤적의 헬링거 거리 $D_H^2(P_{\pi^\star}, P_{\hat{\pi}})$와 노이즈가 섞인 궤적의 헬링거 거리 $D_H^2(P_{\pi^\star_\eta}, P_{\hat{\pi}_\eta})$ 사이의 관계를 나타내는 경계(bound)를 도출합니다.
• 핵심 발견: 추가적인 가정이 없다면, 깨끗한 전문가와 경쟁하기 위해 필요한 샘플 복잡도는 호라이즌 $H$에 대해 지수적으로 증가합니다(구체적으로 $(1-\eta)^{-H}$에 비례). "지배 조건(domination condition)"(노이즈 분포가 정책 클래스에 의해 지배되는 경우)이 있더라도, 노이즈가 $1/H$에 비해 무시할 만한 수준이 아니라면 의존성은 여전히 $H$에 대해 지수적입니다.
• 하한선(Lower Bound): 저자들은 이러한 지수적 의존성이 근본적임을 증명합니다. 그들은 상수 오차를 달성하기 위해 샘플 복잡도가 $H$에 대해 지수적으로 요구됨을 보여주는 반례를 구성하여, 오프라인 IL이 긴 호라이즌의 노이즈 환경에서 근본적으로 실행 불가능함을 입증합니다.

2. 온라인 모방 학습 (해결책)

온라인 설정에서 학습자는 환경과 상호작용하고, 자신의 현재 정책을 실행(roll out)하며, 방문한 상태에서 노이즈가 섞인 전문가에게 행동을 질의할 수 있습니다.

• 증강된 궤적(Augmented Trajectories): 저자들은 학습자가 정책 $\pi$를 실행하지만 각 상태에서 전문가 $\pi'$에게 행동을 질의하는 증강된 궤적 분포 $P_{\pi, \pi'}$의 개념을 도입합니다. 이를 통해 학습자는 동일한 상태에서의 자신의 궤적 분포를 전문가의 행동과 비교할 수 있습니다.
• 이론적 보장: 저자들은 증강된 궤적 분포의 헬링거 거리(또는 KL 발산)에 의해 학습된 정책의 하위 최적성(suboptimality)이 제한될 수 있음을 증명합니다. 결정적으로, $\kappa$-지배 조건($\text{noise distribution}$이 전문가 및 학습자 정책에 의해 지배되는 경우) 하에서, 이 경계는 **호라이즌에 무관(horizon-free)**해집니다. 이 조건이 없더라도, 호라이즌에 대한 의존성은 오직 다항식($\sqrt{H}$) 수준입니다. 이는 오프라인 사례의 지수적 의존성과 극명한 대조를 이룹니다.
• 알고리즘 (NAIL): 저자들은 NAIL(Noise-robust Aggregation for Imitation Learning)을 제안합니다. 단계별 정책을 학습하는 표준적인 DAgger와 달리, NAIL은 증강된 궤적의 음의 로그 가능도(negative log-likelihood)에 지수적 가중치를 사용하여 궤적 수준에서 정책을 집계합니다.
  • 알려진 오염(Known Corruption): NAIL은 $H \sqrt{\log|\Pi|/n}$로 스케일링되는 레그렛 경계를 달성합니다.
  • 알려지지 않은 오염 (결정론적 전문가): 전문가가 결정론적이고 노이즈가 "매끄러운"(모든 행동에 유한한 확률 질량을 가짐) 경우를 위해, 저자들은 NAILGUN을 제안합니다. 이 알고리즘은 노이즈 수준 $\eta$나 분포 $\nu$에 대한 지식 없이도 $\log|\Pi|/n$의 호라이즌 무관 레그렛 경계를 달성합니다.

주요 기여

1. 이론적 분리: 본 논문은 노이즈가 있는 전문가가 존재할 때 오프라인 IL과 온라인 IL 사이의 뚜렷한 차이를 확립합니다. 오프라인 학습은 근본적으로 어렵지만(호라이즌에 대해 지수적), 온라인 학습은 호라이즌에 무관하거나 다항식 수준의 보장을 달성할 수 있음을 증명합니다.
2. 노이즈 섞인 전문가 모델: 모델 미스스펙리피케이션(misspecification)만을 유일한 원인으로 배제하기 위해(교사 모델과 학생 모델의 아키텍처가 동일한 경우 포함), 언어 모델 학습 시 SFT보다 OPD가 우수한 이유를 설명하는 일반적인 노이즈 섞인 전문가 모델($\pi^\star_\eta$)을 도입했습니다.
3. 증강 궤적 분석: 깨끗한 전문가의 성능을 증강된 궤적 분포($P_{\hat{\pi}, \pi^\star_\eta}$ 대 $P_{\hat{\pi}, \hat{\pi}_\eta}$) 간의 발산과 연결하는 경계의 도출을 통해, 온-폴리시 증류 목적 함수에 대한 이론적 정당성을 제공합니다.
4. 알고리즘 및 경계:
   • NAIL: 알려진 오염 환경에서 최적에 가까운 샘플 복잡도를 갖는 알고리즘.
   • NAILGUN: 알려지지 않은 오염 환경(결정론적 전문가)에서 호라이즌 무관 보장을 달성하는 알고리즘.
   • 하한선(Lower Bounds): 제안된 알고리즘들이 상수 계수 차이 내에서 최적임을 보여주는 일치하는 하한선.

실험 결과

저자들은 두 가지 과업을 통해 이론을 검증합니다:

1. Modular Addition (합성 과업): 숫자를 7로 나눈 나머지를 더하는 사고 사슬(chain of thought)이 필요한 작업.
   • 깨끗한 전문가: 오프라인 BC(SFT)가 가장 좋은 성능을 보이며, 이는 이론과 일치합니다.
   • 노이즈 섞인 전문가: 오프라인 BC와 표준 OPD 모두 학습에 실패합니다. 제안된 NAIL 변형들(증강된 궤적에 대한 forward/reverse KL을 최소화하는 방식)은 완벽한 정확도를 달성합니다.
2. GSM-8K (자연어): Gemma 모델을 사용한 수학적 추론 벤치마크.
   • 깨끗한 전문가: 온라인 방식이 오프라인 BC보다 우수한 성능을 보입니다.
   • 노이즈 섞인 전문가: NAIL 변형들만이 효과를 유지하며 유의미한 정확도를 달성하는 반면, 표준 OPD와 SFT는 완전히 실패합니다(정확도 0%).

이러한 결과는 증강된 궤적에 대한 (특히 특정 발산을 최소화하는) 손실 함수가 표준 지도 학습 목적 함수보다 노이즈 섞인 전문가 피드백에 더 강건하다는 것을 확인시켜 줍니다.

의의 및 주장

본 논문은 불완전한 교사로부터 언어 모델을 학습시킬 때 왜 온-폴리시 증류(OPD)가 표준 지도 학습 미세 조정(SFT)보다 우수한지에 대한 이론적 토대를 제공한다고 주장합니다.

• 경험적 현상의 설명: "깨끗한" 전문가라는 가정이 실제(노이즈 섞인 인간 데이터나 불완전한 교사 모델로 인해) 자주 위반된다는 점을 보여줌으로써 IL의 "이론과 실제" 간의 간극을 해결합니다. 이러한 노이즈 상황에서는 온라인 상호작용이 단순히 유익한 것이 아니라, 지수적 샘플 복잡성을 피하기 위해 필수적임을 보여줍니다.
• 원칙적인 손실 함수: 분석은 언어 모델 학습을 위해 흔히 경험적으로 고려되지만 엄밀한 정당성이 부족했던 대안적 손실 함수(증강된 궤적에서의 발산을 최소화하는 방식)에 대한 정당성을 제공합니다.
• 한계점: 저자들은 자신의 주장에 대해 겸허하며, 결과가 유한한 정책 클래스, 이상적인 오염 모델, 그리고 (알려지지 않은 오염의 경우) 결정론적 전문가와 같은 특정 가정에 의존한다는 점을 명시합니다. 이러한 결과를 더 정교한 노이즈 모델과 확장된 실험으로 직접 번역하는 데는 추가적인 연구가 필요함을 인정합니다.

요약하자면, 본 논문은 전문가가 노이즈를 가질 때 행동 복제(Behavioral Cloning)만으로는 충분하지 않다고 주장합니다. 대신, 긴 호리즌의 과업에서 깨끗한 전문가의 행동을 회복하기 위해서는 **온-폴리시 증류(On-Policy Distillation)**가 이론적으로 최적입니다.