기술 요약: 함수 근사 하의 미스스펙(Misspecification)을 고려한 온라인 KL-정규화 강화학습

1. 문제 정의

본 연구는 선택된 모델 클래스가 **미스스펙(misspecified)**된 상황에서, 일반적인 함수 근사를 사용하는 KL-정규화된 컨텍스추얼 밴딧(Contextual Bandits) 및 에피소드형 강화학습(RL) 문제를 다룹니다.

표준적인 설정에서는 이론적 보장이 실제 보상 또는 가치 함수가 학습자의 함수 클래스 내에 정확히 존재한다는 **실현 가능성 가정(realizability assumption)**에 의존하는 경우가 많습니다. 그러나 인간 피드백을 통한 강화학습(RLHF)이나 대규모 언어 모델(LLM)의 사후 학습과 같은 실제 응용 분야에서는, 복잡하고 비선형적인 보상 구조를 완벽하게 포착할 수 없는 제한된 함수 클래스(예: 선형 또는 저계수 모델)를 빈번하게 사용합니다. 이는 학습자가 무한한 데이터를 보유하더라도 최적의 예측 모델이 0이 아닌 근사 편향(approximation bias)을 유지하게 되는 모델 미스스펙 상황으로 이어집니다.

구체적인 목표는 다음과 같습니다:

• 컨텍스추얼 밴딧: 참조 정책 $\pi_{\text{ref}}$와 정규화 파라미터 $\eta$에 의해 정의되는 KL-최적 깁스 정책(KL-optimal Gibbs policy)에 대한 누적 **KL-후회(KL-regret)**를 최소화합니다.
• 에피소드형 RL: 단계별 참조 정책에 대해 KL 페널티로 정규화된 정책 업데이트가 이루어지는 에피소드형 MDP 설정에서 누적 KL-후회를 최소화합니다.

핵심 과제는 표준적인 보상-후회(reward-regret) 정식화에 대한 기존의 미스스펙 분석이 최적화 기하학 및 벨만 타겟(Bellman targets)의 구조적 차이로 인해 KL-정규화 설정으로 직접 전이되지 않는다는 점입니다.

2. 방법론

2.1 미스스펙 정식화

저자들은 KL-정규화된 목적 함수에 맞춤화된 특정 미스스펙 조건을 도입합니다:

• 컨텍스추얼 밴딧: 실제 보상 $R^\star$와 클래스 $\mathcal{R}$ 내 최적 근사치 사이의 제곱 오차가 $\zeta_{\text{Bandit}}^2$에 의해 유계되는 지점별 미스스펙(pointwise misspecification) 정식화.
• 에피소드형 RL: KL-정규화된 벨만 타겟과 정렬된 단계별 미스스펙(stagewise misspecification) 조건. 이는 로그-파티션 연산자를 포함하는 실제 벨만 백업과 단계별 함수 클래스 $\mathcal{R}_h$ 내 최적 근사치 사이의 오차를 $\zeta_{\text{RL}}$로 제한합니다.

2.2 알고리즘

본 논문은 불확실성과 미스스펙을 처리하기 위해 낙관성(optimism)을 통합한 두 가지 회귀 기반 알고리즘을 제안합니다:

1. MR-KL-UCB (컨텍스추얼 밴딧):

   • 관측된 데이터에 대해 경험적 위험 최소화(ERM)를 수행합니다.
   • 함수 클래스의 **엘러 차원(eluder dimension)**에 기반한 불확실성 보너스를 계산합니다.
   • 알려진 미스스펙 수준 $\zeta_{\text{Bandit}}$를 보너스에 더합니다.
   • 낙관적 보상 추정치로부터 도출된 깁스 분포를 사용하여 정책을 업데이트합니다: $\pi_t(a|x) \propto \pi_{\text{ref}}(a|x) \exp(\eta \hat{R}_t(x,a))$.

2. MR-KL-LSVI (에피소드형 RL):

   • KL-정규화 설정으로 확장된 최소 제곱 가치 반복(Least-Squares Value Iteration, LSVI)입니다.
   • 역방향 계획(backward planning)을 수행합니다: 각 단계 $h$에서 다음 단계의 연속 가치(continuation value)를 사용하여 회귀 레이블을 재계산합니다.
   • 단계별 ERM을 수행하고, 불확실성 보너스를 계산하며, 미스스펙 수준 $\zeta_{\text{RL}}$을 더합니다.
   • 단계별 참조 정책에 대해 **깁스 정책 개선(Gibbs policy improvement)**을 통해 정책을 업데이트합니다.
   • KL 정규화를 처리하기 위해 **소프트 가치 업데이트(soft-value update, 로그-파티션 연산자)**를 사용합니다.

2.3 이론적 분석 기법

분석에는 다음과 같은 여러 고급 기법이 결합되었습니다:

• 깁스 변분 항등식(Gibbs Variational Identity): KL 갭과 스코어 차이 사이의 정확한 관계를 활용하여 후회를 바운드합니다.
• 이차 자기 바운딩(Quadratic Self-Bounding): 학습자의 정책과 최적 정책 사이의 KL 갭이 스코어 함수의 제곱 차이(낙관성 갭)에 의해 상한이 됨을 입증합니다.
• 벨만 잔차로의 환원(Reduction to Bellman Residuals): 제곱 온-폴리시 Q-갭을 제곱 벨만 잔차 항으로 변환하여 KL 특유의 기여도를 분리합니다.
• Freedman의 부등식: 예측 가능한 제곱 보너스의 합을 실현된 합과 일치시켜 고확률 보장을 확보합니다.

3. 주요 기여

1. 새로운 미스스펙 정식화: 본 논문은 컨텍스추얼 밴딧(지점별) 및 에피소드형 RL(벨만 경로를 따른 단계별) 모두에 대해 KL과 정렬된 미스스펙 조건을 최초로 정의합니다.
2. 알고리즘 설계: 미스스펙 수준($\zeta$)에 맞춰 낙관성 보너스를 명시적으로 조정하면서도, KL-정규화된 목적 함수에 필요한 깁스 정책 구조를 유지하는 MR-KL-UCB 및 MR-KL-LSVI를 도입합니다.
3. 고확률 후회 보장: 통계적 복잡도(엘러 차원을 통해)와 미스스펙에 의한 근사 오차를 명시적으로 분리하는 고확률 KL-후회 경계를 설정합니다.
   • 밴딧의 경우: $O(\eta \sqrt{\log(N_R T/\delta) \cdot d(\mathcal{R}, \lambda, T)} + T\zeta_{\text{Bandit}}^2)$.
   • RL의 경우: $\tilde{O}(\eta H^2 \sqrt{d_{\text{RL}}(\lambda, T)} + \eta H^3 T \zeta_{\text{RL}}^2)$.
4. 실현 가능한 경우의 회복: 미스스펙 수준이 0($\zeta = 0$)일 때, 이 경계들이 실현 가능한 KL-정규화 설정에 대한 최첨단(state-of-the-art) 보장을 회복함을 보여줍니다.

4. 결과

주요 이론적 결과(Theorem 5.1 및 Corollary 5.4)는 다음 보장을 제공합니다:

• 컨텍스추얼 밴딧: 지점별 미스스펙 모델 하에서, 누적 KL-후회는 함수 클래스의 엘러 차원의 제곱근에 비례하며, 총 시간 지평 $T$와 제곱 미스스펙 오차 $\zeta_{\text{Bandit}}^2$의 곱에 선형적으로 비례합니다.
• 에피소드형 RL: 단계별 미스스펙 조건 하에서, 후회는 지평 $H$, 정규화 파라미터 $\eta$, 집계된 엘러 차원, 그리고 제곱 미스스펙 오차 $\zeta_{\text{RL}}^2$에 따라 결정됩니다. 이 경계는 미스스펙 수준에 의해 제어되는 제곱 보너스의 합에 대한 명시적인 항을 포함합니다.

이 결과들은 고확립 확률($1-\delta$)로 성립하며 조건부 서브 가우시안 노이즈를 가정합니다.

5. 의의 및 주장

본 논문은 미스스펙이 흔히 발생함에도 불구하고 이론적 분석에서 종종 무시되는 **RLHF 및 선호도 기반 학습(preference-based learning)**의 이론적 이해에 있는 중요한 공백을 메운다고 주장합니다.

• 이론과 실제의 연결: 실현 가능성 가정을 넘어섬으로써, 복잡한 보상 지형을 근사하기 위해 단순한 함수 클래스(예: 선형 모델)를 사용하는 현대적 RL 응용 분야에 대한 더욱 현실적인 이론적 프레임워크를 제공합니다.
• 구조적 통찰: 분석은 KL-정규화된 목적 함수가 표준적인 보상-후회 정식화와 비교하여 구별되는 미스스펙 조건(예: 로그-파티션 연산자 및 깁스 정책)을 요구하는 특정 기하학적 과제를 도입함을 강조합니다.
• 강건성: 제안된 알고리즘은 근사 오차에 대해 강건하며, 미스스펙 수준이 증가함에 따라 완전히 실패하는 대신 점진적으로 성능이 저하됩니다.

저자들은 본 모델이 지점별 미스스펙과 가벼운 꼬리(light-tailed)를 가진 노이즈를 가정한다고 언급합니다. 또한, 이러한 보장을 온-폴리시 미스스펙 측정, 헤비 테일(heavy-tailed) 설정, 그리고 현재 범위 이상의 더 넓은 피드백 모델(예: 선호도 기반 정식화)으로 확장하는 것이 중요한 향후 연구 방향임을 인정합니다.