Post-Training at the Edge of Detectability: A Game-Theoretic Approach to Fine-Tuning

기술 요약: 탐지 가능성의 경계에서의 사후 학습 (Post-Training at the Edge of Detectability)

문제 정의
강화 학습(RL) 미세 조정은 참조 정책(reference policy)으로부터 상속된 행동을 보존하려는 시도와 동시에, 특정 타겟 작업에 대해 대규모 언어 모델(LLM)을 개선하기 위한 표준적인 메커니즘이다. 지배적인 접근 방식인 KL 정규화 RL은 정규화 계수 $\beta$에 의해 제어되는 참조 정책으로부터의 이탈에 대한 페널티를 부과하면서 보상 함수를 최대화함으로써 이러한 두 목적 사이의 균형을 맞춘다. 그러나 본 논문은 결정적인 한계를 지적한다: $\beta$를 설정하는 원칙적인 방법이 없다는 것이다. 실제로 $\beta$는 휴리스틱한 수동 튜닝이나 하이퍼파라미터 그리드 탐색을 통해 선택된다. 이러한 접근 방식은 상당한 계산 오버헤드를 발생시키며, 종종 보상 최대화와 행동 보존(흔히 "정렬 세금(alignment tax)"이라 불림) 사이의 최적의 트레이드오프를 달성하지 못하는 결과를 초래한다. 더욱이, 기존의 적응형 방법들은 여전히 학습자가 타겟 이탈 정도나 업데이트 휴리스틱을 미리 지정해야 한다는 문제를 안고 있다.

방법론: 순차적 탐지 게임 (The Sequential Detection Game)
저자들은 정규화 계수의 모호성을 해결하기 위해 게임 이론적 프레임워크를 제안한다. 이들은 두 명의 플레이어가 참여하는 순차적 탐지 게임을 구성한다:

1. 에이전트(The Agent): 누적 보상을 최대화하기 위해 정책 $\tilde{\pi}$를 배포하고자 한다.
2. 모니터(The Monitor): 에이전트의 프롬프트-응답 출력을 순차적으로 관찰하며, 제1종 오류율(Type-I error rate)을 $\alpha$ 수준으로 제어하면서 참조 정책 $\pi_{ref}$로부터의 이탈을 탐지하려고 시도한다.

게임은 이산적인 시간 단계(discrete time steps)로 진행된다. 만약 모니터의 순차적 가설 검정(sequential hypothesis test)이 귀무가설(출력이 $\pi_{ref}$로부터 나왔다는 가설)을 기각하면, 배포는 종료되며, 에이전트의 효용은 중단 시점까지 축적된 보상으로 제한된다. 모니터는 기대 중단 시간을 최소화하는 것을 목표로 하며, 에이전트는 탐지 전까지의 기대 누적 보상을 최대화하는 것을 목표로 한다.

이론적 분석 및 평형
본 논문은 이 게임의 내쉬 평형(Nash equilibrium)이 특정한 구조적 결과를 낳는다는 것을 입증한다:

• 모니터의 전략: 모니터의 최적 대응은 에이전트의 실제 정책을 대상으로 하는 순차 확률비 검정(Sequential Probability Ratio Test, SPRT)이다.
• 에이전트의 전략: 에이전트의 최적 정책은 참조 정책의 KL 정규화된 틸트(KL-regularized tilt)이다. 구체적으로, 평형 정책 $\pi_{\beta^*}$는 특정 내생적 계수 $\beta^*$를 갖는 표준 KL 정규화 RL 목적 함수(식 1)를 해결한다.

결정적으로, 평형 계수 $\beta^*$는 자유로운 하이퍼파라미터가 아니라 기대 보상과 기대 KL 발산(KL divergence)의 비율에 의해 결정된다. 에이전트는 다음의 분수 계획법(fractional program)을 최적화한다:
$$\max_{\pi} \frac{\mathbb{E}[r(x, y)]}{\mathbb{E}[\text{KL}(\pi, \pi_{ref})]}$$
이는 KL 페널티에 대한 운영적 해석을 제공한다: 즉, KL 페널티는 순차적 모니터링 하에서 참조 정책과 통계적으로 구별 불가능하게 유지되기 위한 "그림자 가격(shadow price)"을 의미한다. 에이전트는 통계적 구별 가능성 단위당 보상을 최대화하는 $\beta^*$를 최적화한다.

알고리즘: 확률적 이분법 (Stochastic Bisection)
저자들은 전수 그리드 탐색 없이 평형 계수 $\beta^*$를 학습하기 위해 알고리즘 1, 즉 확률적 이분법을 제안한다.

• 알고-리즘은 $\beta^*$를 결정하는 문제를 함수 $M(\beta) = \mathbb{E}[r] - \beta \cdot \mathbb{E}[\text{KL}]$에 대한 근 찾기(root-finding) 문제로 취급한다.
• 루트 $\beta^*$는 한계 보상 이득이 한계 통계적 비용과 같아지는 지점이다.
• 알고리즘은 $M(\beta)$의 부호를 추정하기 위해 RL 서브 문제를 해결함으로써(PPO나 GRPO와 같은 "RL 오라클" 사용) 구간 $[\beta_{low}, \beta_{high}]$를 반복적으로 좁혀 나간다.
• 이론적 분석에 따르면, 이 알고리즘은 오목-볼록 분수 계획법(concave-convex fractional programming)과 순차적 가설 검정 기법을 활용하여 $O(\log(1/\epsilon))$ 번의 반복 만에 $\epsilon$-정밀한 해에 수렴한다.

실험 결과
프레임워크는 Qwen3-8B와 Llama-3.2-1B를 대상으로 두 가지 설정에서 평가되었다:

1. 지속적 학습 (Continual Learning): 목표는 서사적 및 문법적 일관성(retention)을 보존하면서 응답 길이(reward)를 최대화하는 것이다.

   • 결과: 알고리즘 1은 경험적 보상-보존 파레토 프런티어(Pareto frontier)의 "엘보우(elbow)" 근처의 정책을 일관되게 선택했다. 반면, 계산량이 동일한 그리드 탐색은 종종 극단적인 정책(높은 보상/낮은 일관성 또는 낮은 보상/높은 일관성)을 생성하거나 사후 선택을 요구했다. 평형 정책은 효과적으로 "정렬 세금"을 조절하며 경쟁력 있는 트레이드오프를 달성했다.

2. 모델 감사 (Model Auditing): 목표는 API 제공업체가 모델을 탐지되지 않으면서도 더 긴 응답을 생성하도록 전략적으로 미세 조정했는지 탐지하는 것이다.

   • 결과: 모니터의 평형 기반 SPRT는 자연스러운 베이스라인(예: 균등 혼합 검정)보다 전략적 수정 사항을 유의미하게 빠르게 탐지하는 동시에 제1종 오류율을 엄격하게 제어했다. 예를 들어, Llama-3.2-1B에서 모니터의 테스트는 약 1.755.31 단계 만에 편차를 탐지한 반면, 베이스라인은 6.2320.36 단계가 소요되었으며 더 높은 허위 양성률(false positive rates)을 보였다.

의의 및 주장
본 논문은 세 가지 주요 기여를 주장한다:

1. 이론적 통합: 표준 KL 정규화 RL 목적 함수에 대한 게임 이론적 유도를 제공하여, 탐지 게임에서의 최적 정책이 정확히 KL 틸트 정책임을 보여준다. 이는 널리 사용되는 관행을 복구하는 동시에 이를 엄밀한 통계적 프레임워크에 근거하게 한다.
2. 원칙적인 하이퍼파라미터 선택: $\beta$를 결정하는 방법을 제공한다. $\beta$를 튜닝 가능한 하이퍼파라미터로 취급하는 대신, 평형 접근 방식은 이를 통계적 구별 가능성 단위당 보상을 최대화하는 값으로 정의한다.
3. 감사 능력: 오픈 소스 모델 API를 감사하기 위한 원칙적인 접근 방식을 가능하게 한다. 평형 테스트를 사용하면 표준 통계적 베이스라인보다 더 효율적으로 숨겨진 전략적 미세 조정을 탐지할 수 있음을 입증한다.

저자들은 실험 결과에 대해 "예비적 증거"라는 표현을 사용하며 신중한 어조를 유지하였고, 평형 분석과 대규모 RL 미세 조정 사이의 간극을 메우기 위해 추가 연구가 필요함을 언급했다. 그들은 자신들의 방법이 새로운 목적 함수를 요구하지 않고, 오직 정규화 강도를 선택하는 원칙적인 방법만을 요구함으로써 표준 미세 조정 파이프라인에 유연하게 통합될 수 있음을 강조한다.