기술 요약: 학습-추론 커널 계약 (Training-Inference Kernel Contracts)

문제 정의

현대의 LLM 포스트 트레이닝 파이프라인은 정책 기호 $\pi_\theta$를 단일한 수학적 객체로 취급한다. 그러나 유한 정밀도(finite precision) 환경에서 $\pi_\theta$는 두 개의 서로 다른 프로그램에 의해 평가된다: 미분 가능성(differentiability)을 위해 최적화된 학습 커널($K_{train}$, 고정밀 누산기, 고정된 형태 및 참조 어텐션 사용)과 처리량(throughput)을 위해 최적화된 추론 커널($K_{inf}$, 저정밀도 연산자, 페이지드 KV 캐시 및 동적 어텐션 타일 사용)이다.

본 논문은 결정적인 "명세 격차(specification gap)"를 식별한다: 이 두 커널은 동일한 가중치 $\theta$에 대해 측정 가능한 수준으로 서로 다른 함수를 계산한다. 이러한 발산은 균일하게 나타나지 않으며, 집계 벤치마크가 과소 대표하는 특정 슬라이스(예: 긴 컨텍스트 입력, 안전 관련 프롬프트)에 집중된다. $K_{train}$과 $K_{inf}$의 혼동은 다음과 같은 실패 모드를 초래한다:

1. RL에서의 오프-폴리시 편향(Off-policy bias): 강화 학습 파이프라인(예: PPO, GRPO)은 $K_{inf}$로부터 롤아웃을 샘플링하지만, 그래디언트는 $K_{train}$을 사용하여 계산한다. 표준 추정치는 중요도 비율 $w = \pi^{K_{train}}_\theta / \pi^{K_{inf}}_\theta$가 1이라고 가정하며, 이는 KL 붕괴(KL collapse), 보상 해킹(reward hacking), 또는 급격한 성능 저하로 나타나는 편향을 도입한다.
2. 배포 드리프트(Deployment Drift): BF16으로 미세 조정된 모델이 추론 시 FP8 또는 INT4로 캐스팅될 때, 특히 희귀한 안전 프로ンプ트나 구조화된 출력에 대해 상당한 드리프트를 보일 수 있다.
3. 재현 불가능성(Non-reproducibility): 이질적인 서빙 플릿(서로 다른 하드웨어/커널 빌드)은 동일한 요청에 대해 서로 다른 출력을 생성하며, 이는 A/B 테스트와 안전성 감사를 재현 불가능하게 만든다.

현재는 $K_{train}$과 $K_{inf}$ 사이의 어느 정도의 발차가 허용되는지, 어떤 데이터 슬라이스에서 그러한지, 그리고 한계를 초과할 때 어떤 조치를 취해야 하는지를 정의하는 기계 판독 가능한 명세가 존재하지 않는다.

방법론: 커널 계약 (The Kernel Contract)

저자들은 **커널 계약(Kernel Contract)**이라 불리는 공식 명세 객체 $C = (N, S, R, \Pi)$를 제안한다. 이 계약은 체크포인트 및 커널 빌드와 함께 CI/CD 파이프라인을 통해 이동한다.

1. 계약 구조

계약은 네 가지 계열의 절(clause)과 에스컬레이션 정책으로 구성된다:

• 수치적(Numerical, $N$): 로짓 드리프트($\Delta_{logit}$), KL 발산, 총 변동 거리(Total Variation distance), 그리고 RL을 위한 중요도 비율($w$)과 같은 원시 수치적 불일치에 대한 제약 조건.
• 통계적(Statistical, $S$): Top-$k$ 토큰 일치도, 캘리브레이션 드리프트($\Delta_{ECE}$), 보상 델타, 구조화된 출력 파싱 가능성을 포함한 행동적 결과에 대한 제약 조건.
• 런타임(Runtime, $R$): 지연 시간(latency), 처리량(throughput), 메모리 사용량(KV 캐시 포함) 및 실패율에 대한 운영적 제약 조건.
• 관측 가능성(Observability, $O$): 위반 사항의 원인을 규명할 수 있도록 하기 위한 트레이스 필드, 커널 핑거프린트 및 리플레이 시그니처에 대한 요구 사항.
• 에스컬레이션 정책(Escalation Policy, $\Pi$): 위반 심각도 수준($L1$: 정보성, $L2$: 품질 영향, $L3$: 안전 임계)에서 라우팅 동작(로그 기록, 가드 설치, 폴백/롤백)으로의 매핑.

각 절은 적용되는 특정 데이터 슬라이스($\Sigma$)와 임계값($\tau$) 및 허용 초과율($\rho$)과 함께 정의된다.

2. 이론적 경계 (The Chain)

논문은 저수준의 수치적 오류를 고수준의 보상 오류로 연결하는 리프시츠 스타일(Lipschitz-style)의 경계 체인을 도출한다:

1. 로짓에서 분포로: 로짓 드리프트($\|\varepsilon\|_\infty$)에 대한 경계는 온도 $T$에 의해 스케일링된 총 변동 거리($\Delta_{TV}$) 및 KL 발산에 대한 경계로 전파된다.
2. 분포에서 보상으로: 유계된 보상 함수 $r$에 대하여, 기대 보상 차이는 $2R \cdot \Delta_{TV}$에 의해 제한된다.
3. RL에의 적용: 서포트 중첩(support overlap) 및 유계된 어드밴티지(bounded advantage) 가정 하에, 본 논문은 중요도 비율 $w$(또는 동등하게 $K_{train}$과 $K_{inf}$ 정책 간의 TV 거리)에 대한 토큰당 경계가 표준 정책 그래디언트 추정치의 편향을 제한함을 증명한다. 이는 PPO 클리핑 파라미터 $\epsilon$을 단순한 정책 업데이트를 위한 신뢰 영역(trust-region)이 아니라, 학습-추론 커널 쌍을 위한 예산(budget)으로 재해석한다.

3. 집행 파이프라인 (Enforcement Pipeline)

프레임워크는 계약을 강제하기 위한 4단계 프로모션 파이프라인을 제안한다:

1. 오프라인 CI: 고정된 데이터셋에 대해 하드 수치적 절을 평가한다.
2. 섀도우(Shadow): 워크로드 의존적 회귀를 탐지하기 위해 라이브 트래픽을 후보 커널에 미러링한다.

• 카나리(Canary): 에스컬레이션 정책이 활성화된 상태에서 라이브 트래픽의 작은 비율을 후보 커널으로 라우팅한다.

4. 전체 프로모션(Full Promotion): 안정성 윈도우 동안 지속적인 준수를 확인한 후에만 수행된다.

온라인 라우팅 루프는 계약 건강도($h_t$)를 지속적으로 모니터링하며, 위반 수준에 따라 트래픽을 가드된(guarded) 커널 또는 안전한 커널로 전환한다.

주요 기여

본 논문은 세 가지 주요 기여를 한다:

1. 개념적: 현대 LLM 파이프라인에서 적절한 명세 단위가 체크포인트나 엔진 단독이 아니라, $(K_{train}, K_{inf})$ 쌍과 이들이 일치해야 하는 특정 데이터 슬라이스임을 식별하였다.
2. 기술적: 엔지니어가 측정 가능한 수치적 수준(로짓)에서 제약을 지정하고 행동적 수준(보상)의 보증을 상속받을 수 있게 하는 경계 체인을 제공한다.
3. 응용적: 표준 RL 안정성 휴리스틱(예: PPO 클리핑)이 커널 발산을 제한하는 공식적인 계약 절로 해석될 수 있음을 입증하고, 이러한 아티팩트를 구현하기 위한 최소한의 YAML DSL을 개략적으로 설명한다.

결과 및 검증

본 논문은 생산 규모에서의 경험적 검증을 보고하지 않으며, 커널 발산이 논의된 실패 모드의 유일한 원인이라고 주장하지 않는다는 점을 명시한다. 대신, 프레임워크와 어휘(vocabulary)를 제시하는 논문이다.

"결과"는 이론적 도출과 향래의 검증을 위한 실험 프로토콜(섹션 8)이다:

• 이론적: 로짓 드리프트 경계가 보상 드리프트 경계를 함의하며, 커널 불일치가 정책 그래디언트에 계산 가능한 편향을 도입함을 보여주는 증명.
• 제안된 실험: 프레임워크를 테스트하기 위한 다섯 가지 검증 가능한 실험(E1–E5)을 제시한다. 여기에는 수치적 드리프트 베이스라인 매핑, 하드웨어 민감도 테스트, RL 편향 경계 검증, 계약 인지적 증류(contract-aware distillation) 탐색, 결함 주입 하에서의 자가 치유 라우팅 시뮬레이션이 포함된다.

의의 및 범위

본 논문은 RL 포스트 트레이닝, 고처리량 서빙, 형식 검증, 소프트웨어 계약 등 여러 병렬 문헌을 잇는 기초적인 명세 계층으로 자리매김한다.

• 겸손함: 저자들은 이것이 "프레임워크 및 어휘" 논문임을 명확히 한다. 그들은 커널 발산 문제를 경험적으로 해결했다고 주장하는 것이 아니라, $\pi_\theta$에 대한 "누락된 인덱스"와 이를 논의할 수 있는 어휘를 제공했음을 주장한다.
• 향후 연구 방향: 논문은 동적 계약(컨텍스트 인지적 임계값), 계약 인지적 증류(계약을 만족하도록 모델을 학습시키는 것), 절의 형식 검증, 자가 치유 라우팅 등 네 가지 연구 방향을 제시한다.
• 한계점: 프레임워크는 엔지니어링 오버헤드(계산, 저장, 관측 가능성)를 추가하며, 굿하트의 법칙(proxy 절을 최적화하는 현상)의 위험을 수반한다. 또한 현재의 형식 검증 도구가 전체 프로덕션 트랜스포머에 규모 있게 적용되기 어렵다는 점을 인정하며, 대신 느슨한 경계와 경험적 테스트에 의존한다.

요약하자면, 본 논문은 학습 커널과 추론 커널을 별개의 계약 기반 엔티티로 취급하는 것이 현대 LLM 배포에서 구현의 취약성에 대한 "민속 지식(folk knowledge)"을 넘어 감사 가능하고 재현 가능한 엔지니어링 관행으로 나아가기 위해 필수적이라고 주장한다.