Full-range Binary Classifier Calibration for Stable Model Updates in Production

기술 요약: 프로덕션 환경의 안정적인 모델 업데이트를 위한 전 범위 이진 분류기 보정 (Full-range Binary Classifier Calibration)

문제 정의
적대적 환경(예: 사이버 보안)에 배포된 탐지 모델은 악성 분포는 급격히 변화하는 반면, 정상(benign) 분포는 상대적으로 안정적인 직면하게 됩니다. 진화하는 위협에 대응하기 위해 팀은 모델을 빈번하게 재학습하고 재배포해야 합니다. 그러나 재학습은 원시 모델 출력 점수(raw output prediction scores)를 변경하며, 이는 특정 점수 임계값에 의존하는 다운스트림 시스템을 무너뜨립니다. 표준 확률 보정 방법(예: Platt scaling, isotonic regression)은 점수를 클래스 확률로 매핑하지만, 이는 양성 클래스 비율에 따라 변동합니다. 보안 맥락에서의 핵심 요구사항은 양성 클래스의 인지 여부나 변화와 관계없이, 모든 출력 값에 대해 일관된 오탐률(False Positive Rate, FPR)을 제공하는 것입니다. 기존 방식들은 특히 양성 클래스를 레이블링하거나 열거하기 어려운 경우, 전체 점수 범위에 걸쳐 안정적인 "FPR 계약(FPR contract)"을 제공하는 데 실패합니다.

방법론
저자들은 오직 정상 샘플만을 사용하여 원시 모델 점수를 FPR로 직접 보정하는 방법을 제안합니다. 이 접근 방식은 표준 sklearn 프리미티브(MinMaxScaler, IsotonicRegression)를 사용하는 2단계 파이프라인을 구축하며, 별도의 커스텀 추론 코드를 필요로 하지 않습니다.

1. FPR-to-Rescaled-Score 매핑 (학습 시):

   • 정상 점수들을 정렬하고, 랭크 기반 FPR 레이블을 할당합니다. 이때 랭크 선택된 임계값에 대한 신선한 샘플(fresh-sample)의 FPR 추정치 편향을 줄이기 위해 중앙값 기반 보정 방식인 **Filliben의 플로팅 포지션 규칙(plotting-position rule)**을 사용합니다.
   • 이 임시 스플라인(spline)은 로그 간격의 FPR 그리드 상에서 누락된 임계값들을 보간하며, 이를 통해 FPR 레이블을 재조정된 점수(rescaled scores)에 매핑하는 감소형 isotonic regression을 적합(fit)시킵니다.

2. 고정 로그 스케일 출력 계약 (Fixed Log-Scale Output Contract):

   • $\log_{10}(\text{FPR})$ 공간에서 고정된 매핑이 정의됩니다. 특정 보정 점수는 특정 FPR에 앵커링됩니다 (예: 0.5 $\to$ 0.1% FPR, 0.7 $\to$ 0.01% FPR, 0.85 $\to$ 0.001% FPR). 이를 통해 특정 점수 값이 모델 버전이 바뀌더라도 동일한 운영적 의미(예: "정상 샘플 1,000개 중 1개가 탐지됨")를 갖도록 보장합니다.

3. Rescaled-Score-to-Calibrated-Score 매핑 (배포용 아티팩트):

   • 첫 번째 스플라인과 고정된 로그 스케일 계약을 쿼리하여 합성 매듭 그리드(synthetic knot grid)를 생성합니다.
   • 생성된 쌍(pairs)에 대해 두 번째 증가형 isotonic regression을 적합시켜, 원시(재조정된) 점수에서 보정된 출력으로 가는 최종 매핑을 생성합니다.
   • 외삽(Extrapolation): 관측된 샘플 하한선 미만의 FPR에 대해서는, 단조성을 유지하고 [0, 0.99] 출력 범위를 유지하도록 두 개의 최저 관측 지점으로부터 선형 외삽을 수행합니다.

4. 아티팩트 최적화:

   • 보정 세트의 크기에 관계없이 배포 안정성을 보장하기 위해, 매듭 그리드를 고정된 크기(예: 10,000개 매듭)로 서브샘플링합니다. 결과적으로 직렬화된 아티팩트(joblib 사용)는 수백만 개의 정상 샘플로 학습되더라도 200 KB 미만의 크기를 유지합니다.

주요 기여

1. 전체 곡선 FPR 매핑: 단일 작동 지점이 아닌 전체 곡선에 걸쳐 점수를 FPR에 매핑하는 비매개변수적 단조 선형 스플라인(non-parametric monotone linear spline)을 제공합니다.
2. 고정 로그 스케일 계약: $\log_{10}(\text{FPR})$ 공간에서의 조각별 선형(piecewise-linear) 맵을 통해 보정 점수를 특정 희귀도 수준에 고정함으로써, 운영자에게 균일한 해석력을 제공합니다.
3. 고정 크기 배포 가능 아티팩트: 학습 데이터 크기에 독립적인 매듭 서브샘플링 보정 아티팩트를 통해 일관된 저장 및 로딩 시간을 보장합니다.
4. 안전한 외삽: 하한선 미만에서의 외사법을 통해 단조성과 유계된(bounded) 출력을 유지합니다.
5. 릴리스별 보정: 각 모델 릴리스가 동일한 고정 FPR-to-score 계약에 따라 독립적으로 보정되도록 하여, 다운스트림 시스템이 업데이트 시에도 안정적인 임계값을 유지할 수 있게 합니다.

결과
본 방법은 Credit Card Fraud Detection 벤치마크(OpenML)를 통해 평가되었습니다.

• 정확도: 홀드아웃(held-out) 서브셋에서, 관측된 상대적 FPR 오차는 10%에서 0.1% 사이의 FPR 범위에서 최대 **2.3%**였습니다. 0.01% FPR 타겟의 경우 상대 오차는 **7.2%**였습니다.
• 통계적 타당성: 0.01% FPR에서의 7.2% 오차는 관측된 FPR이 0.0093%(정상 샘플 139,315개 중 양성 13개)임을 의미하며, 이는 정확한 95% 클로퍼-피어슨(Clopper–Pearson) 신뢰 구간(0.0050%–0.0160%) 내에 존재합니다.
• 효율성: 직렬화된 파이프라인 아티팩트는 1,000개에서 1,000만 개의 정상 샘플 규모에 관계없이 200 KB 미만을 유지했습니다.
• 탐지기 독립성: 보정 계약은 선형(로지스틱 회귀) 및 비선형(부스팅 트리) 탐지기 모두에 대해 유효하게 작동했으나, 선형 탐지기가 전체 앵커 범위를 포화 없이 모두 활용하는 데 필요했습니다.

의의 및 주장
본 논문은 이 방법이 모델의 운영적 의미를 특정 모델 버전으로부터 분리함으로써 프로덕션 환경의 모델 불안정성 문제를 해결한다고 주장합니다. 정상 데이터만을 사용하여 고정된 FPR 계약을 보정함으로써 다음을 보장합니다:

• 다운스트림 임계값(예: 0.1% FPR에서 차단, 1%에서 경고)이 재학습 주기 동안 유효하게 유지됩니다.
• 보정은 양성 개수(positive class count)의 불확실성에 강건합니다. 이는 대규모로 잘 특징화된 정상 분포에 의존하기 때문입니다.
• 본 솔루션은 커스텀 추론 코드가 필요 없는 컴팩트하고 표준 라이브러리 기반의 아티팩트를 제공하여 실무 적용이 용이합니다.

저자들은 플로팅 포지션 보정(Filliben)을 통해 레이블 정확도를 개선하지만, 낮은 FPR에서의 주요 오차 원인은 여전히 유한 샘플(finite-sample) 불확실성이며, 이는 더 복잡한 스플라인 피팅이 아니라 정상 보정 세트의 크기를 늘림으로써만 완화될 수 있음을 강조합니다.