기술 요약: 클라우드 네이티브 평가 서비스 (EAAS)

문제 정의

AI 모델을 배포하는 것은 그 생애 주기의 시작일 뿐입니다. 실제 운영 환경에서는 정적 벤치마크로는 감지할 수 없는 분포 드리프트(distributional drift), 교정 저하(calibration degradation), 그리고 새롭게 나타나는 공정성 위반 문제가 발생합니다. 현재의 지속적 평가 도구들은 다음과 같은 상호 보완적인 사각지대를 가지고 있습니다:

• 오프라인 프레임워크: HELM이나 TrustLLM과 같은 도구들은 엄격하고 다차원적인 평가를 제공하지만, 배치 프로세싱용으로 설계되어 운영 모델 서빙 인프라와의 통합이 부족합니다.
• 독점 관리형 서비스: Amazon SageMaker와 같은 플랫폼은 확장성은 뛰어나지만, 구성 가능성(composability), 오픈 소스 확장성, 그리고 공식적인 통계적 보증이 부족합니다.
• 공백: 기존 문헌 및 도구들을 검토한 결과, 컨포멀 예측(conformal prediction), 다변량 드리프트 감지, 교정 평가, 그리고 공정성 모니터링을 Kubernetes 기반의 DAG 오케스트레이션과 결합된 구성 가능한 마이크로서비스로 통합한 오픈 소스 플랫폼은 존재하지 않습니다. 또한, 기존의 컨포멀 예측 구현체들은 변동성을 정량화하지 못한 채 단일 분할 커버리지(single-split coverage)만을 보고하는 경우가 많으며, 공정성 모니터링은 보호 속성을 가진 실제 데이터셋보다는 합성 데이터에 의존하는 경향이 있습니다.

방법론: EAAS 아키텍처

저자들은 **EAAS (Evaluation-as-a-Service)**를 제시합니다. 이는 수학적으로 엄격한 AI 평가 방법을 6개의 상태 비저장(stateless) Kubernetes 마이크로서비스로 구현한 클라우드 네이티브 참조 아키텍처입니다. 시스템은 경량화된 유향 비순환 그래프(DAG) 파이프라인을 통해 오케스트레이션됩니다.

핵심 마이크로서비스

1. 컨포멀 예측 서비스 (Conformal Prediction Service): 적응형 예측 집합(Adaptive Prediction Sets, APS) 점수 함수를 사용하여 분할 컨포멀 예측(split conformal prediction)을 구현합니다. 이는 한계 마진 커버리지 $P(Y_{test} \in C(X_{test})) \ge 1-\alpha$를 보장하기 위해 유한 샘플 보정($\lceil(n+1)(1-\alpha)\rceil/n$)을 적용합니다. 또한 타이(tie) 처리를 위한 무작위 평활화(randomized smoothing)를 포함합니다.
2. 메트릭 평가 서비스 (Metrics Assessment Service): 네 가지 변형의 기대 교정 오차(Expected Calibration Error, ECE)를 계산합니다: 고정 빈(Fixed-bin), 적응형 빈(Adaptive-bin), 클래스별(Classwise), 그리고 편향 제거 ECE(Debiased ECE, 유한 샘플 편향 보정). 또한 Brier 점수와 로그 손실(log loss)을 계산합니다.
3. 드리프트 감지 서비스 (Drift Detection Service): 두 단계 전략을 채택합니다:
   • 패스트 패스(Fast Path): 거짓 발견율(False Discovery Rate) 제어를 위한 Benjamini–Hochberg(BH) 보정이 적용된 특성별 Kolmogorov–KS 테스트와 인구 안정성 지수(PSI)를 사용합니다.
   • 딥 패스(Deep Path): 고차원 임베딩을 효율적으로 처리하기 위해 Random Fourier Features(RFF)를 이용한 근사 최대 평균 편차(Approximate Maximum Mean Discrepancy, MMD)를 사용합니다 ($O(n^2 \cdot D)$ 대비 $O(n \cdot D \cdot n_{rff})$).
4. 공정성 모니터링 서비스 (Fairness Monitoring Service): 부트스트랩 신뢰 구간(1,000회 반복)을 사용하여 인구 통계적 패리티(Demographic Parity, DP)와 등가 기회(Equalized Odds, EO)를 계산합니다. 작은 하위 그룹에 대한 노이즈 섞인 경고를 방지하기 위해 최소 샘플 임계값을 강제합니다.
5. 파이프라인 오케스트레이터 (Pipeline Orchestrator): 재시도 로직(지수 백오프), 백프레셔(세마포어 기반 동시성 제한), 그리고 멱등성 결과 캐싱을 제공하는 경량 DAG 실행기입니다.
6. 결과 저장 API (Result Storage API): 파일 기반 영속성을 갖춘 감사 추적 및 트렌드 분석을 위한 REST API입니다.

실험 설계

시스템은 다음을 사용하여 검증되었습니다:

• 합성 데이터: 통계적 보증(커버리지, 제1종 오류, 검정력)을 테스트하기 위해 제어된 로짓(logits) 및 임베딩을 사용했습니다.
• 실제 데이터: 500개의 MMLU 질문에 대한 GPT-4O-MINI 출력(logprobs)과 UCI ADULT INCOME 데이터셋(32,561개 샘플)을 사용하여 공정성 검증을 수행했습니다.
• 강건성 체크: 50회의 무작위 교정/테스트 분할, 로그 확률(logprob) 임퓨테이션 시뮬레이션, 그리고 RFF-MMD에 대한 하이퍼파라미터 민감도 절제 연구를 실시했습니다.

주요 결과

1. 컨포멀 예측 강건성

• 커버리지 보증: 실제 GPT-4O-MINI 로짓에 대한 50회의 무작위 분할 실험에서 경험적 커버리지는 $1-\alpha$ 목표치를 일관되게 충족하였으며, 평균 커버리지는 목표치와 0.5% 이내의 차이를 보였습니다. Wilson 95% 신뢰 구간은 모든 유의 수준($\alpha \in \{0.01, \dots, 0.30\}$)에서 목표치를 포함했습니다.
• 미교정 처리 (Miscalibration Handling): 시스템은 상당한 미교정 상태(Debiased ECE $\approx 0.56$)의 모델에서도 유효한 커버리지를 유지하여, 컨포멀 예측이 열악한 교정 성능을 보완할 수 있음을 입증했습니다.
• 임퓨테이션 민감도: 실제 MMLU 데이터에서 4개의 답변 토큰이 상위 20개 logprobs 내에 존재했습니다. 토큰의 10%를 임퓨테이션 시뮬레이션했을 때 커버리지 편차는 1.3% 미만이었습니다. 더 높은 임퓨테이션 비율은 예측 집합의 보수적인 확장을 초래했으나(보증은 유지하되 정보량은 감소), 보증 자체는 유지되었습니다.

2. 교정 및 드리프트 감지

• ECE 추정치: Debiased ECE는 유한 샘플 편향($\approx 0.005$ 보정)을 제거함으로써 가장 정확한 추정치를 제공했습니다. Adaptive-bin ECE는 빈(bin) 개수 선택에 강건함을 보여 자동화된 파이프라인에 적합함을 증명했습니다.
• 드리프트 감지 능력: RFF-MMD는 중앙값 휴리스틱 대역폭(median heuristic bandwidth)에서 완만한 드리프트와 심각한 드리프트 모두에 대해 100% 탐지력을 달 혈성했습니다. 제1종 오류(Type I error)는 대역폭 설정에 따라 5~8.5%로 잘 교정되었습니다.
• 효율성: RFF를 통한 근사 MMD는 768차원 임베딩에서 정확한 MMD 결정과 일치하면서도 계산 복잡도를 줄였습니다. 다만, 이는 개별 추론 체크보다는 주기적인 배치 모니터링($\sim 500$ ms)에 적합합니다.

3. 공정성 모니터링

• 실제 세계의 불균형: UCI ADULT INCOME 데이터셋에 적용한 결과, 시스템은 인종에 따른 유의미한 인구 통계적 패리티 불균형(DP gap = 0.33, 95% CI [0.28, 0.37])과 성별에 따른 불균형(DP gap = 0.047)을 감지했습니다.
• 안정성: 경고는 순차적인 배치 간에도 안정적으로 유지되었으며, 최소 샘플 임계값은 작은 하위 그룹(예: Amer-Indian-Eskimo)에 대한 노이즈 섞인 지표를 성공적으로 억제했습니다.

4. 성능 및 확장성

• 지연 시간 (Latency): 배치 크기 100에서 컨포멀 예측 및 교정 서비스는 sub-2 ms p99 지연 시간을 달성했습니다. 전체 5개 노드 평가 DAG의 실행 시간은 22 ms였습니다.
• 확장성: Kubernetes HPA를 통한 수평적 확장은 일정한 요청당 지연 시간을 보여주었습니다. 예상 처리량은 선형적으로 확장되며(예: 8개 레플리카에서 ~8,160 RPS), 로컬 시뮬레이션의 IPC 직렬화에 의해 제한될 뿐 서비스 컴퓨팅 자체에 의한 제한은 크지 않았습니다.

의의 및 기여

본 논문은 EAAS가 수학적 엄격함을 프로덕션 준비가 된 클라우드 네이티브 아키텍처로 통합한 새로운 모델임을 주장합니다. 주요 기여는 다음과 같습니다:

1. 최초의 오픈 소스 마이크로서비스 아키텍처: 저자들이 알기로, EAAS는 컨포멀 예측, 교정, 드리프트 감지, 공정성 모니터링을 DAG 오케스트레이션이 있는 구성 가능하고 독립적으로 확장 가능한 Kubernetes 서비스로 구현한 최초의 플랫폼입니다.
2. 컨포멀 보증의 엄격한 검증: 단일 분할 분석에 국정된 기존 연구와 달리, EAAS는 실제 모델 출력에 대해 50회의 무작위 분할을 통해 커버리지 강건성을 검증함으로써 유한 샘플 보정이 실제 환경에서도 유효함을 확인했습니다.
3. Logprob 임퓨테이션의 제한적 영향 정량화: API 전용 환경에서 흔히 발생하는 누락된 logprobs의 영향을 정량화하여, 현실적인 임퓨테이션 비율이 커버리지 보증에 미치는 영향이 미미함을 보여주었습니다.
4. 포괄적인 RFF-MMD 절제 연구: Random Fourier Features에 대한 상세한 민감도 분석을 제공하여, 제1종 오류 제어와 탐지력을 위한 최적의 하이퍼파라미터를 확립했습니다.
5. 실제 데이터 기반 공정성 검증: 합성 데이터를 넘어, 시스템이 실제 데이터셋에서 의미 있는 인구 통계적 불균형을 통계적으로 근거 있는 안정적인 경고와 함께 감지할 수 있음을 입증했습니다.
6. NIST AI RMF 정렬: 본 아키텍처는 NIST AI 위험 관리 프레임워크(AI RMF)의 기능(측정, 관리, 거버넌스)에 직접적으로 매핑되어 조직에 컴플라이언스 경로를 제공합니다.

저자들은 비록 한계점(예: 확장성을 위한 멀티프로세싱 시뮬레이션 의존, 생성적 평가의 부재)이 존재하지만, EAAS가 수학적 엄격함과 클라우드 네이티브 확장성을 결합함으로써 MLOps 생태계의 중요한 공백을 메우고 있다고 결론짓습니다.