Learning from Change: Predictive Models for Incident Prevention in a Regulated IT Environment

논문 개요

이 연구는 금융과 같은 엄격한 규제 환경에서 IT 변경 (Change) 으로 인한 사고 (Incident) 를 예방하기 위해, 해석 가능한 (Interpretable) 예측 모델을 개발하고 평가한 사례 연구입니다. ING 은행의 실제 데이터를 기반으로 기존 규칙 기반 (Rule-based) 접근법과 머신러닝 (ML) 모델을 비교 분석하여, 규제 준수 (Auditability) 와 투명성을 유지하면서도 사고 발생 위험을 더 정확하게 예측하는 방법을 제시합니다.

1. 문제 정의 (Problem Statement)

• 배경: 금융, 의료 등 중요한 산업에서 서비스 중단은 막대한 금전적 손실과 평판 훼손을 초래합니다. 실제 사고의 상당 부분 (Google 의 경우 약 70%) 은 시스템 변경 (Deployment) 에서 발생합니다.
• 현재의 한계:
  • 기존 금융 기관은 변경 관리 과정에서 주로 규칙 기반 (Rule-based) 평가와 인간의 직관에 의존합니다.
  • 이러한 방식은 데이터의 불균형 (사고 발생 건수는 드묾) 을 처리하기 어렵고, 주관적이며, 복잡한 시스템 의존성을 포착하지 못해 위험한 변경 사항을 놓치거나 과도한 경보를 발생시킬 수 있습니다.
  • 규제적 제약: 금융 분야 (DORA, AI Act 등) 는 의사결정의 추적 가능성 (Traceability), 감사 가능성 (Auditability), 설명 가능성 (Explainability) 을 요구합니다. 따라서 딥러닝과 같은 '블랙박스' 모델은 규제 승인 및 실무자의 신뢰를 얻기 어렵습니다.
• 목표: 규제 요건을 충족하면서도 기존 규칙 기반 방식보다 우수한 성능을 보이는 예측 및 설명 가능한 사고 위험 점수 모델을 구축하는 것.

2. 방법론 (Methodology)

• 데이터셋: ING 은행의 1 년간 (2022.11~2023.10) 운영된 17 만 5 천 건의 변경 티켓과 우선순위 1, 2 급 (중대 사고) 인시던트 데이터를 분석했습니다.
  • 레이블링: 변경 티켓이 인시던트 티켓의 '원인 (Caused by Change)' 필드에 명시된 경우를 '사고 유발 (1)'로 레이블링했습니다. (약 2.4% 의 불균형 데이터)
  • 특성 공학 (Feature Engineering):
    • 텍스트: 변경 설명 (Short/Full Description) 에 NLP(CountVectorizer, TruncatedSVD) 적용.
    • 메타데이터: CI(구성 항목) 정보, 보안 등급, 배포 시간, 승인 그룹 등.
    • 팀 메트릭 (Team Metrics): 팀별 변경 성공률, 인시던트 발생 건수, 릴리스 결과 등을 집계하여 추가했습니다.
• 모델 선정 및 학습:
  • 기저선 (Baseline): ING 의 기존 자동화된 규칙 기반 점수 시스템 (0~100 점, 위험도 3 단계).
  • ML 모델: 해석이 용이한 부스팅 트리 (Boosted Tree) 기반 분류기 3 종 비교:
    1. HGBC (HistGradientBoostingClassifier)
    2. LightGBM
    3. XGBoost
  • 평가 지표: 불균형 데이터를 고려하여 **가중치 재현율 (Weighted Recall, wR)**과 **가중치 F2 점수 (wF2)**를 주된 지표로 사용했습니다. (재현율을 높여 사고 유발 변경을 놓치지 않는 것이 우선순위)
  • 해석 가능성: SHAP(SHapley Additive exPlanations) 값을 사용하여 각 예측의 특성 기여도를 시각화하고 설명했습니다.

3. 주요 기여 (Key Contributions)

1. 규제 준수형 예측 모델 비교 평가: 대규모 은행의 실제 데이터를 사용하여 규칙 기반 방식과 3 가지 ML 모델 (HGBC, LightGBM, XGBoost) 을 비교했습니다.
2. 해석 가능한 예측 시스템: SHAP 값을 통해 모델의 의사결정 근거 (특성 수준) 를 제공하여, 엔지니어와 승인 담당자가 위험 요인을 이해하고 규제 감사 요건을 충족하도록 지원했습니다.
3. 팀 메트릭의 통합 효과 분석: 단순 변경 데이터뿐만 아니라 **팀의 과거 성과 (릴리스 성공률, 변경 빈도 등)**를 집계된 메트릭으로 통합했을 때 모델 성능이 어떻게 변화하는지 실증했습니다.
4. 시간적 안정성 검증: 슬라이딩 윈도우 방식을 통해 모델이 시간이 지나도 일관된 성능을 유지함을 입증했습니다.

4. 결과 (Results)

• 기존 방식의 한계: 기존 규칙 기반 방식은 정밀도 (Precision) 가 매우 낮았으며 (0.04), AUC(0.56) 가 무작위 추측 수준에 가까워 위험한 변경을 효과적으로 식별하지 못했습니다.
• ML 모델의 우위:
  • 모든 ML 모델이 규칙 기반 방식보다 성능이 뛰어났습니다.
  • LightGBM이 **가중 재현율 (wR: 0.91)**과 **가중 F2 점수 (wF2: 0.92)**에서 가장 우수한 성능을 보였습니다.
  • 팀 메트릭 통합 효과: LightGBM 에 팀별 집계 메트릭을 추가한 결과, 정밀도와 재현율이 모두 소폭 향상되었습니다 (wR 0.91 → 0.93, wF2 0.92 → 0.93). 이는 팀의 성숙도나 과거 패턴이 사고 예측에 유의미한 영향을 미친다는 것을 시사합니다.
• 주요 영향 특성 (SHAP 분석):
  • 텍스트 설명: 변경 사항의 상세 설명 (Full/Short Description) 이 가장 큰 영향을 미쳤습니다.
  • 팀 및 CI 관련: 담당 팀 (Assignment Group), 지원 팀 (Support Offerings), 변경 대상 CI 이름 (CI Name) 이 중요한 요인이었습니다.
  • 시간적 요인: 분기 (Quarter) 와 이전 장애 총 지속 시간 (Outage Total Duration) 도 예측에 영향을 미쳤습니다.
  • 흥미로운 발견: 기존 규칙에서 중요하게 여겼던 '기밀성/무결성/가용성' 등급 중 일부는 모델 예측에서 큰 영향을 미치지 않았으며, 오히려 팀 메트릭과 텍스트 설명이 더 결정적이었습니다.

5. 의의 및 시사점 (Significance)

• 실무적 적용: 이 연구는 금융과 같은 엄격한 규제 환경에서도 데이터 기반 ML 모델을 성공적으로 도입할 수 있음을 입증했습니다. 특히 SHAP 을 통한 설명 가능성은 '블랙박스'에 대한 우려를 해소하고, 인간 (Human-in-the-loop) 이 최종 결정을 내리는 프로세스를 지원합니다.
• 예방적 리스크 관리: 사고 발생 후 대응하는 것이 아니라, 배포 전 단계에서 고위험 변경을 선별하여 테스트 강화, 롤백 계획 수립 등 예방 조치를 취할 수 있게 합니다.
• 팀 기반 인사이트: 단순 기술적 요소뿐만 아니라 '팀의 성과'와 같은 조직적 맥락이 사고 예측에 중요함을 보여주어, 향후 조직 관리 및 리소스 배분에도 시사점을 제공합니다.
• 향후 연구 방향: 데이터 품질 (인시던트와 변경의 연결 정확도) 향상, 행동 가능 (Actionable) 특성과 비행동 가능 특성의 구분, 그리고 인과관계 (Causality) 와 상관관계의 차이를 명확히 하는 연구가 필요함을 제안합니다.

결론적으로, 이 논문은 규제 준수와 높은 정확도를 동시에 달성하기 위해 LightGBM 과 SHAP 을 결합한 해석 가능한 예측 모델이 기존 규칙 기반 방식보다 우월하며, 팀 메트릭을 통합함으로써 더욱 정교한 리스크 관리가 가능함을 입증했습니다.