Reliable Remediation Impact Prediction for Black-Box Security Ratings

기술 요약: 블랙박스 보안 등급을 위한 신뢰할 수 있는 조치 영향 예측

문제 정의
상용 보안 등급 플랫폼(예: BitSight, SecurityScorecard)은 조직의 우선순위 결정을 돕기 위해 외부에서 관찰 가능한 사이버 증거를 수치화된 점수로 집계합니다. 이러한 플랫폼들은 현재의 점수를 제공하지만, 조직은 특정 조치(예: SPF 또는 DMARC 배포)가 점수에 어떤 영향을 미칠지 이해하기 위한 "가상 시나리오(what-if)" 분석을 필요로 합니다. 그러나 가상의 구성에 대한 정확한 점수 반응을 공개하는 것은 플랫폼의 독점적인 점수 산정 로직을 유출할 위험이 있으며, 이 로직은 블랙박스로 유지되도록 설계되어 있습니다.

또한, 머신러닝 대리 모델(surrogate model)을 사용하여 이러한 영향을 예측하는 것은 신뢰성 문제를 야기합니다. 예측 품질은 모든 조직 구성에 대해 균일하지 않으며, 관찰 가능한 증거의 양과 구조(즉, 적용 가능한 보안 체크포인트의 집합)에 크게 의존합니다. 적용 가능한 체크포인트가 적은 구성일수록 예측의 신뢰도가 낮아지는 경향이 있습니다. 핵심 문제는 보안 엔진을 노출하지 않으면서 조치에 따른 점수 변화를 예측하는 동시에, 대리 모델의 예측이 불안정한 사례를 식별하고 필터링하는 것입니다.

방법론
저자들은 블랙박스 형태인 점수 엔진의 불투명성을 존중하면서도 예측 신뢰성을 보장하도록 설계된 4단계 대리 모델 기반 접근 방식을 제안합니다.

1. 적용 가능성을 고려한 대리 모델 구축:
   저자들은 플랫폼의 점수 엔진을 근사하기 위해 과거 조직 구성 데이터를 학습한 대리 모델(LightGBM 회귀 모델)을 구축합니다. 결정적으로, 특징 표현($x_i$)은 다음 두 가지 요소로 풍부하게 구성됩니다:

• 결과 특징 ($o_i$): 적용 가능한 체크포인트의 관찰된 결과.
• 적용 가능성 특징 ($s_i$): 특정 구성에 어떤 체크포인트가 적용되는지를 나타내는 명시적 지표 및 체크포인트 집합의 구조적 요약(예: 적용 가능한 체크포인트 수, 적용 가능성의 분포).
  이러한 설계는 모델이 증거 부족으로 인한 누락 데이터와 구조적으로 적용 불가능하여 발생하는 누락 데이터를 구분할 수 있게 합니다.

2. 민감도 분석 (진단):
   예측의 취약성을 정량화하기 위해 저자들은 통제된 제한 실험을 수행합니다. 특징 표현에서 적용 가능한 체크포인트 정보의 일부를 체계적으로 마스킹하고, 그 결과 발생하는 점수 변동($\Delta$)을 측정합니다. 제한된 정보 하에서 점수 변화가 임계값 $\tau$를 초과하는 구성은 "불안정(unstable)"한 것으로 분류됩니다. 이 단계는 체크포인트 집합의 크기/구조와 예측 안정성 사이의 진단적 연결 고리를 확립합니다.

3. 신뢰성 평가 (선택적 예측):
   신뢰성 계층(LightGBM 분류기)은 오직 적용 가능성 특징($s_i$)만을 기반으로 불안정성 확률($p_{unstable}$)을 예측하도록 학습됩니다. **정형 리스크 제어(Conformal Risk Control, CRC)**를 사용하여 시스템은 수용 규칙을 정의합니다. 목표 리스크 수준 $\alpha$에 대해, 시스템은 수용된 예측의 불안정성 리스크가 높은 신뢰도로 $\alpha$ 미만임을 보장하는 임계값 $\lambda^*$를 선택합니다. 이를 통해 시스템은 신뢰할 수 있다고 판단되는 예측만을 선택적으로 수용할 수 있습니다.

4. 조치 점수 영향 예측:
   사용자가 시뮬레이션한 후보 조치에 대해, 시스템은 조치 후의 구성을 생성하고, 새로운 기술적 상태를 반영하여 적용 가능성 특징을 업데이트한 뒤 새로운 점수를 예측합니다. 예측된 영향은 새로운 점수와 현재 점수의 차이입니다. 이후 신뢰성 계층이 이 예측을 필터링합니다. 만약 조치 후 구성의 불안정성 확률이 $\lambda^*$를 초과하면, 해당 예측은 신뢰할 수 없는 것으로 표시되며 주의해서 해석해야 합니다.

주요 기여

• 적용 가능성을 고려한 대리 모델링: 적용 가능성과 측정 구조를 명시적으로 모델링하는 것이 결과 특징만을 사용하거나 적용 가능성 특징만을 사용하는 모델보다 점수 예측 정확도를 크게 향상시킨다는 것을 입증했습니다.
• 정형 보증을 갖춘 신뢰성 계층: 체크포인트 적용 가능성 특징을 사용하여 불안정한 예측이 발생하기 쉬운 구성을 식별하는 메커니즘을 도입했습니다. CRC를 통합함으로써, 평균 정확도 지표를 넘어 수용된 예측에 대한 유한 샘플 리스크 보증을 제공합니다.
• 조치 영향 검증: 제안된 방식은 실제 데이터(SPF 및 DMARC 배포)를 사용하여 특정 조치의 영향을 예측하는 데 평가되었습니다. 연구 결과, 신뢰성 계층이 신뢰할 수 있는 참조 점수와 예측된 이득이 크게 달라지는 사례를 성공적으로 식별함을 확인했습니다.

실험 결과
본 접근 방식은 상용 보안 등급 플랫폼의 메일 분석 도메인에서 추출한 5,188개의 고유한 조직 구성 데이터셋을 통해 평가되었습니다.

• 예측 정확도: 전체 적용 가능성 인지 대리 모델은 테스트 평균 절대 오차(MAE) 0.78을 달려, 결과 전용 베이스라인(MAE 1.46) 및 적용 가능성 전용 베이스라인(MAE 4.64)을 크게 상회하는 성능을 보였습니다.
• 민감도: 민감도 분석 결과, 예측 안정성에서 급격한 전환점이 발견되었습니다. 유지되는 적용 가능 체크포인트 수가 22개에서 18개로 감소할 때, 불안정한 예측(점수 변동 > 2)의 비율이 2.27%에서 69.38%로 급증했습니다.
• 신뢰성: 신뢰성 모델은 불안정성을 예측하는 데 있어 0.9255의 ROC AUC(at $\tau=2$)를 달성했습니다. CRC를 사용하여, 시스템은 목표 임계값 $\alpha=0.30$에서 불안정성 리스크를 목표치 미만으로 유지하면서도 상당한 부분의 예측(예: 최대 89.4% 커버리지)을 수용할 수 있었습니다.
• 조치 영향: DMARC 배포에 대해 대리 모델은 양(+)의 점수 이득을 예측했습니다. 신뢰성 계층은 신뢰할 수 있는 예측(평균 이득 11.26, MAE 6.94)과 불안정한 예측(평균 이득 -1.58, MAE 9.35)을 효과적으로 분리해냈으며, 이는 큰 예측 오차가 높은 예측 불안정성과 강하게 상관되어 있음을 보여줍니다.

의의 및 주장
본 논문은 불투명한 보안 등급 환경에서의 대리 모델 기반 점수 피드백이 평균적인 예측 정확도만으로는 충분하지 않다고 주장합니다. 저자들은 체크포인트 적용 가능성이 예측 모델의 정확도를 높일 뿐만 아니라, 불안정한 사례를 탐지하기 위한 신뢰성 계층의 필수적인 특징 기반 역할을 하는 핵심 신호라고 강조합니다.

적용 가능성을 고려한 모델링과 정형 리스크 제어(CRC)를 결합함으로써, 제안된 방식은 점수 엔진의 독점적 성격을 해치지 않으면서 조직이 실행 가능한 조치 영향 피드백을 받을 수 있도록 합니다. 이 시스템은 조치를 자동 권고하는 것이 아니라, 불충분하거나 구조적으로 제한된 증거로 인해 예측된 점수 변화를 주의해서 해석해야 할 때 사용자에게 경고를 주는 의사결정 지원 도구로서 작동합니다.