기술 요약: 악성코드 분류 작업에서의 선택적 방법론의 신뢰성 및 안정성에 관하여

문제 정의

현대적인 악성코드 분류기, 특히 분포 드리프트(distribution drift)에 적응하도록 설계된 모델들은 유망한 성능 지표(예: F1, FPR)를 보고하는 경우가 많다. 그러나 이러한 지표는 주로 정적 또는 고립된 변화 조건 하에서의 기초적인 예측 정확도만을 반영할 뿐, 실제 운영 환경에서의 **운영 신뢰성(operational reliability)**과 **안정성(stability)**은 간과한다.

운영 환경(예: 능동 학습 또는 선택적 분류)에서 모델의 자체 **신뢰도 추정치(confidence estimates)**는 정답 레이블을 사용할 수 없는 상황에서 의사결정을 위한 유일한 신호 역할을 한다. 신뢰할 수 있는 시스템은 높은 신뢰도를 가진 예측이 실제로 정확할 가능성이 높아야 하며, 낮은 신뢰도(또는 높은 OOD/OOD 점수)가 인간의 검토가 필요한 인스턴스를 정확하게 식별해내야 한다. 현재의 평가 패러다임은 지속적인 시간적 드리프트 하에서 신뢰도 함수가 여전히 보정(calibrated)되고 안정적인지를 검증하지 못한다. Goodhart [15]가 언급했듯이, "측정치가 목표가 되는 순간, 그것은 더 이상 좋은 측정치가 아니다." F1과 같은 헤드라인 지표를 최적화하는 것은 신뢰도 순위 지정(confidence ranking)의 결함을 은폐하여 다음과 같은 문제를 야기한다:

1. 자원 낭비: 능동 학습이 정보 가치가 없는 샘플에 주석(annotation) 예산을 낭비함.
2. 운영의 취약성: 선택적 분류가 오류가 발생하기 쉬운 인스턴스를 거부하지 못하거나, 반대로 올바른 예측을 거부함.
3. 예측 불가능한 워크로드: 거부 메커니즘이 드리프트 하에서 목표 할당량(target quotas)을 추적하는 데 실패함.

본 논문은 분포 변화 하에서 신경망이 OOD 입력에 대해 높은 신뢰도를 부여하며 잘못된 예측을 내놓는 심각한 미보정(miscalibration) 현상을 겪기 쉬우며, 이로 인해 선택적 분류 및 능동 학습의 핵심 전제가 훼손된다고 주장한다.

방법론: Aurora 프레임워크

이러한 격차를 해결하기 위해, 저자들은 단순한 시점의 정확도가 아닌 **신뢰도 품질(confidence quality)**과 **운영 회복력(operational resilience)**을 기준으로 악성코드 분류기를 평가하도록 설계된 Aurora 프레임워크를 제안한다.

1. 평가 설정

프레임워크는 실제 배포를 시뮬레이션하는 비정상적(non-stationary), 시간적 평가 프로토콜을 채택한다:

• 데이터: 다양한 드리프트 심각도를 가진 세 가지 안드로이드 악성코드 데이터셋(APIGraph, AndroZoo, Transcendent).
• 프로토콜: 모델이 새로운 달의 데이터($M_i$)에 대해 평가받고, 가장 불확실한 샘플들로부터 고정된 주석 예산($B_{Mi}$)을 쿼리하고, 레이블을 수신하여 업데이트하는 월간 루프 방식.
• 제약 조건: 온라인 단계에서는 정답 레이블을 사용할 수 없으며, 결정은 오직 모델의 신뢰도 점수에만 의존한다. 고정된 거부 임계값($\rho$)은 월간 주석 예산이나 목표 에러율을 시뮬레이션하기 위해 레이블이 없는 점수들의 이동 창(rolling window)을 통해 보정된다.

2. 지표

Aurora는 세 가지 기둥으로 분류되는 다차원 지표 세트를 도입한다:

• 신뢰성 (신뢰도 품질):

  • AURC (Area Under the Risk-Coverage Curve): 신뢰도 점수가 실제 오분류 확률에 따라 인스턴스를 얼마나 효과적으로 순위 지정하는지 측정한다. 낮은 AURC는 순위 지정이 더 잘 되었음을 의미한다(오류가 낮은 신뢰도로 올바르게 식별됨).
  • AURC[F1]*: 표준 AURC 대신 F1 기반 리스크($1 - \text{F1}$)를 사용하는 운영 변형이다. 이는 기권(abstention)이 특정 클래스(예: 악성코드는 거부하면서 정상 파일은 유지하는 등)에 불균형하게 피해를 주는지 감지하며, 이는 표준 AURC가 놓칠 수 있는 부분이다.
  • 이득 빈도 (Benefit Frequency, BF):* 선택적 분류(기권)가 거부 없이 수행했을 때보다 F1을 개선하는 달의 비율.

• 안정성 (시간적 강건성):

  • $\sigma[\text{F1}]$: 월간 F1 점수의 표준 편차로, 성능 변동성을 측정한다.
  • Mann-Kendall 추세 ($\tau$): 시간에 따른 단조적인 성능 추세(개선, 저하 또는 안정성)를 감지하는 비모수 검정.
  • 거부 일관성 (Rejection Consistency):
    • $\Delta\text{Rej}^*$: 실제 거부 할당량과 목표 할당량 사이의 편향.
    • $\sigma[\text{Rej}]^*$: 실현된 거부 횟수의 표준 편차로, 분석가의 워크로드 예측 가능성을 측정한다.

3. 벤치마크 모델

프레임워크는 네 가지 최첨단(SOTA) 오픈 소스 프레임워크를 평가한다:

• Drebin: 정적 특징 기반의 선형 SVM.
• DeepDrebin: Drebin 특징을 사용한 완전 연결 신경망(Fully connected network).
• CADE: 거리 기반 OOD 스코어링을 사용하는 대조 학습(Contrastive learning).
• HCC: 패밀리 수준의 제약을 갖는 계층적 대조 학습.

또한 본 연구는 데이터 큐레이션의 영향을 조사하기 위해, 전체 초기 데이터셋($B_0 = \text{Full}$)으로 훈련된 모델과 서브샘플링된 세트($B_0 = 4800$)로 훈련된 모델을 비교한다.

주요 결과

평가는 헤드라인 성능 지표와 운영 신뢰성 사이의 상당한 괴리를 드러낸다.

1. 신뢰도 보정 vs. 정확도

• F1이 신뢰성을 보장하지 않음: 유사한 F1 점수를 가진 모델들도 매우 다른 AURC 값을 보일 수 있다(최대 10배 차이). 예를 들어, APIGraph 데이터셋에서 CADE와 DeepDrebin은 유사한 F1 점수를 가졌으나, CADE의 AURC는 6배 더 나빴으며, 이는 CADE의 신뢰도 점수가 오류를 제대로 순위 지정하지 못했음을 나타낸다.
• 거부에서의 클래스 불균형: AURC[F1]*는 일부 모델(예: HCC)이 전체 오류는 잘 순위 지정하지만, 특정 클래스(예: 악성코드)를 불균형하게 거부하여 균형 잡힌 탐지 품질을 저하시킨다는 것을 밝혀냈다.
• OOD 스코어링 실패: 클러스터 중심으로부터의 거리가 오류와 상관관계가 있다고 가정하는 CADE의 거리 기반 OOD 스코어링은 경험적으로 실패했다. 리스크-커버리지 곡선에 따르면, 오분류는 종종 클러스터 중심 근처(높은 신뢰도)에서 발생했으며, 이는 CADE의 핵심 전제와 모순된다.

2. 시간적 안정성 및 거부 일관성

• 파괴적 불안정성: CADE는 거부 동작에서 극심한 불안정성을 보였다. Transcendent 데이터셋에서 CADE-MSP는 평균 3,375개의 샘플(목표 400개)만큼 거부 할당량을 초과하였으며, 매우 큰 변동성($\sigma[\text{Rej}]^* \approx 3347$)을 보였다. 이는 고정된 예산 운영에 부적합함을 의미한다.
• 취약한 진동 vs. 강건한 적응: 일부 모델은 높은 F1을 보였지만, 안정성 지표($\sigma[\text{F1}]$ 및 $\tau$)를 통해 드리프트 하에서 체계적인 저하나 불규칙한 진동이 나타남이 확인되었다. 반면, DeepDrebin은 특정 데이터셋에서 꾸준한 개선 추세를 보이며 강건한 적응력을 입증했다.
• 기권의 이득: 선택적 분류가 항상 유익한 것은 아니었다. CADE는 여러 구성에서 BF*(Benefit Frequency)가 5% 미만이었으며, 이는 기권이 대부분의 달에서 오히려 성능을 저하시켰음을 의미한다.

3. 파레토 관점 (The Pareto Perspective)

여러 차원(F1, AURC, $\sigma[\text{F1}]$, $\tau$)에 걸쳐 방법론을 평가했을 때, 모든 조건에서 압도적인 단일 방법은 존재하지 않았다.

• DeepDrebin (서브샘플링 적용) 및 **HCC-MSP (서브샘플링 적용)**가 성능, 안정성, 신뢰성 사이의 최적의 트레이드오프를 제공하는 파레토 최적(Pareto-optimal) 모델로 일관되게 나타났다.
• 서브샘플링의 이점: 역설적이게도, 초기 데이터의 첫 해 전체 데이터($B_0 = \text{Full}$)로 훈련하는 것보다 서브샘플링된 데이터셋($B_0 = 4800$)으로 훈련하는 것이 새로운 드리프트 패턴에 대한 적응 측면에서 더 우수한 경우가 많았다. 이는 방대한 양의 과거 데이터가 새로운 드리프트 패턴에 대한 적응을 방해할 수 있음을 시사한다.
• 복잡성 vs. 유용성: 가장 단순한 신경망 접근법인 DeepDrebin이 비용이 많이 드는 패밀리 레이블과 광범한 훈련을 필요로 하는 복잡한 프레임워크(CADE, HCC)보다 종종 더 우수한 성능을 보였다.

의의 및 주장

본 논문은 동적인 환경에서 악성코드 분류기의 신뢰성을 평가하는 데 있어 현재의 정적 정확도 지표(F1, FPR)에 대한 의존도가 불충분하다고 주장한다.

1. 가정의 재검토: SOTA 프레임워크에서 관찰된 취약성은 신뢰도 보정 및 OOD 탐지에 대한 기존의 가정(예: 거리 기반 지표)에 대한 수정이 필요할 수 있음을 시사한다.
2. 운영의 현실: 배포 시 모델의 행동은 단순히 실험실 내의 정확도가 아니라, 신뢰도 기반 순위 지정의 품질과 안정성에 의해 결정된다.
3. 방법론적 전환: 저자들은 보안 모델 평가를 신뢰도 보정, 시간적 안정성, 거부 일관성을 포함하는 다차원적 평가로 전환할 것을 권고한다.
4. 실질적 함의: 연구 결과는 "최선"의 방법이 운영 우선순위(예: 워크로드 예측 가능성 vs. 순수 탐지율)에 따라 달라질 수 있음을 보여준다. F1 측면에서 우세한 방법이 신뢰성과 안정성을 고려할 때는 열세에 놓일 수 있다.
5. 단순함의 승리: 본 연구는 복잡한 프래임워크가 반드시 배포 시의 강건함으로 이어지지는 않으며, 전략적인 데이터 큐레이션을 동반한 단순한 베이스라인이 더 효과적일 수 있음을 강조한다.

결론적으로, 본 논문은 "F1이 목표가 되는 순간, 그것은 신뢰성을 측정하는 좋은 척치가 되지 못한다"고 단언하며, 분포 드리프트 하에서 선택적 분류 방법론을 배포할 때 숨겨진 위험을 드러내기 위해 Aurora와 같은 프레임워크가 필수적이라고 주장한다.