RMF: A Risk Measurement Framework for Machine Learning Models

기술 요약: RMF: 머신러닝 모델을 위한 리스크 측정 프레임워크

문제 정의
자율 주행 및 의료 진단과 같이 안전 및 보안이 중요한 애플리케이션에 머신러닝(ML) 모델, 특히 딥러닝 시스템의 도입이 증가하고 있습니다. 이러한 확산은 신경망(NN)이 악의적인 영향을 받는 적대적 머신러닝(adversarial machine learning)으로부터 상당한 리스크를 초래합니다. 구체적으로, 본 논문은 추론 시 신경망이 이미지 레이블을 오분류하도록 유도하는 포이즈닝 공격(백도어 공격의 하위 집합)과 관련된 리스크를 정량화하는 문제를 다룹니다. 이러한 위협의 존재는 잘 알려져 있으나, 공격에 의한 **피해 규모(extent of damage)**와 이를 실행하기 위해 요구되는 **공격자의 노력(effort required)**을 측정하기 위한 표준화된 방법론은 부족한 실정입니다. 저자들은 이러한 측정이 없다면 ML 시스템의 보안 성능을 객관적으로 평가하거나 의미 있는 리스크 값을 도출하기 어렵다고 주장합니다.

방법론
본 논문은 정보 보안 리스크 측정을 위한 ISO/IEC 27004:2016 표준에 근거한 **리스크 측정 프레임워크(RMF)**를 제안합니다. 방법론은 다음과 같은 구조화된 프로세스를 따릅니다:

1. 속성 정의: 프레임워크는 리스크를 측정하기 위한 특정 속성을 정의하며, 이는 두 가지 주요 그룹으로 분류됩니다:

   • 공격자의 노력(Attacker's Effort): 공격자의 지식(화이트박스 vs 블랙박스), 공격자의 목표(목표 달성을 위한 단계), 공격 특이성(특정 또는 무작위 레이블을 타겟팅하는 단계), 공격 시간(학습 및 추론 기간), 계산 자원(CPU/GPU 사용량)을 포함합니다.
   • 피해 규모(Extent of Damage): 정확도(Accuracy), F1-Score, 평균 정밀도(Average Precision), *평균 재현율(Average Recall)*을 포함하는 표준 ML 지표를 사용하여 측정됩니다.

2. 측정 프로세스:

   • 데이터 수집: 프레임워크는 대상 신경망에 백도어 공격을 실행하기 위해 **Adversarial Robustness Toolbox (ART)**를 활용합니다.
   • 기초 측정치(Base Measures): 시스템은 공격 중 학습 시간, 하드웨어 자원 소비량, 공격자가 수행한 절차적 단계 수와 같은 원시 데이터를 기록합니다.
   • 파생 측정치(Derived Measures): 측정 함수는 이러한 기초 측정치를 집계합니다.
     • 피해 계산: 피해를 정량화하기 위해 프레임워크는 ML 지표를 역산합니다(예: 정확도가 0.06으로 떨어지면 0.94로 변환). 이 역산 과정은 더 낮은 원래 지표(더 높은 피해)가 더 높은 피해 점수를 갖도록 보장합니다. 이러한 역산된 값들은 통합되어 복합적인 "피해 규모"를 형성합니다.
     • 노력 계산: 프레임워크는 공격 시간, 계산 자원, 그리고 (지식, 목표, 특이성으로부터 도출된) 총 단계를 집계하여 복합적인 "공격자의 노력"을 형성합니다.

3. 리스크 해석: 프레임워크는 피해와 노력을 하나의 스칼라 리스크 값으로 결합하지 않습니다. 대신, 이를 네 가지 별개의 값(피해, 시간, 자원, 단계)으로 취급하여 개별적으로 해석해야 한다고 봅니다. 저자들은 단위의 가변성(초, MB, 자연수 등)과 서로 다른 공격 유형 간의 비교 가능한 기준 데이터 부족으로 인해 현재 노력(effort)을 표준화하는 것은 불가능하다고 언급합니다.

사례 연구 및 결과
프레임키는 133,000개의 독일 도로 표지판(70개 레이블) 데이터셋으로 훈련된 합성곱 신경망(CNN)을 이용한 사례 연구를 통해 프레임워크를 평가했습니다.

• 설정: 훈련 데이터의 50%를 포이즈닝하여 무작위 이미지를 특정 타겟 레이블(레이블 10)로 오분류하게 만드는 클린 레이블 백도어 공격이 실행되었습니다.
• 하드웨어: 실험은 AMD Ryzen 7 5800X CPU와 NVIDIA GeForce RTX 3060 Ti GPU에서 실행되었습니다.
• 결과:
  • 피해: 공격은 성능의 급격한 저하를 초래했습니다. 원래 정확도는 0.94에서 0.06으로 떨어졌습니다. 계산된 복합 "피해 규모"는 4.62였습니다.
  • 노력: 공격에는 총 21단계(지식, 목표, 특이성 결합)가 필요했으며, 실행하는 데 1037.23초가 소요되었고, 9%의 CPU와 8137.81 MB의 GPU 메모리를 소비했습니다.
  • 리스크 분류: 유럽 통신 표준 협회(ETSI)의 리스크 분류에 따라, 결과는 **치명적 리스크(Critical Risk)**로 분류되었습니다. 대응책의 부재로 인해 상대적으로 낮은 공격자의 노력만으로 최대의 피해를 입힐 수 있었습니다.

주요 기여
본 논문은 세 가지 주요 기여를 합니다:

1. 속성 제안: ML 보안 측정 방법의 인스턴스화 과정에서 포함될 정량적 및 정성적 속성(계산 자원 및 특정 공격 단계 포함)을 제안합니다.
2. 측정 함수 개발: ISO/IEC 27004:2016 가이드라인을 준수하여 피해 규모와 공격자의 노력을 나타내는 값을 계산하기 위한 특정 함수를 개발합니다.
3. 평가 및 해석: 사례 연구를 통해 계산된 값을 평가함으로써, 구체적인 대응책을 제안하지 않고도 공격의 최종 리스크를 해석하는 방법을 보여줍니다.

의의 및 주장
저자들은 본 연구를 신경망 배포 전 개발 단계에서 리스크를 측정할 수 있게 함으로써 보안 성능을 향러시키는 도구로 포지셔닝합니다. 논문은 명시적으로 대응책을 제안하지 않음을 밝히며, 오직 리스크의 측정과 평가에만 집중합니다.

RMF의 의의는 다음과 같습니다:

• 적대적 공격의 잠재적 피해를 표준화된 방식으로 정량화할 수 있습니다.
• 공격자가 투자해야 하는 자원과 단계를 객적으로 측정할 수 있습니다.
• 대응책이 없다면 백도어 공격이 낮은 공격자의 노력만으로도 치명적인 리스크(예: 자율 주행 차량에서 정지 표지판을 속도 제한 표지판으로 오인하는 경우)를 초래할 수 있음을 강조합니다.

저자들은 실험 환경 내에서는 프레임워크가 성공적으로 리스크를 측정했으나, 서로 다른 공격 간의 리스크를 비교하거나 포괄적인 리스크 매트릭스를 구축하는 능력은 현재 데이터의 비교 가능성 부족으로 인해 제한적이라고 겸허히 결론지었습니다. 향후 작업은 더 구체적인 대응책 개발과 더 나은 리스크 표준화를 가능하게 할 데이터셋을 구축하기 위해 더 많은 공격을 측정하는 것을 필요로 합니다.