💻 computer science

Empirical Analysis of Evasion and Poisoning Against Malware Data Drift Detection

본 논문은 일반적으로 악성코드 분류기를 무력화하기 위해 설계된 회피 및 오염 공격이 데이터 드리프트 탐지기와 악성코드 분류기의 결합된 동작에 어떻게 독특하게 영향을 미치는지 조사하며, 이를 통해 드리프트 탐지기의 뚜렷한 특성이 이러한 적대적 공격의 효능과 동작을 변화시킨다는 점을 밝힌다.

원저자: Mingyue Yang, David Lie, Nicolas Papernot

게시일 2026-08-05

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Mingyue Yang, David Lie, Nicolas Papernot

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대하고 첨단 기술을 갖춘 나이트클럽의 보안 요원이라고 상상해 보십시오. 당신의 임무는 문제아(악성코드)를 찾아내어 차단하고, 선량한 손님(정상 소프트웨어)은 들여보내는 것입니다. 오랫동안 당신은 알려진 문제아들의 얼굴 목록을 사용하여 이 일을 해왔습니다. 하지만 문제아들은 교활합니다. 그들은 머리 모양을 바꾸거나, 변장을 하거나, 수염을 길러 일반인처럼 보이려 합니다. 이에 대응하기 위해, 당신은 당신이 문제아의 '분위기(vibe)'를 인식할 수 있도록 돕는 똑똑한 AI를 고용했습니다.

하지만 문제가 하나 있습니다. 시간이 흐르면서 군중의 성격이 변합니다. 동네의 '분위기'가 바뀌면서, AI는 몇 년 전 배웠던 사람들과 지금 들어오는 사람들이 너무 달라 혼란을 느끼기 시작합니다. 이것을 **개념 드리프트(concept drift)**라고 부릅니다. 이를 해결하기 위해 클럽은 두 번째 AI인 '드리프트 탐지기(Drift Detector)'를 고용했습니다. 이 두 번째 AI는 상대가 문제아인지 선량한 손님인지에는 관심이 없습니다. 그저 평소의 군중과 '이상하게 다르게' 보이는 사람이 있는지 지켜볼 뿐입니다. 누군가 너무 이상해 보이면, 드리프트 탐지기는 인간 보안 요원이 확인하도록 신호를 보냅니다. 핵심은, 만약 문제아가 변장을 한다면, 그 모습이 너무 이상해서 결국 드리프트 탐지기에 걸릴 수도 있다는 것입니다.

하지만 여기 반전이 있습니다. 만약 문제아들이 두 명의 경비원 모두를 알고 있다면 어떨까요? 그들이 메인 AI를 속여 선량한 손님처럼 보이게 만들면서, 동시에 드리프트 탐지기까지 속여서 자신들이 평범해 보이도록 할 수 있다면 어떨까요? 이 논문은 바로 그 질문을 던집니다. 연구진은 공격자가 '이중 스파이'를 성공시킬 수 있는지, 즉 나쁜 놈들을 잡는 시스템을 속이는 동시에, 이상한 사람들을 잡는 시스템까지 속일 수 있는지 조사했습니다. 그들은 '독이 든(poisoned)' 손님(학습 목록에 몰래 끼어드는 자)과 '변장한(disguised)' 손님(문을 통과하려는 자)을 이용해 이를 테스트했습니다.

더블 블라인드 하이스트 (The Double-Blind Heist)

연구진은 두 보안 시스템이 공격자에 대해 어떻게 작동하는지 보기 위해 디지털 강도 사건을 설정했습니다. 그들은 두 개의 서로 다른 '동네'(Bodmas와 Androzoo라는 데이터셋)에서 추출한 수천 개의 소프트웨어 샘 샘플을 사용했습니다. 피해자(클럽 주인)에게는 두 가지 주요 도구가 있었습니다: 악성코드 분류기(Malware Classifier)(메인 문지기)와 드리프트 탐지기(Drift Detector)(이상함 감시자)입니다. 공격자의 목표는 간단하지만 까다로웠습니다: 악성코드를 무해한 앱처럼 보이게 만들어 문지기를 속이는 동시에, 드리프트 탐지기가 자신을 '이상하다'고 판단하지 않도록 만드는 것이었습니다.

공격자에게는 실제 범죄자가 은밀하게 움직이는 것과 같은 규칙이 있었습니다. 그들은 악성코드의 기능(앱이 여전히 작동해야 함)을 망가뜨리거나 파일 형식을 바꿀 수 없었습니다. 그들은 오직 추가적인 공간을 넣거나 특정 숫자를 바꾸는 등의 특정 특징들을 미세하게 조정할 수 있었지만, 파일을 작동하게 만드는 요소들을 삭제할 수는 없었습니다. 또한 그들은 클럽의 보안 카메라에 대한 완전한 접근 권 권한이 없었습니다. 그들은 단 10%의 손님 정보만 알고 있었으며, 실제 시스템에 시도하기 전에 자신의 기술을 연습하기 위한 '대리(surrogate)' 모델(가짜 보안 시스템)을 직접 구축해야 했습니다.

놀라운 결과들

연구진은 두 가지 주요 유형의 공격을 시도했습니다: 회피(Evasion)(변장한 악성코드를 경비원들 사이로 몰래 통과시키기)와 포이즈닝(Poisoning)(가짜 '선량한' 손님들을 학습 목록에 끼워 넣어 경비원들이 잘못된 것을 배우게 만들기)입니다.

회피의 놀라움 (The Evasion Surprise):
연구진이 파일에 작은 '섭동(perturbations, 미세한 변화)'을 가해 악성코드를 시스템으로부터 몰래 빼돌리려 했을 때, 예상과는 다른 결과가 나왔습니다. 보통 AI의 세계에서는 변화가 커질수록 분류기를 속이기가 쉬워집니다. 얼굴을 충분히 바꾸면 AI가 알아보지 못하게 됩니다. 하지만 여기서는 드리프트 탐지기가 어떤 작은 변화도 용납하지 않는 엄격한 문지기처럼 행동했습니다.

공격자들이 메인 문지기를 속이기 위해 악성코드를 너무 많이 변형했을 때, 드리프트 탐지기가 의심을 품었습니다. 탐지기는 이 과하게 수정된 파일들을 '분포 외(out of distribution)' 데이터, 즉 정상적인 군중과는 전혀 닮지 않은 것으로 간주했습니다. 결국 드리프트 탐지기가 이를 '이상함'으로 표시했고, 인간 경비원이 잡아냈습니다. 연구진은 CADE(대조적 오토인코더를 사용하는 방식)라는 특정 유형의 드리프트 탐지기를 사용하는 시스템의 경우, 섭동을 크게 만드는 것이 오히려 공격에 방해가 된다는 사실을 발견했습니다. 변장이 커질수록 드리프트 탐지기에 걸릴 확률이 높아졌습니다. 공격자들은 메인 분류기를 속이면서도 드리프트 탐지기에게는 정상적으로 보이도록 하는 아주 정교한 '스윗 스팟(sweet spot)'을 찾아내야만 했습니다.

포이즈닝의 역설 (The Poisoning Paradox):
포이즈닝 공격은 더욱 흥독스러웠습니다. 공격자는 무해한 앱으로 변장한 '백도어(backdoor)' 악성코드를 심으려 했습니다. 아이디어는 이렇습니다: 만약 클럽 주인이 이 가짜 손님들을 사용하여 보안 시스템을 재학습시킨다면, 나중에 진짜 악성코드가 들어올 때 시스템이 이를 통과시켜 줄 것이라는 점입니다.

그러나 연구진은 독이 든 손님을 더 많이 추가한다고 해서 반드시 도움이 되는 것은 아니라는 사실을 발견했습니다. 실제로 CADE 기반의 드리프트 탐지기에서는 독이 든 샘플을 너무 많이 추가하면 공격이 실패했습니다. 왜일까요? 드리프트 탐지기의 내부 '지도(embedding space)'에는 공간이 한정되어 있기 때문입니다. 너무 많은 독이 든 샘플이 '선량한 손님' 구역에 쑤셔 넣어지면 시스템은 혼란에 빠집니다. 이 새로운, 약간씩 다른 샘플들을 이해하기 위해, 드리프트 탐지기는 조직력을 유지하고자 이들을 '선량한 군중'의 중심부로부터 밀어내기 시작합니다. 이 과정에서 독이 든 샘플들은 다시 '이상한 것'처럼 보이게 되어 드리프트 탐지기에 의해 걸러지게 됩니다. 논문은 시스템에 너무 많은 것을 집어넣으려고 할수록, 시스템이 그 나쁜 것들을 밖으로 밀어낸다고 제안합니다.

이것이 미래에 의미하는 바

이 논문은 분류기와 드리프트 탐지기를 모두 갖춘 시스템을 공격하는 것은 매우 섬세한 균형 잡기라는 결론을 내립니다. 단순히 악성코드를 착한 사람처럼 보이게 만드는 것뿐만 아니라, 그것이 군중과 너무 다르게 보이지 않도록 만드는 것도 중요합니다.

연구진은 드리프트 탐지기의 종류가 매우 중요하다는 것을 발견했습니다. 통계적 확신(statistical confidence)에 기반한 다른 방식인 Transcendent를 사용하는 시스템은 큰 변화를 주어 속이기가 더 쉬웠지만, CADE의 경우에는 공격자가 매우 조심해야 했습니다. 만약 공격자가 악성코드를 '선량한 쪽'으로 너무 많이 밀어붙이면, 그것은 '선량한 군중'의 중심에서 너무 멀어져 결국 걸리고 말았습니다.

궁극적으로 이 논문은 공격자가 매우 영리할 수 있지만, 이러한 드리프트 탐지기들이 작동하는 독특한 방식이 새로운 종류의 방어 체계를 만든다는 것을 보여줍니다. 새로운 위협에 적응하도록 돕는 바로 그 메커니즘(무언가가 다르게 보인다는 것을 알아채는 것)이 역설적으로 공격자가 눈에 띄지 않게 숨는 것을 더 어렵게 만듭니다. 이 연구는 이 방어 체계를 깨뜨리기 위해서는 공격자가 자신의 도구(대리 모델)와 기술(손실 함수)을 극도로 정밀하게 선택하여, 드리프트 탐지기가 세상을 바라보는 방식과 완벽하게 일치시켜야 한다는 점을 시사합니다. 이것은 쥐가 너무 이상해 보이지 않으면서도, 그렇다고 너무 이상해서 잡히지도 않아야 하는, 아주 정교한 쥐와 고양이의 게임입니다.

기술 요약: 악성코드 데이터 드리프트 탐지에 대한 회피 및 오염 공격의 경험적 분석

문제 정의

머신러닝(ML) 기반 악성코드 분류기는 진화하는 악성코드와 정상 소프트인으로 인해 모델이 노후화되는 개념 드리프트(concept drift) 문제에 직면해 있습니다. 이를 완화하기 위해, 훈련 데이터 분포에서 벗어난 샘플을 식별하는 데이터 드리프트 탐지기(예: CADE, Transcendent)가 개발되었습니다. 이러한 탐지기는 잠재적으로 오분류된 샘플을 거부하거나 재학습을 트리거하는 데 사용됩니다.

악성코드 분류기에 대한 회피 및 오염 공격은 잘 연구되어 왔지만, 시스템이 악성코드 분류기와 데이터 드리프트 탐지기를 모두 사용하는 경우 이러한 공격이 어떻게 작동하는지는 여전히 불분명합니다. 핵심적인 문제는 데이터 드리프트 탐지기가 분류기와 비교하여 서로 다른 목적, 손실 함수 및 아키텍처를 가진다는 점입니다. 결과적으로, 분류기에 성공적인 공격이 드리프트 탐지기에는 실패할 수 있고, 그 반대의 경우도 발생할 수 있습니다. 본 논문은 악성코드 분류기와 데이터 드리프트 탐지기의 결합된 시스템을 대상으로 하는 회피 및 오염 공격의 효용성을 조사합니다.

방법론

위협 모델 및 설정

피해 시스템: 피해자는 악성코드 분류를 위해 MLP를 사용하며, 데이터 드리프트 탐지를 위해 CADE(대조적 오토인코더 기반) 또는 Transcendent(컨포멀 예측 기반) 중 하나를 사용합니다.
공격 목표: 공격자는 다음과 같은 조건을 만족하는 악성코드 샘플을 제작하는 것을 목표로 합니다:
1. 악성코드 분류기에 의해 정상(benign)으로 오분류됨.
2. 데이터 드리프트 탐지기에 의해 상위- $k$ 개 드리프트 샘플로 선택되지 않음 (따라서 인간의 검사를 피함).
공격자 지식: 공격자는 제한된 접근 권한(훈련 데이터의 10%)을 가지며, 피해 모델로 전이되는 공격을 생성하기 위해 대리 모델(MLP 또는 CAE)을 구축합니다.
제약 조건:
- 기능성: 수정 사항은 악성코드의 기능이나 파일 형식을 깨뜨려서는 안 됩니다.
- 특징 제한: Bodmas 데이터셋의 경우, 2,381개의 특징 중 17개만 수정 가능합니다. Androzoo의 경우, RFE를 통해 유의미한 특징들이 선택됩니다.
- 섭동 제한: 눈에 띄지 않도록 섭동(perturbation)은 경계가 정해져 있습니다.
- 오염 유형: 클린 레이블(clean-label) 오염을 가정합니다. 공격자는 레이블을 변경할 수는 없지만, 베니그웨어(benignware)에서 유도된 백도어 트리거(보편적 섭동)를 포함하는 샘플을 주입할 수 있습니다.

공격 방법

저자들은 두 가지 뚜렷한 손실 함수를 사용하여 **보편적 섭동(universal perturbations)**을 생성합니다:

MLP 대리 모델: 악성코드 샘플을 결정 경계 너머로 밀어내어 정상 클래스로 분류되도록 크로스 엔트로피 손실을 최소화합니다.
CAE 대리 모델: 잠재 공간(latent space) 내에서 악성 샘플의 임베딩과 정상 중심점(benign centroid) 사이의 평균 제곱 오차(MSE)를 최소화합니다.

이러한 섭동은 다음 두 가지 시나리오에 적용됩니다:

회피(Evasion): 추론 시점에 악성 샘플에 섭동을 추가합니다.
오염(Poisoning): 백도어 트리거를 포함한 정상 샘플을 훈련 세트에 주입하여 피해 모델을 재학습시킵니다.

평가 지표

주요 지표는 **전체 공격 성공률(ASLR $_{overall}$ )**이며, 이는 다음을 동시에 만족하는 악성 샘플의 비율으로 정의됩니다:

정상으로 오분류됨.
드리프트 점수가 $k$ 번째로 높은 드리프트 샘플보다 낮음 (CADE의 경우 OOD 점수 기준, Transcendent의 경우 cred+conf 점수 기준).

주요 결과

1. 회피 공격

악성코드 분류기 단독: MLP 및 CAE 대리 모델 섭동 모두 악성코드 분류기를 효과적으로 회피하며, 섭동의 크기가 커질수록 성공률이 증가합니다.
결합 시스템 (분류기 + 드리프트 탐지기):
- CADE: 역설적인 트레이드오프가 존재합니다. 섭동이 커질수록 분류기에 대한 회피율은 높아지지만, 결합 시스템에 대한 전체 ASR은 종종 감소합니다. 큰 섭동은 CADE가 "미확인 패턴"으로 해석하는 특징을 생성하여, 샘플을 임베딩 공간 내의 정상 중심점에서 더 멀리 밀어냅니다. 이로 인해 CADE는 이를 드리프트하는 샘플로 정확히 식별하여 검사를 위해 플래그를 지정합니다.
- Transcendent: CADE와 달리, Transcendent(CAE 임베딩 공간에 대한 SVM 사용)는 MLP 대리 모델로 생성된 큰 섭동에 대해 더 높은 ASR을 달aba을 수 있습니다. Transcendent는 단순히 중심점과의 거리보다는 SVM 결정 경계로부터의 거리에 의존하기 때문에, 정상 영역 깊숙이 밀려난 샘플(중심점에서는 멀어진 상태)도 여전히 "비드리프트(non-drifting)" 상태로 간의될 수 있습니다.
- 대리 모델 선택: 대리 모델의 선택이 중요합니다. MLP 대리 모델은 분류 신뢰도는 최적화하지만 CAE 임베딩 공간의 기하학적 제약을 존중하지 않기 때문에 CADE에 대해 실패하는 경우가 많습니다.

2. 오염 공격

샘플 볼륨의 영향: 오염 샘플의 수를 늘린다고 해서 공격 성공률이 선형적으로 개선되지는 않습니다.
CADE의 한계: 트리거가 포함된 베니그웨어 샘플이 더 많이 주입될수록, CAE 모델은 제한된 공간 내에서 이들을 정확하게 재구성하는 데 어려움을 겪습니다. 재구성 손실을 최소화하기 위해, CAE는 이러한 트리거된 샘플을 정상 중심점에서 더 멀리 떨어진 영역으로 매핑하도록 학습합니다. 결과적으로, 오염된 모델은 이러한 샘 샘플을 드리프트하는 것으로 플래그 지정하기 시작하여 전체 ASR을 감소시킵니다.
용량 제약: 이러한 저하는 CADE 모델의 임베딩 공간이 작거나 특징 차원이 높은 데이터셋(예: Androzoo)을 공격할 때 더 두드러집니다. 이러한 경우, MLP 기반 오염 공격이 CAE 기반 공격보다 우수한 성능을 보이는데, 이는 CAE 기반 손실이 의도적으로 정상 중심점을 혼잡하게 만들어 재구성 문제를 악화시키기 때문입니다.

주요 기여

이중 타겟 공격 분석: 본 논문은 악성코드 분류기와 데이터 드리프트 탐지기의 결합에 대한 회피 및 오염 공격을 경험적으로 평가하며, 저자들이 알기로는 기존 연구 중 악성코드 데이터 드리프트 탐지기를 공격한 사례는 없음을 명시합니다.
탐지기 동작 특성 규명: 저자들은 데이터 드리프트 탐지기가 공격을 받을 때 분류기와 근본적으로 다르게 행동한다는 것을 입증했습니다. 구체적으로, 분류기에 효과적인 섭동(큰 크기)이 임베딩 공간의 기하학적 특성(예: CAE 중심점) 때문에 드리프트 회피에는 오히려 해로울 수 있음을 보여줍니다.
오염 역학: 본 연구는 CAE 기반 드리프트 탐지기가 포함된 클린 레이블 오염 시나리오에서, 오염된 데이터의 양을 늘리는 것이 오토인코더의 재구성 제약으로 인해 역설적으로 탐지 능력을 강화할 수 있음을 밝혀냈습니다.

의의 및 주장

논문은 데이터 드리프트 탐지기의 고유한 특성, 특히 임베딩 공간의 기하학 및 재구성 손실에 대한 의존성이 적대적 섭동과 복잡한 상호작용을 일으킨다고 주장합니다.

공격자를 위한 시사점: 성공을 위해서는 정밀한 캘리브레이션이 필요합니다. 단순히 분류기를 속이기 위해 섭동 크기를 최대화하는 것은 드리프트 탐지기를 트리거할 수 있습니다. 공격자는 자신의 대리 모델과 손실 함수를 특정 드리프트 탐지기의 아키텍처(예: 임베딩 공간이 혼잡한 경우 CAE 대리 모델을 피하는 것)와 일치시켜야 합니다.
방어자를 위한 시사점: 연구 결과는 데이터 드리프트 탐지기가 강력한 2차 방어 계층을 제공할 수 있음을 시사합니다. 탐지기는 공격적인 적대적 섭동으로 인해 발생한 "분포 외(out-of-distribution)" 특징을 가진 샘플을 포착함으로써, 일차 분류기를 성공적으로 회피한 악성 샘플을 탐지할 수 있습니다. 다만, 그 효과는 탐지기의 아키텍처와 용량에 따라 달라집니다.

저자들은 높은 공격 성공률이 분류기에 대해서는 달성 가능할지라도, 데이터 드리프트 탐지기의 존재가 공격의 지형을 근본적으로 변화시키며, 종종 회피 및 오염 시도의 성공률을 감소시킨다고 결론짓습니다.