🤖 AI

Taming Data Challenges in ML-based Security Tasks Using Generative AI

본 논문은 Nimai 라는 새로운 방법을 포함한 생성형 AI 가 생성한 합성 데이터로 학습 데이터셋을 보강하면 데이터가 제한된 환경에서 특히 기계 학습 기반 보안 분류기의 성능과 적응성을 크게 향상시킬 수 있으며, 동시에 이러한 개선을 방해할 수 있는 특정 데이터 특성을 식별할 수 있음을 보여준다.

원저자: Shravya Kanchi, Neal Mangaokar, Aravind Cheruvu, Sifat Muhammad Abdullah, Shirin Nilizadeh, Atul Prakash, Bimal Viswanath

게시일 2026-05-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shravya Kanchi, Neal Mangaokar, Aravind Cheruvu, Sifat Muhammad Abdullah, Shirin Nilizadeh, Atul Prakash, Bimal Viswanath

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 혼잡한 도시에서 도둑을 찾아내는 방법을 보안 요원 (컴퓨터 프로그램) 에게 가르치려 한다고 상상해 보세요. 보통 이 요원을 가르치는 가장 좋은 방법은 실제 도둑과 실제 시민들의 수천 장의 사진을 보여주는 것입니다. 하지만 사이버 보안 세계에는 큰 문제가 하나 있습니다: 우리는 도둑의 사진이 충분하지 않습니다.

도둑은 드물고, 잘 숨으며, 때로는 우리가 가진 사진조차 흐리거나 잘못 라벨링되어 있습니다. 이로 인해 보안 요원의 업무 수행 능력이 떨어집니다.

이 논문은 다음과 같은 간단한 질문을 던집니다: 가짜 도둑 사진을 생성하여 요원 훈련을 돕기 위해 "생성형 AI"(GenAI) 를 사용할 수 있을까요?

아래는 단순한 비유를 통해 정리한 그들의 연구 결과입니다:

1. 문제: "빈 사진 앨범"

연구자들은 35 개의 사이버 보안 연구를 분석한 결과, 거의 모든 연구가 동일한 데이터 문제와 씨름하고 있음을 발견했습니다:

예시 부족: 정상적인 활동에 비해 공격 사례가 매우 적습니다.
편향된 시각: 우리가 가진 소수의 공격 사례는 특정 유형의 도둑만 보여줄 뿐, 다른 유형은 놓치고 있을 수 있습니다.
노이즈가 있는 사진: 때로는 라벨이 잘못되어 있습니다 (시민의 사진이 도둑으로 라벨링된 경우).
변하는 얼굴: 도둑들은 시간이 지남에 따라 외모를 바꿉니다 (이를 "개념 드리프트"라고 합니다). 따라서 요원의 기존 훈련은 쓸모없게 됩니다.

2. 해결책: "AI 예술가"

팀은 고급 AI 도구 (GenAI) 를 예술가처럼 작동하도록 시도했습니다. 요원에게 실제 사진만 보여주는 대신, AI 가 본 소수의 실제 사진을 바탕으로 새롭고 사실적인 도둑 사진을 그려내도록 요청했습니다. 그런 다음 이 가짜 사진을 훈련 앨범에 추가하여 요원이 더 똑똑해졌는지 확인했습니다.

이 방법은 7 가지 다른 보안 작업에서 테스트되었으며, 멀웨어 (컴퓨터 바이러스) 탐지부터 해킹된 인터넷 경로 감지까지 다양했습니다.

3. 결과: 예술가가 빛을 발할 때

결과는 "와!"와 "조금만 기다려"가 섞여 있었습니다.

성공 사례 ("와!" 순간):

"수퍼 훈련" 효과: 데이터가 부족한 작업 (약 180 개의 훈련 샘플만 있던 BGP 하이재킹 작업 등) 에서 AI 생성 데이터는 게임 체인저였습니다. 그들이 개발한 Nimai라는 특정 방법은 보안 요원의 정확도를 32.6% 향상시켰습니다. 이는 10 명의 도둑 중 6 명을 잡는 요원에서 9 명을 잡는 요원으로 변한 것과 같습니다.
"흐린" 사진 수정: AI 는 단순히 복사 - 붙여넣기를 한 것이 아니라, 데이터 내의 "노이즈"를 실제로 부드럽게 만드는 데 도움이 되었습니다. 이는 도둑들의 패턴을 더 명확하게 만들어 요원이 더 잘 일반화하도록 도왔습니다.
"변신" 문제: 도둑들이 전술을 바꿀 때 (개념 드리프트), AI 는 새로운 전술에 대한 새로운 "가짜" 예시를 빠르게 생성할 수 있었습니다. 이를 통해 보안 시스템은 새로운 인간 라벨링을 거의 필요로 하지 않고도 거의 즉시 적응할 수 있었습니다.

실패 사례 ("조금만 기다려" 순간):

"혼잡한 방": 일부 작업에서는 "도둑"과 "시민"이 너무 비슷하게 보였습니다 (데이터 중첩). AI 는 차이를 구분하지 못했고, 단순히 더 혼란스러운 사진만 만들어냈으며, 요원은 나아지지 않았습니다.
"너무 커서 들어가지 않음" 문제: 일부 기존 AI 도구는 좁은 골목길을 지나려는 거대한 트럭과 같았습니다. 특정 보안 데이터에는 너무 복잡하여 충돌하거나 훈련에 실패했습니다.
"노이즈가 있는 라벨" 함정: 원본 데이터에 너무 많은 오류가 있는 경우 (예: 좋은 파일을 나쁜 파일로 라벨링), AI 는 단순히 더 많은 오류를 학습했습니다. 이는 망가진 기초를 고칠 수 없었습니다.

4. 새로운 도구: "Nimai"

연구자들은 기존 AI 도구들이 안대를 쓴 화가와 비슷하다는 것을 깨달았습니다. 그들은 광범위한 범주 (예: "도둑을 그려라") 에 기반하여만 그릴 수 있었습니다. "내가 들고 있는 이 특정 사람과 정확히 똑같은 도둑을 그려라"라고 말할 수는 없었습니다.

그래서 그들은 Nimai라는 새로운 도구를 만들었습니다.

비유: 일반적인 사람 조각상을 만드는 것이 아니라, 실제 사람을 보고 그 사람과 매우 유사하지만 약간의 통제된 변형을 가진 새로운 조각상을 만드는 조각가를 상상해 보세요. 이를 통해 보안 요원은 위협의 모든 미세한 뉘앙스를 볼 수 있습니다.
결과: Nimai 는 특히 가장 어렵고 데이터가 가장 부족한 상황에서 가장 성공적인 도구였습니다.

5. 핵심 교훈

이 논문은 생성형 AI 가 사이버 보안을 위한 강력한 도구이지만, 마법은 아니다라고 결론 내립니다.

데이터가 매우 적거나 데이터가 불균형할 때는 기적을 일으킵니다. 공백을 메우고 시스템이 더 빠르게 학습하도록 도울 수 있습니다.
데이터가 너무 지저분하거나, 범주가 너무 겹치거나, AI 도구가 작업에 너무 무거울 때는 어려움을 겪습니다.

저자들은 향후 보안 도구들이 무작위 가짜 데이터를 쏟아내는 것이 아니라, Nimai 와 같은 통제된 방법을 사용하여 어떻게 데이터를 생성할지 더 똑똑해져야 한다고 제안합니다. 또한 이 접근 방식은 해커들이 전술을 바꿀 때 새로운 데이터를 라벨링하기 위해 인간 군대를 고용할 필요 없이 보안 시스템이 빠르게 적응하는 데 도움이 될 수 있다고 지적합니다.

간단히 말해: 그들은 AI 가 나쁜 녀석들의 새로운 그림을 그리게 함으로써 보안 요원을 가르쳤습니다. 그림이 부족할 때는 훌륭하게 작동했지만, 나쁜 녀석들과 좋은 녀석들이 너무 많이 닮았을 때는 혼란스러워졌습니다.

기술 요약: 생성형 AI 를 활용한 머신러닝 기반 보안 작업의 데이터 문제 해결

1. 문제 제기

머신러닝 (ML) 분류기는 악성코드 탐지, 네트워크 침입 탐지, 프라이버시 분류와 같은 사이버보안 작업에 널리 배포되고 있습니다. 알고리즘적 발전이 연구의 주된 초점이었음에도 불구하고, 보안 도메인 고유의 데이터 문제는 제한적인 관심만 받아 왔으며, 이로 인해 성능의 한계가 발생하곤 합니다. 저자들은 다섯 가지 중요한 데이터 문제를 식별했습니다:

제한적이거나 편향된 훈련 데이터: 라벨링 비용과 도메인 전문성 부족으로 인한 심각한 클래스 불균형, 과소 대표된 공격 패턴, 그리고 불충분한 샘플 크기 포함.
고차원성: 특징 (features) 이 종종 수천 차원을 초과하여 '차원의 저주'를 악화시킵니다.
개념 변화 (Concept Drift): 공격자가 시간이 지남에 따라 적응함에 따라, 배포 후 테스트 분포가 훈련 분포와 달라집니다.
노이즈가 있는 라벨과 중첩된 클래스 분포: 진실 (ground truth) 확립이 어렵거나 클래스가 본질적으로 유사한 보안 데이터에서 흔히 발생합니다.
적대적 예시: 언급되었으나, 본 논문은 주로 앞의 네 가지 문제에 집중합니다.

핵심 연구 질문은 생성형 AI(GenAI) 가 합성 데이터로 훈련 데이터셋을 증강함으로써 이러한 데이터 문제를 해결하여 분류기 성능을 향상시킬 수 있는지 여부입니다.

2. 방법론

2.1 실험 설정

본 연구는 실제 위협 데이터를 사용하여 7 가지 다양한 보안 작업(3 가지 이진 분류, 4 가지 다중 클래스 분류) 에 걸쳐 GenAI 를 평가합니다. 이러한 작업에는 BGP 하이재킹 탐지, Tor 기반 악성코드 트래픽 탐지, IoT 암호화폐 채굴 (cryptojacking) 탐지, 웹 쿠키 프라이버시 분류, Windows 악성코드 분류 (MS-Malware), PE 악성코드 분류 (BODMAS), 그리고 OS 지문 식별 (nPrintML) 이 포함됩니다.

저자들은 전통적인 증강 방법과 비교하여 6 가지 최첨단 (SoTA) GenAI 모델(표형 데이터용) 을 평가합니다:

GenAI 모델: TVAE(VAE), CTAB-GAN+(cGAN), TabDDPM(확산), TabSyn(VAE+확산), GReaT(LLM), REaLTabFormer(LLM).
전통적 베이스라인: SMOTE(선형 보간) 및 MC-CCR(정제 및 재배치).

2.2 Nimai 프레임워크

기존 GenAI 도구가 주로 클래스 조건부 생성 (레이블 기반 샘플 생성) 을 제공하지만 데이터 매니폴드의 특정 영역에 대한 제어는 부족하다는 점을 인식하여, 저자들은 Nimai를 제안합니다.

아키텍처: Nimai 는 이산 잠재 공간(Vector Quantized VAE) 을 활용하고 BERT 에서 영감을 받은 마스킹 토큰 모델 (MTM) 과 결합된 VAE 기반 모델입니다.
메커니즘: 사후 붕괴 (posterior collapse) 에 취약한 연속 잠재 공간을 사용하는 표준 VAE 와 달리, Nimai 는 잠재 토큰을 이산화합니다. 특정 입력의 특징을 '블랭크' 처리하고 문맥을 기반으로 예측하는 마스킹 전략을 사용합니다.
제어 모드:
- Nimai-S(샘플 조건부): 특정 입력의 특징을 마스킹하고 재구성하여 기존 실제 샘플 근처에서 샘플을 생성합니다. 이는 클래스 내 과소 대표된 영역을 대상으로 합니다.
- Nimai-C(클래스 조건부): 기존 도구와 유사하게 클래스 레이블만으로 샘플을 생성합니다.
- Nimai-Hybrid: 배포 후 변화 (drift) 복구를 위해 두 가지 접근법을 결합합니다.

2.3 평가 전략

평가에는 배포 전 (사전 훈련) 데이터 증강과 배포 후 (사후 훈련) 신속한 복구에 초점이 맞춰져 있습니다.

지표: 실제 데이터만으로 훈련했을 때 대비 매크로 F-스코어 (또는 특정 작업의 경우 악성 클래스 F-스코어) 의 상대적 향상도 ( $\Delta G$ ).
강건성: 서로 다른 무작위 시드로 10 회 실험을 수행합니다. 신뢰할 수 없는 측정값 (변동 계수 $\ge$ 1) 은 플래그가 표시됩니다.

3. 주요 결과

3.1 배포 전 성능

데이터 제약 환경에서의 성공: GenAI 는 7 개 작업 중 5 개에서 성능을 크게 향상시켰습니다.
- BGP 하이재킹: 극도로 데이터가 제한된 환경 (훈련 샘플 약 180 개, 악성 17 개) 에서 Nimai-S는 32.6% 의 성능 향상을 달성하여 모든 베이스라인을 능가했습니다.
- IoT 및 MS-Malware: Nimai-S 와 CTAB-GAN+ 는 심하게 불균형하거나 고차원인 시나리오에서 각각 최대 17.37% 와 13.53% 의 유의미한 향상을 보였습니다.
- BODMAS(개념 변화): 변화가 포함된 작업의 경우, 클래스 조건부 접근법 (Nimai-C, TVAE, TabDDPM) 이 일반적으로 샘플 조건부 접근법보다 우월하여 특정 변화 월에서 최대 59.42% 의 향상을 달성했습니다.
실패 사례:
- Tor, Cookie, nPrintML: GenAI 방식은 일반적으로 성능 향상에 실패했습니다. 저자들은 이를 중첩된 클래스 분포, 노이즈가 있는 라벨, 그리고 극심한 특징 희소성(98.66% 까지 0 값) 에 기인합니다. 이러한 경우 합성 데이터는 기존 편향을 강화하거나 클래스 비분리성을 해결하지 못했습니다.
- 모델 인스턴스화 실패: 기존 6 개 GenAI 방식 중 5 개가 적어도 하나의 작업에서 훈련하거나 사용 가능한 데이터를 생성하는 데 실패했습니다.
  - LLM 기반 모델 (GReaT, REaLTabFormer): 고차원 특징 벡터 (토큰 제한 또는 GPU 메모리 초과) 에 대한 확장성 문제로 인해 각각 7 개 중 6 개와 5 개 작업에서 실패했습니다.
  - TabDDPM: IoT 작업에서 모드 붕괴 (mode collapse) 를 겪어 소수 클래스 샘플을 생성하지 못했습니다.
  - TVAE/TabSyn: 고차원 또는 대규모 데이터셋 (예: nPrintML, Cookie) 에서 어려움을 겪었습니다.

3.2 배포 후 (개념 변화)

신속한 복구: 저자들은 Nimai-Hybrid 접근법이 최소한의 라벨링 노력으로 개념 변화에서 복구할 수 있음을 입증했습니다.
효율성: 불확실성 샘플링을 사용하여 변화된 데이터의 작은 하위 집합 (최소 64 개의 라벨된 샘플) 을 선택하고 샘플 조건부 생성을 적용함으로써, 시스템은 BODMAS 작업에서 가장 심각한 영향을 받은 달에 60.4% 의 성능 향상을 달성하여 작은 하위 집합만으로 재훈련하는 것 (INSOMNIA 베이스라인) 보다 우월했습니다.

3.3 개선 메커니즘

LIME 와 분포 지표 (엔트로피 및 왜도) 를 활용한 심층 분석은 성공적인 증강 (예: IoT 및 BGP 작업) 이 특징 왜도를 줄이고 엔트로피를 증가시켜 실제 데이터셋의 편향을 효과적으로 완화하고 더 대칭적인 특징 분포를 촉진하여 분류기 일반화를 돕는다는 것을 밝혔습니다.

4. 주요 기여

체계적 평가: 7 가지 다양한 보안 작업에 걸쳐 6 가지 최첨단 GenAI 모델을 체계적으로 평가한 최초의 연구로, 기회와 중요한 실패 모드를 모두 식별했습니다.
Nimai 프레임워크: 이산 잠재 공간과 마스킹 토큰 모델링을 갖춘 새로운 VAE 기반 방식을 도입하여 클래스 내 편향을 해결하기 위한 고도로 제어된, 샘플 조건부 데이터 합성을 가능하게 했습니다.
변화 복구: 최소한의 인간 라벨링으로 개념 변화에 대한 신속한 배포 후 적응을 위한 하이브리드 GenAI 전략을 입증했습니다.
실패 분석: GenAI 성능을 저해하는 특정 작업 특성 (노이즈가 있는 라벨, 중첩된 분포, 희소한 특징) 을 식별하고, 현재 LLM 기반 표형 생성기가 고차원 보안 데이터에 대해 확장 가능하지 않다는 사실을 발견했습니다.

5. 의의 및 주장

저자들은 본 연구가 보안 분야에서 GenAI 의 유용성에 대한 균형 잡힌 관점을 제공한다고 주장합니다. 그들은 GenAI 가 만능 해결책이 아니며 (노이즈와 중첩과 같은 특정 데이터 병리 현상에 어려움을 겪지만), 보안 작업의 데이터 부족과 편향을 해결하기 위해 크게 잠재된 가능성을 지니고 있다고 논합니다.

이 논문은 보안 분류기의 미래 발전이 알고리즘적 한계보다는 데이터 제약에 의해 멈출 수 있다고 제시합니다. 통제되고 고품질의 합성 데이터를 효과적으로 합성할 수 있는 GenAI 도구를 개발함으로써, 커뮤니티는 알고리즘적 혁신이 정체된 보안 문제에서 "진전을 재점화"할 수 있습니다. 저자들은 그들의 작업이 단순히 기성 모델을 적용하는 것이 아니라, 사이버보안의 적대적이고 데이터가 제한된 특성에 맞춰 특별히 개발된 GenAI 도구 개발을 향한 한 걸음이라고 강조합니다.