🤖 machine learning

Mitigating The Effect of Class Imbalance in Data with Hierarchical and Dependable Structure

본 논문은 학습 가능한 상위 클래스 임베딩을 활용하여 CWE 취약점 분류에서의 클래스 불균형을 효과적으로 완화하는 계층 구조 인지형 RoBERTa 프레임워크를 제안하며, 계층적 구조를 통합하는 것이 모델 성능을 저하시키는 경우가 많은 전통적인 오버샘플링 기법보다 우수함을 입증한다.

원저자: Bipin Chhetri, Deepika Giri, Avishek Kadel, Rabin Kumar Karki, Akbar Siami Namin

게시일 2026-07-15

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bipin Chhetri, Deepika Giri, Avishek Kadel, Rabin Kumar Karki, Akbar Siami Namin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 컴퓨터 보안 결함에 대한 방대한 단서 더미를 정리하려는 탐정이라고 상상해 보십시오. 이 결함들은 **CWE(Common Weakness Enumeration)**라는 거대한 가계도로 조직되어 있습니다. 나무의 꼭대기에는 "Base(기본)"와 같은 광범위한 범주가 있고, 아래로 내려갈수록 가지는 점점 더 구체적으로 변하며, "Compound(복합)"나 "Pillar(기둥)"와 같은 아주 작고 희귀한 잎사귀에서 끝을 맺습니다.

문제는 무엇일까요? 탐정의 증거 봉투가 완전히 불균형하다는 것입니다. 크고 흔한 범주에는 수백 개의 단서가 있지만, 희귀하고 구체적인 범주에는 손에 꼽을 정도의 단서만 있습니다. 이는 마치 "과일"에 관한 책은 500권인데 "용과"에 관한 책은 5권뿐인 도서관과 같습니다. 만약 당신이 컴퓨터에게 이를 분류하도록 가르치려 한다면, 컴퓨터는 가장 자주 보이는 것, 즉 "과일"이라고 매번 추측하며 게으르게 행동할 것입니다.

"가짜 단서" 실험 (실패한 방법)

이를 해결하기 위해 많은 전문가가 **오버샘플링(oversampling)**이라는 기술을 시도했습니다. 그들은 몇 안 되는 희귀한 단서들을 가져와 숫자를 균등하게 보이도록 새로운 가짜 단서들을 만들어냈습니다. 그들은 두 가지 인기 있는 방법을 사용했습니다: SMOTE와 ADASYN.

이것은 마치 요리사가 희귀한 향신료의 맛을 더 내기 위해 수프를 만드는 것과 같습니다. 실제 향신료를 더 찾는 대신, 기존의 두 가지 향신료 알갱이를 가져와 서로 섞고, 그 새로운 혼합물이 진짜 맛이 나기를 바라는 것입니다.

이 논문은 이 기술을 다양한 종류의 "탐정"(컴퓨터 모델)들에게 테스트했습니다:

고전적 탐정 (Random Forest 및 SVM): 이 모델들은 단순한 사실 목록을 살펴보는 탐정과 같습니다. 가짜로 혼합된 향신료를 입력받았을 때, 이들은 아주 약간의 성능 향상을 보였습니다. Random Forest의 정확도는 0.65에서 0.69로 올라갔고, Support Vector Machine(SVM)은 0.71–0.72 수준에서 안정적이었습니다. 도움이 되긴 했지만, 그리 많지는 않았습니다.
첨단 탐정 (CNN 및 BiGRU): 이들은 단어가 어떻게 흐르는지 이해하는 더 똑똑한 딥러닝 모델입니다. 연구자들이 이들에게 가짜로 혼합된 향신료를 먹였을 때, 결과는 처참했습니다. CNN의 정확도는 SMOTE를 사용했을 때 0.71에서 0.55로, ADASYN을 사용했을 때 0.51로 폭락했습니다. BiGRU 역시 0.70에서 0.53과 0.44로 떨어졌습니다.

왜 그랬을까요? 논문은 이 첨단 모델들이 진짜 향신료와 가짜 혼합물을 구분할 줄 아는 요리사와 같다고 설명합니다. 두 개의 컴퓨터 "단어"를 섞어서 가짜 단어를 만들 때, 당신은 가계도의 규칙을 깨뜨리게 됩니다. 당신은 "Base"의 자식이라고 주장하는 "Variant"를 만들 수도 있지만, 그 가짜 혼합물은 실제 부모-자식 관계를 존중하지 않습니다. 이것은 마치 "사과"와 "바나나"를 섞어서 "용과"를 만들려고 하는 것과 같습니다. 그 결과물은 용과가 아니라, 탐정을 혼란에 빠뜨리는 엉망진창인 혼합물일 뿐입니다.

"가계도" 솔루션 (실제로 성공한 방법)

가짜 단서를 만드는 대신, 저자들은 새로운 탐정인 Hierarchy-Aware RoBERTa를 구축했습니다.

이 탐정은 주머니 속에 가계도의 특별한 지도를 가지고 있다고 상상해 보십시오. 그들은 단순히 단서를 읽는 것이 아니라, 지도와 대조하며 "잠깐, 만약 이 단서가 'Base' 결함에 관한 것이라면, 답은 반드시 그 부모와 관련되어 있어야 해"라고 확인합니다.

이 모델은 다음과 같이 작동합니다:

결함의 텍는 설명을 읽습니다 (강력한 도구인 SecureBERT를 사용하여).
가계도에서 "부모 ID(Parent ID)"를 가져옵니다 (예: 이 단서가 "Base" 가지에 속한다는 것을 아는 것과 같습니다).
텍스트 읽기와 지도상의 위치를 결합하여 최종 추측을 내립니다.

결과:
이 새로운 탐정은 가짜 단서가 전혀 필요하지 않았습니다. 데이터 증강 없이도 0.76의 가중치 F1-score를 달성했습니다.

표준 BERT 모델이 0.74를 기록한 것과 비교해 보십시오.
가장 중요한 점은, 희귀한 "Class" 범주를 보는 것입니다. 표준 BERT 모델은 이 희귀 그룹에 대해 0.49의 F1-score만을 기록했지만, 새로운 계층 인식(Hierarchy-Aware) 모델은 이를 0.60으로 끌어올렸습니다.

핵심 요약

이 논문은 데이터의 구조화된 가계도가 있을 때, 기존의 조각들을 섞어서 가짜 데이터를 더 만드는 것(오버샘플링)은 좋지 않은 아이디어라고 제안합니다. 간단한 모델에는 효과가 있을지 몰라도, 더 발전된 모델에는 오히려 독이 됩니다.

대신, 가장 좋은 방법은 처음부터 모델에게 가계도 구조를 존중하도록 가르치는 것입니다. 모델에게 부모-자식 관계를 보여주는 "지도"를 제공함으로써, 모델은 단순히 합성된 노이즈를 학습 데이터에 채워 넣는 것보다 훨씬 더 희귀하고 까다로운 사례들을 더 잘 파악할 수 있습니다.

하지만 저자들은 자신들의 가장 뛰어난 탐정조차도 가장 희귀한 범주들, 즉 샘플이 각각 8개와 5개뿐인 "Compound"와 "Pillar"에서는 여전히 어려움을 겪고 있다는 점을 주의 깊게 언급합니다. 이 극도로 희귀한 그룹들의 경우, 모든 모델에서 F1-score가 0.00을 기록했으며, 이는 데이터가 거의 존재하지 않을 때는 가계도 지도조차도 미스터리를 해결하는 데 충분하지 않음을 시사합니다.

기술 요약: 계층적 및 의존적 구조를 가진 데이터의 클래스 불균형 완화

문제 정의

Common Weakness Enumeration (CWE) 분류 체계를 사용하여 사이버 보안 취약점을 분류하는 것은 두 가지 주요 과제에 직면해 있습니다: 극심한 클래스 불균형과 약점 카테고리 간의 강력한 계층적 의존성입니다. CWE 분류 체계는 상위 노드가 광범위한 개념을 나타내고 하위 노드가 구체적인 세부 사항을 나타내는 추상화 단계(Base, Class, Pillar, Variant, Compound)로 약점을 조직합니다. 실제로 소수의 약점 유형이 코퍼스를 지배하는 반면, 드물지만 영향력이 큰 카테 categories는 현저히 과소 대표됩니다.

BERT나 RoBERTa와 같은 Transformer 기반 인코더는 CWE 텍스트 분류에서 강력한 베이스라인으로 자리 잡았지만, 클래스 불균형으로 인해 희귀 카테고리 처리에 어려움을 겪습니다. 또한, CWE 레이블은 명시적인 부모-자식 의 dependency를 가집니다 (예: "Variant"는 항상 "Base"의 자식임). 이는 상위 추상화 단계에서의 오분류가 하위 단계로 연쇄적으로 영향을 미친다는 것을 의미합니다. 무작위 오버샘플링, 언더샘플링, 그리고 SMOTE(Synthetic Minority Oversampling Technique) 및 ADASYN(Adaptive Synthetic Sampling)과 같은 합성 생성 기법과 같은 전통적인 불균형 해결 방식이 널리 채택되고 있지만, 계층적이고 구조화된 텍스트 임베딩에 대한 이들의 효과성은 여전히 미개척 영역으로 남아 있습니다. 특히, 고차원 임베딩 공간에서의 선형 보간(linear interpolation)이 CWE 계층의 구조적 제약을 준수하는지 여부는 불분명합니다.

방법론

본 연구는 다양한 데이터 증강 조건 하에서 모델들을 평가하고, 학습 과정에 계층적 구조를 직접 통합하는 새로운 아키텍처를 제안합니다.

1. 실험적 베이스라인 및 오버샘플링

저자들은 불균형한 계층적 CWE 데이터셋에 대해 머신러닝(Random Forest, SVM), 딥러닝(CNN, BiGRU), 그리고 Transformer 기반(BERT) 모델을 경험적으로 평가했습니다.

오버샘플링: SMOTE와 ADASYN은 오직 훈련 세트에만 적용되었습니다. SMOTE는 $k$ -neighbors=2를 사용하여 모든 클래스를 393개의 샘플로 균등화하였고, ADASYN은 경계 지역의 합성을 집중시켜 거의 균등한 수치를 달로 달성했습니다.
모델:
- 고전적 ML: Random Forest (100개 트리) 및 SVM (선형 커널).
- 딥러닝: CNN (128개 필터, 커널 크기 [4,6,6]) 및 BiGRU (128개 은닉 차원).
- Transformer: BERT-base (uncased) 및 제안된 Hierarchy-Aware RoBERTa.
- 학습: 모든 딥러닝 모델은 배치 크기 8로 15 에포크 동안 학습되었습니다.

2. 제안된 접근 방식: Hierarchy-Aware RoBERTa

본 논문은 학습 가능한 부모 클래스 임베딩을 통해 CWE 구조 정보를 명시적으로 통합하는 Hierarchy-Aware RoBERTa 프레임워크를 소개합니다.

아키텍처: 모델은 입력 텍스트로부터 768차원의 [CLS] 표현을 생성하기 위해 사전 학습된 SecureBERT 인코더를 활용합니다.
계층적 주입: 조립된(coarse-grained) 구조적 관계를 포착하기 위해 학습 가능한 부모 카테고리 임베딩(24차원)이 도입됩니다. 이 임베딩은 네트워크와 함께 공동으로 학습됩니다.
융합: 의미론적 표현( $h_{cls}$ )과 계층적 컨텍스트( $h_p$ )는 결합(concatenation)을 통해 융합됩니다: $h_f = [h_{cls}, h_p]$ .
분류: 융합된 표현은 드롭아웃(0.3)으로 정규화된 후 선형 분류 헤드로 전달되어 로짓(logits)을 출력합니다.
정식화: 이 작업은 독립적인 예측 $P(Y_{child}|X_{text})$ 가 아니라, "Parent ID"를 구조적 사전 확률(prior)로 활용하는 조건부 확률 문제 $P(Y_{child}|X_{text}, Y_{parent})$ 로 프레임화됩니다.

주요 기여

경험적 평가: 본 연구는 불균형한 계층적 CWE 데이터셋에서 SMOTE 및 ADASYN 리샘플링을 적용하여 ML, DL, Transformer 모델에 대한 종합적인 평가를 제공합니다.
합성 보간 분석: 저자들은 고차원 임베딩 공간에서의 합성 보간이 내재된 부모-자식 제약을 위반한다는 점을 입증합니다. 고전적 ML 모델에는 미미한 이점을 제공할 수 있으나, 이러한 방식은 딥러닝 아키텍처의 성능을 지속적으로 저하시킵니다.
Hierarchy-Aware 모델: 학습 가능한 부모 클래스 임베딩을 통해 CWE 구조적 사전 확률을 주입하여, 의미론적 내용과 계층적 구조의 엔드투엔드 공동 모델링을 가능하게 하는 Hierarchy-Aware RoBERTa 모델을 도입합니다.
성능 향상: 제안된 모델은 데이터 증강 없이 0.76의 가중 F1-score를 달성하여 모든 베이스라인을 능가했습니다. 특히, "Class" 카테고리의 F1-score를 BERT 베이스라인의 0.49에서 0.60으로 개선했습니다.

결과

오버샘플링의 영향:
- 고전적 ML: SMOTE와 ADASYN은 Random Forest(정확도가 0.65에서 0.69로 증가)와 SVM(정확도가 0.71~0.72 수준에서 안정 유지)에 대해 약하지만 긍정적인 개선을 제공했습니다.
- 딥러ệp 러닝: 오버샘플링은 성능을 지속적으로 저하시켰습니다. Vanilla CNN의 정확도는 SMOTE 적용 시 0.71에서 0.55로, ADASYN 적용 시 0.51로 떨어졌습니다. BiGRU는 각각 0.70에서 0.53, 0.44로 하락했습니다.
- Transformer: BERT는 증강 없이 0.74의 정확도를 달랐습니다. 제안된 Hierarchy-Aware RoBERTa는 가장 높은 0.76의 정확도를 달성했습니다.
클래스별 성능:
- 제안된 모델은 BERT(0.73), CNN(0.68 베이스라인), BiGRU(0.69 베이스라인)에 비해 가장 높은 가중 F1-score(0.76)를 기록했습니다.
- 소수 클래스에서 유의미한 이득이 관찰되었습니다. 예를 들어, "Class" 카테고리의 F1-score는 BERT의 0.49에서 Hierarchy-Aware RoBERTA의 0.60으로 향상되었습니다.
- 극도로 희소한 카테고리(Compound 및 Pillar)는 모든 모델에서 0.00 F1을 기록하며, 심각한 데이터 희소성 상황에서 지도 학습의 한계를 보여주었습니다.

의의 및 주장

본 논문은 계층 인식 표현 학습(hierarchy-aware representation learning)이 구조화된 취약점 분류를 위한 더 원칙적인 대안이라고 주장합니다. 저자들은 합성 보간 기법(SMOTE/ADASYN)이 다음의 이유로 이 도메인에서 실패한다고 주장합니다:

이들은 고차원 컨텍스트 공간에서 언어적 일관성이 결여된 샘플을 생성합니다.
이들은 CWE 분류 체계의 구조적 의존성(예: "Variant"는 "Base" 없이 존재할 수 없음)을 위반하여, 모델을 혼란스럽게 하는 구조적으로 유효하지 않은 임베딩을 생성합니다.
이들은 샘-플을 평면적인 특징 공간 내의 독립적인 개체로 취급하며, 오류가 부모에서 자식으로 전이되는 CWE의 트리 구조 그래프 특성을 무시합니다.

학습 가능한 임베딩을 통해 부모-자식 관계를 명시적으로 모델링함으로써, 제안된 프레임워크는 합성 데이터 생성에서 발생하는 노이즈 없이 구조적 일관성을 강제하고 소수 및 의미론적으로 의존적인 클래스 간의 변별력을 높입니다.

한계점

저자들은 다음과 같은 몇 가지 한계점을 겸허히 인정합니다:

추론 의존성: 모델은 추론 시 부모 수준의 메타데이터가 사용 가능하다는 것을 가정하며, 이는 거친 단계에서 세밀한 단계로 진행하는 파이프라인에는 적합하지만 모든 시나리오에 맞지는 않을 수 있습니다.
정적 계층 구조: 계층 구조는 고정된 것으로 취급됩니다. 따라서 모델이 CWE 분류 체계의 업데이트에 따라 재학습 없이 새로운 노드나 재배치된 노드에 일반화될 수 있는지는 불확실합니다.
계층 범위: 직접적인 부모 정보만을 포착하며, 다단계 조상, 형제 관계 및 트리 깊이를 무시하므로 Compound 및 Pillar와 같이 깊게 중첩된 클래스에 대한 성능이 제한됩니다.
파라미터 오버헤드: 학습 가능한 부모 임베딩은 약간의 파라미터 오버헤드를 추가하며, 이는 매우 큰 규모의 분류 체계로 확장하는 데 걸림돌이 될 수 있습니다.
도메인 특수성: 본 접근 방식은 CWE 도메인 내에서만 평가되었으므로, 다른 계층적 작업에 대한 일반화 가능성은 경험적으로 검증되지 않았습니다.