🤖 AI

An Empirical Study of the Imbalance Issue in Software Vulnerability Detection

이 논문은 소프트웨어 취약점 탐지에서 발생하는 클래스 불균형 문제가 성능 저하의 핵심 원인임을 실증적으로 규명하고, 다양한 불균형 해결 기법들이 데이터셋과 평가 지표에 따라 상이한 성능을 보임을 분석하여 향후 새로운 해결책 개발에 대한 통찰을 제공합니다.

원저자: Yuejun Guo, Qiang Hu, Qiang Tang, Yves Le Traon

게시일 2026-02-13

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuejun Guo, Qiang Hu, Qiang Tang, Yves Le Traon

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 문제의 본질: "바늘 찾기" 게임

소프트웨어 코드는 거대한 책장이나 바구니에 쌓인 수백만 개의 건전지와 같습니다. 그중 아주 소수만이 **고장 난 건전지 (취약점)**입니다.

현실: 건전지 100 개 중 99 개는 정상이고, 1 개만 고장 났습니다.
AI 의 실수: 인공지능 (딥러닝) 이 이 바구니를 볼 때, "아, 99% 는 정상 건전지구나! 그럼 그냥 '모두 정상'이라고 답하면 점수가 잘 나오겠네!"라고 생각합니다.
결과: AI 는 고장 난 건전지 1 개를 찾아내지 못해도 (100 개 중 99 개를 맞췄으니) 전체 정확도는 99% 로 매우 높게 나옵니다. 하지만 실제로는 고장 난 건전지를 놓쳐버린 것입니다.

이 논문은 **"왜 AI 가 고장 난 건전지 (취약점) 를 못 찾는지, 그리고 어떻게 하면 찾을 수 있는지"**를 실험으로 증명했습니다.

2. 실험 내용: 9 가지 책상과 2 명의 탐정

연구진은 다음과 같은 실험을 진행했습니다.

데이터: GitHub 에 있는 9 가지 다른 프로젝트 (FFmpeg, VLC 등) 의 코드 9 개 세트.
모델: 최신 AI 모델 2 개 (CodeBERT, GraphCodeBERT).
목표: 기존에 다른 분야에서 쓰이던 '불균형 해결책'들이 소프트웨어 취약점 탐지에도 잘 먹히는지 확인하는 것.

3. 주요 발견 3 가지

① AI 는 '안전한 코드'만 좋아합니다.

AI 를 훈련시킬 때, 고장 난 건전지 (취약점) 가 너무 적으면 AI 는 "안전한 건전지"를 더 많이 보고 학습합니다. 그 결과, 안전한 코드는 완벽하게 구분하지만, 고장 난 코드는 거의 못 찾습니다. (이를 '거짓 부인율'이 높다고 합니다.)

② "점수표"를 잘못 보고 있었습니다.

기존 연구들은 AI 의 성능을 평가할 때 **'정확도 (Accuracy)'**라는 점수를 주로 봤습니다. 하지만 이는 "모두 정상이라고 답해도 점수가 잘 나오는" 함정입니다.

진짜 중요한 점수:
- 재현율 (Recall): 고장 난 건전지를 얼마나 많이 찾아냈는가? (가장 중요!)
- 정밀도 (Precision): 찾아낸 것 중에 진짜 고장 난 건전지가 얼마나 많은가? (거짓 경보가 적은가?)
- F1 점수: 이 두 가지를 적절히 섞은 종합 점수.
- 결론: 단순 정확도는 버리고, 재현율과 정밀도를 봐야 진짜 성능을 알 수 있습니다.

③ 만능 열쇠는 없습니다. (해결책의 한계)

다른 분야에서 쓰이는 불균형 해결책 7 가지를 시험해 봤습니다.

과도한 샘플링 (Over-sampling): 고장 난 건전지 복사본을 만들어서 양을 늘리는 방법. → 전체 점수 (F1) 를 높이는 데 가장 효과적.
손실 함수 변경 (Focal Loss): AI 가 틀린 경우 (특히 고장 난 건전지) 에 더 큰 벌점을 주는 방법. → 정밀도 (진짜 고장 건전지 찾기) 를 높이는 데 좋음.
평균 오차 (MFE) 등: → 재현율 (고장 건전지 놓치지 않기) 을 높이는 데 좋음.

하지만! 어떤 방법도 모든 상황에서 완벽하게 작동하지는 않았습니다. 데이터마다, 모델마다 효과가 달랐습니다.

4. 왜 해결책이 실패할까? (외부 요인)

심지어 좋은 해결책을 써도 실패하는 경우가 있었습니다. 그 이유는 다음과 같습니다.

배운 적이 없는 문제: 훈련 데이터에 '특정 종류의 고장'이 아예 없으면, AI 는 시험 때 그걸 절대 못 찾습니다. (예: 훈련할 때 '물'만 봤는데, 시험에 '불'이 나오면 당황하는 것과 같음)
데이터의 편향: 훈련용 데이터와 실제 테스트용 데이터의 분포가 다르면 AI 가 혼란을 겪습니다.

5. 결론 및 시사점

이 논문은 우리에게 다음과 같은 교훈을 줍니다.

점수표를 바꿔야 합니다: "정확도"에 현혹되지 말고, "얼마나 많은 취약점을 찾아냈는지 (재현율)"와 "오류는 얼마나 적은지 (정밀도)"를 함께 봐야 합니다.
만병통치약은 없습니다: 기존에 쓰이던 해결책을 그대로 가져오면 안 됩니다. 소프트웨어 취약점이라는 특수한 상황에 맞춰 새로운 해결책을 만들어야 합니다.
데이터를 잘 살펴야 합니다: 어떤 종류의 취약점이 훈련에 포함되었는지, 데이터가 어떻게 퍼져있는지를 꼼꼼히 확인해야 AI 가 제 기능을 합니다.

한 줄 요약:

"AI 가 소프트웨어의 '바늘 (취약점)'을 못 찾는 이유는 바늘이 너무 적어서가 아니라, AI 가 '건전지 (안전한 코드)'만 보고 공부했기 때문입니다. 이제 우리는 AI 에게 '바늘 찾기'에 더 집중하도록 가르쳐야 하며, 단순히 점수만 높이는 것이 아니라 진짜로 위험을 찾아내는 능력을 키워야 합니다."

1. 연구 배경 및 문제 정의 (Problem)

배경: 소프트웨어 취약점 탐지는 사이버 보안에 필수적이며, 최근 딥러닝 (DL) 을 활용한 자동화 기법이 주목받고 있습니다.
핵심 문제: 취약점 탐지 데이터셋은 본질적으로 불균형 (Imbalance) 합니다. 소스 코드 내 취약한 코드 (Minority) 의 수는 안전한 코드 (Majority) 에 비해 극히 적습니다 (예: C 언어 함수 500 개당 1 개).
현황: 기존의 DL 기반 탐지 모델은 불균형 문제를 무시하고 학습하여, 안전한 코드는 잘 탐지하지만 취약한 코드는 놓치는 (높은 False Negative Rate) 경향이 있습니다. 또한, 기존 연구들은 정확도 (Accuracy) 와 같은 단일 지표로 성능을 평가하여 실제 취약점 탐지 능력을 왜곡할 수 있습니다.
연구 목적: 컴퓨터 비전 (CV) 및 자연어 처리 (NLP) 분야에서 개발된 불균형 해결 기법들이 소프트웨어 취약점 탐지에서도 유효한지, 그리고 어떤 지표가 적절한 평가 기준인지 실증적으로 규명하는 것입니다.

2. 연구 방법론 (Methodology)

이 연구는 9 개의 오픈소스 데이터셋과 2 개의 최첨단 (SOTA) 딥러닝 모델을 사용하여 체계적인 실증 분석을 수행했습니다.

데이터셋: GitHub 의 3 개 저장소 (FFmpeg, QEMU, Asterisk 등) 에서 수집된 9 개의 함수 단위 C 언어 데이터셋 (Devign, Lin2018, CodeXGLUE 포함).
모델:
- CodeBERT: 자연어 및 프로그래밍 언어를 위한 사전 학습 모델.
- GraphCodeBERT: 소스 코드의 데이터 흐름 (Data Flow) 을 그래프로 표현하여 학습하는 모델.
평가 지표: 정확도 (Accuracy), 오양성률 (FPR), 오음성률 (FNR), 정밀도 (Precision), 재현율 (Recall), F1 점수 (F1-measure).
불균형 해결 기법 (7 가지):
- 데이터 레벨: 무작위 언더샘플링 (Random Down-sampling), 무작위 오버샘플링 (Random Over-sampling), 적대적 공격 기반 증강 (Adversarial Attack-based augmentation).
- 모델 레벨: 임계값 이동 (Threshold-moving), 평균 오류 손실 (Mean False Error loss), 클래스 균형 손실 (Class-balanced loss), Focal loss.
실험 설계: 4 가지 연구 질문 (RQ) 을 설정하여 불균형의 영향, 평가 지표의 적절성, 해결 기법의 효과성, 외부 요인의 영향을 분석했습니다.

3. 주요 결과 및 발견 (Key Results)

RQ1: 불균형이 모델 성능에 미치는 영향

불균형 데이터로 학습된 모델은 안전한 코드에 대한 손실 (Loss) 은 낮지만, 취약한 코드에 대한 손실은 매우 높게 나타났습니다.
결과적으로 모델은 학습 과정에서 안전한 코드를 더 많이 학습하게 되어, 취약한 코드를 탐지하지 못하는 높은 오음성률 (False Negative Rate) 을 보입니다 (예: Asterisk 데이터셋에서 취약점 탐지 정확도 44.44%).

RQ2: 적절한 평가 지표

정확도 (Accuracy) 는 불균형 데이터셋에서 오해의 소지가 큽니다 (안전한 코드를 모두 맞춘 경우 높은 점수).
정밀도 (Precision), 재현율 (Recall), F1 점수 가 취약점 탐지 모델의 성능을 평가하는 데 더 유용하고 포괄적인 정보를 제공합니다.
- 재현율: 취약점을 놓치지 않는 것이 중요할 때.
- 정밀도: 잘못된 경보 (False Positive) 를 줄여야 할 때.

RQ3: 불균형 해결 기법의 효과성

단일 기법의 부재: 어떤 한 가지 기법도 모든 데이터셋과 모든 평가 지표에서 최상의 성능을 내지 못했습니다.
기법별 특징:
- Focal Loss: 정밀도 (Precision) 향상에 가장 효과적임. (학습 중 어려운 샘플과 오분류된 샘플에 더 집중).
- Mean False Error (MFE) & Class-balanced (CB) Loss: 재현율 (Recall) 향상에 유리함. (소수 클래스인 취약점에 더 큰 가중치 부여).
- Random Over-sampling: F1 점수 측면에서 전반적인 성능을 균형 있게 개선하는 경향이 있음.
- 무작위 언더샘플링: 정보 손실로 인해 가장 성능이 낮음.

RQ4: 외부 요인의 영향

취약점 유형 부재: 학습 데이터에 특정 취약점 유형이 포함되지 않으면, 오버샘플링 등의 기법을 적용해도 해당 유형은 탐지되지 않음.
탐지 난이도: 특정 취약점 유형은 본질적으로 탐지가 어려워, 데이터 양을 늘려도 성능 향상에 한계가 있음.
분포 편차 (Distribution Shift): 검증 세트와 테스트 세트 간의 데이터 분포 차이가 해결 기법의 성능을 저하시킬 수 있음.

4. 주요 기여 및 시사점 (Contributions & Insights)

불균형 문제의 실증적 규명: DL 기반 취약점 탐지에서 불균형이 모델이 안전한 코드를 과도하게 학습하게 만들어 취약점 탐지 실패 (높은 FNR) 를 초래함을 입증했습니다.
평가 지표 가이드라인: 취약점 탐지 맥락에서 정확도 대신 정밀도, 재현율, F1 점수의 중요성을 강조하고, 목적에 맞는 지표 선택을 제안했습니다.
해결 기법 선택 가이드:
- 정밀도 향상 필요 시 $\rightarrow$ Focal Loss
- 재현율 향상 필요 시 $\rightarrow$ MFE 또는 Class-balanced Loss
- 전체적인 균형 (F1) 필요 시 $\rightarrow$ Random Over-sampling
새로운 솔루션 개발 방향 제시: 단순히 데이터나 손실 함수를 조정하는 것을 넘어, 취약점 유형의 분포, 탐지 난이도, 데이터 분포 편차와 같은 외부 요인을 고려한 도메인 특화 (Task-specific) 솔루션 개발의 필요성을 강조했습니다.

5. 의의 (Significance)

이 논문은 소프트웨어 보안 분야에서 딥러닝 모델의 성능을 단순히 "높은 정확도"로 평가하는 관행에 경종을 울렸습니다. 불균형 데이터의 특성을 이해하고, 목적에 맞는 평가 지표와 해결 기법을 선택해야만 실제 보안 위협을 효과적으로 탐지할 수 있음을 보여줍니다. 또한, 기존 CV/NLP 분야의 기법을 맹목적으로 적용하기보다, 소스 코드의 구조적 특성과 취약점의 분포를 고려한 새로운 접근법의 필요성을 제시하여 향후 연구 방향을 제시했습니다.