Bug Severity Prediction in Software Projects Using Supervised Machine Learning Models

이 논문은 이클립스 버그질라 데이터를 활용하여 다양한 지도학습 모델과 텍스트 특징을 비교 분석함으로써, 버그 심각도 예측을 자동화하고 소프트웨어 품질 관리를 개선하는 효과적인 알고리즘 선택에 대한 실용적인 통찰을 제공합니다.

핵심

🍎 제목: "과일의 신선도를 AI 가 미리 알려주는 시스템"

상상해 보세요. 거대한 과일 시장 (소프트웨어 프로젝트) 이 있습니다. 이곳에는 매일 수천 개의 사과, 오렌지, 바나나 (버그 보고서) 가 들어옵니다. 어떤 과일은 살짝 까맣게 변했을 뿐이지만 (사소한 버그), 어떤 과일은 썩어서 독이 있을 수도 있습니다 (치명적인 버그).

예전에는 이 과일들을 **사람 일꾼들 (개발자)**이 하나하나 손으로 만져보고 냄새를 맡아서 "이건 빨리 버려야 해!"라고 외쳤습니다. 하지만 과일이 너무 많고 일꾼들이 피곤해서, 중요한 썩은 과일을 놓치거나, 괜찮은 과일을 잘못 버리는 실수가 자주 생겼습니다.

이 논문은 **"이 일을 인공지능 (AI) 이 대신해서, 어떤 과일이 가장 위험한지 순서대로 알려주는 시스템"**을 만들었습니다.

---

1. 왜 이 연구가 필요할까요? (동기)

• 문제: 과일 (버그) 이 너무 많아서 사람이 일일이 분류하기 힘들고, 사람마다 기준이 달라서 혼란이 생깁니다.
• 해결: AI 가 과거의 데이터를 학습해서, "이 보고서는 '위험'하다", "저 보고서는 '괜찮다'"고 자동으로 분류해 주면, 일꾼들은 가장 위험한 과일부터 처리할 수 있습니다.

2. 어떻게 만들었나요? (방법론)

연구자는 Eclipse라는 거대한 소프트웨어 프로젝트의 과거 버그 기록 8 만 8 천 개를 가져왔습니다. 마치 과거의 "과일 기록부"를 분석한 셈이죠.

그리고 **10 가지 다른 AI 모델 (수업생)**을 시험대에 세웠습니다.

• 전통적인 학생들: 로지스틱 회귀, SVM, 나이브 베이즈 등 (기존의 정석적인 방법).
• 최신 스타일 학생들: XGBoost, LightGBM, CatBoost (나무를 심어 예측하는 방식).
• 최고의 천재 학생: DistilBERT (최근 유행하는 거대 언어 모델, 문맥을 아주 잘 이해함).

이 학생들에게 "과일 기록"을 보여주고, "이게 얼마나 위험한가?"를 맞추게 했습니다. 이때 데이터가 불균형해서 (위험한 과일이 적음) SMOTE라는 기술을 써서 위험한 과일의 가짜 데이터를 만들어내어 공평하게 학습시켰습니다.

3. 결과는 어땠나요? (결과)

시험 결과는 매우 흥미로웠습니다.

• 🏆 전체 점수 (정확도) 1 위: DistilBERT와 XGBoost가 압도적으로 잘했습니다.
  • 비유: "이 두 학생은 과일의 미세한 갈색 반점까지 다 보고 '위험'하다고 정확히 짚어냈어요."
• 🎯 위험한 과일을 놓치지 않는 능력 (재현율) 1 위: 로지스틱 회귀가 가장 좋았습니다.
  • 비유: "이 학생은 '아마 위험할지도 모른다' 싶으면 일단 다 잡아서 가져옵니다. 틀릴 수는 있지만, 위험한 과일을 놓치는 일은 거의 없어요."

4. 이 연구의 핵심 교훈 (결론)

1. AI 가 사람을 대신할 수 있다: AI 는 사람이 일일이 하기 힘든 방대한 양의 버그를 빠르게 분류할 수 있습니다.
2. 목적에 따라 도구를 골라야 한다:
   • "무조건 정확한 분류가 필요하다"면 DistilBERT나 XGBoost를 쓰면 됩니다.
   • "위험한 버그를 절대 놓쳐서는 안 된다 (조금 틀려도 괜찮으니 다 잡아라)"면 로지스틱 회귀가 더 낫습니다.
3. 데이터 정리가 중요: AI 가 잘하려면, 입력된 데이터 (과일 기록) 를 깨끗하게 정리하고 (전처리), 불균형한 부분을 보정해 주는 과정이 필수적입니다.

5. 이 연구가 세상에 미치는 영향

이 시스템이 도입되면 소프트웨어는 더 튼튼해지고, 사용자는 덜 붕괴되는 앱을 쓰게 됩니다. 개발자들은 "어떤 버그부터 고쳐야 하지?"라고 고민할 시간이 줄어들고, 중요한 문제를 해결하는 데 에너지를 쏟을 수 있게 됩니다.

한 줄 요약:

"수천 개의 버그 보고서를 사람이 일일이 읽지 않아도, AI 가 "이거 진짜 위험해!"라고 소리쳐서 개발자들이 가장 중요한 문제부터 해결할 수 있게 해주는 지능형 분류 시스템입니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem Statement)

• 배경: 현대 소프트웨어 공학에서 버그 심각도 (Severity) 예측은 유지보수 팀이 리소스를 효율적으로 할당하고, 시스템의 안정성 및 보안을 유지하는 데 필수적입니다. 특히 대규모 프로젝트 (예: Eclipse) 의 경우 버그 리포지토리가 급격히 증가하여 수동으로 심각도를 분류하는 것은 시간 소모가 크고, 인간 편향 (Human Bias) 이 개입되어 일관성이 떨어집니다.
• 문제점:
  • 데이터 불균형 (Class Imbalance): 실제 데이터셋에서 '치명적 (Critical)' 또는 '높은 심각도' 버그는 '사소한 (Trivial)' 버그에 비해 훨씬 적게 존재하여 모델이 소수 클래스를 예측하는 데 어려움을 겪습니다.
  • 비정형 데이터: 버그 보고서는 자연어 (텍스트) 로 구성되어 있어 구조화되지 않았으며, 프로젝트마다 심각도 라벨링 기준이 상이할 수 있습니다.
  • 수동 분류의 한계: 수동 분류는 지연을 초래하고, 중요한 버그를 놓칠 위험이 있습니다.

2. 연구 방법론 (Methodology)

이 연구는 Eclipse Bugzilla 에서 수집된 88,682 개의 버그 리포트를 기반으로 지도 학습 (Supervised Learning) 기법을 적용하여 버그 심각도를 예측하는 모델을 개발하고 비교 평가했습니다.

2.1 데이터 전처리 (Data Preprocessing)

• 결측치 처리: 수치형 데이터는 평균 (Mean) 으로, 범주형 데이터는 최빈값 (Mode) 으로 대체했습니다.
• 특성 인코딩: 범주형 변수 (Project, Bug Type 등) 에 대해 Label Encoding 및 One-Hot Encoding 을 적용했습니다.
• 텍스트 전처리: Short_Description 필드에 대해 Lowercasing, 토큰화 (Tokenization), 패딩 (Padding) 을 수행했습니다. DistilBERT 모델의 경우 BERT 토크나이저를 사용했습니다.
• 불균형 해결: SMOTE (Synthetic Minority Over-sampling Technique) 를 사용하여 소수 클래스 (높은 심각도 버그) 의 샘플을 인위적으로 생성하여 데이터 불균형을 보정했습니다.
• 특성 선택: 버그 ID 나 해결 상태 (Resolution Status) 와 같이 심각도 예측에 직접적인 도움이 되지 않는 특성은 제거했습니다.

2.2 사용된 머신러닝 모델 (10 가지 알고리즘)

연구는 다양한 범주의 알고리즘을 비교 분석했습니다:

1. 선형 학습자 (Linear Learners): 로지스틱 회귀 (Logistic Regression), 선형 SVM, 패시브 애그레시브 (Passive Aggressive).
2. 확률적 학습자 (Stochastic Learners): SGD (Stochastic Gradient Descent).
3. 트리 기반 앙상블 (Tree-Based Ensemble): XGBoost, LightGBM, CatBoost.
4. 베이지안 학습자 (Bayesian Learners): 나이브 베이즈 (Naive Bayes).
5. 거리 기반 (Distance-Based): K-NN (K-Nearest Neighbors).
6. 딥러닝 트랜스포머 (Deep Learning Transformer): DistilBERT (텍스트 분류에 특화된 경량화된 BERT 모델).

2.3 평가 지표 및 실험 설정

• 데이터 분할: 80% 학습용, 20% 테스트용으로 분할.
• 검증 방법: 3-Fold Cross-Validation 을 사용하여 모델의 일반화 성능을 평가.
• 평가 지표: 정확도 (Accuracy), 정밀도 (Precision), 재현율 (Recall), F1-Score, AUC-ROC, 혼동 행렬 (Confusion Matrix).

3. 주요 결과 (Key Results)

실험 결과는 Table 4.1 및 관련 그래프를 통해 다음과 같이 도출되었습니다.

• 전체 정확도 (Overall Accuracy):
  • DistilBERT (90.48%) 가 가장 높은 정확도를 기록했습니다.
  • XGBoost (90.41%) 와 CatBoost (90.17%) 가 그 뒤를 이었습니다.
  • 이는 트랜스포머 기반 모델과 그래디언트 부스팅 트리 모델이 버그 심각도 예측에 가장 효과적임을 시사합니다.
• 고심각도 버그 탐지 (High-Severity Detection):
  • 재현율 (Recall) 관점: 로지스틱 회귀 (Logistic Regression) 가 0.627의 재현율로 가장 높았습니다. 이는 실제 고심각도 버그를 놓치지 않고 찾아내는 능력 (False Negative 최소화) 이 가장 뛰어났음을 의미합니다.
  • 정밀도 (Precision) 관점: 나이브 베이즈 (Naive Bayes) 가 0.845의 정밀도로 가장 높았습니다. 이는 고심각도로 예측한 것 중 실제 고심각도인 비율이 가장 높았음을 의미합니다.
• 모델별 특징:
  • DistilBERT: 복잡한 텍스트 문맥을 이해하여 높은 정확도를 보였으나, 고심각도 버그의 재현율 측면에서는 로지스틱 회귀보다 낮았습니다.
  • 트리 기반 모델 (XGBoost, LightGBM, CatBoost): 높은 정확도와 안정성을 보였으며, 범주형 데이터 처리에 강점이 있었습니다.
  • 로지스틱 회귀: 전체 정확도는 다소 낮았으나 (85.07%), 고심각도 버그를 포착하는 데 있어 가장 균형 잡힌 성능 (F1-Score 0.517, 재현율 0.627) 을 보였습니다.

4. 주요 기여 및 시사점 (Contributions & Significance)

1. 모델 비교 분석: 기존 연구와 달리, 전통적인 머신러닝 모델부터 최신 트랜스포머 모델 (DistilBERT) 까지 광범위한 알고리즘을 동일한 데이터셋과 전처리 조건에서 체계적으로 비교했습니다.
2. 상황별 모델 선택 가이드:
   • 정확도와 정밀도가 중요한 경우: DistilBERT 또는 XGBoost 사용 권장.
   • 고심각도 버그를 놓치지 않아야 하는 경우 (재현율 우선): 로지스틱 회귀 또는 SGD 사용 권장.
3. 전처리의 중요성 입증: SMOTE 를 통한 클래스 불균형 해결과 TF-IDF/텍스트 전처리가 모델 성능 향상에 결정적인 역할을 함을 확인했습니다.
4. 실무 적용 가능성: 개발팀이 버그 트라이징 (Triage) 프로세스를 자동화하여 리소스를 효율적으로 배분하고, 소프트웨어 품질을 향상시킬 수 있는 실행 가능한 통찰력을 제공했습니다.

5. 결론 및 향후 과제 (Conclusion & Future Work)

• 결론: 버그 심각도 예측에는 DistilBERT 와 XGBoost 같은 고급 모델이 전체 정확도 면에서 우수하지만, 고심각도 버그를 식별하는 민감도 (Recall) 측면에서는 로지스틱 회귀와 같은 단순한 모델이 더 효과적일 수 있습니다. 프로젝트의 우선순위 (정확도 vs 재현율) 에 따라 모델을 선택해야 합니다.
• 향후 과제:
  • 다양한 프로젝트 (다양한 도메인) 로의 일반화 성능 검증.
  • Word2Vec, GloVe 등 더 정교한 임베딩 기법 및 BERT 계열 모델 확장.
  • 하이브리드 모델 개발 (해석 가능성과 성능의 균형).
  • 실시간 버그 트라이징 시스템 (Jira, Bugzilla 등) 과의 통합 및 모델 설명 가능성 (Explainability) 강화.

이 연구는 머신러닝을 활용한 소프트웨어 품질 보증 (SQA) 의 자동화 가능성을 입증하고, 개발팀이 데이터 기반 의사결정을 통해 소프트웨어 유지보수 효율성을 극대화할 수 있는 방향을 제시했습니다.