💻 computer science

Improving Test Case Prioritization in Continuous Integration Environments Using Multilayer Perceptron: An Empirical Comparative Study

본 실증 연구는 다층 퍼셉트론(MLP)이 여러 산업 데이터셋에 걸쳐 우수한 결함 탐지 효율성과 통계적 유의성을 달성함으로써, 지속적 통합 환경 내 테스트 케이스 우선순위 지정에 있어 다섯 가지 고전적 머신러닝 알고리즘보다 성능이 현저히 뛰어남을 입증한다.

원저자: MUSA ISYAKU, ABDULSALAM YA'U GITAL, HARUNA CHIROMA

게시일 2026-09-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: MUSA ISYAKU, ABDULSALAM YA'U GITAL, HARUNA CHIROMA

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 소프트웨어 개발의 방대하고 빠르게 변화하는 세계에서 프로그램은 끊임없이 업데이트됩니다. 이러한 시스템의 신뢰성을 유지하기 위해 엔지니어들은 변경 사항이 발생할 때마다 회귀 테스트(regression tests)라고 불리는 자동화된 점검을 실행합니다. 모든 책에 새 페이지가 추가될 때마다 모든 책의 손상 여부를 확인해야 하는 거대한 도서관을 상상해 보십시오. 만약 사서가 모든 책을 순서대로 하나씩 확인해야 한다면, 그 과정은 영원히 걸릴 것이고 도서관은 뒤처지게 될 것입니다. 소프트웨어에서 이는 고장 난 기능을 찾는 데 너무 오래 기다려야 함을 의미하며, 이는 비용이 많이 들고 좌절감을 줄 수 있습니다. 이를 해결하기 위해 연구자들은 테스트 케이스 우선순위 지정(test case prioritization)이라는 전략을 사용합니다. 테스트를 무작위 순서로 실행하는 대신, 그들은 어떤 특정 테스트가 가장 먼저 실패할 가능성이 높은지 알아내려고 노력합니다. 가장 의심스러운 테스트를 맨 처음에 실행함으로써, 팀은 문제를 훨씬 더 빠르게 찾아내고 수정하여 시간과 자원을 절약할 수 있습니다.

수년 동안 컴퓨터 과학자들은 이 분류 작업을 돕기 위해 머신러닝을 사용하는 방법을 시도해 왔습니다. 머신러닝은 과거의 데이터로부터 학습하여 예측을 수행하는 컴퓨터 프로그램입니다. 그러나 나이지리아의 아부바카르 타파와 발레와 대학교(Abubakar Tafawa Balewa University)에서 나온 최근 연구는 많은 방법이 존재하지만, 한 가지 특정 유형의 학습 모델이 이 작업에 가장 효과적일 수 있음을 시사합니다. 연구진인 무사 이시야쿠(Musa Isyaku), 압둘살람 야우 기탈(Abdulsalam Ya'u Gital), 하루나 치로마(Haruna Chiroma)는 멀티레이어 퍼셉트론(Multilayer Perceptron)이라 불리는 모델이 연속적인 테스트 환경에서 수천 개의 테스트 케이스를 분류할 때 다른 인기 있는 방법들보다 더 뛰어난 성능을 보일 수 있는지 확인하고자 했습니다. 그들은 단순히 추측한 것이 아니라, 산업용 로봇 공학 및 네트워크 기술 분야의 실제 데이터를 사용하여 이 모델을 다섯 가지의 다른 확립된 알고리즘과 대조하여 테스트했습니다.

연구팀은 산업용 로봇을 제작하는 기업인 ABB 로보틱스(ABB Robotics)의 방대한 역사적 테스트 기록을 수집했습니다. 이 데이터셋에는 106개의 서로 다른 테스트 사이클에서 추출된 64,000개 이상의 개별 테스트 실행 기록이 포함되어 있었습니다. 이 실제 시나리오에서는 대부분의 테스트가 성공적으로 통과하는 반면, 아주 적은 부분만이 실패합니다. 이는 컴퓨터 모델에게 까다로운 상황을 만듭니다. 만약 프로그램이 단순히 모든 테스트가 통과할 것이라고 예측한다면, 대부분의 경우 맞을 수는 있겠지만 실제로 실패하는 소수의 테스트는 완전히 놓치게 될 것입니다. 연구진은 과도하게 많은 성공 사례에 현혹되지 않고도 그 희귀한 실패들을 포착할 수 있는 모델이 필요했습니다. 그들의 결과가 단순한 우연이 아님을 보장하기 위해, 연구진은 또한 세 가지 다른 산업 데이터셋에서도 접근 방식을 테스트하여 결과가 다른 환경에서도 유효한지 확인했습니다.

그들은 선택한 모델인 멀티레이어 퍼셉트론을 랜덤 포레스트(Random Forest), XGBoost, 로지스틱 회귀(Logistic Regression), 서포트 벡터 머신(Support Vector Machine), k-최근접 이웃(k-Nearest Neighbors) 등 다섯 가지의 흔한 머신러닝 기법과 비교했습니다. 비교를 공정하게 하기 위해, 연구진은 동일한 데이터 분할과 동일한 설정 튜닝 방법을 사용하여 여섯 가지 모델을 모두 정확히 동일한 조건에서 실행했습니다. 목표는 어떤 모델이 실패하는 테스트를 목록의 가장 높은 순위에 올려서 가장 먼저 실행되도록 할 수 있는지 확인하는 것이었습니다. 연구진은 단순히 모델이 전체적으로 얼마나 정확한지가 아니라, 얼마나 빨리 실패를 식별할 수 있는지를 기준으로 성공을 측정했습니다. 그들은 결함 탐지 평균 백분율(Average Percentage of Faults Detected)이라는 특정 점수를 사용했는데, 이는 본질적으로 목록의 얼마나 앞부분에 불량 테스트가 나타나는지를 측정합니다. 점수가 높을수록 모델이 문제를 더 일찍 잡아낸다는 것을 의미합니다.

결과는 명확하고 일관적이었습니다. 주요 데이터셋인 ABB 로보틱스에 대해 멀티레이어 퍼셉트론 모델은 99.77%의 정확도와 86.35%의 결함 탐지 지표 점수를 달성했습니다. 다른 모델들도 좋은 성능을 보였지만, 멀티레이어 퍼셉트론은 경쟁 모델들보다 실패하는 테스트를 지속적으로 약간 더 높은 순위에 배치했습니다. 연구진은 이러한 차이가 우연에 의한 것이 아님을 확인하기 위해 엄격한 통계 테스트를 실시했습니다. 분석 결과, 멀티레이어 퍼셉트론은 의심의 여지 없는 신뢰 수준으로 다섯 가지 다른 모델보다 통계적으로 우월했습니다. 모델의 설정을 조정하여 성능을 개선할 수 있는지 확인하기 위해 조정한 경우에도, 멀티레이어 퍼셉트론은 여전히 최고의 성능을 유지한 반면, 다른 일부 모델들은 튜닝 후에 오히려 성능이 약간 저하되었습니다.

이 연구에서 얻은 가장 중요한 교훈 중 하나는 우리가 성공을 어떻게 측정하느냐에 관한 것입니다. 연구진은 이 분야에서 전체적인 정확도만을 보는 것이 오해를 불러일으킬 수 있다는 것을 발견했습니다. 대부분의 테스트가 통과하기 때문에, 모델은 실패를 무시함으로써 매우 높은 정확도 점수를 가질 수 있습니다. 이 연구는 우선순위 지정 시스템이 얼마나 잘 작동하는지 진정으로 이해하려면, 소수인 실패하는 테스트를 얼마나 잘 찾아내는지, 그리고 얼마나 빨리 찾아내는지를 살펴봐야 한다는 것을 입증했습니다. 멀티레이어 퍼셉트론은 이 점에서 탁월했으며, 딥러닝 모델이 전통적인 방식보다 실제 세계의 불균형한 테스트 데이터를 더 잘 처리할 수 있음을 증명했습니다.

또한 이 연구는 이 모델이 다른 회사의 데이터에서도 작동할 수 있는지를 살펴보았습니다. IOFROL, PAINTCONTROL, Westermo Network Technologies의 데이터셋에서 테스트했을 때, 멀티레이어 퍼셉트론은 강력한 성능을 유지하며 특정 데이터 세트에만 운 좋게 들어맞는 것이 아니라 다양한 산업적 맥락에 적응할 수 있는 견고한 도구임을 보여주었습니다. 연구진은 대규모 자동화 테스트를 운영하는 조직들이 이 특정 유형의 머신러닝 모델을 채택함으로써 버그를 찾는 과정을 크게 가속화할 수 있다고 결론지었습니다. 역사를 통해 복잡한 패턴을 학습하는 모델을 사용함으로써, 소프트웨어 팀은 가장 중요한 테스트가 항상 먼저 실행되도록 보장하고, 불필요한 지연 없이 시스템의 신뢰성을 유지하며 개발 주기를 지속할 수 있습니다.

기술 요약: 다층 퍼셉트론을 이용한 지속적 통합 환경에서의 테스트 케이스 우선순위 지정 개선

문제 정의
테스트 케이스 우선순위 지정(Test Case Prioritization, TCP)은 결함을 가능한 한 조기에 발견하기 위해 테스트 케이스의 순서를 재정렬하는 것을 목표로 하는 지속적 통합(Continuous Integration, CI) 회귀 테스트의 핵심적인 최적화 기법이다. 머신러로닝(ML)이 TCP에 점점 더 많이 적용되고 있음에도 불구하고, 기존 문헌에는 몇 가지 한계점이 존재한다: 동일한 실험 조건 하에서 딥러는잉 모델과 고전적 ML 모델 간의 체계적인 경험적 비교가 부족하며, 분류 정확도(클래스 불균형 데이터셋에서는 오해의 소지가 있음)에 과도하게 의존하고, 교차 데이터셋 일반화 연구가 불충분하다. 산업용 회귀 테스트 환경은 종종 클래스 불균형(성공하는 테스트 케이스 약 80% 대 실패하는 테스트 케이스 약 20%) 문제를 겪으며, 이는 표준 정확도 지표를 결함 탐지 효율성 평가에 부적절하게 만든다.

방법론
본 연구는 과거 실행 속성(historical execution attributes)을 기반으로 테스트 케이스 실패( $y=1$ ) 확률을 예측하기 위해 지도 학습 기반의 이진 분류 접근 방식을 채택한다. 본 연구는 다층 퍼셉트론(MLP)과 5가지 고전적 베이스라인(Random Forest, XGBoost, Logistic Regression, Support Vector Machine, k-Nearest Neighbors)을 포함한 6개의 ML 모델을 활용한 통합 실험 프레임워크를 사용한다.

데이터셋: 주요 평가는 ABB Robotics 산업 데이터셋(106개 CI 사이클에 걸친 64,024개의 테스트 케이스 실행)을 사용한다. 일반화 능력을 평가하기 위해 3개의 추가 산업 데이터셋(IOFROL, PAINTCONTROL, Westermo Network Technologies)을 포함하였다.
전처리: 워크플로우에는 결측치 처리, 비정보적 속성(예: Id, Name) 제거, 왜도(skewed)가 있는 Duration 속성의 로그 변환, 그리고 StandardScaler 적용이 포함되었다. 클래스 불균형은 훈련 중 균형 잡힌 클래스 가중치(balanced class weighting)를 사용하여 해결하였다.
모델 구성: 모든 모델은 데이터 누수(data leakage)를 방지하기 위해 scikit-learn 파이프라인 내에서 구현되었다. 하이퍼파라미터 튜닝은 훈련 세트에 대해 5-겹 교차 검증(5-fold GridSearchCV)을 사용하여 소수 클래스(실패)의 F1-score를 최적화하는 방식으로 진행되었다. 식별된 최적의 MLP 구성은 두 개의 은닉층(뉴런 64개, 32개), ReLU 활성화 함수, 그리고 0.001의 학습률을 가진 모델이다.
평가 지표: 성능은 정확도(Accuracy), 정밀도(Precision), 재현율(Recall), F1-score, 그리고 평균 결함 탐지율(Average Percentage of Faults Detected, APFD)을 사용하여 측정되었다. APFD는 결함 탐지 속도를 정량화하므로 TCP를 위한 주요 지표로 우선시되었다.
통계적 검증: 단일 train-test 분할의 한계를 해결하기 위해, 본 연구는 홀드아웃(held-out) 테스트 세트에 대해 1,000회의 부트스트랩 리샘플링(bootstrap resamples)을 생성하였다. MLP와 베이스라인 모델 간의 통계적 유의성( $\alpha=0.05$ )과 효과 크기( $|r|$ )를 결정하기 위해 쌍체 윌콕슨 부호 순위 검정(pairwise Wilcoxon signed-rank tests)이 적용되었다.

주요 결과
주요 데이터셋인 ABB 데이터셋에서 MLP 모델은 최상위 수준의 성능을 보였으나, 베이스라인과 비교하여 특정 뉘앙스가 관찰되었다:

성능: MLP는 99.77%의 정확도, 100%의 정밀도, 99.15%의 재현율, 99.57%의 F1-score를 달성했다. XGBoost가 미세하게 더 높은 기본(default) F1-score(0.9960 대 0.9957)를 기록했으나, MLP는 최종 튜닝된 구성에서 베이스라인과 대등하거나 이를 능가했다. MLP는 86.35%의 APFD를 달성하여 Logistic Regression 및 KNN과 동률을 이루었으며, 튜닝된 시나리오에서 XGBoost(86.25%)와 SVM(86.33%)을 약간 앞질렀다.
통계적 유의성: 윌콕슨 부호 순위 검정 결과, MLP의 5가지 베이스라인 모두에 대한 우월성이 큰 효과 크기( $|r| \geq 0.98$ )와 함께 통계적으로 유의함( $p < 0.001$ )이 확인되었다. 특히, 부트스트랩 분석에서 MLP와 Random Forest가 동일한 평균 APFD(0.8635)를 공유했음에도 불구하고, 통계 검정은 MLP가 우위에 있다는 유의미한 결과를 도출했으며, 이는 0.8635의 APFD 점수를 공유한 KNN과의 비교에서도 마찬가지였다.
하이퍼파라미터 민감도: XGBoost는 기본 파라미터에서 미세하게 높은 F1-score를 보였으나, 튜닝 후에는 성능이 저하(APFDP 86.25%로 하락)된 반면, MLP는 안정성을 유지했다. 이는 해당 데이터셋에서 MLP가 하이퍼파라미터 변화에 덜 민감함을 시사한다.
일반화: MLP는 IOFROL 및 PAINTCONTROL 데이터셋에서 높은 정확도(약 89~~94%)와 APFD 점수(약 0.81~~0.83)를 유지하며 견고함을 입증했으나, 극심한 클래스 불균형(낮은 재현율)으로 인해 Westermo 데이터셋에서는 성능이 변동되었다.

주요 기여

경험적 비교: 4개의 산업용 데이터셋에 걸쳐 엄격히 동일한 실험 조건 하에서 딥러닝 모델(MLP)을 5가지 고전적 ML 알고리즘과 엄밀하게 병렬 비교하였다.
지표 검증: 클래스 불균형이 있는 CI 환경에서 분류 정확도가 TCP를 위한 신뢰할 수 없는 지표임을 경험적으로 입증하고, APFD와 F1-score를 주요 평가 기준으로 옹호하였다.
통계적 엄밀성: 단일 분할 실험 설계에서도 통계적 유의성을 확립하기 위해 1,000회 반복 부트스트랩 리샘플링과 윌콕슨 부호 순위 검정을 결합한 강력한 검증 프레임워크를 도입하였다.
하이퍼파라미터 분석: 하이퍼파라미터 튜닝의 영향에 대한 경험적 증거를 제공하며, 튜닝이 유익하지만 MLP의 최적 구성(두 개의 은딩층, ReLU)이 탐색 공간의 최대치보다 상대적으로 안정적이고 덜 복잡함을 보여주었다.

의의 및 주장
본 논문은 다층 퍼셉트론이 테스트 케이스 속성과 실패 확률 사이의 복잡하고 비선형적인 관계를 효과적으로 모델링할 수 있으며, 엄격한 통계적 방법으로 평가했을 때 TCP 작업에서 전통적인 ML 기술을 능가할 수 있다고 주장한다. 본 연구는 딥러닝 모델이 산업 현장에서 결함 탐지율을 높이는 실질적인 경로를 제공한다고 상정한다.

결정적으로, 저자들은 자신들의 연구 결과가 과거 실행 데이터만을 필요로 하는 "드롭인 향상(drop-in enhancement)"으로서 기존 CI 파이프라인에 MLP 기반 TCP를 배포하는 것을 지원한다고 강조한다. 본 연구는 정확도만으로는 TCP를 평가하기에 불충 enough하지 않지만, 높은 APFD 점수와 엄격한 통의 통계적 검증의 조합이 회귀 테스트에 MLP를 채택할 강력한 근거를 제공한다고 결론짓는다. 저자들은 향후 연구에서 온라인 학습, 비용 인식 우선순위 지정(APFDc), 그리고 설명 가능성을 탐구해야 한다고 언급하면서도, 현재의 연구가 이 분야에서 MLP의 기초적인 효능을 확립했다고 밝히고 있다.

유사한 논문