An Audit of Machine Learning Experiments on Software Defect Prediction

기술 요약: 소프트웨어 결함 예측에 관한 머신러닝 실험 감사

문제 정의
머신러닝(ML)은 결함이 발생하기 쉬운 소프트웨어 컴포넌트를 예측하기 위한 해결책으로 점점 더 많이 제안되고 있다. 그러나 이 분야의 연구 결과에 대한 신뢰성은 실험 설계, 분석 및 보고에 결정적으로 달려 있다. 증가하는 문헌에도 불구하고, 의심스러운 연구 방법, 부실한 보고, 그리고 "결론 안정성(conclusion stability)"의 결여에 대한 증거가 늘어나고 있다. 기존의 리뷰들은 데이터 누수(data leakage), 결함이 있는 통계 분석, 그리고 예측력에 미치는 평가 지표의 영향과 같은 문제들을 강조해 왔다. 또한, "페이퍼 밀(paper mills)"의 부상과 방법론적 이질성으로 인한 일관된 지식 체계 구축의 어려움은 소프트웨어 결함 예측(SDP) 연구의 재현성과 복제 가능성에 대한 우려를 불러일으켰다. 본 논문은 최근 SDP 실험에 대한 체계적인 기술 검토(감사)를 통해 현재의 실무 상태를 규명하고 발표된 연구 결과의 재현성을 평가하고자 한다.

방법론
저자들은 2019년부터 2023년 사이에 발표된 SDP의 계산 실험에 대해 체계적인 감사를 수행하였다.

• 데이터 소스: SCOPUS 데이터베이스에서 ("software defect" OR bug OR "software fault") AND prediction AND "machine learning"이라는 쿼리를 사용하여 검색을 수행하였다. 이를 통해 7,375개의 문서를 확보하였다.
• 샘플링: 층화 무작위 추출 방식을 사용하여 연간 20편의 관련 논문을 선택하였으며, 최종적으로 101편(저널 61편, 컨퍼런스 40편)의 샘별을 구성하였다. 선정 기준은 결함 예측에 초점을 맞추고, 새로운 실험 결과를 제시하며, 실제 데이터를 사용하고, 전체 내용을 확인할 수 있으며, 최소 길이가 3페이지 이상인 논문이었다.
• 감사 도구: 연구는 두 가지 범주로 나뉜 9가지 특정 이슈를 평가하였다:
  1. 실험 설계 및 구현 (이슈 1–5): 표본 외(Out-of-Sample, OOS) 검증의 부재, 문제적 지표 사용(예: 불균형 데이터에서의 F1, 정확도), 벤치마크(무작위보다 나은지 여부)의 부재, 다중 통계 테스트 시 보정 미비, 그리고 중심 경향성과 함께 결과의 분산(spread)을 보고하지 않는 문제.
  2. 보고 이슈 (이슈 6–9): 데이터 링크 없음, 코드 링크 없음, 낮은 재현성 점수, 페이월(paywall) 뒤에 숨겨진 기사.
• 재현성 평가: 저자들은 재현성을 평가하기 위해 González-Barahona와 Robles이 제안한 도구를 변형하여 사용하였다. 이는 원시 데이터, 추출 도구, 처리된 데이터셋, 분석 도구 및 결과에 관한 5개 카테고리(식별, 설명, 가용성, 지속성, 유연성)의 27개 지표를 점수화하는 과정을 포함한다. 점수는 0–1 범위로 정규화되었다.
• 분석: 두 명의 독립적인 검토자가 논문을 감사하였으며, 의견 불일치는 토론을 통해 해결하였다. 데이터 분석은 RMarkdown 노트북 내의 R을 사용하여 수행되었다.

주요 기여

1. 체계적 감사: 본 논문은 전통적인 체계적 문헌 고찰을 넘어 방법론적 품질과 보고 표준에 초점을 맞춘, 5개년(2019–2023) 동안의 SDP 계산 실험에 대한 첫 번째 심층 기술 감사를 제공한다.
2. 이슈의 정량화: 특정 방법론적 및 보고상의 결함의 유병률을 정량화하여, 101편의 논문에서 427개의 별개 이슈를 식착하였다.
3. 재현성 기준선: SDP 연구의 재현성에 대한 기준선을 설정하였으며, 데이터 및 코드의 가용성 측면에서 넓은 편차를 드러냈다.
4. 이상 징现象 탐지: 감사는 "새로운 버그(new bugs)" 대신 "새로운 곤충(novel insects)"과 같은 "왜곡된 문구(tortured phrases)"의 구체적인 사례를 식별하였으며, 이는 SCOPUS와 같은 큐레이션된 데이터베이스 내에서도 잠재적인 "페이퍼 밀" 활동의 징후를 보여준다.
5. 실행 가능한 권고 사항: 연구자, 검토자 및 커뮤니티가 실험 설계, 보고 및 오픈 사이언스 관행을 개선할 수 있도록 16가지의 구체적인 권고 사항을 제시한다.

결과

• 샘플 특성: 101편의 논문은 74개의 고유한 학술 대회를 다루었다. 약 50%의 논문이 페이월 뒤에 있었다. 인용 횟수는 높은 가변성을 보였으며, 중앙값은 4회였고 25편의 논문은 인용 횟수가 0회였다.
• 실험 설계의 다양성: 사용된 데이터셋의 수(1365개, 중앙값 10개), 평가된 학습기(134개, 중앙값 5개), 사용된 지표(1~9개, 중앙값 3개)에서 상당한 다양성이 나타났다. Promise 저장소의 데이터셋이 지배적이었다.
• 방법론적 결함:
  • 검증: 34.7%의 연구가 명확한 OOS 검증이 부족하거나 이에 대한 보고가 불분명했다.
  • 지표: 광범위한 비판에도 불구하고, 62.9%의 연구가 F1 지표를 사용하였고 39.2%가 정확도를 사용하였다. 단 16.8%만이 매튜스 상관계수(MCC)를 사용하였다.
  • 우연 기반 앵커링(Chance-Anchoring): 약 40%의 실험이 우연 기반 앵커링 지표(AUC 또는 MCC 등)를 사용하지 않아, 결과가 무작위 추측보다 나은지 판단하는 것이 불가능했다.
  • 통계적 엄밀성: 단 45%의 연구만이 공식적인 통계적 추론을 사용하였다. 그중에서도 추론 테스트의 중앙값이 24개였음에도 불구하고, 다중 테스트 보정을 수행한 연구는 60%에 불과했다.
  • 분산: 많은 연구가 확률적 알고리즘의 변동성을 가리는 분산의 척도(예: 박스 플롯) 없이 중심 경향성(평균/중앙값)만을 보고하였다.
• 재현성: 재현성 점수의 중앙값은 0.52(1.0 만점)였다. 단 한 편의 논문만이 이슈가 전혀 없는 상태였다. 저널 논문이 컨퍼런스 논문보다 더 재현성이 높고 이슈가 적은 경향을 보였다. 분석 코드로 연결되는 링크를 제공한 연구는 18.8%에 불েক이며, 기존 링크의 35.8%는 깨져 있었다.
• 트렌드: 5개년 기간 동안 방법론적 품질의 개선에 대한 증거는 발견되지 않았다.

의의 및 주장
본 논문은 SDP 연구 커뮤니티가 "상당한 개선의 여지"가 있다고 주장한다. 감사는 거의 절반의 연구가 재현을 위한 불충분한 정보를 제공하고 있으며, 방법론적 선택이 종종 연구 결과의 타당성을 저해한다는 것을 드러냈다. 저자들은 식별된 이슈들이 반드시 모든 논문에 치명적인 것은 아니지만, 독립적인 검토와 오픈 사이언스의 발전을 방해하는 "불필요하고 도움이 되지 않는" 것임을 강조한다.

결정적으로, 저자들은 권장되는 개선 사항들이 "어렵거나 비용이 많이 드는 것이 아니다"라고 명시한다. 저자들은 우연 기반 앵커링 지표를 채택하고, OOS 검증을 보장하며, 결과의 분산을 보고하고, 코드와 데이터를 공유하는 것이 SDP 연구의 신뢰성과 영향력을 크게 향상시킬 수 있는 간단한 단계라고 주장한다. 본 논문은 커뮤니티가 "엉성한 실험 방법"에서 벗어나 더 견고하고 투명하며 재현 가능한 관행으로 나아갈 것을 촉구하며, 5년 동안 1,500편 이상의 연구가 축적된 상황에서 이러한 신뢰성과 통찰력의 결여는 절망의 원인이 아니라 행동 촉구의 신호라고 결론짓는다.