Transparency in Software Defect Prediction: A Dual Approach using Explainability and Tradeoff Analysis

당신이 천 명의 무고한 시민들 사이에 숨어 있는 단 한 명의 배신자를 찾아내야 하는 탐정이라고 상상해 보십시오. 당신의 임무는 그 배신자가 문제를 일으키기 전에 누구인지 지목하는 것입니다. 이것이 바로 소프트웨어 엔지니어들이 컴퓨터 코드 속의 "버그"나 결함을 찾아내기 위해 수행하는 일상적인 현실이며, 이 과정은 디지털 탐정 놀이와 같습니다. 소프트웨어 공학의 세계에서 이 추적은 **소프트웨어 결함 예측(Software Defect Prediction)**이라고 불립니다. 이는 나쁜 코드가 시스템을 망가뜨리기 전에 미리 포착해내는 것을 목표로 하는 고도의 긴장감이 흐르는 게임입니다.

이 게임을 수행하기 위해 엔지니어들은 **머신러닝 모델(Machine Learning models)**이라는 컴퓨터 프로그램을 사용합니다. 이 모델들을 과거에 수백만 줄의 코드를 읽어본 매우 똑똑한 조수라고 생각하십시오. 이들은 새로운 코드를 살펴보고 0과 1 사이의 "의심 점수"를 부여합니다. 점수가 0이면 "완전 무죄"를, 1이면 "유죄 확정"을 의미합니다. 까다로운 점은 어디에 선을 그을지 결정하는 것입니다. 선을 너무 낮게 설정하면 무고한 사람을 범인으로 몰아(오탐, false alarms) 모두의 시간을 낭비하게 될 수 있습니다. 반대로 선을 너무 높게 설정하면 진짜 배신자를 놓쳐(미검출, missed defects) 재앙적인 결과를 초ك을 초래할 수 있습니다. 오랫동안 대부분의 탐정들은 "점수가 0.5를 넘으면 유죄"라는 표준 규칙을 사용해 왔습니다. 하지만 이 새로운 연구는 그 표준 규칙이 목표를 달성하지 못할 수도 있음을 시사합니다.

---

논문의 핵심 아이디어: 완벽한 선 찾기

논문 **"소프트웨어 결함 예측의 투명성: 설명 가능성과 트레이드오프 분석을 이용한 이중 접근법(Transparency in Software Defect Prediction: A Dual Approach using Explainability and Tradeoff Analysis)"**에서 니틴 사이 봄미(Nitin Sai Bommi), 우마마헤스와라 샤르마 부타무라팜(Umamaheswara Sharma Bhutamapuram), 그리고 아툴 네기(Atul Negi)는 기존의 "0.5 규칙"이 마치 다양한 머리 크기를 가진 사람들에게 '원 사이즈(one-size-fits-all)' 모자를 씌우는 것과 같다고 주장합니다. 그것은 누구에게도 잘 맞지 않습니다.

저자들은 게임을 플레이하는 새로운 방법을 제안합니다. 기본 설정된 선을 맹목적으로 믿는 대신, 그들은 각 특정 상황에 맞는 완벽한 선을 찾기 위한 두 가지 영리한 기술을 제안합니다. 그들의 목표는 나쁜 놈을 잡는 것(검출 확률)과 무고한 사람을 범인으로 모는 것(오경보 확률) 사이의 차이를 극대화하는 것입니다. 그들은 무고한 구경꾼들에게 시간을 낭비하지 않으면서도 배신자를 잡아내고자 합니다.

기술 #1: 움직이는 골대 (최적 임계값)

첫 번째 기술은 "의심의 선"을 조정하는 것에 관한 것입니다. 연구진은 세 가지 유형의 탐정 조수인 로지스틱 회귀(Logistic Regression), 나이브 베이즈(Naïve Bayes), 그리고 **신경망(Neural Networks)**을 테스트했습니다. 그들은 마법의 숫자가 어떤 경우에도 0.5가 아니라는 것을 발견했습니다.

• 로지스틱 회귀 조수의 경우, 최적의 지점은 약 0.35였습니다.
• 나이브 베이즈의 경우, 그보다 더 낮은 0.3이었습니다.
• 신경망의 경우, 0.38이었습니다.

이것은 라디오 주파수를 맞추는 것과 같습니다. 다이얼을 중간에 두면 잡음이 들릴 수 있습니다. 하지만 다이얼을 왼쪽이나 오른쪽으로 약간씩 움직이면 갑자기 음악이 선명하게 들려옵니다. 임계값을 (약 0.3 또는 0.4로) 낮춤으로써, 이 모델들은 실제 결함을 훨씬 더 잘 찾아내는 동시에 오경보의 수를 낮게 유지할 수 있었습니다. 10개 소프트웨어 프로젝트의 36개 버전에 걸친 테스트에서, 이 간단한 조정은 표준 방식보다 일관되게 뛰어난 성능을 보였습니다.

기술 #2: "만약에" 게임 (역사실적 설명)

두 번째 기술은 조금 더 마법 같습니다. 저자들은 **역사실적 설명(Counterfactual Explanations)**이라 불리는 것을 사용했습니다. 당신에게 "유죄"인 용의자(결함이 있는 코드 모듈)의 사진이 있다고 상상해 보십시오. 모델은 "이것은 나쁘다"라고 말합니다. 이제, 당신이 모델에게 "내가 이 아주 작은 하나를 바꾼다면 어떻게 될까? 그러면 무죄가 될까?"라고 물을 수 있다고 상상해 보십시오.

연구진은 정확히 그렇게 했습니다. 그들은 모델이 이미 '좋음' 또는 '나쁨'이라고 알고 있는 코드를 가져와서, "이것을 어떻게 바꾸면 좋음에서 나쁨으로, 혹은 나쁨에서 좋음으로 바뀔 수 있을까?"라고 물었습니다. 그들은 이러한 "만 if" 시나리오를 사용하여 새로운 합성 코드 예시를 만들었습니다. 그런 다음, 이 새로운 예시들을 모델에 다시 입력하여 추가적인 학습을 시켰습니다.

이것은 코치가 선수에게 완벽한 플레이 영상을 보여준 뒤, "만약 네가 공을 1인치만 빗맞췄다면 어땠을까?"라고 질문하며 선수가 어떻게 조절해야 하는지를 가르치는 것과 같습니다. 논문은 이 방법이 모델이 데이터를 더 잘 이해하도록 도왔지만, 항상 단순한 "골대 이동" 기술보다 뛰어난 결과를 내지는 않았다는 것을 발견했습니다.

결과 (그리고 한계)

결과는 유망했지만 특정적이었습니다. 저자들은 두 가지 주요 도구를 사용하여 성공을 측정했습니다:

1. 결함 누락률 (False Omission Rate, FOR): 실제 결함을 얼마나 자주 놓쳤는가? (낮기를 원함).
2. 절감된 예산 비율 (Percent of Saved Budget, PSB): 깨끗한 코드를 테스트하지 않음으로써 얼마나 많은 시간과 비용을 아꼈는가?

새로운 "골대 이동" 방법을 사용했을 때, 모델들은 기존 방식보다 더 나은 성능을 보였습니다. 예를 들어, 로지스틱 회귀 모델의 경우 평균 최적 임계값은 0.35였으며, 표준 0.5 임계값과 비교했을 때 결함 누락률을 유의미하게 줄였습니다.

하지만 저자들은 이 방법이 만능 해결책이라고 부르는 데 주의를 기울입니다. 그들은 이러한 방법들이 결함을 잡는 것과 오경보를 피하는 것 사이의 균ax를 개선하지만, 모든 것을 해결하지는 못한다고 명시적으로 밝힙니다. 역사실적 방법( "만약에" 게임)은 도움이 되었지만, 모델 자체가 처음에 가짜 예시를 생성하는 데 완벽하지 않기 때문에 항상 최고의 결과를 내지는 못했습니다.

또한 그들은 자신들의 연구 결과가 특정 데이터 세트(PROMISE 저장소)를 기반으로 하고 있으며, 완전히 다른 유형의 소프트웨어 프로젝트에 적용될 경우 결과가 달라질 수 있음을 지적합니다. 그들은 이 방법이 우주의 모든 소프트웨어에 작동한다는 것을 증명한 것이 아니라, 테스트한 프로젝트들에 대해서는 기본 0.5 규칙에서 벗어나는 것이 현명한 선택임을 보여주었습니다.

이것이 중요한 이유

이 논문은 소프트웨어의 세계에서 "원 사이즈 피츠 올(one size fits all, 일률적인 방식)"이 종종 함정이 될 수 있다는 점을 상기시켜 줍니다. 무엇이 버그이고 무엇이 아닌지를 결정하는 표준적인 방식은 너무 경직되어 있을 수 있습니다. 컴퓨터에게 "이 특정 작업을 위한 최적의 선은 무엇인가?"라고 묻고, "만약에"라는 질문을 통해 더 많이 학습함으로써, 우리는 더 안전하고 유지보수 비용이 적게 드는 소프트웨어를 구축할 수 있습니다. 이것은 관점의 작은 변화이지만, 디지털의 어둠 속에서 버그를 쫓는 탐정들에게는 바로 그들이 필요로 했던 손전등이 될 수 있습니다.