Multi-stage Dynamic Selection for Cross-Project Defect Prediction

당신이 새로운 마을에서 다음 범죄자가 어디를 공격할지 예측해야 하는 형사라고 상상해 보십시오. 하지만 당신은 한 번도 범죄 현장을 본 적이 없습니다. 당신에게 주어진 것이라고는 완전히 다른 도시에서 작성된, 서로 다른 속어와 습관을 가진 서로 다른 경찰 부대의 오래된 사건 파일 더미뿐입니다. 이것이 소프트웨어 엔지니어들이 프로그램의 버그를 없애기 위해 매일 겪는 고충입니다. 그들은 소프트웨어가 충돌하기 전에 "결함"(버그)을 찾아내고 싶어 합니다. 하지만 많은 새로운 프로젝트는 실수에 대한 기록을 쌓을 만큼 충분히 오래 실행되지 않은, 마치 백지와 같은 상태입니다. 그래서 엔지니어들은 비디오 게임 회사의 방식이 은행 앱을 고치는 데 도움이 되기를 바라며 다른 프로젝트로부터 배우려고 노력합니다. 이것을 '교차 프로젝트 결함 예측(Cross-Project Defect Prediction)'이라고 부릅니다. 문제는 모든 프로젝트가 고유하다는 점입니다. 하나의 프로젝트에서 완벽하게 작동하는 모델이 다른 프로젝트에서는 처참하게 실패할 수 있는데, 이는 "범죄 현장"(코드)이 너무나 다르게 보이기 때문입니다.

여기에 Multi-DES라는 새로운 디지털 탐정 팀이 등장합니다. 이들은 새로운 마을의 모든 사건을 해결하기 위해 단 한 명의 탐정을 고용하거나, 한 명의 "슈퍼 탐정"이 모든 동네를 한꺼번에 이해하도록 강요하는 대신, 영리한 2단계 전략을 사용합니다. 먼저, 그들은 다양한 스타일과 도구 세트를 가진 거대한 탐정 군단을 오디션하여, 어떤 전문가 그룹이 오래된 사건 파일을 볼 때 가장 잘 협력하는지 확인합니다. 그런 다음, 새로운 사건이 도착하면 단순히 한 명의 탐정을 뽑는 것이 아니라, 그 특정 상황에 가장 적합한 최고의 전문가를 즉시 호출합니다. 이는 교통 경찰이 교통사고를 처리하고, 포렌식 회계사가 사기 사건을 처리하며, 협상가가 인질 상황을 담당하는 것처럼, 상황에 맞춰 실시간으로 최적의 전문가를 선택하는 것과 같습니다. 연구진은 이 "적재적 적소의 전문가" 접근 방식이 모든 것에 동일한 단일 솔루션을 적용하려 했던 기존 방식보다 새로운 미지의 프로젝트에서 버그를 찾는 데 훨씬 더 효과적이라는 것을 발견했습니다.

탐정 사무소: Multi-DES의 작동 원리

소프트웨어의 세계에서 "결함"이란 버그, 즉 프로그램이 충돌하거나 이상하게 작동하게 만드는 코드상의 실수를 의미합니다. 이러한 버그를 예측하는 것은 결함을 조기에 발견함으로써 시간과 비용을 절약할 수 있기 때문에 매우 중요합니다. 하지만 문제는, 컴퓨터에게 버그를 식별하는 법을 가르치려면 보통 과거의 많은 버그 사례가 필요하다는 것입니다. 새로운 프로젝트에는 아직 이러한 사례가 없습니다. 그래서 엔지니어들은 다른, 더 오래된 프로젝트로부터 지식을 빌려오려 노력합니다. 이것이 "교차 프로젝트(Cross-Project)" 부분입니다.

하지만 큰 장애물이 있습니다: 바로 **분포 변화(Distribution Shift)**입니다. 이것은 마치 모든 사람이 왼쪽에서 운전하는 나라의 매뉴얼만 가지고, 오른쪽에서 운전하는 나라의 운전법을 배우려는 것과 같습니다. 규칙은 비슷하지만 세부 사항은 뒤집혀 있습니다. 소프트웨어에서도 어떤 프로젝트는 특정 코딩 스타일을 사용하는 반면, 다른 프로젝트는 완전히 다른 스타일을 사용할 수 있습니다. 전통적인 방법들은 이 모든 차이점을 한꺼번에 이해하려고 시도하는 하나의 거대한 모델을 구축하려 합니다. 저자들은 이것이 세상의 모든 도시를 위해 하나의 일반적인 지도를 사용하려는 것과 같으며, 너무 광범위하여 지역의 골목길을 놓치게 된다고 주장합니다.

이 논문은 Multi-DES(다단계 동적 앙상블 선택, Multi-stage Dynamic Ensemble Selection)를 제안합니다. 이는 마치 소프트웨어 탐정을 위한 스마트하고 적응력 있는 채용 대행사와 같습니다. 이 시스템은 두 가지 주요 단계로 작동합니다.

1단계: 대규모 오디션 (프로젝트 레벨)
시스템이 새로운 프로젝트를 접하기 전, 거대한 "과잉 생산" 단계를 거칩니다. 가능한 모든 조합을 시험하는 캐스팅 콜을 상상해 보십시오:

• 기본 분류기(Base Classifiers): 의사결정 나무(Decision Trees), 랜덤 포레스트(Random Forests) 등 다양한 알고리즘 유형. 이것들을 서로 다른 유형의 탐정(관찰력이 좋은 탐정, 논리적인 탐정, 패턴을 찾는 탐정 등)이라고 생각하십시오.
• 동적 선택 기법(Dynamic Selection Techniques): 어떤 탐정을 신뢰할지 결정하는 다양한 방법.
• 풀 크기(Pool Sizes): 방 안에 있는 탐정의 수.

그들은 이 모든 조합(4가지 기본 알고리즘 × 8가지 선택 기법 × 10가지 풀 크기 = 320가지 구성)을 "훈련" 프로젝트 세트에 대해 테스트합니다. 하지만 단순히 단일 테스트에서 가장 높은 점수를 받은 것을 고르는 것이 아닙니다. 대신, 그들은 **집계 순위 최소화(Aggregate Rank Minimization, ARM)**라는 전략을 사용합니다.

ARM 전략: "올라운더" 심사위원
노래, 춤, 연기 능력을 기준으로 우승자를 뽑아야 하는 오디션 프로그램을 상상해 보십시오. 만약 노래 실력만 보고 사람을 뽑는다면, 그 사람은 연기는 엉망일 수 있습니다. ARM은 모든 참가자의 세 가지 기술에 대해 순위를 매긴 다음, 그 순위들을 합산하여 가장 일관성 있는 '올라운더'를 찾아내는 심사위원과 같습니다. 논문은 여러 성능 지표(F1-score, AUC, False Alarm 등)를 함께 살펴봄으로써, 시스템이 새로운 프로젝트가 기존 프로젝트와 다르더라도 견고하게 작동할 수 있는 구성을 찾는다고 제안합니다.

2단계: 실시간 선택 (모듈 레벨)
최적의 "오디션" 구성이 선택되면, 시스템은 새로운 프로젝트를 맞이할 준비가 됩니다. 하지만 여기서 마법이 일어납니다. 시스템은 프로젝트 전체에 하나의 모델만 적용하지 않습니다. 소프트웨어는 많은 "모듈"(집의 개별 방이나 책의 장과 같은 것)로 구성되어 있습니다.

시스템이 새로운 프로젝트의 특정 모듈을 볼 때, 다음과 같이 질문합니다: "우리의 훈련된 탐정 중 이 특specific한 종류의 코드를 포착하는 데 가장 뛰어난 사람은 누구인가?" 시스템은 해당 코드 조각에 대해 가장 유능한 분류기를 동적으로 선택합니다. 만약 모듈이 은행 앱처럼 보인다면, 풀에서 "금융 전문가"를 뽑습니다. 또 다른 모듈이 게임 엔진처럼 보인다면, "그래픽 전문가"를 뽑습니다. 이 과정은 모든 개별 코드 조각에 대해 실시간으로 발생합니다.

연구 결과

연구진은 네 가지 공개 데이터셋(PROMISE, RELINK, NASA, AEEEM)에서 가져온 82개의 소프트웨어 프로젝트를 대상으로 이 아이디어를 테스트했습니다. 그들은 "하나의 프로젝트를 제외한 학습(leave-one-project-out)"이라는 엄격한 테스트 방법을 사용했습니다. 즉, 81개 프로젝트로 훈련하고 82번째 프로젝트의 버그를 예측한 뒤, 모든 프로젝트에 대해 이 과정을 반복했습니다.

결과는 매우 유망했습니다:

• 최고보다 더 나은 성능: Multi-DES는 대부분의 시나리오에서 기존의 최고 방법들과 대등하거나 그들을 능가했습니다. 구체적으로, 대부분의 데이터셋에서 AUC(모델이 버그가 있는 코드와 깨끗한 코드를 얼마나 잘 구별하는지에 대한 척도)와 False Alarm(경보를 울리는 빈도) 지표에서 최고의 결과를 달성했습니다.
• 수치적 성과: AEEEM 데이터셋에서 Multi-DES는 AUC 0.755를 기록하여, 그다음으로 좋은 방법인 EASC-NB(0.692)를 앞질렀습니다. NASA 데이터셋에서는 0.666을 기록한 기존 방식에 비해 0.737을 기록했습니다.
• 견고성: 시스템은 특히 "False Alarm"을 낮게 유지하는 데 탁-월했는데, 이는 실제로 문제가 없는 코드에 대해 엔지니어의 시간을 낭비하지 않았음을 의미합니다.
• 속임수 없음: 결정적으로, 시스템은 훈련 단계에서 새로운 대상 프로젝트의 데이터를 전혀 보지 않고도 이 성과를 냈습니다. 이는 새로운 프로젝트의 비밀을 엿보지 않고도 훌륭한 예측기를 구축할 수 있음을 입증하며, 완전히 미지의 프로젝트에서도 잘 작동한다는 것을 보여줍니다.

연구를 통해 배제된 것들

이 논문은 단일한 정적 모델(전체 프로젝트에 적용되는 하나의 고정된 규칙 세트)이 최선의 해결책이라는 생각에 명시적으로 반대합니다. 그들은 소프트웨어 프로젝트의 각 부분이 서로 다른 특성을 갖기 때문에, "하나의 사이즈로 모두 해결하려는(one-size-fits-all)" 접근 방식이 새로운 프로젝트가 훈련 데이터와 다를 때 일반화에 실패한다는 것을 보여줍니다. 또한, 좋은 예측을 하기 위해 대상 프로젝트의 데이터 분포를 미리 알 필요가 없다는 생각도 배제했습니다. 그들의 방법은 대상 프로젝트가 완전히 미지의 상태일 때도 작동합니다.

결과의 신뢰도

저자들은 수집된 데이터를 바탕으로 자신들의 결과에 확신을 가지고 있습니다. 단순히 시뮬레이션을 돌린 것이 아니라, 표준적으로 널리 받아들여지는 지표를 사용하여 82개의 실제 프로젝트에 대해 광범한 실험을 수행했습니다. 그들은 결과가 단순히 운이 아니었음을 확인하기 위해 통계적 검정(Wilcoxon Signed-Rank test)을 사용했습니다. 논문은 Multi-DES가 대부분의 쌍별 비교(pairwise comparison)에서 "통계적으로 우월하다"고 명시하며, 특히 AUC와 False Alarm 측에서 그러합니다. 다만, PROMISE 데이터셋의 경우 "False Alarm" 지표에서 절대적인 최고는 아니었다는 예외 사항을 언급하며, 이 방법이 강력하긴 하지만 모든 시나리오에서 매번 승리하는 마법의 탄환은 아님을 보여주었습니다.

요약하자면, Multi-DES는 새로운 미지의 프로젝트에서 버그를 예측하는 최선의 방법은 일반론적인 전문가 한 명에게 모든 것을 맡기는 것이 아니라, 적절한 전문가를 호출할 수 있는 다양한 전문가 팀을 준비해 두고, 당면한 작업에 가장 적합한 전문가를 선택하는 것임을 시사합니다.