[기술 요약] 검증기 경고는 코드 이해도 예측 성능을 향상시키지 않는다

1. 문제 배경 및 연구 목적 (Problem)

소프트웨어 개발 과정에서 코드를 이해하는 능력(Code Comprehensibility)은 버그 방지 및 유지보수 효율성에 직결되는 핵심 요소입니다. 기존 연구들은 코드의 복잡도(Cyclomatic complexity 등)나 개발자의 숙련도와 같은 구문적(Syntactic) 및 개발자 관련(Developer) 특징을 사용하여 머신러닝(ML) 모델로 코드 이해도를 예측하려 노력해 왔습니다.

최근 Feldman 등의 연구에 따르면, 정적 코드 검증 도구(Formal Verifier)가 생성하는 **'경고(Warning)의 수'**와 인간이 느끼는 '코드 이해도' 사이에 작은 상관관계가 있음이 밝혀졌습니다. 이는 검증기가 복잡한 로직이나 모호한 코드에서 더 많은 경고를 발생시키기 때문에, 경고 수가 코드의 '의미론적 복잡성(Semantic Complexity)'을 나타내는 지표가 될 수 있다는 가설에 기반합니다.

본 연구의 목적은 **"검증기 경고 합계(Verifier Warning Sum)를 새로운 의미론적 특징(Semantic Feature)으로 ML 모델에 추가했을 때, 실제로 코드 이해도 예측 성능이 향상되는가?"**를 검증하는 것입니다.

2. 연구 방법론 (Methodology)

연구진은 가설을 검증하기 위해 대조-처치 실험(Control-Treatment Experiment) 설계를 채택했습니다.

• 데이터셋: 기존 문헌에서 사용된 가장 큰 규모의 Java 코드 이해도 데이터셋 2개($DS1$, $DS2$)를 사용했습니다. 이 데이터셋들은 인간이 직접 평가한 다양한 이해도 지표(주관적 평점, 정답률, 읽기 쉬운 정도 등)를 포함하고 있습니다.
• 실험 설계:
  • 대조군 (Control Setting): 기존 방식대로 구문적 특징(84개)과 개발자 특징만을 사용하여 모델 학습.
  • 처치군 (Treatment Setting): 대조군의 특징에 **'검증기 경고 합계'**라는 의미론적 특징을 추가하여 모델 학습.
• 사용된 도구 및 모델:
  • 검증기: Checker Framework, OpenJML, JaTyC, Infer (4종).
  • ML 모델: Naïve Bayes, KNN, Logistic Regression, MLP, Random Forest, SVM (6종).
  • 평가 지표: Weighted F1-score ($wF1$), Weighted AUC ($wAUC$).
• 검증 절차: 과적합을 방지하기 위해 **중첩 교차 검증(Nested Cross-Validation)**을 수행하였으며, 통계적 유의성을 확인하기 위해 Mann-Whitney U test를 사용했습니다.

3. 주요 연구 결과 (Results)

연구 결과, 검증기 경고를 추가하는 것이 모델의 예측 성능을 유의미하게 향상시키지 못한다는 결론에 도달했습니다.

1. 성능 향상 미비: 30개 이상의 모델-지표 조합 중 대다수에서 성능 변화가 없거나 오히려 소폭 하락했습니다. 통계적으로 유의미한 성능 향상을 보인 경우는 극히 드물었습니다.
2. 지표별 차이: 주관적 평점(PBU)이나 읽기 쉬운 정도(RL)와 같은 지표에서는 아주 미세한 개선이 관찰되기도 했으나, 이는 전체적인 예측력을 높이기에는 너무 미미했습니다.
3. 통계적 독립성 확인: Kendall’s $\tau$ (순위 상관계수), Mutual Information (상호 정보량), SHAP (특징 기여도) 분석을 통해 검증기 경고 수가 이해도 지표와 통계적으로 거의 독립적이며, 모델 학습에 유용한 신호를 제공하지 못함을 확인했습니다.
4. 개별 검증기 분석: 경고를 합산하지 않고 개별 검증기(예: JaTyC, CF)의 경고 수를 따로 입력했을 때도 전반적인 경향은 동일하게 성능 향상이 미미했습니다.

4. 연구의 의의 및 시사점 (Significance)

학술적 의의

• 가설의 기각: "검증기 경고가 코드의 의미론적 복잡성을 대변하여 이해도 예측에 도움을 줄 것"이라는 기존의 직관적 가설을 실험적으로 반박했습니다.
• 한계 규명: 현재의 구문적/개발자 특징 기반 모델이 이미 상당한 수준의 예측력을 확보하고 있으며, 단순한 경고 카운트 방식의 의미론적 특징은 추가적인 정보 가치가 낮음을 보여주었습니다.

실무적/향후 연구 방향

• 특징 표현의 고도화 필요성: 단순히 경고의 '개수'를 세는 방식보다는, 경고의 **'유형(Type)'**이나 검증 과정에서 도출되는 '논리적 사실(Facts)', 혹은 **'제어 흐름/데이터 흐름(Control/Data-flow)'**과 같은 더 풍부하고 정교한 의미론적 표현이 필요함을 시사합니다.
• 모델의 신뢰성 경고: 현재의 ML 기반 코드 이해도 예측 모델들은 실제 개발 현장에서 자동화 도구로 사용하기에는 아직 예측 신뢰도가 낮다는 점을 강조합니다.

요약 결론: 본 논문은 검증기 경고가 코드 이해도의 유용한 지표가 될 것이라는 기대와 달리, 이를 ML 모델의 입력값으로 사용하는 것이 예측 성능 향상에 실질적인 도움이 되지 않음을 엄밀한 실험을 통해 증명하였습니다.