ReDef: Do Code Language Models Truly Understand Code Changes for Just-in-Time Software Defect Prediction?

1. 연구 배경 및 문제 제기 (Problem)

• Just-in-Time 소프트웨어 결함 예측 (JIT-SDP) 의 중요성: 코드 리뷰 및 지속적 통합 (CI) 과정에서 위험한 코드 변경 사항을 조기에 식별하여 테스트 자원을 효율적으로 배분하는 핵심 기술입니다.
• 기존 데이터셋의 한계: 대부분의 기존 JIT-SDP 데이터셋은 SZZ 알고리즘 (버그 수정 커밋으로부터 버그 유발 커밋을 추적하는 방식) 에 의존합니다. 그러나 SZZ 는 리팩토링이나 단순 이름 변경 등을 버그 유발로 오인하는 등 노이즈가 심하고 라벨의 신뢰도가 낮습니다.
• 코드 언어 모델 (CLM) 의 이해도 의문: 최근 CodeBERT, CodeT5+, Qwen2.5 와 같은 사전 학습된 코드 언어 모델 (CLM) 이 정적 코드 분석에서는 뛰어난 성능을 보이지만, 코드 변경 사항 (Diff) 의 의미론적 관계 (Semantic Dynamics) 를 진정으로 이해하는지에 대한 의문이 제기되었습니다. 즉, 모델이 실제 변경의 인과관계를 이해하는지, 아니면 표면적인 텍스트 패턴에만 의존하는지 확인이 필요합니다.

2. 방법론 (Methodology)

A. ReDef 데이터셋 구축 (High-Confidence Benchmark)

• 개념: 'Revert(되돌리기)' 커밋을 기반으로 한 고신뢰도 JIT-SDP 데이터셋입니다.
• 구성: 22 개의 대규모 C/C++ 프로젝트에서 수집된 3,164 개의 결함 (Defective) 및 10,268 개의 깨끗한 (Clean) 함수 단위 변경 사항으로 구성됩니다.
• 라벨링 프로세스:
  1. 되돌리기 (Revert) 신호 활용: 개발자가 명시적으로 "버그 수정"이나 "회귀 (regression)" 이유로 커밋을 되돌린 경우를 결함의 강력한 증거로 간주합니다.
  2. 후속 역사 검증 (Post-hoc History Checks): 깨끗한 사례의 경우, 해당 함수가 이후 5 개의 커밋 내에서 다시 수정되거나 버그 관련 키워드가 등장하지 않는지 확인합니다.
  3. GPT-4o 지원 3 단계 필터링: 모호한 사례를 제거하기 위해 GPT-4o 를 사용하여 3 번의 독립적인 투표를 수행하고, 만장일치 (Unanimous vote) 를 기준으로만 데이터를 선별했습니다.
  4. 수동 감사: 최종적으로 100 개의 샘플에 대해 두 연구자가 독립적으로 감사하여 라벨 정확도를 92% 로 검증했습니다.

B. CLM 평가 프로토콜 (Two-Stage Evaluation)

연구는 두 단계로 진행되었습니다.

1. Stage 1 (인코딩 전략 비교): 코드 변경 정보를 모델에 입력하는 5 가지 전략을 비교했습니다.
   • After-only: 변경 후 코드만 제공.
   • After+Change markers: 변경된 줄에 <CHG> 태그 추가.
   • Before+After: 변경 전/후 코드 전체 연결.
   • Diff with tags: 변경된 줄만 <ADD>, <DEL> 태그와 함께 제공.
   • Added→Deleted blocks: 추가된 줄과 삭제된 줄을 블록 단위로 분리 제공.
2. Stage 2 (반사실적 교란 실험, Counterfactual Perturbation): 모델이 진정으로 변경의 의미를 이해하는지 테스트하기 위해 의도적으로 입력을 왜곡했습니다.
   • 스왑 (Swapping): 추가/삭제 블록의 순서 뒤집기, 변경 전/후 코드 위치 교환.
   • 역전 (Inversion): Diff 태그 (<ADD>, <DEL>) 의 의미 반전.
   • 의미 없는 마커 주입: 무작위 위치에 변경 태그 삽입.
   • 목표: 만약 모델이 변경의 의미 (인과관계) 를 이해한다면, 이러한 왜곡 시 성능이 급격히 떨어질 것입니다.

3. 주요 기여 (Key Contributions)

1. ReDef 데이터셋: 기존 SZZ 기반 데이터셋의 노이즈 문제를 해결하고, 되돌리기 (Revert) 커밋을 기반으로 한 고신뢰도 (92% 라벨 정확도) JIT-SDP 벤치마크를 최초로 제공합니다.
2. 인코딩 전략에 대한 체계적 분석: 다양한 CLM 에 대해 변경 정보를 표현하는 최적의 인코딩 방식을 실증적으로 규명했습니다.
3. 반사실적 교란을 통한 '의미론적 맹목성' 발견: 현재 CLM 들이 코드 변경의 심층적 의미를 이해하지 못하고 표면적 단서 (Surface cues) 에만 의존하고 있음을 드러내는 새로운 평가 프로토콜을 제시했습니다.

4. 실험 결과 (Results)

RQ1: 데이터셋의 정확도

• 수동 감사 결과, **92%**의 라벨이 정확했으며, 모호하거나 잘못된 라벨은 8% 에 불과했습니다. 이는 기존 데이터셋 (노이즈 14~50%) 보다 훨씬 신뢰할 수 있습니다.

RQ2: 최적의 인코딩 전략

• Diff 스타일 인코딩 우세: Diff with tags 및 Added→Deleted blocks 방식이 전 모델에서 가장 높은 F1 점수를 기록했습니다.
• 전체 함수 입력의 비효율성: 변경된 줄 전체를 포함하는 Before+After 방식은 토큰 제한 (Truncation) 으로 인해 중요한 변경 신호가 잘리거나, 변경되지 않은 맥락 (Noise) 이 모델을 방해하여 성능이 저하되었습니다.
• 모델 크기 역설: 파라미터 수가 가장 많은 Qwen2.5(7B) 보다 상대적으로 작은 CodeBERT 가 더 좋은 성능을 보였습니다. 이는 ReDef 의 결함 신호가 매우 미묘하여, 복잡한 대규모 모델이 오히려 단순하고 일관된 패턴을 포착하는 데 어려움을 겪었기 때문으로 분석됩니다.

RQ3: 교란 실험 (Counterfactual Tests)

• 성능의 안정성 (Semantic Blindness): 변경된 블록의 순서를 바꾸거나 태그를 반전시키는 등 논리적 의미가 완전히 뒤집힌 상황에서도 모델의 성능 (F1 점수) 은 거의 변하지 않았습니다 (변화율 ≤ 1.26%).
• 의미: 모델이 "버그 수정"과 "버그 유발"의 논리적 차이를 이해하지 못하고, 코드에 포함된 특정 키워드나 통계적 패턴 (Surface cues) 만을 기억하여 예측하고 있음을 의미합니다.
• 코드BERT vs Qwen2.5: 인코더 기반인 CodeBERT 는 교란에 거의 무감각했으나, 디코더 기반인 Qwen2.5 는 일부 조건에서 미세한 민감도를 보였으나 여전히 근본적인 의미 이해에는 한계가 있었습니다.

5. 의의 및 결론 (Significance)

• 현실적 경고: 현재 JIT-SDP 에서 CLM 이 보여주는 높은 성능은 진정한 코드 변경에 대한 이해 (Semantic Understanding) 가 아니라, **표면적 패턴에 대한 의존 (Reliance on Shallow Cues)**일 가능성이 높습니다.
• 향후 연구 방향:
  • 단순한 정확도 향상이 아닌, **코드 변경의 인과관계와 관계적 역학 (Relational Dynamics)**을 학습할 수 있는 새로운 아키텍처 및 학습 목적 함수 (Loss Function) 개발이 시급합니다.
  • ReDef 데이터셋은 향후 더 정교한 변경 인식 (Change-aware) 모델 개발을 위한 신뢰할 수 있는 기준 (Benchmark) 으로 활용될 것입니다.
• 핵심 메시지: "모델이 강건해 보이는 것은 (Robustness) 실제로는 의미론적 맹목성 (Semantic Blindness) 의 증상일 수 있다."

이 논문은 소프트웨어 공학 분야에서 AI 모델의 실제 이해 능력을 평가하는 새로운 패러다임을 제시하며, 단순한 벤치마크 점수 이상의 심층적 분석의 필요성을 강조합니다.