Automated Classification of Source Code Changes Based on Metrics Clustering in the Software Development Process

논문 요약: 메트릭스 클러스터링 기반 소스 코드 변경 사항 자동 분류

1. 문제 정의 (Problem)

현대 소프트웨어 개발 조직은 방대한 양의 소스 코드를 다루며, 이는 코드 이해와 분석을 어렵게 만들어 품질 관리 (Quality Control) 를 저해합니다. 특히 **코드 리뷰 (Code Review)**는 알고리즘/아키텍처 오류, 코딩 스타일 위반, 불필요한 코드 등을 조기에 발견하기 위해 필수적이지만, 변경 사항 (Changes) 의 수가 너무 많고 리뷰어의 시간이 제한적이므로 수동 리뷰에는 막대한 시간이 소요됩니다.
기존의 자동화 시도들은 다음과 같은 한계가 있었습니다:

• 휴리스틱 키워드 검색: 입력 데이터의 모든 경우를 고려하기 어려워 특정 상황에서 오류 발생.
• 구문 분석 (Syntax Tree): 알고리즘 복잡도가 높고 프로그래밍 언어에 의존적이며 단순 변경 사항 분석에 국한됨.
• 데이터 마이닝 (학습 세트 필요): 오류를 유발하는 변경 사항과 수정 사례를 포함한 학습 데이터셋 구축이 비현실적으로 어려움.
• 고정된 분류 체계: 재구성이 불가능하여 다른 분류 기준에 적용하기 어려움.

따라서, 학습 데이터셋 (Training Set) 이 필요 없으며, 다양한 분류 체계에 재구성 가능한 자동화 방법이 요구되었습니다.

2. 방법론 (Methodology)

저자는 소스 코드 변경 사항을 메트릭스 (Metrics) 기반 클러스터링을 통해 자동 분류하는 2 단계 방법을 제안합니다.

가. 메트릭스 벡터 계산 (Metric Vector Computation)
각 변경 사항 (Change) 에 대해 11 가지 소스 코드 메트릭을 기반으로 벡터를 구성합니다.

• 변경 표현: 편집 스크립트 (Edit Script) 방식을 사용하여 추가된 줄 ($L^+$), 삭제된 줄 ($L^-$), 수정된 줄 ($L^*$) 로 변경 사항을 표현합니다.
• 사용된 11 가지 메트릭:
  1. 추가/삭제/수정된 코드 줄 수 (LOC)
  2. 추가/삭제/수정된 순환 복잡도 (Cyclomatic Complexity, CC)
  3. 수정된 파일 수 ($F^*$)
  4. 추가/삭제된 인터페이스 수 ($I^+, I^-$)
  5. 추가/삭제된 클래스 및 구조체 수 ($CS^+, CS^-$)
• 벡터: $\mu_{\delta r} = \langle \mu_1, \mu_2, ..., \mu_{11} \rangle$ 형태로 구성됩니다.

나. 클러스터링 (Clustering)

• 알고리즘: K-means 알고리즘 사용.
• 거리 측정: 유클리드 거리 대신 **코사인 유사도 (Cosine Similarity)**를 사용하여 벡터의 크기 (Scale) 에 영향을 받지 않고 변경 사항의 '유사한 패턴'에 기반하여 군집화합니다.
  • $\rho(v_1, v_2) = \cos(v_1, v_2) = \frac{v_1^T v_2}{\|v_1\| \cdot \|v_2\|}$
• 클러스터 수 ($k$) 결정: 전문가가 설정한 최소 품질 기준 ($I_{min}$) 을 만족할 때까지 $k$ 값을 조정하며 최적의 클러스터 수를 찾습니다.

다. 전문가 매핑 및 자동 분류 (Expert Mapping & Classification)

1. 자동 군집화: 변경 사항들이 $k$개의 클러스터로 자동 분배됩니다.
2. 전문가 매핑: 각 클러스터에서 중심에 가까운 일부 변경 사항을 전문가가 수동으로 분류합니다. 해당 클러스터 내 다수 변경 사항의 클래스를 기준으로 전체 클러스터를 하나의 클래스 (예: 버그 수정, 리팩토링 등) 로 매핑합니다.
3. 자동 분류: 매핑된 규칙에 따라 나머지 모든 변경 사항이 자동으로 분류됩니다.

3. 주요 기여 (Key Contributions)

1. 부분 자동화의 타당성 입증: 메트릭스 클러스터링을 통해 소스 코드 변경 사항 분류의 부분 자동화가 가능함을 가설 수립 및 실험을 통해 증명했습니다.
2. 적합한 알고리즘 선정: 코사인 기반 근접 측도를 사용한 K-means 알고리즘이 변경 메트릭 벡터 클러스터링에 가장 적합함을 입증했습니다.
3. 새로운 분류 프레임워크 개발: 학습 데이터셋이 필요 없는 클러스터링 기반 자동 분류 방법론을 제안하여, 수동 분류가 필요한 변경 사항의 수를 획기적으로 줄였습니다.
4. 구현 도구 개발: 메트릭스 계산, 편집 스크립트 추출, 클러스터링 (CLUTO 툴킷 기반) 을 수행하는 소프트웨어 도구를 개발했습니다.

4. 실험 결과 (Results)

• 데이터셋: 5 개의 소프트웨어 시스템 (Subversion, NHibernate 등 오픈소스 프로젝트 및 Transas Technologies 의 상용 시스템) 을 대상으로 실험 수행.
• NHibernate 사례 연구:
  • 총 2,069 개의 변경 사항 중 전문가가 직접 분류한 것은 73 개 (클러스터 매핑용) 에 불과했습니다.
  • 검증 세트 (68 개 변경 사항) 에 대한 분류 정확도 (Purity, $P_C$) 는 $0.75 \pm 0.05$였습니다.
  • 엔트로피 (Entropy, $E_C$) 는 $0.37 \pm 0.06$으로 측정되었습니다.
  • 의미: 전문가가 모든 변경 사항을 수동으로 분류하는 대신, 약 3.5% (73/2069) 만 분류하면 나머지 96.5% 를 자동 분류할 수 있어 리뷰 시간을 대폭 단축했습니다.
• 한계: 균일한 변경 사항 (Homogeneous changes) 에서는 효과가 좋으나, 이질적인 코드 수정이 혼합된 경우 분류 품질이 저하되는 경향이 있었습니다.

5. 의의 및 중요성 (Significance)

• 개발 효율성 향상: 코드 리뷰에 소요되는 시간을 대폭 줄여 개발 프로세스를 가속화합니다.
• 유연성: 학습 데이터셋 구축 없이도 새로운 프로젝트나 다른 분류 체계 (예: 기능 추가, 버그 수정, 리팩토링 등) 에 쉽게 적용 가능합니다.
• 품질 관리 강화: 변경 사항의 특성을 자동으로 파악하여, 안정화 단계에서의 불필요한 기능 추가를 막거나 중요한 버그 수정을 우선적으로 검토하는 등 프로세스 제어가 가능해집니다.
• 실무 적용: ITMO University 와 Transas Technologies 의 협력으로 개발된 이 방법은 실제 상용 시스템 (Navi-Manager, LRIT, e-Tutor 5000 등) 과 오픈소스 프로젝트에서 성공적으로 적용되었습니다.

이 논문은 소프트웨어 공학 분야에서 메트릭스와 클러스터링 기법을 결합하여 코드 리뷰의 병목 현상을 해결하는 실용적이고 확장 가능한 솔루션을 제시했다는 점에서 중요한 의의를 가집니다.