SACS: A Code Smell Dataset using Semi-automatic Generation Approach

1. 연구 배경 및 문제 제기 (Problem)

• 코드 냄새 (Code Smell) 의 중요성: 소프트웨어 리팩토링에서 코드 냄새는 유지보수성과 진화 능력을 저하시키는 잠재적인 설계 또는 구현 결함을 나타냅니다.
• 기계 학습의 한계: 최근 코드 냄새 탐지 및 리팩토링 연구에서 기계 학습 (특히 딥러닝) 기법이 주목받고 있으나, 고품질의 대규모 데이터셋 부재가 가장 큰 장애물입니다.
• 기존 데이터 구축 방식의 문제점:
  • 수동 구축 (Manual): 높은 품질을 보장하지만, 개발자의 전문 지식과 막대한 시간이 소요되어 대규모 데이터 생성에 비효율적입니다. 또한, 주석자 간의 일관성 (Consistency) 유지가 어렵습니다.
  • 자동 구축 (Automatic): 확장성은 뛰어나지만, 생성된 데이터의 레이블 신뢰도가 낮고 데이터 품질이 보장되지 않습니다 (예: 자동으로 생성된 스멜이 실제 스멜이 아닐 수 있음).

2. 제안된 방법론 (Methodology)

저자들은 반자동 (Semi-automatic) 접근법을 통해 대규모 고품질 데이터셋을 생성하는 새로운 프레임워크를 제안했습니다. 전체 워크플로우는 다음과 같은 3 단계로 구성됩니다.

3.1. 데이터 샘플 자동 생성 (Step 1)

• 목표: 오픈소스 프로젝트 코퍼스로부터 의도적으로 '스멜이 있는' (Positive) 소프트웨어 엔티티를 생성합니다.
• 생성 규칙 (Generation Rules):
  • Long Method (긴 메서드): 메서드 호출 패턴 (문장 내 직접 호출, 변수 대입, 식 내 호출) 을 기반으로 메서드 병합 (Merging) 을 수행하여 긴 메서드를 인위적으로 생성합니다.
  • Large Class (큰 클래스): 상속 관계 (부모 - 자식 병합) 및 사용 관계 (필드 포함 병합) 를 기반으로 클래스 병합을 수행하여 큰 클래스를 생성합니다.
  • Feature Envy (기능 부러움): 메서드가 외부 클래스의 속성/메서드를 자주 참조하는 패턴을 식별하고, 해당 메서드를 관련 클래스로 이동 (Move) 시켜 스멜을 생성합니다.

3.2. 데이터 샘플 그룹화 (Step 2)

• 목적: 인간 라벨링의 부하를 줄이기 위해 자동 검증이 명확한 샘플과 수동 검토가 필요한 애매한 샘플로 분류합니다.
• 분류 기준: 각 스멜 유형에 맞는 소프트웨어 메트릭 (LOC, NOM, NOA, NFDI 등) 과 임계값 (Threshold) 을 설정하여 두 그룹으로 나눕니다.
  • A_Group (Automatically Accepted): 자동 생성 규칙과 메트릭을 통해 스멜이 확실하거나 확실하지 않다고 판단된 샘플. (수동 검토 없이 최종 데이터셋에 포함)
  • M_Group (Manually Reviewed): 메트릭이 애매하거나 경계선에 있는 샘플. 개발자의 수동 검증을 거친 후 데이터셋에 포함.
• 메트릭 예시:
  • Long Method: LOC (코드 라인 수) 를 기반으로 3 가지 가능성 범위 (PR1~PR3) 설정.
  • Large Class: LOC, 메서드 수 (NOM), 속성 수 (NOA) 를 종합적으로 평가.
  • Feature Envy: 외부 데이터 호출 횟수 (NFDI) 를 기반으로 평가.

3.3. 수동 검증 및 주석 (Step 3)

• 검증 프로세스: M_Group 에 포함된 샘플에 대해 숙련된 개발자가 구조화된 가이드라인에 따라 스멜 유무와 적절한 리팩토링 동작 (예: 어떤 라인을 추출할지, 어디로 이동할지) 을 지정합니다.
• 도구 지원: 개발 효율성을 높이기 위해 JetBrains IDE 플러그인 형태의 커스텀 주석 도구를 개발하여 원격 협업 및 대규모 주석을 지원했습니다.

3. 주요 기여 (Key Contributions)

1. SACS 데이터셋 구축: 제안된 반자동 방식을 통해 Long Method, Large Class, Feature Envy 3 가지 주요 코드 냄새를 아우르는 오픈소스 데이터셋을 공개했습니다.
   • 각 카테고리당 10,000 개 이상의 레이블이 지정된 샘플을 포함하며, 총 13,000 개 이상의 긍정적 (Positive) 샘플과 70,000 개 이상의 부정적 (Negative) 샘플을 포함합니다.
2. 고도화된 반자동 프레임워크: 기존 연구 (Zhang et al.) 를 확장하여 더 많은 스멜 유형을 지원하고, 생성 알고리즘 및 주석 도구를 업그레이드했습니다.
3. 효율성과 품질의 균형: 자동 생성의 확장성과 수동 검증의 정확성을 결합하여, 기존 방식들의 단점 (높은 비용 vs 낮은 품질) 을 해결했습니다.
4. 주석 도구 공개: 개발자가 IDE 내에서 효율적으로 데이터를 라벨링할 수 있는 오픈소스 플러그인을 제공했습니다.

4. 실험 결과 및 데이터셋 현황 (Results)

• 데이터 소스: JEdit, RxJava, Junit4 등 16 개의 오픈소스 Java 프로젝트를 코퍼스로 활용했습니다.
• 데이터셋 구성:
  • 학습용 데이터 (Training Set): 반자동 방식을 적용하여 생성. 총 20,000 개 이상의 샘플 (Long Method: 8,596, Large Class: 6,238, Feature Envy: 8,506).
  • 평가용 데이터 (Evaluation Set): 전 수동 검증을 통해 구성. 총 20,000 개 이상의 샘플.
• 배포: 생성된 데이터셋 (SACS) 은 GitHub 를 통해 공개되어 향후 연구의 벤치마크로 활용 가능합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 연구의 의의: 딥러닝 기반 코드 냄새 탐지 및 자동 리팩토링 연구를 위한 대규모 고품질 공공 벤치마크를 제공함으로써, 해당 분야의 연구 가속화에 기여합니다.
• 한계 및 향후 과제:
  • 그룹화 규칙의 한계로 인해 일부 오류 샘플이 존재할 수 있으나, 임계값 설정과 가능성 범위 (Possibility-range) 를 통해 전체 신뢰도를 확보했습니다.
  • 수동 검증 시 주석자 간 주관적 불일치가 완전히 제거되지는 않았으나, 향후 더 많은 개발자를 참여시키고 cross-validation 을 도입하여 편향을 줄일 계획입니다.
  • 추가적인 코드 냄새 유형으로 범위를 확장하고 데이터셋 규모를 더욱 확대할 예정입니다.

이 논문은 소프트웨어 공학 분야에서 데이터 부족이라는 핵심 문제를 해결하기 위해 자동화와 인간의 전문성을 결합한 실용적인 데이터 생성 전략을 제시했다는 점에서 중요한 의미를 가집니다.