Can Code Evaluation Metrics Detect Code Plagiarism?

Fahad Ebrahim 와 Mike Joy 가 작성한 논문 **"Can Code Evaluation Metrics Detect Code Plagiarism?"**에 대한 상세한 기술적 요약입니다.

1. 문제 제기

소스 코드 표절 탐지 (SCPD) 는 소프트웨어 공학 교육에서 학문적 정직성을 유지하는 데 필수적입니다. 전용 SCPD 도구가 존재하지만, 코드 생성, 번역, 요약 작업을 평가하기 위해 원래 설계된 **코드 평가 지표 (CEMs)**가 다양한 수준의 코드 수정을 거친 표절을 효과적으로 탐지할 수 있는지는 여전히 불분명합니다.

표절은 Faidhi 와 Robinson 분류 체계에 따라 6 가지 수정 수준 (L1–L6) 으로 분류됩니다:

• L1–L3 (구문적): 포맷 변경, 식별자 이름 변경, 문장 순서 변경.
• L4–L5 (구조적): 함수 재구성, 루프 교체, 제어 구조 변경.
• L6 (의미론적): 전체 동작을 유지하면서 내부 결정 로직 변경.

핵심 연구 질문은 토큰, 구문 트리, 또는 임베딩을 통해 유사성을 측정하는 CEM 들이 이러한 복잡한 수정 수준 전반에 걸쳐 전용 SCPD 도구와 경쟁하여 표절 쌍을 비표절 쌍보다 상위에 랭킹할 수 있는지 여부입니다.

2. 방법론

저자들은 고정된 의사결정 임계값과 관련된 민감성 문제를 피하기 위해 **임계값 없는 순위 기반 측정치 (AUROC 및 AUPRC)**를 사용한 비교 실증 연구를 수행했습니다.

데이터셋

두 가지 오픈 소스 레이블이 지정된 Java 데이터셋이 사용되었습니다:

1. ConPlag: 경쟁 프로그래밍에서 추출된 911 쌍 (251 개 표절, 660 개 비표절). **Raw (ConPlag1)**와 Template-free (ConPlag2) 버전으로 제공됩니다.
2. IRPlag: 입문 프로그래밍 작업을 다루는 460 쌍 (365 개 표절, 95 개 비표절).
   참고: 데이터셋은 수동으로 L1–L6 표절 수준이 레이블링되었습니다.

평가된 지표 및 도구

이 연구는 5 가지 CEM 을 두 가지 최첨단 (SOTA) SCPD 도구와 비교했습니다:

• CEMs:
  • CodeBLEU: n-gram, 가중 n-gram, AST, 데이터 흐름 매칭을 결합합니다.
  • CrystalBLEU: 템플릿으로 인한 오탐지를 줄이기 위해 빈번한 n-gram(보일러플레이트) 을 필터링하여 BLEU 를 수정합니다.
  • RUBY: 프로그램 의존성 그래프 (PDG) 를 사용하며, AST 나 가중 문자열 편집 거리로 대체합니다.
  • TSED (트리 구조 편집 거리): 한 AST 를 다른 AST 로 변환하는 비용을 측정합니다.
  • CodeBERTScore: CodeBERT 의 컨텍스트 임베딩을 사용합니다.
• SOTA 도구:
  • JPlag: Greedy String Tiling(어휘/토큰 매칭) 기반입니다.
  • Dolos: 토큰화, AST 파싱, 롤링 해시 지문 인식을 사용하는 하이브리드 도구입니다.

실험 설정

• 전처리: 중요한 변수입니다. 주석, 추가 공백, Java import/package 문장을 제거하여 노이즈와 토큰 길이를 줄였습니다 (CodeBERTScore 의 512 토큰 제한에 중요함).
• 평가: 성능은 AUROC(모든 임계값에 걸친 순위 능력) 와 AUPRC(불균형 데이터셋에 필수적인 정밀도 - 재현율 트레이드오프) 를 사용하여 측정되었습니다.
• 퓨전: 상위 3 개 성능 CEM(CrystalBLEU, CodeBLEU, RUBY) 의 점수를 평균화한 탐색적 "FusionTop3" 지수가 생성되었습니다.

3. 주요 기여

1. 체계적 평가: 여러 데이터셋을 사용하여 6 가지 표절 수준 (L1–L6) 전반에 걸쳐 CEM 을 SCPD 용으로 평가한 최초의 포괄적 연구입니다.
2. 전처리의 영향: 전처리가 단순한 보조 단계가 아니라 방법론의 순서를 바꿀 수 있는 결정적 요소임을 입증했으며, 종종 CEM 이 전용 도구를 능가하도록 했습니다.
3. 성능 벤치마킹: CEM 이 JPlag 및 Dolos 와 같은 확립된 도구와 비교할 만한 성능을 달성하고, 경우에 따라 이를 초과할 수 있음을 보여주었습니다. 특히 결합되었을 때 두드러집니다.
4. 수준별 통찰: L1–L3 는 쉽게 탐지되지만, L4 이후부터 성능이 급격히 저하됨을 확인하여 구조적 및 의미론적 표절 탐지의 어려움을 강조했습니다.

4. 주요 결과

전체 성능 (데이터셋 통합)

• 전처리 없이:
  • Dolos가 가장 높은 전체 AUROC(0.864) 를 달성했습니다.
  • CEM 중 CrystalBLEU(0.850), CodeBLEU(0.837), RUBY(0.822) 가 JPlag(0.777) 보다 우수했습니다.
  • FusionTop3(0.861) 은 Dolos 와 거의 맞먹는 성능을 보였습니다.
• 전처리 적용 시:
  • 전처리가 CEM 성능을 크게 향상시켰습니다.
  • FusionTop3(0.882) 과 CrystalBLEU(0.879) 가 전체 AUROC 에서 Dolos(0.864) 를 초과했습니다.
  • CrystalBLEU가 개별 지표 중 가장 우수해졌으며, 이는 공통 템플릿과 보일러플레이트 코드를 필터링하는 능력 덕분일 가능성이 높습니다.

표절 수준별 성능

• L1–L3 (구문적): 모든 방법이 매우 잘 수행되었습니다 (AUROC > 0.90).
• L4–L6 (구조적/의미론적): L4부터 모든 방법의 성능이 급격히 저하되었습니다.
  • Dolos는 특히 L4에서 가장 강력하게 유지되었습니다.
  • CrystalBLEU와 FusionTop3는 대부분의 다른 어려운 수준 (L5, L6) 에서 주도했습니다.
  • CodeBERTScore와 TSED는 크게 어려움을 겪었으며, CodeBERTScore 는 많은 경우 표절 쌍과 비표절 쌍을 구분하지 못해 (양쪽 모두에 높은 유사성 점수를 부여하는 등) 실패했습니다.

데이터셋별 세부 사항

• IRPlag: 클래스 불균형 (표절 쌍이 더 많음) 으로 인해 정밀도 - 재현율 (AP) 은 높았으나 AUROC 는 낮았습니다. 여기서 CrystalBLEU가 가장 높은 AUROC 를 달성했습니다.
• ConPlag: Dolos가 Raw ConPlag1 데이터셋에서 가장 잘 수행된 반면, CrystalBLEU는 Template-free ConPlag2 에서 탁월했습니다.

5. 중요성 및 함의

• CEM 의 타당성: 특히 전처리가 적용되고 지표가 퓨전될 때 CEM 은 전용 SCPD 도구의 실용적인 대안이 됩니다.
• 교육에서의 역할: CEM 은 최종 자동 판단을 내리기보다는 잠재적 표절 사례를 선별하고 순위 매기는 데 가장 적합합니다. 복잡한 시나리오 (L4–L6) 에서의 높은 오탐지율은 인간 강사의 검토를 필요로 합니다.
• 현재 도구의 한계: L4+ 에서의 성능 저하는 현재 어휘 및 구조적 방법이 깊은 의미론적 변화를 처리하는 데 어려움을 겪고 있음을 나타냅니다. 향후 도구는 프로그램 동작과 의미론적 동등성을 더 잘 포착해야 합니다.
• 권장 사항: 하이브리드 워크플로우가 제안됩니다:
  1. 코드를 전처리합니다.
  2. 강력한 순위 지표 (예: CrystalBLEU) 를 사용하여 의심스러운 쌍을 플래그합니다.
  3. 전용 도구 (Dolos/JPlag) 와 수동 검사를 통해 확인합니다.

6. 한계 및 향후 작업

• 한계: 연구는 Java 로 제한되었으며, 결과는 다른 언어로 일반화되지 않을 수 있습니다. 하이퍼파라미터 튜닝 없이 기본 설정이 사용되었습니다. 표절 수준의 수동 레이블링은 잠재적 편향을 도입합니다.
• 향후 방향: L5–L6 표절을 처리하기 위해 CEM 과 의미론적 분석을 결합하는 시스템 개발, 언어 간 표절 탐구, AI 생성 또는 AI 난독화 코드 조사.

이 논문은 Dolos 와 같은 전용 도구가 강력하지만, 특히 전처리되고 결합된 코드 평가 지표가 소스 코드 표절 탐지에 있어 경쟁력 있고 경우에 따라 더 우월한 접근법을 제공한다고 결론지었습니다.