기술 요약: 거인의 어깨 위에 서기: 교차 언어 코드 클론 탐지를 위한 안정화된 지식 증류

문제 정의

교차 언어 코드 클론 탐지 (X-CCD) 는 서로 다른 프로그래밍 언어로 작성된 기능적으로 동등한 코드 조각을 식별하는 것을 목표로 합니다. 이 작업은 의미적으로 동등한 프로그램이 종종 표면 수준의 구문적 유사성을 결여하고 있기 때문에 단일 언어 탐지보다 훨씬 더 어렵습니다. 대규모 언어 모델 (LLM) 이 의미 추론에서 유망한 성과를 보였음에도 불구하고, X-CCD 에 적용할 때는 세 가지 주요 한계에 직면합니다:

1. 블랙박스 제약: 독점 모델은 비용, 개인정보 보호 및 재현성에 대한 우려를 제기합니다.
2. 경량 모델의 신뢰성: 작고 오픈 소스인 모델들은 복잡한 추론 프롬프트를 따르는 데 어려움을 겪으며, 일관되게 이진 클론/비클론 레이블로 매핑 가능한 출력을 생성하지 못합니다.
3. 출력 불안정성: 생성 기반 추론은 종종 모호하거나 파싱 불가능한 응답을 산출하여 낮은 "응답률"(유효한 이진 결정을 산출하는 입력의 비율) 과 신뢰할 수 없는 평가 지표를 초래합니다.

방법론

저자들은 강력한 교사 모델로부터 추론 능력을 경량 학생 모델로 전이하기 위해 지식 증류 (KD) 와 응답 안정화를 결합한 프레임워크를 제안합니다.

1. 지식 증류 파이프라인

• 교사 모델: DeepSeek-R1 을 교사 모델로 사용하여 교차 언어 코드 쌍에 대한 고품질의 "시스템 2 스타일" 추론 흔적 (느리고, 신중하며, 단계별 분석) 을 생성합니다.
• 학생 모델: 두 개의 경량 지시 미세 조정 자기회귀 모델인 Phi-3-Mini와 Qwen2.5-Coder-3B를 사용합니다.
• 데이터 구성:
  • 시드 데이터: 기능적 정확성을 보장하기 위해 승인된 제출물을 필터링한 Project CodeNet 에서 파생됩니다. 쌍은 Python–Java, Rust–Java, Rust–Python, Rust–Ruby 네 가지 언어 조합을 대상으로 형성됩니다.
  • 합성 학습 데이터: 교사 모델은 기능 비교, 알고리즘적 추론, 구조적 분석 및 최종 결론을 요구하는 구조화된 프롬프트를 사용하여 시드 쌍을 처리합니다.
  • 필터링: 교사 모델의 예측 레이블이 실제 정답 (ground truth) 과 일치하는 샘플만 노이즈 전파를 방지하기 위해 유지됩니다.
  • 변형: 연구는 프롬프트 구조와 교사 출력 구성 요소 (추론만, 결론만, 또는 둘 다) 에 기반하여 다섯 가지 데이터셋 변형을 평가합니다. RRC 변형 (추론 프롬프트 + 추론 + 결론 출력) 이 가장 효과적인 것으로 확인되었습니다.
• 미세 조정: 학생 모델은 전체 파라미터 업데이트 없이 교사 모델의 추론 패턴과 결정 경계를 효율적으로 학습하기 위해 LoRA(저랭크 적응) 를 사용하여 미세 조정됩니다.

2. 응답 안정화 방법

파싱 불가능한 출력 문제를 해결하기 위해 모든 입력을 이진 레이블로 매핑하여 100% 응답률을 보장하는 세 가지 방법이 소개됩니다:

• 강제 결론: 2 단계 추론 프로세스입니다.
  • 1 단계: 모델이 자유 형식의 추론 응답을 생성합니다.
  • 2 단계: 후속 프롬프트를 통해 모델에게 이전 추론을 기반으로 결정하도록 요청합니다. 텍스트를 생성하는 대신, 최종 은닉 상태의 "Yes"와 "No" 토큰 확률을 비교하여 결정을 내립니다.
• 이진 분류 헤드: 고정된 언어 모델의 풀링된 은닉 표현에 경량 분류기를 연결합니다. 이진 교차 엔트로피 손실을 사용하여 임베딩에서 이진 레이블로의 직접적인 매핑을 학습하며, 추론 중 텍스트 생성이 필요하지 않습니다.
• 대조적 분류 헤드: 이진 헤드와 유사하지만 추가적인 지도 대조 손실로 훈련됩니다. 이 목적은 클론 쌍은 유사한 임베딩을 갖도록 하고 비클론 쌍은 더 멀리 떨어지도록 하여 분포 변화 하에서의 견고성을 향상시키는 것을 목표로 합니다.

실험 설정

• 데이터셋: 실험은 네 가지 언어 쌍에 걸쳐 동일 분포 (SD) 및 상이 분포 (DD) 테스트 세트를 다룹니다.
• 베이스라인: 기본 학생 모델의 제로샷 성능을 KD 미세 조정된 대응 모델과 비교합니다.
• 지표: 정밀도, 재현율, F1 점수 및 응답률(이진 레이블로 성공적으로 매핑된 입력의 백분율) 을 측정합니다.

주요 결과

1. 지식 증류의 영향 (RQ2)

• 응답률: KD 는 경량 모델의 신뢰성을 크게 향상시킵니다. 예를 들어, Rust–Ruby(SD) 에서 Qwen-Coder 의 응답률은 24.3% 에서 67.7% 로 증가했습니다. DD 문제에서는 개선 폭이 더욱 두드러졌습니다 (예: Python–Java DD 에서 Phi3 는 34.6% 에서 53.8% 로 상승).
• 일반화: KD 는 일관되게 상이 분포 (DD) 테스트 세트의 F1 점수를 향상시켜, 데이터셋 특정 휴리스틱이 아닌 고차원 추론 패턴의 전이를 시사합니다.
• 모델 민감도: Qwen-Coder 는 Phi3 에 비해 KD 로부터 불균형적으로 더 큰 혜택을 받아, SD 에서 약 27 점, DD 에서 약 23 점의 확장된 F1 개선을 달성한 반면, Phi3 는 각각 약 7 점과 약 9 점의 개선을 보였습니다.

2. 응답 안정화 성능 (RQ3)

• 강제 결론: 이 방법은 완전성과 정확성 사이의 가장 좋은 균형을 달성했습니다. KD 와 결합될 때, 100% 응답률로 모든 설정에서 일관된 F1 점수 (70~75 범위) 를 산출했습니다.
• 분류 헤드: 이러한 방법들은 100% 응답률을 달성하고 추론 시간을 (수 시간에서 수 분으로) 획기적으로 단축시켰지만, 특히 이진 헤드 변형에서 재현율 감소로 인해 강제 결론 접근법보다 일반적으로 낮은 F1 점수를 보였습니다.
• 효율성 대 정확성: 이진 및 대조적 헤드는 생성 기반 방법에 비해 추론 시간을 약 200~400 배 단축하여, 지연 시간이 중요한 대규모 배포를 위한 실용적인 대안을 제공합니다.

3. 베이스라인 성능 (RQ1)

• 작은 오픈 소스 모델들은 비과소평가할 수 있는 제로샷 능력을 보였으나, 낮은 응답률(종종 50% 미만) 과 보지 못한 문제 분포에서의 낮은 견고성으로 고통받았습니다. 안정화 없이는 원시 생성 추론이 실용적인 배포에 불충분한 것으로 판단되었습니다.

중요성 및 기여

본 논문은 다음과 같은 기여를 주장합니다:

1. 최초의 추론 지향 데이터셋: DeepSeek-R1 을 사용하여 네 가지 언어 쌍을 포괄하고 시스템 2 추론을 유발하도록 설계된 교차 언어 CCD 를 위한 합성 학습 데이터셋 (10,671 개 샘플) 생성.
2. 증류 형식의 체계적 분석: CCD 특정 추론 증류에 가장 효과적인 "추론 + 결론"(RRC) 형식 식별.
3. KD 유효성 입증: Phi3 및 Qwen-Coder 와 같은 경량 모델의 응답률과 예측 성능 (특히 분포 변화 하에서) 을 모두 향상시킨다는 KD 의 증거 제시.
4. 응답 안정화 프레임워크: 100% 응답률을 달성하기 위한 세 가지 방법 도입. 특히 강제 결론 기술에 중점을 두어 추론 능력을 유지하면서도 유효한 이진 결정을 보장합니다.
5. 실용적 트레이드오프: 강제 결론이 가장 높은 정확도를 제공하지만, 분류 헤드는 비용이 많이 드는 독점 API 에 의존하지 않고 X-CCD 시스템의 로컬 배포를 가능하게 하는 매우 효율적인 대안을 제공한다는 상세 분석.

저자들은 경량 오픈 소스 모델을 통한 실용적인 X-CCD 를 위해서는 강력한 교사로부터 작업 특정 추론을 증류하고, 결정론적이고 실행 가능한 예측을 보장하기 위해 출력 공간을 안정화하는 이중 접근법이 필요하다고 결론 내립니다.