False Proximity: Frozen Code Embeddings Invert Similarity on Behaviourally Divergent Mutant Pairs

기술 요약: 고정된 코드 임베딩에서의 허위 근접성 (False Proximity)

문제 정의
코드 검색, 클론 탐지, 결함 예측 파이프라인은 종종 경량화된 행동적 동등성(behavioral equivalence)의 대리 지표로서 CodeBERT와 같은 사전 학습된 모델의 고정된(frozen) 임베딩에 대한 코사인 유사도에 의존한다. 기존의 직관은 의미적으로 가까운 코드 조각들이 높은 코사인 유사도 점수를 산출할 것이라는 점이다. 그러나 이러한 직관은 두 코드 조각이 정반대의 결과를 계산하는 경우(예: 두 수 중 최댓값을 반환하는 함수와 최솟값을 반환하는 함수)와 같은 "극성 민감형(polarity-sensitive)" 시나리오에 대해 엄격하게 검증되지 않았다.

본 논문은 고정된 코드 임베딩이 행동적으로 동등한 쌍(동일한 문제에 대한 독립적으로 작성된 솔루션들)과 행동적으로 발산하는 변이 쌍(프로그램의 출력을 반전시키는 단일 지점 변이)을 구분할 수 있는지 조사한다. 저자들은 변이 쌍이 원본과 어휘적 및 구조적으로 거의 동일한 반면, 동등한 쌍은 스타일 면에서 다양하기 때문에, 마스크 언어 모델링(극성을 구분하는 신호 없이)으로 학습된 임베딩 모델이 이 두 클래스를 분리하는 데 실패할 것이라고 가설을 세웠다. 구체적으로, 이들은 임베딩 유사도 신호가 단순히 실패하는 것(무작위 노이로제)인지, 아니면 **역전(inversion)**되는 것인지(발산하는 변이를 동등한 쌍보다 더 유사한 것으로 순위를 매기는 현상)를 테스트한다.

연구 방법론
본 연구는 도메인 변화(domain-shift)로 인한 혼란을 제거하기 위해 Project CodeNet Python800으로부터 완전히 파생된 통제된 벤치마크를 구축하였다.

1. 데이터셋 구축:

   • 출처: 800개의 문제, 각 문제당 300개의 채점 통과 Python 제출물.
   • 동등한 쌍 (Equivalent Pairs): 독립적으로 작성되고 실행으로 검증된 솔루션 800쌍 (732개는 오라클 검증, 67개는 합의 검증 완료).
   • 변이 쌍 (Mutant Pairs): 단일 지점 추상 구문 트리(AST) 변환을 통해 생성된 1,833쌍의 변이. 변이는 "살해된(killed)" 경우(모든 사용 가능한 오라클 입력에 대해 출력이 원본과 달라지는 경우)에만 유지됨.
   • 변이 카테고리:
     • COD (조건 연산자 삭제/삽입): 조건 반전 (예: if x를 if not x로 변경).
     • ROR (관계 연산자 교체): 연산자를 논리적 보완 관계로 교체 (예: <를 >=로 변경).
     • AI (알고리즘 반전): 주요 연산 반전 (예: min/max 스왑, 정렬 방향 반전).
   • 분석 세트: 동등한 쌍과 변이 쌍이 모두 존재하는 784개 문제에 걸친 2,617개 쌍.
   • 검증: 두 명의 외부 박사급 주석가에 의한 상호 검증 신뢰도(IRR) 결과 Cohen's $\kappa = 0.925$ 달성.

2. 실험 설계:

   • 모델: 세 가지 고정된 인코더: CodeBERT, GraphCodeBERT, UniXcoder.
   • 구성: [CLS]와 평균 풀링(mean pooling)을 모두 포함한 CodeBERT 레이어 6, 9, 12를 포함하여 총 8가지 구성.
   • 지표:
     • AUC-ROC: 동등한 쌍이 변이 쌍보다 높은 점수를 받을 확률. 우연한 확률은 0.5이며, 0.5 미만은 체계적인 역전을 나타냄.
     • 허위 고유사도율 (FHSR): 동등한 쌍 분포의 상위 75 백분위수를 초과하는 변이 쌍의 비율.
     • 젠슨-샤논 발산 (JSD): 분포 간의 분리 정도를 측정.
   • 학습 없는 보정 (Training-Free Corrections): 등방성 보정(whitening, all-but-the-top) 또는 고정된 대조 학습 인코더(CodeSage)가 실패를 복구할 수 있는지 평가한다.
   • 하이브리드 모델 (RQ3): 코사인 유사도와 정규화된 AST 편집 거리(APTED 사용)를 결합하여 구조적 신호가 극성 오류를 수정할 수 있는지 테스트한다.

주요 결과

• 체계적 역전 (RQ1): 8가지 모든 임베딩 구성에서 모델은 구분에 실패했다. AUC는 우연한 수준인 0.5보다 훨씬 낮은 0.017 (UniXcoder)에서 0.090 (CodeBERT CLS, Layer 12) 사이였다. 이는 약 10번 중 9번의 비교에서, 행동적으로 발산하는 변이가 두 개의 독립적으로 작성된 올바른 솔루션 간의 유사도보다 원본과 더 유사한 것으로 측정됨을 의미한다.

  • FHSR은 일관되게 높게 나타났다 (0.870 ~ 0.978). 이는 거의 모든 변이 쌍이 "충분히 유사하다"고 판단하는 임계값을 초과함을 의미한다.
  • 이 실패는 토큰 중복을 제어했을 때도(일치하는 하위 집합에서도 AUC < 0.5 유지) 지속되었다.

• 카테고리 간 균일성 (RQ2): 역전 현상은 변이 유형에 관계없이 균일하게 나타났다. COD, ROR, AI는 통계적으로 구별 불가능한 혼란율(FHSR $\approx$ 0.87)을 보였다. 토큰 중복이 혼란에 기여하지만, 그것만으로는 이를 완전히 설명할 수 없으며, 임베딩 기하학 자체가 근접성을 유도한다.

• 학습 없는 보정의 실패 (RQ1 & RQ3):

  • 등방성 보정: 임베딩에 whitening 또는 "all-but-the-top" 변환을 적용하면 오히려 구별 능력이 악화되어 (AUC가 0.004–0.024로 하락) 표면 중심의 근접성을 드러냈다.
  • 대조 학습 인코더: 고정된 대조 학습 인코더(CodeSage) 또한 역전된 유사도를 보였다 (AUC = 0.016). 이는 특정 극성 부정(polarity-negative) 쌍이 없는 표준 대조 학습 목적 함수는 불충분함을 시사한다.
  • 하이브리드 모델: 코사인 유사도와 AST 편집 거리를 결합한 모델(RQ3)은 실패를 더욱 심화시켰다. 단일 지점 변이는 구조적으로 원본과 거의 동일하기 때문에 (AST 거리 $\approx$ 0), 구조적 항이 높은 유사도를 부여하여 잘못된 순위를 강화한다. 최적의 하이브리드 모델은 0.002의 AUC를 기록했으며, FHSR은 1.000에 도달했다.

의의 및 주장
본 논문은 이러한 실패가 CodeBERT가 원래의 작업(코드 검색, Type-1/2 클론 탐지)을 수행하는 능력 자체의 결함이 아니라, 고정된 임베딩 유사성을 극성 민감형 동등성 결정에 적용할 때 발생하는 결과라고 주장한다.

• 표면 근접성 vs. 행동적 동등성: 이 맥락에서의 높은 코사인 유사도는 행동적 합의가 아닌 표면적 근접성(어휘적 및 구조적 근접성)을 반영한다.
• 휴리스틱의 한계: 본 연구는 기하학적(등방성 보정) 또는 구조적(AST 거리) 방식의 학습 없는 해결책이 이러한 역전을 복구할 수 없음을 입증한다. 오히려 구조적 유사성이 변이가 원본의 '거의 쌍둥이'이기 때문에 오류를 강화하는 혼란 요인으로 작용한다.
• 실무적 시사점: 고정된 CodeBERT 임베딩을 사용하여 로직이 반전된 근접 중복 코드를 다루는 코드 검색, 클론 스크리닝 또는 결함 예측을 수행하는 실무자들은 높은 유사도 점수를 기능적 동등성의 증거로 신뢰해서는 안 된다. 저자들은 현재 사용 가능한 어떤 학습 없는 신호로도 이 모호함을 해결할 수 없으므로, 대조 학습 미세 조정(특정 극성 부정 쌍 포함) 또는 실행 기반 검증이 필수적인 경로라고 결 결론짓는다.

본 연구 결과는 Python과 테스트된 특정 고정 인코더 모델에 국한된다. 저자들은 이러한 역전 현상이 통제된 벤치마크에서 확립되었으나, 실제 프로덕션 코드나 다른 언어에 대한 적용 가능성은 여전히 열려 있는 경험적 문제임을 언급하였다.