기술 요약: 코드 언어 모델의 기능적 암기(Functional Memorization) 탐지

문제 정의

코드 코퍼스로 학습된 대규모 언어 모델(LLM)은 코드 생성에 점점 더 많이 사용되고 있다. 기존 연구는 모델이 학습 예제를 구문 그대로 또는 거의 그대로 재현하는 "학습 데이터 추출(training data extraction)"을 광범위하게 조사해 왔다. 그러나 기존의 감사 방법은 거의 전적으로 텍스트 유사도 지표(예: BLEU, 편집 거리)에 의존한다. 이러한 접근 방식은 중요한 위험을 포착하지 못한다: 바로 **기능적 암기(functional memorization)**이다.

코드는 텍스트적으로는 매우 다를 수 있지만 기능적으로는 동일할 수 있다. 변수명이 변경되거나, 제어 흐름이 재구성되거나, 주석이 추가 또는 삭제되거나, 혹은 동일한 로직을 구현하기 위해 완전히 다른 알고리즘이 채택될 수 있다. 만약 LLM이 학습 데이터로부터 고유한 기능적 로직(예: 트레이딩 알고리즘, 추천 규칙)을 내재화하고 이를 재구조화된 형태로 재현한다면, 표준적인 텍스트 기반 지표는 이러한 유출을 감지하지 못할 것이다. 본 논문은 표면적인 토큰 중첩을 넘어 "기능적 암기"를 탐지하고 정량화하는 데 있어 존재하는 간극을 다룬다.

방법론

저자들은 오픈 소스 Olmo-3-32B 모델의 학습 투명성을 활용하여, 일반화와 암기를 구분하기 위한 **역사실적 설정(counterfactual setup)**을 제안한다.

1. 실험 설정

• 대상 모델 ($M_T$): 특정 미드트레이닝(midtraining) 데이터(CraneCode, the-stack-v2-smol의 필터링된 하위 집합)에 노출된 Olmo-3-32B의 미드트레이닝 체크포인트.
• 참조 모델 ($M_R$): 동일한 아키텍처와 프리트레이닝을 공유하지만, 특정 미드트레이닝 데이터에는 노출되지 않은 Olmo-3-32B의 프리트레이닝 체크포인트.
• 데이터: CraneCode 코퍼스에서 추출한 7,422개의 파이썬 함수로, LLM-as-a-judge를 사용하여 "의미 있는 기능적 로직"(비즈니스 규칙, 고유 알고리즘)을 포함하도록 필터링되었다.
• 절차: 두 모델에 함수 시그니처와 최대 250개의 선행 토큰을 프롬프트로 제공한다. 모델은 탐욕적 디코딩(greedy decoding)을 사용하여 연속된 코드를 생성한다. 생성된 출력($x^*$)은 실제 학습 데이터($x$)와 비교된다.

2. 역사실적 기능적 암기의 정의

샘플은 다음 조건을 만족할 때 역사실적으로 기능적 암기된 것으로 정의된다:

1. 낮은 텍스트 중첩: 대상 생성물이 실제 데이터와 낮은 텍스트 유사도를 보임 ($SIM_{text} < \tau_{text}$).
2. 높은 기능적 중첩: 대상 생성물이 실제 데이터와 기능적으로 동일함 ($SIM_{func} \ge \tau_{func}$).
3. 역사실적 괴리(Counterfactual Divergence): 참조 모델(미노출 모델)은 동일한 프롬프트에 대해 기능적으로 동일한 출력을 생성하지 않음.

3. 평가 지표

본 연구는 다음과 같이 분류된 포괄적인 유사도 지표 세트를 사용한다:

• 텍스트 지표: Exact match, BLEU, Edit similarity, 그리고 Longest Common Substring (LCS).
• 구조적 지표: CodeBLEU (구문 및 데이터 흐름 변형) 및 Tree-Edit Distance (TSED).
• LLM-as-a-Judge: 의미적 유사성을 평가하기 위해 세 가지 별도의 프롬프트(Song et al., Nikiema et al., 그리고 저자의 커스텀 기능적 동등성 프롬프트)를 사용한다.
• 실행 기반(Execution-Based): 테스트 입력을 생성하고, 두 함수를 실행하며, 출력을 비교하여 기능적 동등성을 검증하는 2단계 탐지기인 HyClone을 사용한다.

주요 기여

1. 기능적 암기의 공식화: 본 논문은 Verbatim(구문 그대로) 복제와 기능적 암기를 구분함으로써, LLM으로부터 기능적 로직을 추출하는 개념을 정의하고 구체화한다.
2. 코드를 위한 역사실적 프레임워크: (이전에 자연어에서 사용되었던) 역사실적 암기 프레임워크를 코드로 적응시켰으며, Olmo-3의 특정 학습 투명성을 활용하여 엄격한 "노출 vs 미노출" 비교를 수행한다.
3. 포괄적인 지표 세트: 광범한 유사도 지표를 평가하여 텍스트 기반 지표가 기능적 유출을 탐지하는 데 불충분함을 입증한다.
4. 경험적 증거: 코드 LLM이 텍스트 중첩이 낮더라도 상당한 비율로 기능적 암기를 나타낸다는 첫 번째 대규모 증거를 제시한다.

결과

연구는 7,422개의 함수를 분석하였으며, 모든 지표에 걸쳐 참조 모델에서 대상 모델로의 체계적인 유사도 변화를 발견했다.

• Verbatim(구문 그대로) 암기: 선행 연구와 일치하게, 대상 모델은 참조 모델이 생성하지 못하는 Exact match(0.11%) 및 Near-verbatim match(BLEU $\ge$ 0.75, 0.58%)를 생성한다.
• 기능적 암기:
  • 구조적 지표: CodeBLEU (DFG)와 TSED는 낮은 BLEU 점수에도 불구하고 각각 1.8%와 2.1%의 샘플을 역사실적으로 암기된 것으로 식별했다.
  • LLM-as-a-Judge: 저자의 보수적인 기능적 동등성 프롬프트를 사용했을 때, **3.9%**의 샘플이 기능적으로 암기된 것으로 식별되었다 (낮은 BLEU, 높은 기능적 유사성, 그리고 역사실적 괴리 발생). 다른 프롬프트들은 더 높은 비율(최대 14.0%)을 나타냈으며, 이는 프롬프트 설계에 대한 민감도를 시사한다.
  • 실행 기반: 가장 엄격한 HyClone 테스트 하에서, 참조 모델이 실패했음에도 불구하고 **0.28%**의 생성이 학습 데이터와 기능적으로 동일함이 검증되었다. 이는 실행상의 어려움(예: 종속성 누락, 클래스 상태)으로 인한 하한선으로 간주된다.
• 지표 간 상관관계: 텍스트 지표(BLEU, Edit)는 서로 높은 상관관계를 보이지만, 실행 기반 지표(HyClone)와는 약한 상관관계를 보인다. 이는 텍ty 텍스트 지표가 서로 다른 신호를 포착하고 있음을 확인시켜 준다.

예시: 본 논문은 대상 모델이 학습 데이터의 하드코딩된 수수료 로직을 재구조화된 구현(다른 변수명 및 제어 흐름)을 사용하여 재현한 사례를 강조한다. 이때 텍스트 지표(BLEU = 0.26)는 이를 감지하지 못했으나, 기능적 지표(LLM-judge = 0.8, Execution = 0.95)는 성공적으로 감지했다.

의의 및 주장

본 논문은 텍스트 중첩에만 의존하는 현재의 감사 체계가 코드 모델에 대해 불충분하다고 주장한다. 결과에 따르면, 적절한 기능적 지표로 측정했을 때 기능적 암기는 구문 그대로의 암기와 유사한 차수의 규모로 발생한다.

저자들은 다음과 같이 주장한다:

• 모델은 표면 형식이 크게 바뀌더라도 고유한 로직을 내재화하고 재현할 수 있다.
• 텍스트 유사성에 기반한 기존의 개인정보 보호 및 지식재산권(IP) 보호 조치는 학습 데이터 유출 위험을 과소평가하고 있을 가능성이 높다.
• 텍스트 중첩을 넘어 구조적 분석, LLM 기반 의미 판단, 실행 기반 검증을 포함하는 감사 지표 개발이 시급하다.

본 연구는 실세계 코드 환경의 복잡성으로 인해 현재의 실행 기반 방법론이 여전히 한계가 있음을 언급하며, 더욱 강력한 감사 체계와 기능적 유사성 측정 기법의 발전을 촉구하며 결론을 맺는다.