🤖 AI

Efficient and Scalable Provenance Tracking for LLM-Generated Code Snippets

본 논문은 LLM 생성 코드의 확장 가능하고 고정밀도 출처 추적을 가능하게 하기 위해 벡터 검색과 고전적 지문 인식을 결합하여 수십억 규모의 코퍼스 내에서 잠재적 훈련 소스를 효율적으로 식별하는 SOURCETRACKER 와 그 하이브리드 2 단계 파이프라인인 HYBRIDSOURCETRACKER 를 소개합니다.

원저자: Andrea Gurioli, Davide D'Ascenzo, Federico Pennino, Maurizio Gabbrielli, Stefano Zacchiroli

게시일 2026-05-28

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Andrea Gurioli, Davide D'Ascenzo, Federico Pennino, Maurizio Gabbrielli, Stefano Zacchiroli

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 맛있는 새로운 요리를 만든 요리사라고 상상해 보세요. 당신의 레시피가 특정 요리책에서 영감을 받았는지, 아니면 우연히 유명 요리사의 작품을 단어 그대로 베꼈는지 알고 싶을 것입니다. 이제 인간 요리사 대신 '요리사'가 수십억 권의 요리책을 읽은 초지능 AI(대규모 언어 모델)라고 상상해 보세요.

문제는 다음과 같습니다: AI 가 레시피를 복사하더라도 종종 재료 이름을 바꾸거나(예: '설탕'을 '감미료'로 교체) 단계를 약간 재배열합니다. 표절 여부를 확인하는 전통적인 방법은 전 세계의 모든 요리책의 모든 페이지를 일일이 읽어서 일치하는 것을 찾아야 하는 사서와 같습니다. 도서관에 수십억 권의 책이 있다면, 이 사서는 정답을 찾는 데 수년이 걸릴 것입니다.

이 논문은 이 문제를 해결하기 위해 SOURCETRACKER라는 새로운 초고속 시스템과 **HYBRIDSOURCETRACKER(HST)**라는 두 단계 프로세스를 소개합니다. 간단한 비유를 사용하여 작동 원리를 설명하겠습니다:

1. 문제: "수십억 개의 건초더미 속의 바늘"

저자들은 AI 모델이 때로는 학습에 사용된 데이터의 일부를 '기억'한다고 설명합니다. 코드를 생성할 때, 몇 가지 변수 이름을 바꾸었더라도 학습 데이터의 코드 조각과 거의 동일한 조각을 내뱉을 수 있습니다.

옛 방법 (윈노잉): 수십억 권의 책으로 이루어진 도서관에서 모든 책을 처음부터 끝까지 읽으며 특정 문장을 찾는다고 상상해 보세요. 정확하지만 매우 느립니다. 도서관이 커지면 소요 시간도 함께 증가합니다 (선형 시간).
새로운 과제: 현대 AI 학습 세트는 너무 방대합니다 (수십억 개의 조각). 따라서 모든 것을 읽는 옛 방법은 실용적일 정도로 느립니다.

2. 해결책: 2 단계 탐정 팀

저자들은 코드의 원천을 빠르고 정확하게 찾기 위해 2 단계 탐정 팀처럼 작동하는 하이브리드 시스템을 개발했습니다.

1 단계: "스마트 스니퍼"(SOURCETRACKER)

먼저, SOURCETRACKER라는 특수 AI 모델을 구축했습니다. 이는 특정 냄새를 맡을 수 있도록 훈련된 개라고 생각하세요.

이 모델은 모든 단어를 읽는 대신 코드를 '냄새 프로필'(수학적 벡터) 로 변환합니다.
이는 초고속 지도 역할을 하는 고품질 데이터베이스(Qdrant) 를 사용합니다. 도서관 전체를 검색하는 대신, 개는 공기를 맡아 냄새와 일치하는 가장 가능성 높은 상위 100 권의 책을 즉시 가리킵니다.
속도: 이 단계는 놀라울 정도로 빠릅니다. 수십억 권의 책이 있더라도 밀리초 단위로만 소요되는데, 이는 '로그arithmic' 검색을 사용하기 때문입니다 (모든 페이지를 읽는 대신 색인을 확인한 다음 선반을 확인하고 책을 찾는 방식).

2 단계: "감식 전문가"(윈노잉)

'스마트 스니퍼'가 상위 100 개의 후보로 범위를 좁히면, 두 번째 탐정이 등장합니다. 이는 고전적인 윈노잉 알고리즘입니다.

이는 상위 100 권의 책을 살펴보고 페이지의 지문을 확인하는 감식 전문가라고 생각하세요.
일부 단어가 변경되었더라도 코드의 정확한 구조를 비교하여 일치 여부를 확인합니다.
수십억 권이 아닌 100 권의 책만 확인하면 되므로 이 단계도 매우 빠릅니다.

3. 결과: 빠르고 정확함

이 논문은 1 천만 개의 코드 조각으로 구성된 대규모 데이터셋에서 이 시스템을 테스트했습니다. 그들이 발견한 내용은 다음과 같습니다:

짧은 조각: 코드 조각이 매우 짧다면 (단어 하나처럼), '스마트 스니퍼'는 완벽하지 않으며 정확한 일치를 찾는 데는 여전히 고전적인 '감식 전문가'(윈노잉) 가 더 낫습니다.
더 긴 조각: 코드 조각이 더 길다면 (60 단어 이상), **하이브리드 시스템(HST)**은 기존 방법 단독보다 실제로 더 좋은 성능을 발휘합니다. 초고속 상태를 유지하면서 올바른 원천을 더 자주 찾아냅니다.
"거의 맞는" 일치: 저자들은 결과를 판단하기 위해 또 다른 AI 를 사용했습니다. 그들은 시스템이 정확한 원래 코드(그라운드 트루스) 를 찾지 못했을 때조차도 매우 유사한 코드를 종종 찾았다는 사실을 발견했습니다. 이는 사용자에게 "이 코드가 정확한 원본은 아니더라도 이 코드 계열에서 나온 것처럼 보입니다"라고 알려주기 때문에 유용합니다.

4. 왜 이것이 중요한가

이 논문은 AI 생성 코드가 윤리적이고 합법적이기 위해서는 그 출처를 알아야 한다고 주장합니다.

투명성: 이 시스템은 사용자가 AI 생성 코드가 단순히 다른 사람의 작품의 복사본인지 확인할 수 있도록 돕습니다.
확장성: 이는 수십억 권의 책으로 이루어진 도서관에서 표절을 확인하는 데 수년이 아니라 눈 깜짝할 사이로 가능함을 입증합니다.

주의점

저자들은 한계에 대해 솔직합니다:

도서관이 필요합니다: 이 시스템을 사용하려면 원래 학습 데이터(책 도서관) 에 접근할 수 있어야 합니다. AI 가 볼 수 없는 비밀 데이터로 학습되었다면 출처를 추적할 수 없습니다.
창의적 변경: AI 가 코드를 너무 많이 변경하면 (변수 이름 변경이 아닌 논리를 완전히 다시 쓰는 경우), 시스템이 연결 관계를 찾기 어려워할 수 있습니다.

요약하자면: 이 논문은 AI 생성 코드의 원천을 찾기 위해 수십억 개의 코드 조각을 즉시 스캔할 수 있는 '스마트 스니퍼'와 '감식 전문가' 팀을 제시하며, 특히 긴 코드 조각의 경우 속도와 높은 정확도 사이의 균형을 맞춥니다.

기술 요약: LLM 생성 코드 스니펫을 위한 효율적이고 확장 가능한 출처 추적

문제 제기
코드 완성 및 생성을 위한 대규모 언어 모델 (LLM, 예: Codex, CodeLlama, StarCoder) 의 급증은 표절 및 라이선스 준수와 관련된 중대한 법적, 윤리적 도전을 야기했습니다. LLM 은 훈련 데이터를 "암송"하여 출처 표시 없이 코드를 그대로 또는 식별자 이름 변경과 같은 사소한 적응을 거쳐 재현할 수 있습니다. MOSS 시스템에서 사용된 Winnowing 과 같은 고전적인 지문 인식 기술은 표절 탐지에 효과적이지만, 선형 시간 검색 알고리즘에 의존합니다. 이 접근 방식은 종종 수십억 개의 샘플을 초과하는 현대적인 사전 훈련 코퍼스에 대해 계산적으로 실용적이지 않습니다. infinity-gram 검색과 같은 기존 확장 가능 솔루션은 로그 시간 복잡도를 제공하지만, 노이즈와 코드 적응에 매우 민감하여 LLM 출력에서 흔히 발생하는 비문자 그대로의 유사성을 탐지하지 못합니다.

방법론
저자들은 확장성과 높은 탐지 정확도 사이의 균형을 맞추도록 설계된 하이브리드 2 단계 출처 추적 파이프라인인 **HYBRIDSOURCETRACKER(HST)**를 제안합니다. 이 시스템은 벡터 데이터베이스 검색과 전통적인 지문 인식을 통합합니다:

SOURCETRACKER(1 단계): Contrastive Language-Image Pre-training (CLIP) 손실로 미세 조정된 300M 파라미터 양방향 인코더입니다. 이 모델은 작은 코드 조각의 벡터 표현을 해당 완전한 소스 스니펫과 정렬하도록 훈련됩니다. 이는 THESTACKV2의 1000 만 개 코드 스니펫 데이터셋을 활용합니다. 훈련 중 모델은 문자 그대로의 복사본 (1 형 클론) 과 빈번한 식별자가 확률적으로 무작위 문자열로 대체된 "적응된" 조각 (2 형 클론) 에 노출되어 도메인 적응을 시뮬레이션합니다.
- 검색: 추론 시 코드 조각이 인코딩되어 Qdrant 벡터 데이터베이스 (HNSW 인덱싱 사용) 에 쿼리되어 상위 100 개의 가장 유사한 후보 스니펫을 검색합니다. 이 단계는 데이터셋 크기에 대해 로그 시간 복잡도 ( $O(\log N)$ ) 로 작동합니다.
Winnowing 재순위화 (2 단계): SOURCETRACKER 가 검색한 상위 100 개 후보는 Winnowing 알고리즘에 부합됩니다. 이 단계는 후보와 쿼리 조각에 대해 구문 지문 (해시) 을 생성하고, 지문 집합의 정확한 자카드 유사도에 기반하여 이를 재순위화합니다. Winnowing 프로세스를 고정된 크기의 후보 집합 (100 개 항목) 으로 제한함으로써, 전체 시스템은 지문 인식의 노이즈 내성을 활용하면서도 로그 시간 복잡도를 유지합니다.

주요 기여

SOURCETRACKER 모델: 작은 조각에서 완전한 코드 스니펫을 검색하도록 특별히 미세 조정된 300M 파라미터 인코더를 공개하며, 문자 그대로의 코드와 적응된 코드 모두를 처리할 수 있습니다.
HST 파이프라인: 벡터 검색과 Winnowing 을 순차적으로 결합하는 하이브리드 방법론을 도입했습니다. 이 접근 방식은 이론적으로 로그 검색 시간 복잡도를 보장하면서도 전통적인 지문 인식 방법과 비교하거나 능가하는 탐지 성능을 달성합니다.
이중 평가 프레임워크: 이 논문은 이중 평가 전략을 사용합니다:
- Ground Truth 지표: THESTACKV2 의 알려진 부분집합에 대한 Recall@N 및 평균 역순위 (MRR) 사용.
- LLM 기반 판정자: Ground Truth 가 아닌 검색된 스니펫의 의미적 유사성을 평가하기 위해 LLM(Qwen3 Coder) 을 활용합니다. 엄격한 검색에서의 "오류"가 여전히 영감의 관련 출처를 나타낼 수 있음을 인정합니다.

결과
이 시스템은 1000 개에서 100,000 개 샘플까지의 검색 공간을 가진 THESTACKV2 의 1000 만 개 스니펫 부분집합에서 평가되었습니다.

윈도우 크기 대비 성능: 작은 조각 (≤30 토큰) 의 경우 Winnowing 단독으로도 매우 효과적입니다. 그러나 윈도우 크기가 ≥60 토큰인 경우, HST 와 SOURCETRACKER 는 Winnowing 단독보다 일관되게 우월하며, HST 는 평균 역순위 (MRR) 에서 최대 5.4% 의 개선을 보입니다.
확장성: Winnowing 은 선형 시간 복잡도를 보여 대규모 데이터셋에 병목 현상을 일으키는 반면, HST 는 로그 복잡도를 유지합니다. 외삽된 결과는 수십억 개의 샘플을 포함하는 데이터셋에서도 쿼리 지연 시간이 밀리초 범위로 유지됨을 시사합니다.
견고성: 하이브리드 접근 방식은 식별자 이름 변경 (2 형 클론) 에 대한 내성을 보여줍니다. LLM 기반 판정자 평가는 시스템이 정확한 "황금" 소스를 검색하지 못하더라도 높은 의미적 유사성을 가진 스니펫을 종종 검색한다는 것을 밝혔습니다 (더 큰 윈도우의 경우 5 점 척도에서 2.0~2.6 점). 이는 정확한 매칭이 가려져 있더라도 시스템이 관련 영향을 식별함을 시사합니다.
OLMOTRACE 와의 비교: 저자들은 접미사 배열 기반 접근 방식인 OLMOTRACE 는 효율적이지만 15 토큰 이상의 컨텍스트 윈도우에서는 어려움을 겪으며, HST 가 성공적으로 식별하는 컨텍스트 유사성을 포착하지 못한다는 사실을 발견했습니다.

의의 및 주장
이 논문은 LLM 에 의해 생성된 코드에 대해 확장 가능하고 고정밀한 출처 추적을 가능하게 하기 위해 벡터 검색과 지문 인식을 통합한다고 주장합니다. 저자들은 이 접근 방식이 소프트웨어 개발에서 투명성과 윤리적 출처 표시에 대한 시급한 필요성을 해결한다고 주장합니다.

그러나 저자들은 한계와 더 넓은 함의에 대해 겸손한 태도를 유지합니다:

훈련 데이터에 대한 의존성: 시스템의 적용 가능성은 코드를 생성하는 데 사용된 특정 훈련 데이터셋의 가용성에 달려 있습니다.
"오류"의 본질: 이 논문은 Ground Truth 로 레이블링되지 않은 검색된 스니펫이 여전히 소스와 매우 유사할 수 있음을 강조하며, 엄격한 Ground Truth 평가가 영감의 출처를 찾는 최종 사용자를 위한 시스템의 유용성을 과소평가할 수 있음을 시사합니다.
투명성 촉구: 저자들은 LLM 의 내부 암송 경향에만 의존하는 것은 위험하다고 결론지으며, 효과적인 출처 추적과 저자 표시를 가능하게 하기 위한 사실상의 요구 사항으로 훈련 데이터셋과 그 기반 출처의 공개를 옹호합니다.