🤖 AI

TokenPrint: A Calibrated Token-Space Fingerprint for Language-Model Provenance

TokenPrint은 지식 프로브(knowledge probes)의 상위 $k$ 개 어휘 투영(top- $k$ vocabulary projections)을 활용하여 다양한 모델 제품군 및 양자화 수준 전반에 걸쳐 언어 모델의 출처, 계보 및 공유된 학습 데이터를 정확하게 식별하는, 훈련이 필요 없는 보정된 토큰 공간 지문(token-space fingerprint)을 도입한다.

원저자: Yuqi Wu, Shengming Zhao, Jie Chen

게시일 2026-08-11

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuqi Wu, Shengming Zhao, Jie Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 정체를 알 수 없는 누군가를 파악하려고 노력하고 있다고 상상해 보세요. 하지만 그 사람은 절대 신분증을 보여주지 않고, 부모님도 그 가족의 성씨를 알려주지 않습니다. 당신에게 남은 것은 오직 그 사람의 목소리뿐입니다. 주의 깊게 듣다 보면, 그가 형제자매와 똑같은 속어를 사용하거나, 특정한 방식으로 서로의 문장을 완성하거나, 혹은 사촌들과 공유하는 독특한 리듬을 가지고 있다는 것을 알아챌 수도 있습니다. 인공지능의 세계에서 이러한 "사람들"은 대규모 언어 모델(LLM)입니다. 글을 쓰고, 대화하고, 문제를 해결하는 컴퓨터 프로그램이죠. 오랫동안 기업들이 새로운 모델을 출시할 때, 그들이 어떤 이전 모델에서 시작했는지 또는 어떤 특정 책과 웹사이트로 학습시켰는지를 숨겨왔습니다. 이는 문제가 될 수 있는데, 만약 모델이 도용된 데이터로 만들어졌거나 해로운 방식으로 학습되었다면, 우리는 누구에게 책임을 물어야 할지 알기 위해 그 모델의 "가계도"를 알아야 하기 때문입니다. 과학자들은 모델의 내부 코드(그들의 "DNA")를 조사함으로써 이 문제를 해결하려 노력해 왔지만, 만약 그 코드가 숨겨져 있다면 어떻게 될까요? 이 논문은 영리한 질문을 던집니다. "우리가 모델이 말하는 것을 듣는 것만으로 그 모델의 가족을 식별할 수 있을까?"

푸단 대학교의 우치(Yuqi Wu), 셩밍 자오(Shengming Zhao), 지에 첸(Jie Chen) 연구진은 TokenPrint라는 새로운 도구를 소개했습니다. 이것을 AI의 "지문"과 같은 "음성 지문"이라고 생각해보세요. 모델의 비밀스러운 내부 코드를 볼 필요 없이, 그들은 단순히 모델에게 "캐나다의 수도는 어디인가요?"라거나 "루프를 위한 코드 한 줄을 작성해줘"와 같은 250개의 특정 질문을 던진 다음, 모델이 답변으로 선택한 상위 몇 개의 단어들을 살펴봅니다. 그들은 이 상위 선택지들을 모델의 "지문"이라고 부릅니다.

여기 마술 같은 원리가 있습니다. 두 모델이 서로 연관되어 있다면(예를 들어, 하나가 다른 하나의 "미세 조정(fine-tuned)" 버전이거나, 둘 다 정확히 동일한 데이터 뭉치로 학습되었다면), 설령 크기가 다르거나 만든 회사가 다르더라도 이 질문들에 대해 동일한 상위 단어들을 선택하는 경향이 있습니다. 연구진은 이 유사성을 **자카드 중첩(Jaccard overlap)**이라는 수학적 도구를 사용하여 측정했는데, 이는 기본적으로 "두 모델이 얼마나 많은 상위 단어를 공유하는가?"를 묻는 것입니다.

연구진은 다음과 같은 흥al한 사실들을 발견했습니다:

가족 닮은꼴은 실재한다: "부모"를 공유하거나 학습 데이터셋을 공유하는 모델들은 전혀 관련이 없는 모델들(약 0.17)보다 훨씬 높은 유사도 점수(약 0.35 ~ 0.48)를 보였습니다. 이는 마치 아이의 목소리가 비록 동일하지는 않더라도 낯선 사람보다는 부모를 더 닮는 것과 같습니다.
매우 빠르게 형성된다: 이 "음성 지문"은 믿기 힘들 정도로 빠르게 형성됩니다. 연구진은 모델이 질문에 올바르게 답할 만큼 똑똑해지기도 전인, 학습 시간의 첫 1% 이내에서 이러한 유사성이 나타나는 것을 확인했습니다. 이는 지문이 모델이 얼마나 똑똑해졌느냐가 아니라, 모델이 "먹은" 데이터로부터 온다는 것을 시사합니다.
숨겨져 있어도 작동한다: 이 방법은 모델이 서로 다른 "어휘 목록(다른 단어 리스트)"이나 서로 다른 컴퓨터 아키텍처를 사용하더라도 작동합니다. 이는 마치 가족 구성원이 약간 다른 방언을 사용하더라도 그를 알아보는 것과 같습니다.
탐정 도구이지, 마법 지팡이는 아니다: 이 지문은 용의자 목록을 좁히는 데 탁월합니다. 예를 들어, 다섯 가지 특정 새로운 모델(R1 증류 모델이라 불리는)의 "부모"를 찾으려고 했을 때, 이 지문은 매번 실제 부모를 상위 두 개의 추측 안에 포함시켰습니다. 그러나 때때로 부모와 매우 가까운 사촌(예: 형제 모델) 사이의 차이를 구별하지 못하기도 했습니다. 즉, 이는 당신을 올바른 방향으로 안내하지만, 항상 단 하나의 완벽한 답을 주지는 않는다는 뜻입니다.

연구진은 또한 모델이 공간을 절약하기 위해 크기를 줄이는 과정(양자화라고 불리는 과정)을 거칠 때 이 지문이 살아남는지 확인했습니다. 그들은 모델이 매우 작은 크기(int4 또는 int8)로 압축되었을 때도 지문이 강력하게 유지되며, 원래 모델과 비교했을 때 0.82에서 0.92의 유사도 점수를 보인다는 것을 발견했습니다. 이는 모델이 "압착"되어도 "목소리"가 크게 변하지 않는다는 것을 의미합니다.

요약하자면, TokenPrint는 모든 언어 모델이 자신의 학습 이력을 드러내는 독특하고 지속적인 "단어 선택"의 흔적을 남긴다는 것을 시사합니다. 이는 모델의 비밀 코드를 들여다볼 필요 없이, 모델의 혈통을 추적할 수 있는 학습이 필요 없는(training-free) 가벼운 방법입니다. 비록 100%의 확신으로 정확한 부모를 지목하지는 못할지라도, 이는 AI의 가계도를 추적하기 위한 강력한 새로운 돋보기입니다.

기술 요약: TokenPrint

문제 정의
오픈 웨이트 언어 모델의 급격한 출시 속도가 그 기원(provenance)을 감사하는 능력을 앞질렀습니다. 현재의 거버넌스 메커니즘은 상당한 문제에 직면해 있습니다: 모델 카드(model cards)는 파인튜닝에 사용된 구체적인 베이스 체크포인트를 누락하는 경우가 많고, 학습 데이터 공개는 불완전한 경우가 빈번하며, 명목상 독립적으로 개발된 모델들이 실질적으로는 상당 부분의 학습 코퍼스를 공유하기도 합니다. 기존의 포렌식 방법들은 범위가 제한적입니다: 가중치 공간 접근법(예: HuRef, Model Tree Heritage recovery)은 파라미터 접근 권한을 요구하며 파라미터 상속을 전제로 하는 반면, 행동 계통학적 방법(예: PhyloLM)은 클러스터링은 보여주지만 공유된 베이스, 중첩된 데이터, 또는 단순한 능력 수렴으로부터 발생하는 유사성 수준에 대한 보정된 기대치를 제공하지 못하는 미보정 구조를 생성합니다. 따라서 모델 가중치에 대한 접근 없이도 모델의 계보와 학습 이력을 추론할 수 있으며, 모델 간에 공유하는 파라미터가 전혀 없는 경우에도 적용 가능한 방법이 필요합니다.

방법론
저자들은 고정된 250개의 지식 프로브(knowledge probes)에 의해 유도된 후기 은닉 상태(late hidden states)의 상위- $k$ 어휘 투영(top- $k$ vocabulary projections)에 기반한 학습 불필요(training-free) 핑거프린트인 TokenPrint를 소개합니다.

핑거프린트 추출: $L$ 개의 레이어를 가진 인과적 언어 모델(causal language model)에 대해, 이 방법은 채팅 템플릿을 사용하지 않는 250개의 고정된 프롬프트(프로브)를 사용합니다. 특정 깊이( $\ell \in \{L/4, L/2, 3L/4, L-2\}$ )에서의 은닉 상태 $h_\ell(p)$ 를 기록하고, 이를 언임베딩 행렬 $W_U$ 를 통해 투영하여 로짓(logits)을 얻습니다. 상위 100개 토큰을 문자열로 디코딩하고, "글리치(glitch)" 토큰(언임베딩 노름 기준)을 필터링한 후 공백을 제거합니다. 핑거프린트는 각 프로브에 대한 디코딩된 토큰 문자열의 순위 목록 매핑입니다.
유사도 메트릭: 두 모델 $a$ 와 $b$ 사이의 깊이 $\ell$ 에서의 유사도는 모든 프로브에 걸쳐 상위- $k$ 디코딩된 문자열 집합의 평균 자카드 중첩(mean Jaccard overlap)으로 정의됩니다:
$S_\ell(a, b) = \frac{1}{|P|} \sum_{p \in P} \frac{|F_{a,\ell}(p) \cap F_{b,\ell}(p)|}{|F_{a,\ell}(p) \cup F_{b,\ell}(p)|}$
서로 다른 크기의 모델을 수용하기 위해 내부 깊이는 분수 위치(fractional position)에 따라 매칭됩니다.
보정 및 Null 추정: 공유된 어휘 구조 및 토크나이저 효과를 고려하기 위해, 저자들은 쌍별 "불일치 프로브 null"( $\tilde{S}$ )을 추정합니다. 이는 모델 $a$ 의 프로브 $i$ 에 대한 응답과 모델 $b$ 의 서로 다른 프로브 $j \neq i$ 에 대한 응답을 쌍으로 묶어 계산됩니다. 최종 메트릭은 초과 유사도(excess similarity, $S - \tilde{S}$ )이며, 이는 프로브 내용에 고정된 신호를 분리해냅니다.
평가 풀(Evaluation Pool): 이 방법은 Pythia 모델(동일 데이터, 공유 가중치 없음), DeepSeek-R1 증류 모델(공유 베이스 체크포인트), 그리고 연속적인 세대 모델 등 문서화된 관계를 포함하여 9개 개발자 패밀리로부터 나온 32개의 오픈 웨이트 모델(0.6B–32B 파라미터) 캘리브레이션 풀에서 평가되었습니다. 외부 "증인 풀(witness pool)"에는 서로 다른 토크나이저와 아키텍처를 가진 서로 다른 조직이 동일한 코퍼스(The Pile)로 학습한 모델들이 포함됩니다.

주요 결과

보정된 유사도 사다리(Calibrated Similarity Ladder): 핑거프린트 유사도는 문서화된 모델 연관성을 전반적으로 따릅니다.
- 동일 데이터 (공유 가중치 없음): 동일한 데이터와 동일한 순서로 학습된 Pythia 모델들은 가장 높은 초과 유사도(0.35)를 보입니다.
- 공유 베이스 파인튜닝 모델: 베이스 체크포인트를 상속받은 모델들은 높은 유사도(0.33)를 보입니다.
- 동일 개발자/계보: 동일한 개발자 또는 계보 그룹의 모델들은 중간 정도의 유사도(0.25–0.28)를 보입니다.
- 관련 없는 모델: 문서화된 관계가 없는 모델들은 가장 낮은 유사도(0.17)를 보입니다.
  이 신호는 서로 다른 조직, 토크나이저 패밀리(예: Cerebras-GPT 대 Pythia), 그리고 아키텍처 클래스(예: RWKV 대 Transformers) 전반에 걸쳐 지속됩니다.
조기 출현(Early Emergence): 유사도 신호는 측정 가능한 사실적 역량(프로브 정확도)이 달성되기 훨씬 전인 학습의 첫 1%(예: Pythia 모델의 경우 step 1000) 이내에 나타납니다. 이는 신호가 단순히 작업 능력의 수렴보다는 공유된 학습 데이터 분포에서 기인함을 시사합니다.
계보 검색(Lineage Retrieval): 최근접 이웃 검색 방법으로서, TokenPrint는 5개의 DeepSeek-R1 증류 모델 모두에 대해 문서화된 베이스 체크포인트를 상위 2개 후보 내에 성공적으로 배치했습니다 (평균 순위 1.8, MRR 0.60). 특히, 이 방법은 거친 메타데이터(토크나이저 계보 및 파라미터 수)가 구분하지 못하는 특화된 베이스(예: 수학 특화 베이스)를 식별해 냅니다. 다만, 이 방법은 종종 고유한 부모보다는 "계보 이웃(lineage neighborhood)"을 식별하는데, 이는 밀접하게 관련된 대안들(예: 동일 베이스의 Instruct 변형 모델들)이 높은 순위를 차지하기 때문입니다.
깊이 및 견고성:
- 깊이: 판별 강도는 출력 분포를 향해 갈수록 증가하며, 4분의 1 깊이에서의 AUC는 0.72, 최종 출력에서는 0.90까지 상승합니다. 상위 5개 출력 토큰만 사용해도 AUC 0.87을 유지합니다.
- 양자화: 핑거프린트는 양자화 하에서도 안정적으로 유지되며, bf16 베이스라인 대비 int8 환경에서 0.92, int4 환경에서 0.82–0.85의 자카드 유사도를 보입니다.
- 역량 제어: 회귀 분석은 관찰된 계보 그룹 구조가 능력 차이 및 파라미터 규모를 제어한 후에도 지속됨을 확인해 줍니다.

의의 및 주장
본 논문은 TokenPrint를 가중치 접근 없이 작동하는 실용적인 계보 검색 및 모델 기원 분석 도구로 규정합니다. 주요 의의는 다음과 같습니다:

학습 불필요 운영: 가중치 접근이 필요한 것이 아니라 포워드 패스(forward pass)만을 요구하므로, 가중치 공간 방법이 실패하는 블랙박스 또는 제한된 접근 권한을 가진 모델에도 적용 가능합니다.
보정된 해석: 문서화된 관계에 대한 "유사도 사다리"를 구축함으로써, 이 방법은 단순한 클러스터링을 넘어 어떤 수준의 유사도가 특정 유형의 관계(예: 공유 데이터 vs 공유 베이스)를 의미하는지에 대한 참조 범위를 제공함으로써 미보정 클러스터링을 넘어섭니다.
데이터 기반 신호: 독립적인 조직 및 아키텍처 전반에서 지속되는 신호와 능력 수렴 전의 조기 출현은, 토큰 공간 핑거프린트가 학습 데이터 분포의 지속적인 구조적 아티팩트를 포착함을 시사합니다.

한계 및 범위
저자들은 단일 쌍별 점수만으로는 관계의 메커니즘(예: 가중치 상속과 중첩된 코퍼스 간의 구분)을 식별할 수 없음을 명시적으로 밝힙니다. 대신, 이 방법은 더 심층적인 타겟 분석을 위한 가설을 생성하고 후보군을 좁히기 위한 글로벌 유사도 구조를 제공합니다. 이 방법은 특정 학습 이력에 대한 독립적인 법적 증거로 사용되기보다는, 어떤 모델 관계가 더 깊은 조사를 요하는지 식별하는 데 가장 적합합니다. 또한 저자들은 서로 다른 토크나이저 간의 비교가 의미론적으로 동일한 문자열의 서로 다른 분절(segmentation)로 인해 유사도를 과소평가할 수 있다고 언급했습니다.

유사한 논문