modelDNA: Calibrated Lineage Verification and Merge Decomposition from Sampled Weight Fingerprints

AI 모델을 위한 DNA 탐정

인터넷에서 가장 큰 AI 두뇌 도서관(Hugging Face라고 불리는)이 거의 300만 개의 모델 '집'들이 모여 있는 혼란스러운 도시라고 상상해 보세요. 이 도시에서는 누구나 집을 지을 수 있지만, 현관문에 "집 X의 설계도를 바탕으로 지음"이라는 표지판을 붙이는 것은 선택 사항입니다. 실제로 이 중 60% 이상의 집에는 아무런 표지판도 없습니다. 때로는 어떤 건축가가 완전히 새로운 집을 처음부터 만들었다고 주장하지만, 실제로는 다른 사람의 설계도를 복사하고, 그 위에 색을 칠하거나, 두 개의 집을 하나로 섞어 놓은 것에 불과할 때도 있습니다.

오랫동안 누가 누구를 베꼈는지 알아내는 일은 슈퍼컴퓨터와 주말 전체의 시간, 그리고 많은 운을 가진 탐정을 필요로 하는 일이었습니다. 만약 두 회사가 특정 AI 두뇌의 소유권을 두고 다투는 것과 같은 분쟁이 발생하더라도, 점수를 매길 수 있는 중립적인 도구는 없었습니다.

modelDNA가 등장했습니다. 이것을 일종의 법의학 스캐너라고 생각하세요. 이 스캐너는 집에 직접 들어가거나 모델 전체를 다운로드할 필요가 없습니다. 대신, 모델의 가중치(weight) 파일에서 아주 빠른 "지문"을 추출합니다.

"빠른 스캔"의 마법

보통 70억 개의 파라미터를 가진 표준 AI 모델을 다운로드하는 것은 마치 바다 전체를 마시려는 것과 같습니다. 무려 15GB에 달하는 거대한 파일이죠. 하지만 modelDNA는 더 똑똑합니다. 파일의 약 100~300MB만 훑어보면 됩니다.

어떻게 가능할까요? 파일이 거대한 책이라고 상상해 보세요. 모든 단어를 읽는 대신, modelDNA는 정확히 어느 페이지를 넘겨야 할지 알려주는 비밀 지도를 가지고 있습니다. 모델 내부의 수학적 구조(특정 부분) 중 딱 필요한 단락들만 읽어서 고유한 ID 카드를 만들어냅니다. 이 작업은 그래픽 카드 없이도 일반 노트북에서 약 2분이면 완료됩니다.

이 스캐너는 수학 속에 숨겨진 네 가지 유형의 "단서"(신호)를 찾습니다.

1. 리듬(The Rhythm): 어텐션 레이어가 어떻게 "박동"하는지(표준 편차).
2. 모양(The Shape): 숫자의 전반적인 크기와 방향.
3. 패턴(The Pattern): 숫자 샘플들을 직접 비교한 결과.
4. 스펙트럼(The Spectrum): 숫자들이 뒤섞여도 살아남는 데이터 속의 숨겨진 주파수.

판결: "죄"가 아닌 "통계적 일관성"

이 도구는 매우 신중하게 설계되었습니다. 무고한 모델을 복제범으로 몰기보다는 차라리 "잘 모르겠다"라고 말하는 쪽을 택합니다. 스캔을 수행할 때, 이 도구는 37개의 알려진 "부모" 모델(Llama, Mistral, Qwen 등)이 담긴 데이터베이스와 지문을 비교합니다.

그 후 여러분에게 8가지 판결 중 하나를 전달합니다:

• Exact Copy (정확한 복제): "이것은 클론입니다."
• Quantized Copy (양자화된 복제): "이것은 클론이지만, 더 작은 상자에 담기 위해 크기를 줄였습니다."
• Fine-Tune (파인튜닝): "이것은 새로운 데이터로 학습된 해당 부모의 자식입니다."
• Likely Merge (결합 가능성 높음): "이것은 두 개 이상의 부모가 섞인 것입니다."
• Same Family (Unresolved) (같은 가문 - 미해결): "그들은 사촌 관계지만, 어떤 모델이 직접적인 부모인지 알 수 없습니다."
• No Match (일치 없음): "우리 데이터베이스에 있는 누구와도 관련이 없어 보입니다."
• Insufficient (정보 부족): "결정을 내릴 만한 충분한 단서를 얻지 못했습니다."
• Abstention (판단 유보): "확신이 없어 아무 말도 할 수 없습니다."

도구가 일치한다고 판단하면 확률 점수를 제공합니다. 예를 들어, "가중치가 Mistral-7B로부터 파생되었을 가능성이 0.99의 확률로 통계적으로 일관적입니다"라고 말할 수 있습니다. 단순히 "이것은 복사본이다"라고 말하는 것이 아니라, 수학적으로 그 이야기가 성립함을 보여주는 것입니다.

"스무디"의 미스터리: 결합 해체하기

modelDNA가 할 수 있는 가장 멋진 기술 중 하나는 **병합 분해(merge decomposition)**입니다. 누군가 딸기 스무디와 블루베리 스무디를 섞어서 "베리 블래스트"라는 새로운 맛이라고 주장한다고 상상해 보세요. 딸기가 얼마나 들어갔고 블루베리가 얼마나 들어갔는지 알 수 있을까요?

AI 세계에서는 사람들이 mergekit 같은 도구를 사용하여 모델들을 서로 섞기도 합니다. modelDNA는 "베리 블래스트"의 지문을 보고 레시피를 수학적으로 역설계할 수 있습니다. 혼합 과정이 (숫자를 더하는 것처럼) 선형적이기 때문에, 이 도구는 퍼즐을 풀어 정확한 비율을 찾아낼 수 있습니다.

테스트에서, 이 도구는 "slerp" 병합(특정 유형의 혼합)의 레시피를 0.999의 상관관계로 성공적으로 복구했으며, "dare_ties" 병합의 경우 원래 레시피와 0.011 이내의 오차로 비율을 찾아냈습니다. 이 모든 과정을 전체 모델을 다운로드하지 않고도, 오직 작은 지문만을 사용하여 수행했습니다.

할 수 없는 것 (규칙)

이 논문은 이 도구가 할 수 없는 일들에 대해 매우 정직하게 밝히고 있습니다:

• "마음 읽기" 불가: 모델이 가중치를 통해 배운 것이 아니라 다른 모델의 답변을 통해 학습된 "증류(distillation)" 방식인지 감지할 수 없습니다. 스승 모델이 학생 모델의 가중치에 전혀 손을 대지 않았다면, 지문은 이를 보여주지 못합니다.
• "마법의 후보 리스트" 없음: 스무디를 분해하려면 어떤 과일이 들어있을 수 있는지 알아야 합니다. 만약 modelDNA에게 모델을 분해하라고 요청하면서 가능한 부모 목록을 제공하지 않는다면, 도구는 즉각적인 레시피 대신 "조상(증조부 등)"을 추측할 수도 있습니다.
• "완벽한 증명" 불가: 숙련된 해커가 지문을 조작하려고 시도할 수 있음을 인정합니다. 도구가 네 가지 다른 단서를 사용하여 조작을 어렵게 만들긴 했지만, 절대 깨지지 않는 완벽한 방패라고 주장하지는 않습니다.
• 실시간 "딥러닝" 불가: 이 도구는 모델을 실행하여 질문에 어떻게 답하는지 보는 것이 아니라, 정적인 수학 파일만을 살펴봅니다.

실적

저자들은 알려진 부모를 가진 15개의 실제 모델을 대상으로 테스트를 진행했습니다(해당 조직들에 의해 검증된 모델들). 이 모델들을 107개의 "하드 네거티브(hard negatives)"(유사해 보이지만 관련은 없는 모델들)와 맞붙였습니다.

결과는 매우 날카로웠습니다:

• AUROC 1.0: 실제 일치하는 모델과 가짜를 구별해 내는 데 있어 완벽한 점수를 기록했습니다.
• 제로 False Positives (오탐 제로): 관련 없는 모델을 부모라고 잘못 지목한 적이 한 번도 없었습니다.
• 13/13 정답: 모든 테스트 케이스에서 최상위 부모를 정확하게 식별했습니다.

하지만 논문은 이것이 "작은 마을"에서의 테스트임을 언급했습니다. 결과가 현재까지는 완벽하지만, 저자들은 이것이 앞으로 틀리는 일이 절대 없다는 것을 의미하지는 않는다고 신중하게 밝히고 있습니다. 그들은 확실성을 높이기 위해 더 큰 규모의 테스트를 구축하고 있습니다.

핵심 요약

modelDNA는 혼란스러운 AI 도시에 질서를 가져오는 도구입니다. 이 도구는 비난을 퍼붓는 대신 증거를 제시합니다. "우리가 엿본 수학적 근거에 따르면, 이 모델은 저 모델의 자식일 확률이 99%입니다"라고 말합니다. 이는 검증되지 않은 복잡한 인터넷을, 커피 한 잔을 내리는 시간 동안 혈통을 확인하고, 검증하며, 심지어 다시 분해할 수 있는 곳으로 탈바꿈시킵니다.