🤖 AI

TokenPrint: A Calibrated Token-Space Fingerprint for Language-Model Provenance

TokenPrint एक प्रशिक्षण-मुक्त (training-free), कैलिब्रेटेड टोकन-स्पेस फिंगरप्रिंट पेश करता है जो विभिन्न मॉडल परिवारों और क्वांटाइजेशन स्तरों में भाषा मॉडल के मूल (provenance), वंशावली (lineage) और साझा प्रशिक्षण डेटा की सटीक पहचान करने के लिए नॉलेज प्रोब्स से टॉप- $k$ वोकैबुलरी प्रोजेक्शन्स का लाभ उठाता है।

मूल लेखक: Yuqi Wu, Shengming Zhao, Jie Chen

प्रकाशित 2026-08-11

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuqi Wu, Shengming Zhao, Jie Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि एक रहस्यमय व्यक्ति कौन है, लेकिन वे कभी अपना आईडी नहीं दिखाते, और उनके माता-पिता उन्हें अपने परिवार का नाम नहीं बताते। आपके पास केवल उनकी आवाज़ है। यदि आप ध्यान से सुनते हैं, तो आप देख सकते हैं कि वे अपने भाई-बहनों की तरह ही एक ही तरह की बोलचाल (slang) का उपयोग करते हैं, एक विशिष्ट तरीके से एक-दूसरे के वाक्यों को पूरा करते हैं, या उनमें एक अनूठी लय होती है जो उनके चचेरे भाई-बहनों में भी साझा होती है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, ये "लोग" लार्ज लैंग्वेज मॉडल्स (LLMs) हैं—कंप्यूटर प्रोग्राम जो लिखते हैं, चैट करते हैं और समस्याओं को हल करते हैं। लंबे समय तक, यदि कोई कंपनी एक नया मॉडल रिलीज़ करती थी, तो वे इस बात को छिपा देते थे कि उन्होंने किस पुराने मॉडल से शुरुआत की थी या उन्हें किन विशिष्ट पुस्तकों और वेबसाइटों पर प्रशिक्षित किया गया था। यह एक समस्या है क्योंकि यदि कोई मॉडल चोरी किए गए डेटा पर बनाया गया है या हानिकारक होने के लिए प्रशिक्षित किया गया है, तो हमें जवाबदेही तय करने के लिए उसके "फैमिली ट्री" (वंशवृक्ष) को जानने की आवश्यकता है। वैज्ञानिकों ने इसके समाधान के लिए मॉडल के आंतरिक कोड (इसके "DNA") को देखने की कोशिश की है, लेकिन क्या होगा यदि वह कोड छिपा हुआ हो? यह शोध पत्र एक चतुर प्रश्न पूछता है: क्या हम केवल यह सुनकर कि एक मॉडल क्या कहता है, उसके परिवार की पहचान कर सकते हैं?

शोधकर्ताओं ने TokenPrint नामक एक नया उपकरण पेश किया है। इसे AI के लिए एक "वॉयसप्रिंट" (आवाज़ की छाप) समझें। मॉडल के गुप्त आंतरिक कोड को देखने के बजाय, वे बस मॉडल से 250 विशिष्ट प्रश्न पूछते हैं—जैसे "कनाडा की राजधानी क्या है?" या "लूप के लिए कोड की एक पंक्ति लिखें"—और फिर मॉडल द्वारा उत्तर देने के लिए चुने गए शीर्ष कुछ शब्दों को देखते हैं। वे इन शीर्ष विकल्पों को मॉडल का "फिंगरप्रिंट" कहते हैं।

यहाँ जादू का कमाल है: जब दो मॉडल संबंधित होते हैं (उदाहरण के लिए, एक दूसरे का "फाइन-ट्यून्ड" संस्करण है, या उन्हें बिल्कुल एक ही डेटा सेट पर प्रशिक्षित किया गया है), तो वे इन प्रश्नों के लिए समान शीर्ष शब्दों को चुनते हैं, भले ही वे आकार में अलग हों या अलग कंपनियों द्वारा बनाए गए हों। शोधकर्ताओं ने इस समानता को Jaccard overlap नामक एक गणितीय उपकरण का उपयोग करके मापा, जो मूल रूप से यह पूछता है कि, "इन दो मॉडलों के बीच कितने शीर्ष शब्द साझा हैं?"

शोध पत्र में कुछ दिलचस्प बातें सामने आईं:

पारिवारिक समानता वास्तविक है: जिन मॉडल्स का "पैरेंट" (जनक) या प्रशिक्षण डेटासेट समान होता है, उनमें पूरी तरह से असंबंधित मॉडल्स (लगभग 0.17) की तुलना में बहुत अधिक समानता स्कोर (लगभग 0.35 से 0.48) होता है। यह बिल्कुल वैसा ही है जैसे किसी बच्चे की आवाज़ अपने माता-पिता की आवाज़ से किसी अजनबी की तुलना में अधिक मिलती-जुलती हो सकती है, भले ही वे बिल्कुल एक जैसे न हों।
यह जल्दी होता है: यह "वॉयसप्रिंट" अविश्वसनीय रूप से तेज़ी से बनता है। शोधकर्ताओं ने देखा कि ये समानताएं मॉडल के प्रशिक्षण समय के पहले 1% के भीतर ही दिखाई देने लगती हैं, इससे बहुत पहले कि मॉडल वास्तव में प्रश्नों का सही उत्तर देने के लिए पर्याप्त स्मार्ट हो जाता है। यह सुझाव देता है कि फिंगरप्रिंट उस डेटा से आता है जिसे मॉडल ने "खाया" है, न कि केवल इस बात से कि वह कितना स्मार्ट हो गया है।
यह छिपे होने पर भी काम करता है: यह विधि तब भी काम करती है जब मॉडल्स अलग-अलग "शब्दावली" (शब्दों की अलग सूचियाँ) या अलग कंप्यूटर आर्किटेक्चर का उपयोग करते हैं। यह एक परिवार के सदस्य को पहचानने जैसा है, भले ही वे थोड़ी अलग बोली बोल रहे हों।
यह एक जासूसी उपकरण है, जादू की छड़ी नहीं: फिंगरप्रिंट संदिग्धों की सूची को कम करने के लिए बेहतरीन है। उदाहरण के लिए, जब उन्होंने पांच विशिष्ट नए मॉडल्स (जिन्हें R1 डिस्टिलेशन कहा जाता है) के "पैरेंट" को खोजने की कोशिश की, तो फिंगरप्रिंट ने हर बार शीर्ष दो अनुमानों में से वास्तविक पैरेंट की सही पहचान की। हालाँकि, यह कभी-कभी एक पैरेंट और एक बहुत करीबी रिश्तेदार (जैसे एक सिबलिंग मॉडल) के बीच अंतर नहीं कर पाता है, जिसका अर्थ है कि यह आपको सही दिशा में संकेत देता है लेकिन हमेशा एक एकल, सटीक उत्तर नहीं देता है।

शोधकर्ताओं ने यह भी जाँच की कि क्या यह फिंगरप्रिंट स्थान बचाने के लिए मॉडल को छोटा करने (क्वांटाइजेशन नामक प्रक्रिया) के दौरान भी जीवित रहता है। उन्होंने पाया कि जब मॉडल को बहुत छोटे आकार (int4 या int8) में संकुचित किया गया, तब भी फिंगरप्रिंट मजबूत बना रहा, जिसमें मूल मॉडल की तुलना में 0.82 से 0.92 का समानता स्कोर था। इसका मतलब है कि मॉडल को "पिचकने" (compress) के बाद भी उसकी "आवाज़" बहुत अधिक नहीं बदलती है।

संक्षेप में, TokenPrint यह सुझाव देता है कि प्रत्येक भाषा मॉडल एक अद्वितीय, स्थायी "शब्द चयन" का निशान छोड़ता है जो उसके प्रशिक्षण इतिहास को प्रकट करता है। यह मॉडल की वंशावली को ट्रैक करने का एक प्रशिक्षण-मुक्त, हल्का तरीका है, जो हमें यह समझने में मदद करता है कि किसने क्या बनाया और डेटा कहाँ से आया, बिना मॉडल के गुप्त कोड को देखे। हालाँकि यह हमेशा 100% निश्चितता के साथ सटीक पैरेंट का नाम नहीं बता सकता, लेकिन यह AI के फैमिली ट्री को ट्रैक करने के लिए एक शक्तिशाली नया आवर्धक लेंस (magnifying glass) है।

तकनीकी सारांश: TokenPrint

समस्या विवरण
ओपन-वेट लैंग्वेज मॉडल्स की तीव्र रिलीज़ ने उनके मूल स्रोत (provenance) के ऑडिट करने की क्षमता को पीछे छोड़ दिया है। वर्तमान गवर्नेंस तंत्र महत्वपूर्ण चुनौतियों का सामना कर रहे हैं: मॉडल कार्ड्स अक्सर फाइन-ट्यूनिंग के लिए उपयोग किए गए विशिष्ट बेस चेकपॉइंट को छोड़ देते हैं, ट्रेनिंग डेटा का प्रकटीकरण अक्सर अधूरा होता है, और सैद्धांतिक रूप से स्वतंत्र रूप से विकसित मॉडल भी बड़े पैमाने पर समान ट्रेनिंग कॉर्पोरा साझा कर सकते हैं। मौजूदा फोरेंसिक विधियाँ सीमित दायरे की हैं: वेट-स्पेस दृष्टिकोण (जैसे, HuRef, Model Tree Heritage Recovery) के लिए पैरामीटर एक्सेस की आवश्यकता होती है और वे पैरामीटर इनहेरिटेंस को मान लेते हैं, जबकि व्यवहार संबंधी फाइलोगेनी (जैसे, PhyloLM) अक्सर अनकैलिब्रेटेड संरचनाएं उत्पन्न करती हैं जो क्लस्टरिंग तो दिखाती हैं लेकिन साझा आधारों, ओवरलैपिंग डेटा, या केवल क्षमता अभिसरण (capability convergence) से उत्पन्न होने वाले समानता स्तरों के लिए कैलिब्रेटेड अपेक्षाएं प्रदान नहीं करती हैं। एक ऐसी विधि की आवश्यकता है जो मॉडल वेट्स की आवश्यकता के बिना, मॉडल की वंशावली (lineage) और ट्रेनिंग इतिहास का अनुमान लगा सके, जो उन मॉडल्स पर भी लागू हो जिनके पैरामीटर्स साझा नहीं हैं।

कार्यप्रणाली (Methodology)
लेखक TokenPrint पेश करते हैं, जो एक फिक्स्ड 250 नॉलेज प्रोब्स के माध्यम से प्राप्त लेट हिडन स्टेट्स के टॉप- $k$ वोकैबुलरी प्रोजेक्शन्स पर आधारित एक ट्रेनिंग-फ्री फिंगरप्रिंट है।

फिंगरप्रिंट निष्कर्षण (Fingerprint Extraction): $L$ लेयर्स वाले एक कॉज़ल लैंग्वेज मॉडल के लिए, यह विधि बिना चैट टेम्पलेट्स के 250 फिक्स्ड प्रॉम्प्ट्स (प्रोब्स) का उपयोग करती है। यह विशिष्ट गहराई ( $\ell \in \{L/4, L/2, 3L/4, L-2\}$ ) पर हिडन स्टेट $h_\ell(p)$ को रिकॉर्ड करती है और उन्हें अनएम्बेडिंग मैट्रिक्स $W_U$ के माध्यम से प्रोजेक्ट करके लॉजिट्स (logits) प्राप्त करती है। टॉप-100 टोकन्स को स्ट्रिंग्स में डिकोड किया जाता है, "ग्लिच" टोकन्स (अनएम्बेडिंग नॉर्म्स के आधार पर) के लिए फ़िल्टर किया जाता है, और व्हाइटस्पेस हटाया जाता है। फिंगरप्रिंट प्रत्येक प्रोब से उसके डिकोड किए गए टोकन स्ट्रिंग्स की रैंक की गई सूची का मैपिंग है।
समानता मीट्रिक (Similarity Metric): दो मॉडल्स $a$ और $b$ के बीच गहराई $\ell$ पर समानता को सभी प्रोब्स पर उनके टॉप- $k$ डिकोड किए गए स्ट्रिंग सेट्स के मीन जैकार्ड ओवरलैप (mean Jaccard overlap) के रूप में परिभाषित किया गया है:
$S_\ell(a, b) = \frac{1}{|P|} \sum_{p \in P} \frac{|F_{a,\ell}(p) \cap F_{b,\ell}(p)|}{|F_{a,\ell}(p) \cup F_{b,\ell}(p)|}$
विभिन्न आकारों के मॉडल्स को समायोजित करने के लिए आंतरिक गहराई को भिन्नात्मक स्थिति (fractional position) द्वारा मैच किया जाता है।
कैलिब्रेशन और नल एस्टीमेशन (Calibration and Null Estimation): साझा लेक्सिकल स्ट्रक्चर और टोकनाइज़र प्रभावों को ध्यान में रखने के लिए, जो प्रोब कंटेंट से स्वतंत्र हैं, लेखक एक पेयर-विशिष्ट "मिसमैच्ड-प्रोब नल" ( $\tilde{S}$ ) का अनुमान लगाते हैं। इसे मॉडल $a$ की प्रोब $i$ के प्रति प्रतिक्रिया को मॉडल $b$ की किसी अन्य प्रोब $j \neq i$ के प्रति प्रतिक्रिया के साथ जोड़कर कैलकुलेट किया जाता है। अंतिम मीट्रिक एक्सेस सिमिलरिटी ( $S - \tilde{S}$ ) है, जो प्रोब कंटेंट से जुड़े सिग्नल को अलग करता है।
मूल्यांकन पूल (Evaluation Pool): इस विधि का मूल्यांकन 32 ओपन-वेट मॉडल्स (0.6B–32B पैरामीटर्स) के कैलिब्रेशन पूल पर किया गया है, जो नौ डेवलपर परिवारों से हैं, जिनमें दस्तावेजीकृत संबंध जैसे कि Pythia मॉडल्स (समान डेटा, कोई साझा वेट नहीं), DeepSeek-R1 डिस्टिलेशंस (साझा बेस चेकपॉइंट्स), और क्रमिक जनरेशन शामिल हैं। एक बाहरी "विटनेस पूल" में विभिन्न संगठनों और विभिन्न टोकनाइज़र एवं आर्किटेक्चर वाले मॉडल्स शामिल हैं जो एक ही कॉर्पस (The Pile) पर प्रशिक्षित हैं।

प्रमुख परिणाम

कैलिब्रेटेड सिमिलरिटी लैडर (Calibrated Similarity Ladder): फिंगरप्रिंट सिमिलरिटी व्यापक रूप से दस्तावेजीकृत मॉडल संबंधशीलता का अनुसरण करती है।
- समान डेटा (कोई साझा वेट नहीं): एक ही डेटा और क्रम में प्रशिक्षित Pythia मॉडल्स उच्चतम एक्सेस सिमिलरिटी (0.35) दिखाते हैं।
- शेयर्ड-बेस फाइन-ट्यून्स: बेस चेकपॉइंट को विरासत में प्राप्त करने वाले मॉडल्स उच्च सिमिलरिटी (0.33) दिखाते हैं।
- समान डेवलपर/वंशज (Lineage): एक ही डेवलपर या वंशज समूह के मॉडल्स मध्यम सिमिलरिटी (0.25–0.28) दिखाते हैं।
- असंबंधित मॉडल्स: बिना किसी दस्तावेजीकृत संबंध वाले मॉडल्स सबसे कम सिमिलरिटी (0.17) दिखाते हैं।
  यह सिग्नल विभिन्न संगठनों, टोकनाइज़र परिवारों (जैसे, Cerebras-GPT बनाम Pythia), और आर्किटेक्चर क्लास (जैसे, RWKV बनाम Transformers) के बीच बना रहता है।
प्रारंभिक उद्भव (Early Emergence): सिमिलरिटी सिग्नल ट्रेनिंग के पहले 1% के भीतर भी उभर जाता है (उदाहरण के लिए, Pythia मॉडल्स के लिए स्टेप 1000 पर), जो मापने योग्य तथ्यात्मक सक्षमता (प्रोब एक्यूरेसी) प्राप्त करने से बहुत पहले है। यह सुझाव देता है कि सिग्नल केवल कार्य क्षमताओं के अभिसरण के बजाय साझा ट्रेनिंग डेटा वितरण से उत्पन्न होता है।
वंशज पुनर्प्राप्ति (Lineage Retrieval): एक नियरएस्ट-नेबर रिट्रीवल मेथड के रूप में, TokenPrint सभी पांच DeepSeek-R1 डिस्टिलेशंस के लिए सभी पांचों दस्तावेजीकृत बेस चेकपॉइंट्स में से सटीक बेस को शीर्ष दो उम्मीदवारों के भीतर सफलतापूर्वक रैंक करता है (मीन रैंक 1.8, MRR 0.60)। विशेष रूप से, यह उन विशिष्ट बेस (जैसे, मैथ-स्पेशलाइज्ड बेस) की पहचान करता है जिन्हें कोर्स मेटाडेटा (टोकनाइज़र वंश और पैरामीटर काउंट) पहचानने में विफल रहता है। हालांकि, यह अक्सर एक अद्वितीय पैरेंट के बजाय एक "वंशज पड़ोस" (lineage neighborhood) की पहचान करता है, क्योंकि निकट संबंधी विकल्प (जैसे, समान-बेस इंस्ट्रक्ट वेरिएंट्स) अक्सर उच्च रैंक प्राप्त करते हैं।
डेप्थ और मजबूती (Depth and Robustness):
- डेप्थ: भेदभाव शक्ति आउटपुट वितरण की ओर बढ़ती है, जहाँ क्वार्टर डेप्थ पर AUC 0.72 से बढ़कर अंतिम आउटपुट पर 0.90 हो जाता है। केवल टॉप 5 आउटपुट टोकन्स का उपयोग करने पर भी AUC 0.87 रहता है।
- क्वांटाइजेशन: फिंगरप्रिंट क्वांटाइजेशन के तहत स्थिर रहता है, जो bf16 बेसलाइन की तुलना में int8 के तहत 0.92 और int4 के तहत 0.82–0.85 की जैकार्ड सिमिलरिटी दिखाता है।
- कैपेबिलिटी कंट्रोल: रिग्रेशन एनालिसिस पुष्टि करता है कि देखा गया वंशज-समूह संरचना (lineage-group structure) क्षमता अंतराल और पैरामीटर स्केल को नियंत्रित करने के बाद भी बना रहता है।

महत्व और दावे
यह पेपर TokenPrint को वंशज पुनर्प्राप्ति (lineage retrieval) और मॉडल-प्रोवेनेंस विश्लेषण के लिए एक व्यावहारिक उपकरण के रूप में स्थापित करता है जो वेट एक्सेस के बिना काम करता है। इसका प्राथमिक महत्व है:

ट्रेनिंग-फ्री ऑपरेशन: इसके लिए केवल फॉरवर्ड पास की आवश्यकता होती है, जिससे यह ब्लैक-बॉक्स या प्रतिबंधित-एक्सेस मॉडल्स के लिए भी लागू होता है जहाँ वेट-स्पेस विधियाँ विफल हो जाती हैं।
कैलिब्रेटेड इंटरप्रिटेशन: दस्तावेजीकृत संबंधों के विरुद्ध एक "सिमिलरिटी लैडर" स्थापित करके, यह विधि अनकैलिब्रेटेड क्लस्टरिंग से आगे बढ़कर संदर्भ रेंज प्रदान करती है कि किस स्तर की सिमिलरिटी विशिष्ट प्रकार के संबंधों (जैसे, साझा डेटा बनाम साझा बेस) को दर्शाती है।
डेटा-ड्रिवन सिग्नल: स्वतंत्र संगठनों और आर्किटेक्चर के बीच सिग्नल का बने रहना, और क्षमता अभिसरण से पहले इसका उभरना, यह सुझाव देता है कि टोकन-स्पेस फिंगरप्रिंट्स ट्रेनिंग डेटा डिस्ट्रीब्यूशन के स्थायी संरचनात्मक आर्टिफैक्ट्स को कैप्चर करते हैं।

सीमाएं और दायरा
लेखक स्पष्ट रूप से बताते हैं कि यह विधि केवल एक सिंगल पेयरवाइज स्कोर के आधार पर संबंध के तंत्र (mechanism) की पहचान नहीं करती है (जैसे, वेट इनहेरिटेंस और ओवरलैपिंग कॉर्पोरा के बीच अंतर करना)। इसके बजाय, यह एक ग्लोबल सिमिलरिटी स्ट्रक्चर प्रदान करती है ताकि उम्मीदवार सेट को सीमित किया जा सके और लक्षित विश्लेषण के लिए परिकल्पनाएँ उत्पन्न की जा सकें। यह विधि एक विशिष्ट ट्रेनिंग हिस्ट्री के लिए स्टैंडअलोन कानूनी प्रमाण के बजाय गहन जांच की आवश्यकता वाले मॉडल संबंधों की पहचान करने के लिए सबसे उपयुक्त है। लेखक यह भी नोट करते हैं कि क्रॉस-टोकनाइज़र तुलनाएं अर्थपूर्ण रूप से समान स्ट्रिंग्स के विभिन्न विभाजन के कारण सिमिलरिटी को कम आंक सकती हैं।

इसी तरह के और पेपर