💬 NLP

Token Rankings are Unforgeable Language Model Signatures

यह शोधपत्र यह प्रदर्शित करता है कि टोकन रैंकिंग भाषा मॉडलों के लिए एक अद्वितीय, अनफॉरजेबल (unforgeable) हस्ताक्षर के रूप में कार्य करती है जो उन्हें बिना उनके पैरामीटर्स को लीक किए पहचान सकती है, बशर्ते कि API आउटपुट को पर्याप्त रूप से छोटे टॉप- $k$ तक प्रतिबंधित करे ताकि पैरामीटर चोरी को रोका जा सके और साथ ही मॉडल के विशिष्ट रैंकिंग पैटर्न को प्रकट किया जा सके।

मूल लेखक: Matthew Finlayson, Andreas Grivas, Xiang Ren, Swabha Swayamdipta

प्रकाशित 2026-06-04

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Matthew Finlayson, Andreas Grivas, Xiang Ren, Swabha Swayamdipta

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत प्रसिद्ध, अद्वितीय शेफ है। यह शेफ केवल खाना नहीं बनाता; उनके पास प्लेट पर सामग्री को सजाने का एक विशिष्ट तरीका है। भले ही आप भोजन का स्वाद न ले सकें या सटीक रेसिपी न देख सकें, लेकिन जिस क्रम में सामग्रियों को रखा गया है वह इतना अनूठा है कि वह एक फिंगरप्रिंट की तरह काम करता है।

यह शोध पत्र इस विचार का उपयोग करके एक नए तरीके से AI भाषा मॉडलों की पहचान करने का परिचय देता है: शब्दों का क्रम (order), न कि उनकी सटीक संभावना (probability)।

यहाँ उनकी खोज का विवरण, सरल उपमाओं के साथ दिया गया है:

1. समस्या: "रेसिपी" का लीक होना

पहले, यह साबित करने के लिए कि एक AI वही है जो वह होने का दावा करता है, शोधकर्ता AI से उसके "कॉन्फिडेंस स्कोर" (वह प्रत्येक शब्द के बारे में कितना आश्वस्त है) मांगते थे।

उपमा: कल्पना कीजिए कि AI कहता है, "मुझे 99% यकीन है कि अगला शब्द 'cat' है, 1% 'dog' है, और 0.01% 'helicopter' है।"
जोखिम: यदि आपके पास ये सटीक संख्याएँ हैं, तो एक हैकर AI के मस्तिष्क (इसके आंतरिक पैरामीटर्स) को रिवर्स-इंजीनियर कर सकता है ताकि एक नकली प्रतिलिपि बनाई जा सके। एक बार जब उनके पास नकली प्रतिलिपि आ जाती है, तो वे हस्ताक्षर की नकल कर सकते हैं, जिससे असली AI और नकली के बीच अंतर करना असंभव हो जाता है।

2. समाधान: "रैंकिंग" सिग्नेचर

लेखक एक सुरक्षित तरीका प्रस्तावित करते हैं। सटीक कॉन्फिडेंस नंबर देने के बजाय, API केवल रैंकिंग देता है।

उपमा: AI बस कहता है, "पहला स्थान: 'cat', दूसरा स्थान: 'dog', तीसरा स्थान: 'helicopter'।" यह यह नहीं बताता कि 'cat' 'dog' की तुलना में कितना अधिक संभावित है।
खोज: लेखकों ने पाया कि प्रत्येक AI मॉडल के पास "संभावित रैंकिंग" का एक अनूठा सेट होता है जिसे वह उत्पन्न कर सकता है। क्योंकि AI का मस्तिष्क (विशेष रूप से एक "बॉटलनेक" जो यह सीमित करता है कि वह एक साथ कितने विचार रख सकता है) इस तरह से बना है, यह केवल सभी संभावित शब्द क्रमों के एक बहुत ही विशिष्ट उपसमुच्चय (subset) को ही उत्पन्न कर सकता है।
परिणाम: यदि आप शब्दों के क्रमों की एक विशिष्ट सूची देखते हैं, तो इसकी अत्यधिक संभावना है कि यह उसी विशिष्ट मॉडल से आई है और किसी अन्य से नहीं। यह पहेली के टुकड़ों की एक विशिष्ट व्यवस्था को देखने जैसा है; केवल एक विशिष्ट पहेली बॉक्स ही उस सटीक आकार को उत्पन्न कर सकता था।

3. यह "अनकली (Unforgeable)" क्यों है? (कठोर लॉक)

शोध पत्र यह सिद्ध करता है कि आप इस सिग्नेचर की नकल नहीं कर सकते।

उपमा: कल्पना कीजिए कि आप शून्य से एक नई मशीन बनाने की कोशिश कर रहे हैं जो मूल शेफ के समान ही शब्दों की रैंकिंग की सूची तैयार करती है।
गणित: लेखक दिखाते हैं कि ऐसा करना एक गणितीय दुःस्वप्न है। यह समस्याओं के एक ऐसे वर्ग से संबंधित है जो इतनी कठिन है कि सबसे शक्तिशाली कंप्यूटर भी उन्हें हल करने के लिए संघर्ष करेंगे। यह केवल "कठिन" नहीं है; यह सैद्धांतिक रूप से कुशलतापूर्वक करना असंभव है। यदि किसी हैकर ने मॉडल का मस्तिष्क भी चुरा लिया, तो भी वे आसानी से एक अलग मस्तिष्क नहीं बना पाएंगे जो इस विशिष्ट रैंकिंग सिग्नेचर की नकल कर सके।

4. कमी: "रफ स्केच" हमला

हालाँकि, लेखकों ने एक सुरक्षा जोखिम भी पाया है। यदि कोई API रैंकिंग की पूरी सूची (जैसे, क्रम में शीर्ष 50,000 शब्द) दे देता है, तो एक हैकर उस सूची का उपयोग AI के मस्तिष्क का एक "रफ स्केच" बनाने के लिए कर सकता है।

उपमा: यह चेहरे की धुंधली फोटो देखने जैसा है। आप व्यक्ति को पूरी तरह से पहचान नहीं सकते, लेकिन आप बता सकते हैं कि उसकी नाक, आँखें और मुँह है। आप उस स्केच के साथ सिग्नेचर की नकल नहीं कर सकते, लेकिन आप मॉडल की कुछ "विशेषताएं" चुरा सकते हैं।
समाधान: लेखकों ने एक "स्वीट स्पॉट" (सही संतुलन) खोजा है। यदि API केवल शीर्ष कुछ शब्दों (जैसे, शीर्ष 500) को दिखाता है, तो सिग्नेचर अद्वितीय और अनकलनीय रहता है, लेकिन जानकारी हैकर के लिए मॉडल का मस्तिष्क चुराने के लिए बहुत धुंधली होती है।

सारांश

पुराना तरीका: सटीक संभावना दिखाएं $\rightarrow$ हैकर मस्तिष्क चुरा लेता है $\rightarrow$ हैकर सिग्नेचर की नकल करता है।
नया तरीका: केवल शब्द रैंकिंग दिखाएं $\rightarrow$ सिग्नेचर अद्वितीय है और गणितीय रूप से नकल करना असंभव है।
सुरक्षा टिप: सभी रैंकिंग न दिखाएं। केवल शीर्ष $k$ (एक छोटी संख्या) दिखाएं। यह सिग्नेचर को जालसाजों से सुरक्षित रखता है और मस्तिष्क को चोरों से सुरक्षित रखता है।

यह विधि AI कंपनियों को यह साबित करने का एक तरीका देती है कि, "हाँ, यह आउटपुट वास्तव में हमारे मॉडल से आया है," बिना अनजाने में उनके गुप्त नुस्खे (secret sauce) की चाबियाँ सौंपे।

तकनीकी सारांश: टोकन रैंकिंग अनफोर्जिएबल (अज्या करने में अक्षम) हैं

समस्या विवरण

भाषा मॉडल (LM) सुरक्षा में हालिया प्रगति ने टेक्स्ट उत्पन्न करने वाले विशिष्ट मॉडल की पहचान करने के लिए मॉडल आउटपुट को "हस्ताक्षर" (signatures) के रूप में उपयोग करने की खोज की है। पिछले ज्यामितीय हस्ताक्षर (geometric signatures) टोकन संभावनाओं (logits) तक पहुंच पर निर्भर थे। हालांकि, यह निर्भरता एक गंभीर सुरक्षा भेद्यता प्रस्तुत करती है: लॉजिट्स तक पहुंच होने से हमलावर मॉडल के अंतिम परत के मापदंडों (unembedding matrix) को चुरा सकते हैं। एक बार जब ये मापदंड चोरी हो जाते हैं, तो एक हमलावर मूल के ज्यामितीय बाधाओं की नकल करने वाला एक नया मॉडल बनाकर हस्ताक्षर की जालसाजी (forge) कर सकता है।

चूंकि API प्रदाता पैरामीटर चोरी और प्रॉम्प्ट इनवर्जन को रोकने के लिए टोकन संभावनाओं तक पहुंच को प्रतिबंधित कर रहे हैं, इसलिए एक ऐसे सिग्नेचर तंत्र की आवश्यकता है जो:

टोकन संभावनाओं तक पहुंच की आवश्यकता न रखता हो।
कम्प्यूटेशनल रूप से अनफोर्जिएबल हो (अर्थात, एक ही हस्ताक्षर वाला एक अलग मॉडल बनाना असंभव हो)।
सिग्नेचर उजागर होने पर भी मॉडल मापदंडों को लीक न करे।

कार्यप्रणाली

रैंकिंग सिग्नेचर

लेखक एक नया हस्ताक्षर प्रस्तावित करते हैं जो संभावनाओं के बजाय टोकन रैंकिंग पर आधारित है। टोकन रैंकिंग टोकन का क्रम है (जैसे, $r = \text{arg sort}(\ell)$ ), बिना स्वयं संभाव्यता मानों को प्रकट किए।

व्यवहार्य रैंकिंग (Feasible Rankings): "सॉफ्टमैक्स बॉटलनेक" (unembedding layer की लो-रैंक प्रकृति जहाँ एम्बेडिंग डायमेंशन $d$ , वोकैबुलरी साइज $v$ से बहुत छोटा है) के कारण, एक मॉडल केवल $v!$ संभावित टोकन रैंकिंगों के एक बहुत छोटे उपसमुच्चय (subset) को ही उत्पन्न कर सकता है।
विशिष्टता (Uniqueness): एक विशिष्ट अनएम्बेडिंग मैट्रिक्स $W$ के लिए व्यवहार्य रैंकिंगों का सेट उस मॉडल के लिए अद्वितीय होता है। लेखक इस स्पर्सिटी (sparsity) को सैद्धांतिक रूप से वर्णित करते हैं, यह दिखाते हुए कि जैसे-जैसे $v$ बढ़ता है, व्यवहार्य रैंकिंगों का अनुपात सुपर-एक्सपोनेंशियल रूप से कम होता जाता है।
टॉप- $k$ सिग्नेचर: लेखक जांचते हैं कि क्या ट्रंकेटेड रैंकिंग (top- $k$ टोकन) इस विशिष्टता को बनाए रखती हैं। वे मॉडलों के बीच अंतर करने के लिए आवश्यक न्यूनतम $k$ का अनुभवजन्य (empirically) निर्धारण करते हैं, यह पाते हुए कि एक तीव्र संक्रमण (sharp transition) होता है जहाँ टॉप- $k$ रैंकिंग एक विशिष्ट मॉडल के लिए अद्वितीय हो जाती है।

अनफोर्जिएबिलिटी प्रमाण (Unforgeability Proof)

पेपर हस्ताक्षर की जालसाजी (forging) की कम्प्यूटेशनल कठिनाई को संबोधित करता है। जालसाजी को एक नए अनएम्बेडिंग मैट्रिक्स $W'$ को खोजने के रूप में परिभाषित किया गया है जो लक्ष्य मॉडल के सटीक व्यवहार्य रैंकिंग सेट को उत्पन्न करता है।

कॉम्प्लेक्सिटी क्लास: लेखक सिद्ध करते हैं कि दिए गए रैंकिंग सेट के अनुकूल रैंक- $d$ मैट्रिक्स खोजना $\exists\mathbb{R}$ -hard (Existential Theory of the Reals) है।
रिडक्शन: वे "सिंपल अलाउएबल सीक्वेंस" (एक ज्ञात $\exists\mathbb{R}$ -कम्प्लीट समस्या) की रियलाइज़ेबिलिटी को सिग्नेचर फोर्जिंग समस्या में रिड्यूस करते हैं।
निहितार्थ: चूंकि $\text{NP} \subseteq \exists\mathbb{R} \subseteq \text{PSPACE}$ , सिग्नेचर को फोर्ज करना कम्प्यूटेशनल रूप से कठिन है, भले ही हमलावर के पास सभी व्यवहार्य रैंकिंग तक पहुंच हो। यह पिछले ज्यामितीय हस्ताक्षरों (जैसे, एलिप्स-आधारित) के विपरीत है जो केवल पॉलीनोमियल-टाइम हार्ड थे।

रैंकिंग के माध्यम से पैरामीटर चोरी

लेखक यह भी जांचते हैं कि क्या रैंकिंग को उजागर करने से मॉडल मापदंड लीक होते हैं।

हमला तंत्र: वे प्रदर्शित करते हैं कि पूर्ण टोकन रैंकिंग अनएम्बेडिंग मैट्रिक्स $W$ के कॉलम स्पेस को एसिम्प्टोटिक रूप से रिकवर कर सकती है। यह इस धारणा पर निर्भर करता है कि हिडन स्टेट्स एक गौसियन वितरण का पालन करते हैं और टोकन लॉजिट्स में समान मार्जिनल वेरिएंस होता है।
विधि: रैंकिंग के स्पियरमैन कोरिलेशन (Spearman correlations) की गणना करके और SVD लागू करके, एक हमलावर $W$ के कॉलम स्पेस को अनुमानित कर सकता है।
सीमाएं: जबकि हमला $W$ के एक अनुमानित रूप को रिकवर करता है, यह अनुमान इतना मोटा (coarse) है कि वह सिग्नेचर को फोर्ज नहीं कर सकता। रिकवर्ड मैट्रिक्स के व्यवहार्य रैंकिंग वास्तविक मॉडल की रैंकिंग से लगभग पूरी तरह से अलग (disjoint) होती हैं।

मुख्य परिणाम

रैंकिंग की विशिष्टता: Pythia और OLMo मॉडलों पर अनुभवजन्य परीक्षणों से पता चलता है कि पूर्ण रैंकिंग एक विशिष्ट मॉडल के लिए अद्वितीय है। एक एकल प्रशिक्षण चरण या मामूली वेट परटर्बेशन भी पहले से व्यवहार्य रैंकिंग को गैर-व्यवhell्य बना देता है।
अनफोर्जिएबिलिटी: सैद्धांतिक प्रमाण स्थापित करता है कि रैंकिंग सिग्नेचर को फोर्ज करना $\exists\mathbb{R}$ -hard है। रैंकिंग सेट को फिट करने के लिए ग्रेडिएंट डिसेंट के माध्यम से किए गए अनुभवजन्य प्रयास सिग्नेचर को पुनरुत्पादित करने में विफल रहे, भले ही 48-50 रैंकिंग उपलब्ध थीं।
पैरामीटर लीकेज बनाम सिग्नेचर सुरक्षा:
- पूर्ण रैंकिंग अनएम्बेडिंग मैट्रिक्स के कॉलम स्पेस को अनुमानित रिकवरी करने की अनुमति देती है।
- हालांकि, यह अनुमान सिग्नेचर को फोर्ज करने के लिए अपर्याप्त है।
- "स्वीट स्पॉट" (The Sweet Spot): लेखक एक $k$ $k$ की रेंज की पहचान करते हैं (जैसे, Pythia 70M के लिए $k \approx 370$ $k \approx 370$ ) जहाँ:
  - टॉप- $k$ रैंकिंग मॉडल के लिए अद्वितीय हैं (सिग्नेचर को सुरक्षित रखते हुए)।
  - जानकारी इतनी मोटी (coarse) है कि अनएम्बेडिंग मैट्रिक्स को पुनर्गठित नहीं किया जा सकता (पैरामीटर चोरी को रोकने के लिए)।
  - विशेष रूप से, $k = d$ (हिडन डायमेंशन) सेट करना अक्सर मॉडल को अलग करने के लिए पर्याप्त होता है, जबकि रिकवर्ड पैरामीटर्स को टारगेट मॉडल की तुलना में कम समान रखता है।

महत्व और दावे

पेपर का दावा है कि यह पहला पॉलीनोमियल रूप से अनफोर्जिएबल भाषा मॉडल सिग्नेचर पेश करता है जिसे टोकन संभावनाओं की आवश्यकता नहीं है।

सुरक्षा सुधार: पिछले ज्यामितीय हस्ताक्षरों के विपरीत जो लॉजिट्स पर निर्भर करते हैं (जो पैरामीटर लीक करते हैं) और जो पॉलीनोमियल-टाइम में फोर्ज किए जा सकते हैं, रैंकिंग सिग्नेचर के लिए केवल रैंकिंग की आवश्यकता होती है, यह फोर्ज करने में कम्प्यूटेशनल रूप से कठिन है, और यह API प्रदाताओं को मॉडल वेट लीक किए बिना सिग्नेचर प्रस्तुत करने की अनुमति देता है।
फोरेंसिक अनुप्रयोग: सिग्नेचर मॉडल फोरेंसिक्स को सक्षम बनाता है। यदि कोई रिपॉजिटरी लीक हुए वेट्स होने का दावा करती है, तो आप मॉडल के API से प्राप्त टोकन रैंकिंग की जांच करके उन्हें सत्यापित कर सकते हैं। यदि रैंकिंग गैर-व्यवhell्य (infeasible) हैं, तो वेट्स फर्जी हैं; यदि व्यवहार्य हैं, तो लीकर के पास वास्तव में वास्तविक वेट्स मौजूद हैं (सिग्नेचर की विशिष्टता और अनफोर्जिएबिलिटी के कारण)।
व्यावहारिक समझौता: पेपर निष्कर्ष निकालता है कि API प्रदाता एक सत्यापन योग्य हस्ताक्षर प्रदान करने के लिए टॉप- $k$ रैंकिंग को सुरक्षित रूप से उजागर कर सकते हैं, बशर्ते कि $k$ को पहचाने गए "सुरक्षित" रेंज के भीतर चुना गया हो (विशिष्टता के लिए पर्याप्त बड़ा, और रिकंस्ट्रक्शन को रोकने के लिए पर्याप्त छोटा)।

लेखक सिग्नेचर की क्रिप्टोग्राफिक सुरक्षा के संबंध में विनम्र रहते हैं, यह नोट करते हुए कि हालांकि $\exists\mathbb{R}$ -hardness एक मजबूत सैद्धांतिक बाधा है, इन समस्याओं की औसत-मामले की कठिनाई (average-case hardness) पूरी तरह से समझी नहीं गई है, और सिग्नेचर को अभी तक पारंपरिक अर्थों में क्रिप्टोग्राफिक रूप से सुरक्षित सिद्ध नहीं किया गया है।