🤖 machine learning

Reference-Based Distillation Detection in LLMs

यह शोध पत्र एक संदर्भ-आधारित डिस्टिलेशन डिटेक्शन (distillation detection) पद्धति प्रस्तुत करता है जो हिडन पाइपलाइनों वाले जटिल वास्तविक परिदृश्यों में भी, छात्र मॉडलों के आउटपुट की तुलना उनके पूर्ववर्ती वंश चेकपॉइंट्स (lineage checkpoints) से करके, मेंबरशिप इन्फरेंस (membership inference) और प्रॉक्सी प्रॉम्प्ट इन्फरेंस (proxy prompt inference) का लाभ उठाकर, शिक्षक मॉडलों की सटीक पहचान करने और एलएलएम (LLMs) में डिस्टिलेशन का पता लगाने के लिए उपयोग किया जाता है।

मूल लेखक: Rajat Rawat, Sizhe Chen, Akshay Anand, Michael Duan, Bob Rotsted, Sewon Min

प्रकाशित 2026-07-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Rajat Rawat, Sizhe Chen, Akshay Anand, Michael Duan, Bob Rotsted, Sewon Min

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक प्रतिभाशाली छात्र है जो अचानक हर परीक्षा में अव्वल आने लगा है। आपको संदेह है कि उसने केवल कड़ी मेहनत नहीं की है; शायद वह गुप्त रूप से एक अत्यंत बुद्धिमान "शिक्षक" मॉडल से उत्तरों की नकल कर रहा था। लेकिन यहाँ एक पेंच है: छात्र अपने शिक्षक की शैली की नकल करने में इतना कुशल है कि यदि आप केवल छात्र की अंतिम परीक्षा को देखते हैं, तो यह बताना लगभग असंभव है कि उसने किस शिक्षक की नकल की थी। यह वैसा ही है जैसे किसी प्रसिद्ध अभिनेता के काम को जाने बिना, केवल उसकी नवीनतम फिल्म देखकर यह अनुमान लगाने की कोशिश करना कि उसका पसंदीदा निर्देशक कौन था।

यही वह समस्या है जिसे शोधकर्ता रजत रावत और उनकी टीम ने हल किया। उन्होंने पूछा: क्या हम किसी मॉडल को पकड़ सकते हैं यदि उसे दूसरे मॉडल के उत्तरों पर "डिस्टिल्ड" (प्रशिक्षित) किया गया हो?

"पहले और बाद का" तरीका

पेपर का तर्क है कि केवल छात्र को देखकर शिक्षक का अनुमान लगाना एक बंद रास्ता है। यह बहुत कठिन है। इसके बजाय, शोधकर्ताओं ने एक चतुर समाधान निकाला: छात्र की तुलना उसके अपने "बचपन" से करें।

इसे इस तरह सोचें: कल्पना कीजिए कि आपके पास एक किशोर ( "छात्र" मॉडल) की फोटो है और उसी व्यक्ति के बचपन की एक पुरानी फोटो ( "रेफरेंस" मॉडल, जो उसी AI का एक पुराना संस्करण है)। यदि किशोर अचानक एक विशिष्ट प्रसिद्ध हस्ती ( "शिक्षक") की तरह बात करने लगता है, लेकिन बच्चे ने ऐसा नहीं किया था, तो आप अंतर देख सकते हैं!

शोधकर्ताओं ने एक ऐसा तरीका बनाया जो यह मापता है कि एक "किशोर" मॉडल एक विशिष्ट हस्ती के उत्तरों को कितना पसंद करता है, इसकी तुलना में कि "बच्चा" मॉडल उन्हें कितना पसंद करता था। यदि किशोर अचानक एक विशिष्ट शिक्षक की शैली को अपने बचपन की तुलना में बहुत अधिक पसंद करने लगता है, तो यह एक पुख्ता सबूत है। यह वैसा ही है जैसे यह देखना कि एक बच्चा जो पहले स्टिक फिगर बनाना पसंद करता था, अचानक वैन गॉग की शैली में पेंटिंग करने लगा है, जबकि उसने अपने छोटे होने पर ऐसा कभी नहीं किया था।

जासूसी का काम

टीम ने प्रयोगशाला में अपने स्वयं के "नकली" छात्रों को बनाकर इसका परीक्षण किया। उन्होंने एक बेस मॉडल लिया, उसे एक विशिष्ट शिक्षक (जैसे DeepSeek-R1, Llama, या GPT-OSS) के उत्तर दिए, और यह देखने के लिए निगरानी की कि क्या उनकी विधि अपराधी को पकड़ सकती है।

परिणाम: इन नियंत्रित प्रयोगों में, उनकी विधि अविश्वसनीय रूप से सटीक थी, जिसने कई मामलों में शिक्षक की 100% सटीकता से पहचान की।
पेंच: यह केवल तभी काम करता था जब आपके पास तुलना करने के लिए वह "बचपन" की फोटो (रेफरेंस मॉडल) मौजूद हो। इसके बिना, विधि संघर्ष करती थी।
"हिडन प्रॉम्प्ट" की समस्या: कभी-कभी, शिक्षक गुप्त निर्देश (प्रॉम्प्ट्स) का उपयोग करते हैं जिन्हें जासूस नहीं जानता। शोधकर्ताओं ने पाया कि यदि वे जासूस को छात्र की अपनी लेखन शैली के कुछ उदाहरण देते (फ्यू-शॉट प्रॉम्प्टिंग रणनीति), तो विधि इन छिपे हुए निर्देशों के साथ भी शिक्षक का पता लगा सकती थी।

एक गुप्त "ग्लीफ" हस्ताक्षर

शोधकर्ताओं ने o1 या o3 (OpenAI के रीजनिंग मॉडल्स) पर प्रशिक्षित मॉडलों के लिए एक अजीब, विशिष्ट सुराग भी पाया। ये मॉडल अपने सोचने के क्रम (thinking traces) में विशेष, गैर-मानक वर्णों (जैसे अजीब प्रतीक) का उपयोग करना पसंद करते हैं।

जब कोई छात्र मॉडल इनसे डिस्टिल्ड होता है, तो वह इस आदत की एक "भूतिया" छाप विरासत में प्राप्त करता है। शोधकर्ताओं ने पाया कि यदि वे छात्र को प्लेन टेक्स्ट (ASCII) में लिखने के लिए मजबूर करते हैं बनाम इसके प्राकृतिक टेक्स्ट (Unicode) में, तो "डिस्टिल्ड" मॉडल भ्रमित हो जाता है और प्लेन टेक्स्ट में अधिक गलतियाँ करता है। यह वैसा ही है जैसे कोई व्यक्ति जिसने एक विशिष्ट लहजे के साथ बोलना सीखा हो; यदि आप उसे उस लहजे के बिना बोलने के लिए मजबूर करते हैं, तो वह लड़खड़ा जाता है। यह "Unicode बनाम ASCII" का अंतर एक मजबूत संकेत था कि मॉडल को o1/o3 डेटा पर प्रशिक्षित किया गया था, भले ही वह शिक्षक संदिग्धों की सूची में न हो।

वास्तविक दुनिया के मॉडल क्या हैं?

टीम केवल अपने लैब प्रयोगों तक ही नहीं रुकी। उन्होंने अपने जासूसी कौशल को QwQ-32B, DeepSeek-R1, और GPT-OSS जैसे वास्तविक, सार्वजनिक मॉडलों पर लागू किया।

QwQ-32B: उनकी विधि ने सुझाव दिया कि इस मॉडल को संभवतः QwQ के एक विशिष्ट पिछले संस्करण के रिलीज होने के बाद DeepSeek-R1 के आउटपुट पर प्रशिक्षित किया गया होगा। "किशोर" अपने "बचपन" वाले स्वरूप की तुलना में DeepSeek के उत्तरों को बहुत अधिक पसंद करता था।
DeepSeek-R1: विधि ने सुझाव दिया कि यह मॉडल o1 या QwQ-32B-Preview से प्रभावित हो सकता है। इसके अलावा, "Unicode बनाम ASCII" परीक्षण ने एक बड़ा अंतर दिखाया, जो o1-शैली के प्रभाव का पुरजोर सुझाव देता है।
GPT-OSS: यह पेचीदा था। क्योंकि तुलना करने के लिए कोई अच्छा "बचपन" का फोटो (रेफरेंस मॉडल) नहीं था, परिणाम अस्पष्ट थे। विधि ने DeepSeek और QwQ की ओर इशारा किया, लेकिन लेखक चेतावनी देते हैं कि यह अत्यधिक अनिश्चित है क्योंकि उनके द्वारा उपयोग किया गया रेफरेंस (GPT-2 XL) बहुत पुराना और अलग था, जो एक निष्पक्ष तुलना के लिए उपयुक्त नहीं था।

उन्होंने किसे खारिज किया

पेपर बहुत स्पष्ट है कि क्या काम नहीं करता है:

केवल छात्र को देखना: बिना किसी रेफरेंस के केवल अंतिम मॉडल को देखकर आप विश्वसनीय रूप से नहीं बता सकते कि शिक्षक कौन था।
सरल समानता जाँच: केवल शब्दों के मिलान को गिनना या मानक "लाइकलीहुड" स्कोर (एक उत्तर कितना संभावित है) का उपयोग करना बुरी तरह विफल रहा। इन विधियों ने गलत शिक्षकों को चुनकर भ्रम पैदा किया।
छिपे हुए रीजनिंग ट्रेसेस: यदि शिक्षक अपनी "सोचने की प्रक्रिया" को छिपाता है और केवल अंतिम उत्तर दिखाता है, तो डिटेक्शन विधि विफल हो जाती है। जासूस के काम करने के लिए "रीजनिंग ट्रेसेस" अत्यंत महत्वपूर्ण हैं।

वे कितने आश्वस्त हैं?

लेखक अपने लैब परिणामों के बारे में बहुत आश्वस्त हैं: उन्होंने सिद्ध किया है कि उनकी विधि नियंत्रित सेटिंग्स में लगभग पूर्ण सटीकता के साथ काम करती है। वास्तविक दुनिया के मॉडलों के लिए, वे डिस्टिलेशन संबंधों के मजबूत साक्ष्य का सुझाव देते हैं, लेकिन वे सावधान करते हैं कि ये प्रारंभिक अन्वेषण हैं, निर्णायक अदालती फैसले नहीं। वे स्वीकार करते हैं कि वास्तविक दुनिया के मॉडल जटिल होते हैं और एक से अधिक शिक्षकों या कई चरणों में प्रशिक्षित किए जा सकते हैं, जिसे उनकी वर्तमान विधि पूरी तरह से संभालने में सक्षम नहीं है।

संक्षेप में, यह पेपर AI ऑडिटिंग के लिए एक शक्तिशाली नए आवर्धक लेंस (magnifying glass) को पेश करता है। यह कहता है: "केवल छात्र को न देखें; देखें कि वह अपने बचपन से कितना बदला है, और उस बदलाव की तुलना उन शिक्षकों से करें जिनका आपको संदेह है।" यह एक ऐसी दुनिया में पारदर्शिता की दिशा में एक बड़ा कदम है जहाँ AI मॉडल तेजी से एक-दूसरे का होमवर्क कॉपी करके बनाए जा रहे हैं।

तकनीकी सारांश: LLMs में संदर्भ-आधारित डिस्टिलेशन डिटेक्शन (Reference-Based Distillation Detection)

समस्या विवरण (Problem Statement)
मॉडल डिस्टिलेशन—एक मजबूत टीचर मॉडल के आउटपुट पर एक स्टूडेंट मॉडल को प्रशिक्षित करना—तर्क (reasoning) और निर्देश पालन (instruction following) जैसी क्षमताओं को स्थानांतरित करने की एक प्रचलित तकनीक है। हालांकि, यह अभ्यास अनुचित प्रतिस्पर्धी लाभ, बौद्धिक संपदा उल्लंघन और नीति उल्लंघन संबंधी महत्वपूर्ण चिंताएं पैदा करता है। मॉडल ऑडिटिंग में एक महत्वपूर्ण चुनौती यह निर्धारित करना है कि क्या एक विशिष्ट मॉडल को दूसरे से डिस्टिल किया गया है। यह शोध पत्र तर्क देता है कि एक स्टूडेंट मॉडल से अकेले टीचर मॉडल की पहचान करना (एब्सोल्यूट डिटेक्शन) अत्यधिक चुनौतीपूर्ण है, क्योंकि आधुनिक लार्ज लैंग्वेज मॉडल्स (LLMs) में मेंबरशिप इन्फरेंस (membership inference) की कठिनाई और डिस्टिलेशन पाइपलाइनों की अपारदर्शिता (जैसे अज्ञात प्रॉम्प्ट्स, डेटा फ़िल्टरिंग) के कारण यह कठिन है।

कार्यप्रणाली (Methodology)
लेखक एक संदर्भ-आधारित डिस्टिलेशन डिटेक्शन (reference-based distillation detection) फ्रेमवर्क का प्रस्ताव करते हैं। डिस्टिलेशन को पूर्ण रूप से (in an absolute sense) खोजने का प्रयास करने के बजाय, यह विधि एक सापेक्ष आधार पर कार्य करती है: एक स्टूडेंट मॉडल $S$ और उसी वंश (lineage) के एक पूर्व-पीढ़ी के संदर्भ चेकपॉइंट $R$ (जैसे कि एक बेस मॉडल या एक पूर्व इंस्ट्रक्शन-ट्यून्ड संस्करण) को देखते हुए, सिस्टम यह निर्धारित करता है कि क्या $S$ को एक संभावित टीचर $T$ के आउटपुट का उपयोग करके प्रशिक्षित किया गया था।

मुख्य तंत्र संदर्भ-सामान्यीकृत संभावनाओं (reference-normalized likelihoods) में निहित है:

प्रॉक्सी इनपुट्स (Proxy Inputs): डिटेक्टर संभावित टीचर्स को क्वेरी करने के लिए प्रॉक्सी इनपुट्स $\hat{X}$ का एक सेट (जो मूल प्रशिक्षण डेटा से अलग है) बनाता है।
अलाइनमेंट स्कोरिंग (Alignment Scoring): प्रत्येक संभावित टीचर $T_k$ के लिए, विधि एक अलाइनमेंट स्कोर की गणना करती है कि स्टूडेंट $S$ , संदर्भ $R$ की तुलना में $T_k$ के आउटपुट को कितनी बेहतर तरीके से समझाता है। स्कोर को इस प्रकार परिभाषित किया गया है:
$f(T_k(x_i), S) = -(\ell_S(x_i, y^{(k)}_i) - \ell_R(x_i, y^{(k)}_i))$
जहाँ $\ell_M$ औसत टोकन-लेवल नेगेटिव लॉग-लाइक्लीहुड (negative log-likelihood) है।
निर्णय नियम (Decision Rules): विधि उच्चतम माध्य अलाइनमेंट स्कोर वाले उम्मीदवार को चुनकर या नमूनों (samples) के माध्यम से रैंक-मैच्ड तुलनाओं के सबसे बड़े अंश को जीतने वाले उम्मीदवार को चुनकर टीचर की पहचान करती है।
सांख्यिकीय सार्थकता (Statistical Significance): वास्तविक डिस्टिलेशन सिग्नल को शोर (noise) से अलग करने के लिए, लेखक सांख्यिकीय परीक्षणों (पहचान के लिए सटीक द्विपद परीक्षण; डिटेक्शन मार्जिन के लिए वन-साइडेड टी-टेस्ट या विलकॉक्सन साइन्ड-रैंक टेस्ट) का उपयोग करते हैं और दो अलग-अलग प्रॉम्प्ट सेटों में सहमति की आवश्यकता रखते हैं।
अज्ञात पाइपलाइनों को संभालना (Handling Unknown Pipelines): छिपे हुए प्रॉम्प्ट्स या इंस्ट्रक्शन स्टाइल को संबोधित करने के लिए, विधि प्रॉक्सी प्रॉम्प्ट टेम्पलेट्स का अनुमान लगा सकती है या टीचर के आउटपुट को स्टूडेंट की शैली के साथ संरेखित करने के लिए फ्यू-शॉट इन-कॉन्टेक्स्ट एक्सेम्पलर्स का उपयोग कर सकती है।
ग्लीफ-लेवल सिग्नल (Glyph-Level Signal): शोध पत्र OpenAI के o1/o3 श्रृंखला से डिस्टिल किए गए मॉडल्स के लिए एक विशिष्ट सिग्नल की पहचान करता है: गैर-ASCII यूनिकोड (Unicode) पात्रों का असामान्य रूप से अधिक उपयोग। इसे ASCII और यूनिकोड सीरियलाइजेशन के बीच संदर्भ-सामान्यीकृत लॉस गैप (loss gap) के माध्यम से पता लगाया जाता है।

प्रमुख योगदान (Key Contributions)

संदर्भ-आधारित सूत्रीकरण (Reference-Based Formulation): यह पेपर पूर्ण लाइक्लीहुड (absolute likelihoods) पर निर्भर रहने के बजाय एक संदर्भ चेकपॉइंट की तुलना करके स्टूडेंट के विरुद्ध एक सुलभ दृष्टिकोण पेश करता है, जिसे लेखक अविश्वसनीय बताते हैं।
अपारदर्शिता के प्रति मजबूती (Robustness to Opacity): यह विधि प्रभावी ढंग से कार्य करती है भले ही डिस्टिलेशन पाइपलाइन (प्रॉम्प्ट्स, डेटा स्रोत) अज्ञात हो, जिसमें प्रॉक्सी प्रॉम्प्ट्स और फ्यू-शॉट अलाइनमेंट रणनीतियों का उपयोग किया जाता है।
ग्लीफ-लेवल डिटेक्शन (Glyph-Level Detection): o1/o3 डिस्टिलेशन के लिए विशिष्ट "ग्लीफ-लेवल" सिग्नल (यूनिकोड उपयोग) की पहचान करना, जो एक पूरक डिटेक्शन वेक्टर प्रदान करता है।
हाइब्रिड मूल्यांकन ढांचा (Hybrid Evaluation Framework): लेखक आधुनिक मॉडल वंशों की उलझन को संबोधित करने के लिए ज्ञात ग्राउंड ट्रुथ के साथ नियंत्रित डिस्टिलेशन प्रयोगों और वास्तविक दुनिया के मॉडल विश्लेषण को संयोजित करते हुए एक कठोर मूल्यांकन रणनीति विकसित करते हैं।
सांख्यिकीय ढांचा (Statistical Framework): फॉल्स पॉजिटिव (false positives) को कम करने के लिए टीचर एट्रिब्यूशन और बाइनरी डिस्टिलेशन डिटेक्शन दोनों के लिए सार्थकता परीक्षणों (significance tests) का परिचय।

परिणाम (Results)
विधि का मूल्यांकन नियंत्रित प्रयोगों और वास्तविक दुनिया के मॉडल्स के माध्यम से किया गया:

नियंत्रित प्रयोग (Controlled Experiments): सिंगल-टीचर, SFT-स्टाइल डिस्टिलेशन परिदृश्यों में, संदर्भ-आधारित विधि ने वास्तविक टीचर की पहचान करने में लगभग पूर्ण सटीकता (100% एग्रीगेटेड एक्यूरेसी) प्राप्त की, जो रॉ लाइक्लीहुड, ZLIB-सामान्यीकृत लाइक्लीहुड और स्ट्रिंग-आधारित समानता मेट्रिक्स जैसे बेसलाइन्स से काफी बेहतर प्रदर्शन करती है। यह सिग्नल तेजी से उभरा, जिसके लिए केवल कुछ दर्जन प्रशिक्षण उदाहरणों की आवश्यकता थी।
वास्तविक दुनिया के मॉडल (Real-World Models): DeepSeek-R1 डिस्टिलेट्स और s1.1-32B जैसे मॉडल्स पर लागू होने पर, विधि ने 7 में से 7 मामलों में DeepSeek-R1 को सही ढंग से टीचर के रूप में पहचाना।
ओपन-वर्ल्ड एट्रिब्यूशन (Open-World Attribution): ओपन-वर्ल्ड सेटिंग्स में जहाँ वास्तविक टीचर कैंडिडेट पूल में नहीं हो सकता है, विधि ने संभावित टीचर्स को सफलतापूर्वक रैंक किया। उदाहरण के लिए, इसने QwQ-32B के लिए DeepSeek-R1 को सबसे संभावित टीचर के रूप में पहचाना और यूनिकोड सिग्नल के माध्यम से DeepSeek-R1 और GPT-OSS पर संभावित o1/o3 प्रभाव का सुझाव दिया।
देखी गई सीमाएं (Limitations Observed): यह विधि एक उपयुक्त संदर्भ चेकपॉइंट की उपलब्धता पर निर्भर करती है (जो GPT-OSS के लिए कठिन था)। इसके अतिरिक्त, जब रीजनिंग ट्रेसेस (reasoning traces) छिपे हुए थे (जैसे, केवल अंतिम उत्तर उपलब्ध थे), तो सटीकता काफी कम हो गई, और रीजनिंग टीचर्स पर कैलिब्रेट किए गए डिटेक्शन थ्रेशोल्ड नॉन-रीजनिंग टीचर्स के लिए अच्छी तरह से सामान्यीकृत (generalize) नहीं हुए।

महत्व और दावे (Significance and Claims)
यह शोध पत्र आधुनिक LLMs में मॉडल-लेवल ऑडिटिंग की व्यवहार्यता स्थापित करने का दावा करता है। यह तर्क देता है कि जबकि एब्सोल्यूट डिटेक्शन कठिन है, एक संदर्भ-आधारित सेटिंग उच्च विश्वास के साथ टीचर मॉडल्स की पहचान करने की अनुमति देती है। लेखक इस कार्य को तेजी से अपारदर्शी होते मॉडल विकास पाइपलाइनों में पारदर्शिता की दिशा में एक "पहला कदम" के रूप में प्रस्तुत करते हैं। वे स्पष्ट रूप से कहते हैं कि उनके निष्कर्ष QwQ, DeepSeek-R1 और GPT-OSS से जुड़े संभावित डिस्टिलेशन संबंधों के लिए अनुभवजन्य साक्ष्य प्रदान करते हैं, लेकिन सरल मान्यताओं (सिंगल-टीचर, फाइनल-स्टेज SFT) और वास्तविक दुनिया के जटिल, उलझे हुए मॉडल वंशों के कारण इन्हें प्रारंभिक अन्वेषण के रूप में देखा जाना चाहिए। इस कार्य का उद्देश्य मल्टी-टीचर और मल्टी-स्टेज डिस्टिलेशन जैसे अधिक जटिल शासन (regimes) के तहत एट्रिब्यूशन के लिए भविष्य के अनुसंधान को प्रेरित करना है।