💻 computer science

Towards Distillation-Resistant Large Language Models: An Information-Theoretic Perspective

यह शोध पत्र शिक्षक लॉजिट्स (teacher logits) और इनपुट क्वेरीज़ के बीच कंडीशनल म्यूचुअल इंफॉर्मेशन (conditional mutual information) को न्यूनतम करके, लॉजिट-आधारित मॉडल डिस्टिलेशन (logit-based model distillation) के विरुद्ध एक सूचना-सैद्धांतिक रक्षा प्रस्तावित करता है, जो उनकी कार्य उपयोगिता (task utility) को बनाए रखते हुए प्रोप्रायटरी एलएलएम (proprietary LLMs) को ज्ञान निष्कर्षण (knowledge extraction) से प्रभावी रूप से सुरक्षित करता है।

मूल लेखक: Hao Fang, Tianyi Zhang, Tianqu Zhuang, Jiawei Kong, Kuofeng Gao, Bin Chen, Leqi Liang, Shu-Tao Xia, Ke Xu

प्रकाशित 2026-04-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hao Fang, Tianyi Zhang, Tianqu Zhuang, Jiawei Kong, Kuofeng Gao, Bin Chen, Leqi Liang, Shu-Tao Xia, Ke Xu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपने एक शानदार, विश्व स्तरीय शेफ (एक लार्ज लैंग्वेज मॉडल) बनाया है। इस शेफ ने लाखों कुकबुक्स से सीखने, दुर्लभ सामग्रियों का अभ्यास करने और गुप्त व्यंजनों को सिद्ध करने में वर्षों बिताए हैं। यह शेफ आपकी सबसे मूल्यवान संपत्ति है।

पैसे कमाने के लिए, आप शेफ या उनकी गुप्त रेसिपी बुक को नहीं बेचते हैं। इसके बजाय, आप एक रेस्तरां खोलते हैं जहाँ लोग व्यंजन ऑर्डर कर सकते हैं। आप उन्हें भोजन चखने देते हैं, लेकिन आप उन्हें कभी भी रसोई, सामग्री की सूची, या शेफ के नोट्स देखने नहीं देते हैं।

समस्या: "जासूस" छात्र

हालाँकि, एक चालाक प्रतिस्पर्धी (प्रतिद्वंद्वी) बिना प्रशिक्षण के खर्च किए आपके शेफ के कौशल को हासिल करना चाहता है। वे शेफ को चुरा नहीं सकते, लेकिन वे एक मेज पर बैठ सकते हैं, हर व्यंजन ऑर्डर कर सकते हैं, और वे सब कुछ लिख सकते हैं कि शेफ ने स्वाद, बनावट और खाना पकाने के चरणों का वर्णन कैसे किया है।

AI की दुनिया में, इसे नॉलेज डिस्टिलेशन (Knowledge Distillation) कहा जाता है।

टेक्स्ट-आधारित डिस्टिलेशन (Text-based Distillation): जासूस बस अंतिम व्यंजन (टेक्स्ट उत्तर) की नकल करता है। इसे चुराना कठिन है क्योंकि शेफ शायद सिर्फ इतना कहेगा कि "यह स्वादिष्ट है।"
लॉजिट-आधारित डिस्टिलेशन (Logit-based Distillation - वास्तविक खतरा): यह खतरनाक हिस्सा है। शेफ केवल अंतिम उत्तर नहीं देता; वे अपनी आंतरिक धारणा/आत्मविश्वास भी प्रकट करते हैं। यह ऐसा है जैसे शेफ फुसफुसा रहा हो, "मुझे 90% यकीन है कि यह नमक है, 8% यकीन है कि यह काली मिर्च है, और 2% यकीन है कि यह चीनी है।" यह "फुसफुसाहट" (लॉजिट्स) छिपे हुए ज्ञान का एक खजाना है कि शेफ कैसे सोचता है। जासूस इस फुसफुसाहट का उपयोग एक सस्ता, नकली शेफ बनाने के लिए करता है जो लगभग ठीक उसी तरह सोचता है जैसे असली शेफ।

पुराने बचाव: वॉटरमार्क्स और नॉइज़ (Noise)

पिछले प्रयास कुछ इस तरह थे:

वॉटरमार्क्स (Watermarks): हर प्लेट पर एक छोटा, अदृश्य बिंदु लगाना। यदि जासूस नकली व्यंजन बेचता है, तो आप साबित कर सकते हैं कि यह आपसे आया था। लेकिन यह उन्हें पहले से ही रेसिपी चुराने से नहीं रोकता है; यह केवल आपको बाद में मुकदमा करने में मदद करता है।
नॉइज़ जोड़ना (Adding Noise): शेफ को कभी-कभी "शायद" या "मुझे पक्का पता नहीं है" कहने के लिए कहना ताकि जासूस भ्रमित हो जाए। लेकिन इससे आपके भुगतान करने वाले ग्राहक भी भ्रमित होते हैं, जिससे भोजन का स्वाद खराब हो जाता है।

नया समाधान: "सीक्रेट फ़िल्टर"

यह पेपर एक शानदार नया बचाव प्रस्तावित करता है: इन्फॉर्मेशन-थ्योरेटिक फ़िल्टर (Information-Theoretic Filter)।

शेफ की आंतरिक फुसफुसाहट (लॉजिट्स) को एक रेडियो प्रसारण की तरह समझें।

अच्छा सिग्नल: "उत्तर 40 है।" (यह वही है जिसकी ग्राहक को आवश्यकता है)।
लीक हुआ सिग्नल: "मैंने यह 200 के 2/5 को सोचकर, फिर 80 घटाकर कैलकुलेट किया है..." (यह वह गुप्त तर्क है जिसे जासूस सीखना चाहता है)।

लेखकों ने महसूस किया कि "लीक हुआ सिग्नल" वास्तव में कॉन्टेक्स्टुअल इंफॉर्मेशन (Contextual Information) है। यह वे अतिरिक्त विवरण हैं जो जासूस को केवल परिणाम के बजाय प्रक्रिया सीखने में मदद करते हैं।

उपमा: "शुद्ध की हुई" फुसफुसाहट

लेखकों ने एक मैजिक फ़िल्टर (एक गणितीय ट्रांसफॉर्मेशन मैट्रिक्स) बनाया जो शेफ और जासूस के बीच स्थित है।

लक्ष्य: फ़िल्टर का लक्ष्य "अच्छे सिग्नल" (सही उत्तर) को तेज और स्पष्ट रखना है, लेकिन यह "लीक हुए सिग्नल" (तर्क चरणों और संदर्भ) को मफल (Muffle/दबना) करना चाहता है ताकि जासूस उसे सुन न सके।
यह कैसे काम करता है:
- कल्पना कीजिए कि शेफ एक छात्र को सिखाने की कोशिश कर रहा है। फ़िल्टर शेफ की फुसफुसाहट को देखता है और पूछता है: "क्या यह फुसफुसाहट छात्र को प्रश्न के बारे में केवल उत्तर के अलावा कुछ नया बताती है?"
- यदि उत्तर हाँ है (फुसफुसाहट में बहुत अधिक "कैसे करें" वाली जानकारी है), तो फ़िल्टर इसे स्कैम्बल (Scramble/बिखेर) देता है।
- यह आउटपुट को गणितीय रूप से "प्यूरीफाई" (शुद्ध) करके ऐसा करता है। यह सही उत्तर की संभावना को उच्च रखता है, लेकिन गलत उत्तरों की संभावनाओं को इस तरह से रैंडमाइज करता है जो जासूस के लिए शोर (Noise) जैसा दिखता है।

"टग-ऑफ-वॉर" ट्रेनिंग (खींचातानी वाली ट्रेनिंग)

इस फ़िल्टर को बनाने के लिए, लेखकों ने एक प्रशिक्षण खेल आयोजित किया:

कार्य A (भोजन को अच्छा बनाए रखें): यह सुनिश्चित करें कि फ़िल्टर अंतिम उत्तर के साथ छेड़छाड़ न करे। यदि शेफ कहता है "40," तो फ़िल्टर किया गया आउटपुट अभी भी "40!" चिल्लाना चाहिए।
कार्य B (जासूस को भ्रमित करें): यह सुनिश्चित करें कि फ़िल्टर "फुसफुसाहट" को इतना बदल दे कि यदि कोई जासूस इससे सीखने की कोशिश करे, तो वह भ्रमित हो जाए। लेखक इसे ग्रेडिएंट्स (Gradients) (वह दिशा जिसमें जासूस का मस्तिष्क सीखने की कोशिश करता है) को देखकर मापते हैं। वे फ़िल्टर को तब तक ट्यून करते हैं जब तक कि जासूस के सीखने की दिशा पूरी तरह से मुड़ और बेकार न हो जाए।

परिणाम

जब उन्होंने इसका परीक्षण किया:

आपके ग्राहक: उन्हें पहले की तरह ही स्वादिष्ट, उच्च-गुणवत्ता वाले उत्तर मिलते हैं। शेफ अभी भी पूरी तरह से काम करता है।
जासूस: वे अपने नकली शेफ को बनाने के लिए फ़िल्टर्ड फुसफुसाहट का उपयोग करने की कोशिश करते हैं, लेकिन नकली शेफ बहुत बुरा होता है। यह व्यंजन सीखने के लिए रेडियो सुनने जैसा है जो केवल व्यंजन का नाम बजाता है लेकिन रेसिपी को गड़बड़ कर देता है। जासूस का मॉडल 'सीक्रेट सॉस' सीखने में विफल रहता है।

यह क्यों महत्वपूर्ण है

यह पहली बार है जब किसी ने "फुसफुसाहट" (लॉजिट-आधारित) चोरी के खिलाफ सफलतापूर्वक बचाव किया है। पिछले बचावों ने केवल "चिल्लाहट" (टेक्स्ट-आधारित) की रक्षा की थी। इन्फॉर्मेशन थ्योरी (गणित की एक शाखा जो मापती है कि वास्तव में कितनी जानकारी साझा की जा रही है) का उपयोग करके, लेखकों ने उत्पाद को खराब किए बिना आउटपुट से "बौद्धिक संपदा" को हटाने का एक तरीका खोज लिया है।

संक्षेप में: उन्होंने एक ऐसा ढाल बनाया जो आपके प्रश्नों का उत्तर देने के लिए AI को पूरी तरह से सक्षम बनाता है, लेकिन यह सुनिश्चित करता है कि यदि कोई इसके दिमाग की नकल करने की कोशिश करता है, तो उन्हें केवल एक स्कैम्बल किया हुआ, बेकार संस्करण ही मिले।

यहाँ शोध पत्र "Towards Distillation-Resistant Large Language Models: An Information-Theoretic Perspective" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) महत्वपूर्ण बौद्धिक संपदा (IP) और आर्थिक मूल्य का प्रतिनिधित्व करते हैं। जबकि प्रदाता अपने वेट्स (weights) की सुरक्षा के लिए आमतौर पर इन मॉडल्स को ब्लैक-बॉक्स API के माध्यम से एक्सपोज़ करते हैं, हमलावर फिर भी नॉलेज डिस्टिलेशन (Knowledge Distillation - KD) के माध्यम से मॉडल की क्षमताओं को निकाल सकते हैं।

अंतराल (The Gap): मौजूदा बचाव मुख्य रूप से टेक्स्ट-आधारित (सीक्वेंस-लेवल) डिस्टिलेशन पर केंद्रित हैं, जहाँ हमलावर आउटपुट टोकन को स्यूडो-लेबल (pseudo-labels) के रूप में उपयोग करते हैं। हालाँकि, लॉजिट-आधारित (रिस्पॉन्स-लेवल) डिस्टिलेशन को काफी हद तक अनसुलझा छोड़ दिया गया है।
चुनौती (The Challenge): लॉजिट-आधारित KD, टीचर मॉडल के लॉजिट्स (logits) के पूर्ण संभाव्यता वितरण (probability distribution) का लाभ उठाता है, जिसमें अंतिम अनुमानित टोकन से परे समृद्ध प्रासंगिक जानकारी (contextual information) होती है। यह स्टूडेंट मॉडल्स को सूक्ष्म पैटर्न सीखने की अनुमति देता है, जिससे क्षमताओं की चोरी अधिक कुशल और बचाव करना काफी कठिन हो जाता है। वर्तमान विधियाँ जो टोकन वितरण को बाधित करती हैं, वे अक्सर टीचर के आउटपुट की गुणवत्ता को कम कर देती हैं, जिससे वे अव्यावहारिक हो जाती हैं।

2. कार्यप्रणाली (Methodology)

लेखक टास्क यूटिलिटी (task utility) को बनाए रखते हुए टीचर आउटपुट्स में "डिस्टिलेशन-संबंधित" जानकारी को कम करने के लिए एक सूचना-सैद्धांतिक (information-theoretic) दृष्टिकोण प्रस्तावित करते हैं।

A. सैद्धांतिक आधार: कंडीशनल म्यूचुअल इंफॉर्मेशन (Conditional Mutual Information - CMI)

मुख्य अंतर्दृष्टि यह है कि डिस्टिलेशन के लिए उपयोगी जानकारी टीचर के लॉजिट्स ( $Z$ ) में मौजूद उस 'कॉन्टेक्स्टुअल इंफॉर्मेशन' के अनुरूप है जो ग्राउंड-ट्रुथ लेबल ( $Y$ ) द्वारा स्पष्ट नहीं की गई है।

मीट्रिक: लेखक बचाव के उद्देश्य को कंडीशनल म्यूचुअल इंफॉर्मेशन (CMI) को न्यूनतम करने के रूप में परिभाषित करते हैं: $I(X; Z | Y)$ $I (X; Z ∣ Y)$ ।
- $X$ : इनपुट क्वेरी।
- $Y$ : ग्राउंड-ट्रुथ लेबल (अगला टोकन)।
- $Z$ : टीचर लॉजिट्स।
व्याख्या: $I(X; Z | Y)$ यह मापता है कि लेबल $Y$ दिए जाने पर लॉजिट्स $Z$ , इनपुट $X$ के बारे में कितनी जानकारी प्रकट करते हैं। इस मात्रा को कम करने से उन प्रासंगिक संकेतों (contextual cues) को दबा दिया जाता है जिनका हमलावर फायदा उठाते हैं, जिससे प्रभावी रूप से लॉजिट्स को "शुद्ध" (purify) किया जाता है ताकि उनमें केवल आवश्यक लेबल जानकारी ही रहे।

B. बचाव तंत्र: लर्नबल ट्रांसफॉर्मेशन मैट्रिक्स (Learnable Transformation Matrix)

विशाल टीचर मॉडल को फिर से प्रशिक्षित किए बिना CMI मिनिमाइजेशन प्राप्त करने के लिए, लेखक एक हल्का, पोस्ट-प्रोसेसिंग लर्नबल ट्रांसफॉर्मेशन मैट्रिक्स $M$ पेश करते हैं।

प्रक्रिया: मूल लॉजिट्स $Z$ को रिफाइंड लॉजिट्स $Z' = M \cdot Z$ में बदल दिया जाता है।
सैद्धांतिक गारंटी: पेपर यह सिद्ध करता है (थ्योरम 2) कि मार्कोव चेन $Y \to X \to Z \to Z'$ के तहत, यह ट्रांसफॉर्मेशन संतुष्ट करता है $I(X; Z | Y) \geq I(X; Z' | Y)$ , जो गारंटी देता है कि ट्रांसफॉर्मेशन डिस्टिलेशन-संबंधित जानकारी को कम करता है।

C. ऑप्टिमाइज़ेशन ऑब्जेक्टिव (Optimization Objective)

लेखक $M$ को ऑप्टिमाइज़ करने के लिए इन्फॉर्मेशन बॉटलनेक (Information Bottleneck - IB) सिद्धांत पर आधारित एक व्यावहारिक लॉस फंक्शन निकालते हैं। यह उद्देश्य दो पूरक टर्म्स में विभाजित है:

यूटिलिटी को बनाए रखना (Maximize $I(Z'; Y)$ ):
- लक्ष्य: यह सुनिश्चित करना कि रूपांतरित लॉजिट्स अभी भी सही लेबल का अनुमान लगा सकें।
- कार्यान्वयन: रूपांतरित लॉजिट्स $Z'$ और ग्राउंड-ट्रुथ लेबल $Y$ के बीच क्रॉस-एन्ट्रॉपी लॉस ( $L_{CE}$ ) को कम करना। यह मैक्सिमाइजिंग म्यूचुअल इंफॉर्मेशन के लिए एक सुलभ अपर बाउंड (upper bound) के रूप में कार्य करता है।
कॉन्टेक्स्ट को दबाना (Minimize $I(X; Z')$ ):
- लक्ष्य: लॉजिट्स से इनपुट $X$ के बारे में जानकारी को हटाना।
- चुनौती: हाई-डायमेंशनल LLMs के लिए $I(X; Z')$ का सीधा अनुमान लगाना असंभव है।
- समाधान: लेखक देखते हैं कि KD में, $X$ से जानकारी स्टूडेंट तक ग्रेडिएंट्स (gradients) के माध्यम से प्रसारित होती है। वे मूल लॉजिट्स ( $g$ ) और रूपांतरित लॉजिट्स ( $g'$ ) द्वारा प्रेरित ग्रेडिएंट्स के बीच कोणीय विचलन (angular deviation) को मैक्सिमाइज करने का प्रस्ताव करते हैं।
- कार्यान्वयन: एक ग्रेडिएंट डेविएशन लॉस ( $L_{grad}$ ) जो $g$ और $g'$ के बीच कोण को मैक्सिमाइज करता है (कोसाइन सिमिलरिटी को कम करता है)। यह टीचर के अंतिम आउटपुट वितरण को महत्वपूर्ण रूप से बदले बिना स्टूडेंट के लर्निंग सिग्नल को "पॉइजन" (poison) कर देता है।

कुल लॉस (Total Loss): $L_M = L_{CE} + \lambda \cdot L_{grad}$

D. कुशल कार्यान्वयन (Efficient Implementation)

पैरामीटर दक्षता: चूंकि वोकैबुलरी साइज $|V|$ बहुत बड़ा है, इसलिए एक डेंस $|V| \times |V|$ मैट्रिक्स कम्प्यूटेशनल रूप से अत्यधिक महंगा है। लेखक $M$ को एक लो-रैंक स्ट्रक्चर में डीकंपोज करते हैं: $M = E + AB $, जहाँ$ E $आइडेंटिटी मैट्रिक्स है, और$ A, B$ लो-रैंक मैट्रिसेस हैं (LoRA-स्टाइल इनिशियलाइजेशन के माध्यम से शुरू किए गए)।
सरोगेट स्टूडेंट (Surrogate Student): $L_{grad}$ टर्म के लिए ग्रेडिएंट्स $g$ और $g'$ की गणना करने के लिए $M$ के प्रशिक्षण के दौरान एक छोटे प्रॉक्सी स्टूडेंट मॉडल का उपयोग किया जाता है।

3. प्रमुख योगदान (Key Contributions)

लॉजिट-आधारित KD के खिलाफ पहली रक्षा: यह पेपर विशेष रूप रूप से लॉजिट-आधारित नॉलेज डिस्टिलेशन को संबोधित करता है और उसका बचाव करता है, जो टेक्स्ट-आधारित KD की तुलना में एक अधिक शक्तिशाली अटैक वेक्टर है।
सूचना-सैद्धांतिक ढांचा: यह डिस्टिलेशन-संबंधित जानकारी के रिसाव (leakage) को मापने और कम करने के लिए CMI को एक सिद्धांतगत मीट्रिक के रूप में पेश करता है।
नवाचारी ऑप्टिमाइज़ेशन रणनीति: यह एक ड्यूल-लॉस ऑब्जेक्टिव (क्रॉस-एन्ट्रॉपी + ग्रेडिएंट डेविएशन) प्रस्तावित करता है जो उच्च कार्य सटीकता बनाए रखते हुए प्रभावी रूप से लॉजिट्स को शुद्ध करता है।
हल्का पोस्ट-प्रोसेसिंग: इस विधि के लिए केवल एक छोटा, लर्नबल मैट्रिक्स चाहिए जो आउटपुट लेयर में जोड़ा जाता है, जिससे विशाल टीचर मॉडल फ्रीज रहता है और इन्फरेंस एफिशिएंसी बनी रहती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन चार मजबूत डिस्टिलेशन बेसलाइन्स (Vanilla KD, AlphaNet, MiniLLM, ABKD) के विरुद्ध कई LLM परिवारों (Qwen2.5, Llama 3) और डेटासेट्स (GSM8K, MMLU, MATH) पर किया गया।

बचाव प्रभावकारिता (Defense Efficacy): प्रस्तावित विधि डिस्टिल्ड स्टूडेंट मॉडल्स के प्रदर्शन को काफी कम कर देती है।
- उदाहरण: GSM8K पर, AlphaNet का उपयोग करके Qwen2.5-1.5B स्टूडेंट को डिस्टिल करने पर सटीकता Vanilla (62.93%) से गिरकर डिफेंस (50.95%) हो गई, जो ~12% की गिरावट है।
- कई मामलों में, डिस्टिल्ड स्टूडेंट ने केवल ग्राउंड-ट्रुथ लेबल्स पर प्रशिक्षित मॉडल (SFT-only) की तुलना में खराब प्रदर्शन किया, जो दर्शाता है कि डिफेंस ने डिस्टिलेशन सिग्नल को सफलतापूर्वक बाधित कर दिया।
यूटिलिटी संरक्षण (Utility Preservation): टीचर मॉडल की सटीकता काफी हदित तक बरकरार रही (जैसे, कुछ कॉन्फ़िगरेशन में केवल 62.93% से 62.85% तक की मामूली गिरावट), जिससे यह सुनिश्चित हुआ कि API वैध उपयोगकर्ताओं के लिए उपयोगी बना रहे।
मजबूती (Robustness): बचाव विभिन्न स्टूडेंट मॉडल साइज (0.5B से 3B) और विभिन्न डिस्टिलेशन एल्गोरिदम में लगातार काम करता रहा।
गुणात्मक विश्लेषण (Qualitative Analysis):
- टीचर: आउटपुट प्रवाहपूर्ण (fluent), सुसंगत और सही रहे।
- स्टूडेंट: डिस्टिल्ड स्टूडेंट्स ने कमजोर तर्क (reasoning), छोटे उत्तर, अधूरे डेरिवेशन, और कुछ मामलों में दोहराव वाले लूप या जनरेशन कोलैप्स प्रदर्शित किए, जो ज्ञान हस्तांतरण तंत्र के व्यवधान की पुष्टि करते हैं।

5. महत्व (Significance)

यह कार्य LLM सुरक्षा में एक महत्वपूर्ण बदलाव का प्रतिनिधित्व करता है। पोस्ट-हॉक वॉटरमार्किंग और टेक्स्ट-लेवल परटर्बेशन से आगे बढ़कर, यह लॉजिट-आधारित चोरी के मूल कारण को संबोधित करता है: संभाव्यता वितरणों (probability distributions) में अतिरिक्त जानकारी।

IP संरक्षण: यह वाणिज्यिक प्रदाताओं को उनके मॉडल्स को API एक्सेस के माध्यम से "मॉडल स्टीलिंग" से बचाने के लिए एक मजबूत तंत्र प्रदान करता है, जो LLMs के अधिक मूल्यवान होने के साथ एक महत्वपूर्ण चिंता है।
सैद्धांतिक अंतर्दृष्टि: यह सूचना सिद्धांत और LLM सुरक्षा को जोड़ता है, जो जेनेरेटिव मॉडल्स में सूचना रिसाव को कैसे नियंत्रित और मापा जाए, इस पर एक नया दृष्टिकोण प्रदान करता है।
व्यावहारिकता: रक्षा की लो-रैंक, पोस्ट-प्रोसेसिंग प्रकृति इसे महंगे मॉडल रिट्रेनिंग की आवश्यकता के बिना वास्तविक दुनिया के API परिदृश्यों में अत्यधिक तैनात करने योग्य (deployable) बनाती है।