Defense Against Prompt Inversion Attacks: An Information-Theoretic Approach for LLM Collaborative Inference

तकनीकी सारांश: सूचना-सैद्धांतिक सहयोगात्मक अनुमान (Information-Theoretic Collaborative Inference) के माध्यम से प्रॉम्प्ट इनवर्जन हमलों के विरुद्ध रक्षा

समस्या विवरण
सहयोगात्मक एज-क्लाउड अनुमान (Collaborative edge-cloud inference) संसाधन-बाधित उपकरणों को प्रारंभिक परतों को स्थानीय रूप से निष्पादित करके और मध्यवर्ती सक्रियणों (intermediate activations) को क्लाउड सर्वर पर ऑफलोड करके लार्ज लैंग्वेज मॉडल्स (LLMs) का लाभ उठाने की अनुमति देता है। हालाँकि, यह आर्किटेक्चर संवेदनशील उपयोगकर्ता प्रॉम्प्ट को प्रॉम्प्ट इनवर्जन हमलों (prompt inversion attacks) के प्रति असुरक्षित बनाता है, जहाँ हमलावर साझा किए गए निरूपणों (representations) से मूल इनपुट को पुनर्गठित कर लेते हैं। मौजूदा रक्षा तंत्र, जैसे कि ह्यूरिस्टिक नॉइज़ इंजेक्शन या आयामी कमी (dimensionality reduction), गोपनीयता रिसाव के संबंध में सिद्धांतों पर आधारित सैद्धांतिक गारंटी की कमी रखते हैं और अक्सर कार्य उपयोगिता (task utility) को बनाए रखने और टोकन पहचान (token identity) की सुरक्षा करने के बीच के मौलिक तनाव को संबोधित करने में विफल रहते हैं। इसके अलावा, पूर्व कार्यों ने दिखाया है कि टोकन पहचान सभी ट्रांसफार्मर परतों के माध्यम से बनी रहती है, जिससे सरल गहराई-आधारित अस्पष्टता (depth-based obfuscation) अप्रभावी हो जाती है।

कार्यप्रणाली (Methodology)
लेखक एक सूचना-सैद्धांतिक रक्षा ढांचे (information-theoretic defense framework) का प्रस्ताव करते हैं जो इनपुट प्रॉम्प्ट $x$ और प्रेषित संरक्षित सक्रियण $A$ के बीच पारस्परिक सूचना (mutual information - MI) के रूप में गोपनीयता रिसाव को मॉडल करता है। रक्षा को एक मिनिमैक्स अनुकूलन समस्या (minimax optimization problem) के रूप में तैयार किया गया है:

1. उद्देश्य: विलंबता बाधाओं (latency constraints) के अधीन, $I(A; x)$ (गोपनीयता रिसाव) को कम करना और $I(A; y)$ (अगले-टोकन भविष्यवाणी के लिए उपयोगिता) को अधिकतम करना।
2. आर्किटेक्चर (प्राइवेसी एडेप्टर्स): मुख्य तंत्र में क्लाइंट साइड पर फ्रोजन ट्रांसफार्मर परतों के बीच हल्के, प्रशिक्षित प्राइवेसी एडेप्टर्स (privacy adapters) को सम्मिलित करना शामिल है। LoRA-शैली के एडेप्टर्स की तरह जो रेसिडुअल कनेक्शन जोड़ते हैं, ये एडेप्टर्स एक सख्त सूचना बाधा (information bottleneck) लागू करते हैं:
   • वे डाउन-प्रोजेक्शन, नॉन-लिनियरिटी और अप-प्रोजेक्शन के माध्यम से आयाम $d$ से निम्न-आयामी उप-स्थान $r$ ($r \ll d$) तक सक्रियणों को संकुचित करते हैं।
   • महत्वपूर्ण रूप से, वे सक्रियण को योगात्मक रूप से विचलित करने के बजाय उसे प्रतिस्थापित (replace) करते हैं। लेखक सैद्धांतिक रूप से सिद्ध करते हैं कि इंजेक्टिव रेसिडुअल कनेक्शन (जो अन्य रक्षाओं में सामान्य हैं) पारस्परिक सूचना को कम नहीं कर सकते, जबकि नॉन-इंजेक्टिव बॉटलनैक वास्तविक अर्थों में लॉस्य कंप्रेशन (lossy compression) को लागू करते हैं, जो वास्तव में MI को कम करते हैं।
3. अनुकूलन (Optimization): सिस्टम एक वैकल्पिक प्रशिक्षण अनुसूची (alternating training schedule) का उपयोग करता है। एक एडवरसरी नेटवर्क (एक टोकन क्लासिफायर) को पुनर्गठन सटीकता को अधिकतम करने (क्रॉस-एन्ट्रॉपी को कम करने) के लिए प्रशिक्षित किया जाता है, जबकि एडेप्टर्स को एडवरसरी के क्रॉस-एन्ट्रॉही और डाउनस्ट्रीम कार्य की पर्प्लेक्सिटी (perplexity) के संयुक्त नुकसान को कम करने के लिए अपडेट किया जाता है। यह सीधे तौर पर MI के वेरिएशनल अपर बाउंड (variational upper bound) का अनुमान लगाता है और उसे कम करता है।

प्रमुख योगदान

1. सूचना-सैद्धांतिक मिनिमैक्स ढांचा: यह शोध पत्र एक सीखे हुए एडवरसरी के माध्यम से पारस्परिक सूचना को स्पष्ट रूप से कम करके प्रॉम्प्ट इनवर्जन के विरुद्ध एक औपचारिक रक्षा स्थापित करता है, जो सैद्धांतिक गोपनीयता सीमाओं और व्यावहारिक कार्यान्वयन के बीच के अंतर को पाटता है।
2. सैद्धांतिक गारंटी के साथ प्राइवेसी एडेप्टर्स: लेखक लॉस्य कंप्रेशन को लागू करने वाले एडेप्टर मॉड्यूल पेश करते हैं। वे एक औपचारिक प्रमाण (थ्योरम 4.2) प्रदान करते हैं कि रेसिडुअल-शैली की रक्षाएँ (इंजेक्टिव मैपिंग) पारस्परिक सूचना को कम नहीं कर सकती हैं, जो उनके नॉन-इंजेक्टिव बॉटलनैक डिज़ाइन की आवश्यकता को न्यायसंगत ठहराता है। वे बॉटलनैक आयाम के फलन के रूप में पुनर्गठन त्रुटि (reconstruction error) के बाउंड भी प्राप्त करते हैं।
3. संवेदनशील टोकन विश्लेषण: ढांचा संवेदनशील टोकनों (डोमेन-विशिष्ट शब्द जैसे चिकित्सा स्थितियाँ या कानूनी संस्थाएं) और सामान्य संरचनात्मक टोकनों (स्टॉप वर्ड्स, विराम चिह्न) के बीच अंतर करने के लिए एक कार्यप्रणाली पेश करता है। सिद्धांत भविष्यवाणी करता है और प्रयोग पुष्टि करते हैं कि बॉटलनैक उच्च-एन्ट्रॉपी (संवेदनशील) टोकनों को असमान रूप से दबाता है जबकि सिंटैक्टिक सुसंगतता के लिए आवश्यक निम्न-एन्ट्रॉपी (सामान्य) टोकनों को सुरक्षित रखता है।
4. व्यापक मूल्यांकन: विधि को तीन LLMs (LLaMA-2-7B/13B, Mistral-7B) और तीन डोमेन (मेडिकल, लीगल, एयरलाइन रिव्यूज) में वर्गीकरण-आधारित और अनुकूलन-आधारित प्रॉम्प्ट इनवर्जन हमलों के विरुद्ध मान्य किया गया है।

प्रायोगिक परिणाम

• प्राइवेसी-यूटिलिटी ट्रेड-ऑफ: विधि हमलों की सफलता दर में महत्वपूर्ण कमी लाती है। विभिन्न सेटिंग्स में, यह बेसलाइन्स की तुलना में संवेदनशील टोकन रिकवरी को 15–35% कम कर देती है, जिसमें सर्वोत्तम कॉन्फ़िगरेशन (जैसे $\lambda=0.5$) सामान्य टोकनों की तुलना में संवेदनशील टोकन सटीकता में 35 प्रतिशत अंक तक की कमी दिखाते हैं।
• बेसलाइन्स के साथ तुलना: प्रस्तावित एडेप्टर्स गॉसियन/लैपलेस नॉइज़, PCA, और सूचना-रिसाव न्यूनीकरण विधियों (NoPeek, Fisher-आधारित मास्किंग) सहित मौजूदा रक्षाओं से बेहतर प्रदर्शन करते हैं। विशेष रूप से, नॉइज़-आधारित विधियां अक्सर एक "प्राइवेसी-यूटिलिटी क्लिफ" का सामना करती हैं जहाँ मजबूत गोपनीयता उपयोगिता (परप्लेक्सिटी) को नष्ट कर देती है, जबकि एडेप्टर्स उपयोग करने योग्य पर्प्लेक्सिटी (जैसे PPL < 100) बनाए रखते हुए हमले की सटीकता को काफी कम कर देते हैं।
• दक्षता: दृष्टिकोण एज डिवाइस (Jetson Orin Nano पर परीक्षण किया गया) पर न्यूनतम विलंबता ओवरहेड (<9%) पेश करता है और पूर्ण मॉडल का नगण्य पैरामीटर काउंट (<0.3%) जोड़ता है।
• मजबूती (Robustness): रक्षा विभिन्न प्रकार के हमलों में सामान्य होती है; "फ्रेश" हमलावर जो संरक्षित सक्रियणों पर शून्य से प्रशिक्षित किए गए हैं, वे प्रशिक्षण एडवरसरी के समान सफलता दर प्राप्त करते हैं, जो पुष्टि करता है कि रक्षा केवल एक विशिष्ट सह-अनुकूलित मॉडल से जानकारी छिपाना नहीं है।

महत्व और दावे
यह शोध पत्र दावा करता है कि यह प्रॉम्प्ट इनवर्जन हमलों के तहत सहयोगात्मक LLM अनुमान के लिए पहला सूचना-सैद्धांतिक गोपनीयता रक्षा प्रदान करता है। इसका प्राथमिक महत्व ह्यूरिस्टिक गड़बड़ी (perturbations) से हटकर सिद्धांतों पर आधारित लॉस्य कंप्रेशन की ओर जाने में है जो पुनर्गठन त्रुटि पर प्रमाणित बाउंड प्रदान करता है। लेखक तर्क देते हैं कि उनका दृष्टिकोण यह प्रदर्शित करता है कि व्यावहारिक गोपनीयता के लिए सीखे गए, कार्य-जागरूक रूपांतरण (learned, task-aware transformations) आवश्यक हैं, जिससे संवेदनशील अनुप्रयोग (स्वास्थ्य सेवा, कानूनी) कच्चे उपयोगकर्ता प्रॉम्प्ट को उजागर किए बिना LLMs का उपयोग करने में सक्षम होते हैं। यह कार्य स्थापित करता है कि गोपनीयता संरक्षण एक समान होने की आवश्यकता नहीं है; उच्च-एन्ट्रॉपी टोकनों को चुनि적으로 दबाकर, सिस्टम डाउनस्ट्रीम अनुमान के लिए आवश्यक संरचनात्मक अखंडता को बनाए रखते हुए संवेदनशील सामग्री की रक्षा कर सकता है।