Privacy-Preserving Data Drift Detection and Recovery for Large-Scale LLM Applications via Proxy Representations
यह शोध पत्र ProxyDrift को प्रस्तुत करता है, जो एक गोपनीयता-संरक्षण ढांचा है जो गैर-PII प्रॉक्सी निरूपणों (non-PII proxy representations) का विश्लेषण करके बड़े पैमाने के LLM अनुप्रयोगों में डेटा ड्रिफ्ट का पता लगाने और उससे उबरने का कार्य करता है, ताकि कच्चे उपयोगकर्ता डेटा तक पहुँच बनाए बिना उत्पादन ट्रैफ़िक की निरंतर निगरानी की जा सके और लक्षित सिंथेटिक मूल्यांकन डेटासेट उत्पन्न किए जा सकें।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, हलचल भरे रेस्तरां के हेड शेफ हैं जो हर दिन लाखों लोगों को खाना परोसता है। आप यह सुनिश्चित करना चाहते हैं कि आपका खाना स्वादिष्ट हो, इसलिए आप नया व्यंजन परोसने से पहले एक शांत रसोई में उसका स्वाद चखते हैं। लेकिन यहाँ एक पेंच है: डाइनिंग रूम में बैठे ग्राहक मास्क पहने हुए हैं, और आपके रेस्तरां के सख्त गोपनीयता नियम आपको कभी भी उनके चेहरे देखने या उनके विशिष्ट ऑर्डर सुनने से रोकते हैं। आप बाहर जाकर मेनू नहीं देख सकते, या यह नहीं पूछ सकते कि "आपने अभी क्या खाया?" आपको केवल इतना पता है कि लोग खा रहे हैं, और आपको टेबल पर छोड़े गए एक छोटे, गुमनाम नोट के आधार पर अनुमान लगाना है कि वे क्या चाहते हैं।
यह उन विशाल AI चैटबॉट्स की दैनिक वास्तविकता है जो हमारे आधुनिक डिजिटल जीवन को संचालित करते हैं। ये लार्ज लैंग्वेज मॉडल्स (LLMs) सुपर-शेफ की तरह हैं जो करोड़ों उपयोगकर्ताओं के लिए कोड लिखते हैं, ईमेल ड्राफ्ट करते हैं और दस्तावेज़ बनाते हैं। लेकिन सख्त गोपनीयता कानूनों के कारण, इन AI को चलाने वाली कंपनियाँ वास्तव में उन सवालों को नहीं देख सकतीं जो लोग पूछते हैं या जो उत्तर उन्हें मिलते हैं। वे अंधेरे में काम कर रहे हैं। यदि "ग्राहक" (उपयोगकर्ता) अचानक बहुत अलग चीजें माँगने लगें—जैसे कविता लिखने से हटकर कोड डीबग करने की ओर स्विच करना—तो AI का ट्रेनिंग डेटा पुराना हो सकता है। इसे "डेटा ड्रिफ्ट" कहा जाता है। वास्तविक ट्रैफिक को देखे बिना, AI लोगों को वही पुराना मेनू परोसता रह सकता है जबकि वे कुछ नया चाहते हों, जिससे बुरा अनुभव हो सकता है। बड़ा सवाल यह है: आप रेसिपी को कैसे ठीक करें जब आपको भोजन का स्वाद चखने की अनुमति ही न हो?
यहाँ आता है PROXYDRIFT, एक चतुर नया फ्रेमवर्क जिसे माइक्रोसॉफ्ट के शोधकर्ताओं द्वारा विकसित किया गया है जो गोपनीयता के नियमों को तोड़े बिना इस पहेली को हल करता है। इसे एक जादुई अनुवादक के रूप में सोचें जो ग्राहकों के गुप्त ऑर्डर्स को एक सरल, सुरक्षित चेकलिस्ट में बदल देता है। उपयोगकर्ता के प्रश्न के कच्चे टेक्स्ट (raw text) को देखने के बजाय (जो कि निजी है), सिस्टम एक AI का उपयोग प्रश्न को गैर-संवेदनशील "टैग्स" के सेट में वर्गीकृत करने के लिए करता है। उदाहरण के लिए, "एक डरावनी कहानी लिखें जो एक भूतिया टोस्टर के बारे में हो" देखने के बजाय, सिस्टम केवल टैग्स की एक सूची देखेगा: इरादा (Intent): रचनात्मक लेखन, टोन (Tone): डरावना, फॉर्मेट (Format): कहानी, लंबाई (Length): मध्यम। ये टैग्स "प्रॉक्सी रिप्रजेंटेशन" (proxy representations) हैं। वे शब्दों को रखे बिना बातचीत के आकार और शैली को पकड़ लेते हैं।
शोध पत्र दिखाता है कि इन टैग्स का उपयोग करके, टीम तीन अद्भुत चीजें कर सकती है। पहला, वे माप सकते हैं कि वर्तमान उपयोगकर्ता अनुरोध उनके पुराने टेस्ट डेटा से कितने अलग हैं। वे एक विशेष गणितीय स्कोर (जिसे "चांस-कैलिब्रेटेड अलाइनमेंट स्कोर" कहा जाता है) का उपयोग यह देखने के लिए कर सकते हैं कि क्या उनका टेस्ट मेनू वास्तविक डाइनिंग रूम से मेल खाता है। यदि स्कोर कम है, तो उन्हें पता चल जाता है कि वे तालमेल से बाहर हैं। दूसरा, वे एक बिल्कुल नया टेस्ट मेनू बना सकते हैं जो वास्तविक उपयोगकर्ताओं की सटीक नकल करता है। वे एक स्मार्ट सैंपलिंग विधि का उपयोग करते हैं (जो "चाउ-लिउ ट्री" (Chow-Liu tree) पर आधारित है, जो कि एक पारिवारिक वृक्ष की तरह है कि विभिन्न टैग आमतौर पर एक साथ कैसे चलते हैं) ताकि वर्तमान रुझानों से मेल खाने वाले हजारों नकली लेकिन यथार्थवादी प्रश्न उत्पन्न किए जा सकें। अंत में, वे यह पता लगा सकते हैं कि किस प्रकार के प्रश्न उपयोगकर्ताओं को नाखुश कर रहे हैं। वे टैग्स को साधारण "थम्स अप" या "थम्स डाउन" फीडबैक से जोड़कर, समस्या वाले क्षेत्रों को पहचान सकते—जैसे यह महसूस करना कि उपयोगकर्ता तब निराश होते हैं जब वे विशिष्ट एक्सेल फॉर्मूलों के बारे में पूछते हैं—बिना उनके किसी भी निजी स्प्रेडशीट को पढ़े।
अपने प्रयोगों में, शोधकर्ताओं ने पाया कि उनकी नई विधि अविश्वसनीय रूप से अच्छी तरह से काम करती है। जब उन्होंने अपने पुराने, हाथ से चुने गए टेस्ट सेट्स की वास्तविक दुनिया से तुलना की, तो पुराने सेट्स एक बहुत खराब मेल थे (लग केवल 0.28 स्कोर किया), लेकिन नए, AI-जनरेटेड टेस्ट सेट्स वास्तविक दुनिया से लगभग पूरी तरह मेल खाते थे (लगभग 0.91 स्कोर किया)। उन्होंने यह भी परीक्षण किया कि क्या कोई इंसान वास्तविक उपयोगकर्ता के प्रश्न और AI के नकली प्रश्न के बीच अंतर बता सकता है; बिना किसी विशेष संकेत के, इंसान उनमें अंतर नहीं कर सका। सबसे महत्वपूर्ण बात यह है कि उन्होंने इस सिस्टम का उपयोग माइक्रोसॉफ्ट कोपायलट (Microsoft Copilot) की एक वास्तविक समस्या को ठीक करने के लिए किया। यह देखकर कि उपयोगकर्ता एक्सेल चार्ट और फॉर्मूलों को संभालने के तरीके से नाखुश हैं, उन्होंने सिस्टम को उन विवरणों पर अधिक ध्यान देने के लिए ट्यून किया। परिणाम? AI उन विशिष्ट प्रश्नों के उत्तर देने में बहुत बेहतर हो गया, जो यह साबित करता है कि आप एक विशाल AI सिस्टम को बेहतर बना सकते हैं और इसे अपने उपयोगकर्ताओं के अनुरूप रख सकते हैं, और वह भी सभी के निजी डेटा को पूरी तरह सुरक्षित रखते हुए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।