💻 computer science

Fine-Tuning Robot Policies While Maintaining User Privacy

यह शोध पत्र PRoP को प्रस्तुत करता है, जो एक मॉडल-अज्ञेय (model-agnostic) ढांचा है जो रोबोटों को अद्वितीय क्रिप्टोग्राफिक कुंजियों का उपयोग करके नेटवर्क भार (network weights) को गणितीय रूप से रूपांतरित करने के माध्यम से गोपनीयता बनाए रखते हुए व्यक्तिगत उपयोगकर्ताओं के लिए अपनी नीतियों को व्यक्तिगत बनाने में सक्षम बनाता है, जिससे यह सुनिश्चित होता है कि केवल अधिकृत उपयोगकर्ता ही उनके विशिष्ट व्यवहार संबंधी अनुकूलनों तक पहुँच सकें।

मूल लेखक: Benjamin A. Christie, Sagar Parekh, Dylan P. Losey

प्रकाशित 2026-03-05

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Benjamin A. Christie, Sagar Parekh, Dylan P. Losey

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपने एक हाई-टेक, जनरल-पर्पस रोबोट शेफ खरीदा है। डिब्बे से बाहर निकलते ही, उसे एक "स्टैंडर्ड" बर्गर बनाना आता है। यह बेहतरीन है, लेकिन शायद आप अपना बर्गर एक्स्ट्रा अचार (pickles) के साथ, बिना प्याज के, और थोड़ा ज़्यादा टोस्ट किए हुए बन के साथ पसंद करते हैं।

रोबोट को अपने अनुसार बनाने के लिए, आप उसे अपनी विशिष्ट पसंद सिखाते हैं। आप उसे दिखाते हैं कि आपको खाना कैसे पसंद है। इसे फाइन-ट्यूनिंग (fine-tuning) कहा जाता है।

समस्या: "ओपन किचन" प्राइवेसी लीक
यहाँ पेंच यह है कि वर्तमान के अधिकांश सिस्टमों में, एक बार जब आप रोबोट को अपना गुप्त नुस्खा सिखा देते हैं, तो वह ज्ञान सीधे रोबोट के दिमाग में समा जाता है। यदि किसी और के पास (जैसे कि कोई पड़ोसी, हैकर, या यहाँ तक कि रोबोट निर्माता) उस रोबोट तक पहुँच प्राप्त कर लेता है, तो वे बस उस रोबोट को चालू कर सकते हैं, उससे एक बर्गर बनाने के लिए कह सकते हैं, और उसे आपका विशिष्ट संस्करण बनाते हुए देख सकते हैं। वे तुरंत समझ सकते हैं कि आपको प्याज पसंद नहीं है और एक्स्ट्रा अचार पसंद है। आपकी निजी आदतें केवल रोबोट को काम करते देखकर लीक हो जाती हैं।

समाधान: PRoP (द "मैजिक की" सिस्टम)
इस पेपर के लेखक, बेंजामिन क्रिस्टी, सागर पारेख और डिलन लूसी, एक नया सिस्टम प्रस्तावित करते हैं जिसे PRoP (पर्सनलाइज्ड एंड प्राइवेट रोबोट पॉलिसीज़) कहा जाता है।

PRoP को एक स्मार्ट लॉक की तरह समझें जिसमें एक मास्टर चाबी और एक अनूठी व्यक्तिगत चाबी होती है।

मास्टर लॉक (सामान्य रोबोट): रोबोट के पास अभी भी उसका मूल "सामान्य" दिमाग है। वह एक स्टैंडर्ड बर्गर बनाना जानता है। यह डिफॉल्ट सेटिंग है।
मैजिक की (आपका पासवर्ड): आपके पास एक अनूठी चाबी है (यह एक पासवर्ड, फिंगरप्रिंट, या यहाँ तक कि आपका फेस स्कैन भी हो सकता है)।
परिवर्तन (The Transformation): जब आप रोबोट को अपनी चाबी देते हैं, तो रोबोट केवल आपकी पसंद को "याद" नहीं करता है। इसके बजाय, चाबी एक गणितीय जादू के मंत्र (mathematical magic spell) की तरह काम करती है जो केवल आपके लिए रोबोट के आंतरिक गियर्स को अस्थायी रूप से पुनर्गठित कर देती है।
- आपकी चाबी के साथ: गियर्स बदल जाते हैं, और रोबोट एक्स्ट्रा अचार के साथ आपका परफेक्ट बर्गर बनाता है।
- आपकी चाबी के बिना (या गलत चाबी के साथ): गियर्स वापस अपनी मूल स्थिति में आ जाते हैं। रोबोट को पता ही नहीं चलता कि आप मौजूद हैं या आपको क्या पसंद है।

यह कैसे काम करता है (द "सीक्रेट सॉस" एनालॉजी)
आमतौर पर, रोबोट को नया हुनर सिखाने के लिए, आपको उसका पूरा निर्देश मैनुअल (न्यूरल नेटवर्क वेट्स) फिर से लिखना पड़ता है। यह अव्यवस्थित है और इससे रोबोट अपने पुराने हुनर भूल सकता है या आपका डेटा लीक कर सकता है।

PRoP चतुर है क्योंकि यह मैनुअल को फिर से नहीं लिखता है। इसके बजाय, यह रोबोट की सोच प्रक्रिया के मध्यवर्ती चरणों (intermediate steps) में बदलाव करने के लिए आपकी चाबी का उपयोग करता है।

कल्पना कीजिए कि रोबोट का दिमाग एक लंबी असेंबली लाइन है जो सैंडविच बना रही है।
PRoP कन्वेयर बेल्ट पर एक विशेष, अदृश्य फिल्टर लगा देता है।
जब आपकी चाबी मौजूद होती है, तो फिल्टर आपकी पसंद के अनुसार बेल्ट पर सामग्री को पुनर्व्यवस्थित करता है।
जब चाबी हट जाती है, तो फिल्टर गायब हो जाता है, और सामग्री वापस मानक व्यवस्था में आ जाती है।

क्योंकि रोबोट का मुख्य "दिमाग" (असेंबली लाइन) वास्तव में स्थायी रूप से नहीं बदलता है, इसलिए यह सुरक्षित रहता है। भले ही कोई हैकर रोबोट के कोड को चुरा ले, वे आपकी पसंद को नहीं देख सकते क्योंकि आपकी पसंद आपकी चाबी और रोबोट के गियर्स के बीच के इंटरेक्शन में छिपी होती है, न कि स्वयं गियर्स के अंदर।

यह क्यों एक बड़ी बात है
शोधकर्ताओं ने रोबोट द्वारा सैंडविच बनाने से लेकर इमेज सॉर्ट करने तक सब कुछ करने पर इसका परीक्षण किया। उन्होंने पाया कि:

यह निजी है: यदि आप किसी और की चाबी का अनुमान लगाने की कोशिश करते हैं (भले ही आप इसे 99% सही पा लें), तो रोबोट उनके रहस्य उजागर नहीं करेगा। यह बस एक "सामान्य" रोबोट की तरह व्यवहार करेगा।
यह कुशल है: आपको हर व्यक्ति के लिए अलग रोबोट ब्रेन की आवश्यकता नहीं है। एक रोबोट 100 अलग-अलग लोगों की सेवा कर सकता है, जिनमें से प्रत्येक की अपनी गुप्त पसंद है, बिना भ्रमित हुए या डेटा लीक किए।
यह लचीला है: यह तब भी काम करता है जब रोबोट आपको देखकर सीख रहा हो (इमिटेशन लर्निंग), ट्रायल एंड एरर से सीख रहा हो (रीइन्फोर्समेंट लर्निंग), या सिर्फ तस्वीरें छाँट रहा हो।

संक्षेप में
PRoP ऐसा है जैसे आप अपने रोबोट को एक पर्सनलाइज्ड "मोड" बटन दे रहे हैं जिसे केवल आप ही सक्रिय कर सकते हैं। यह रोबोट को तब "आप" होने देता है जब आप वहाँ होते हैं, लेकिन जब आप नहीं होते, तो यह दुनिया के लिए एक "अजनबी" बना रहता है। इस तरह, आप एक ऐसा रोबोट रख सकते हैं जो वास्तव में आपकी आदतों को समझता है, बिना इस डर के कि आपके रहस्य दुनिया के सामने उजागर हो जाएंगे।

यहाँ क्रिस्टी, पारेख और लूसी के शोध पत्र "Fine-Tuning Robot Policies While Maintaining User Privacy" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

सामान्य-उद्देश्य वाली रोबोट नीतियों (विभिन्न कार्यों को करने में सक्षम पूर्व-प्रशिक्षित मॉडल) का उदय व्यक्तिगत उपयोगकर्ता प्राथमिकताओं (जैसे, भोजन तैयार करने की विशिष्ट शैलियाँ या कार्य उद्देश्य) के अनुकूल होने के लिए फाइन-ट्यूनिंग (fine-tuning) की आवश्यकता पैदा करता है। हालाँकि, वर्तमान फाइन-ट्यूनिंग विधियाँ एक महत्वपूर्ण गोपनीयता भेद्यता (privacy vulnerability) उत्पन्न करती हैं:

लीकेज का मुद्दा (The Leakage Issue): जब किसी रोबोट की नीति को एक विशिष्ट उपयोगकर्ता के लिए फाइन-ट्यून किया जाता है, तो परिणामी मॉडल उस उपयोगकर्ता की निजी प्राथमिकताओं को एनकोड करता है। इस फाइन-ट्यून की गई नीति तक पहुँच रखने वाला कोई भी एजेंट इसे "रोल आउट" (निष्पादित) कर सकता है और मूल उपयोगकर्ता की आदतों, पसंद या व्यवहार का अनुमान लगा सकता है।
मौजूदा समाधानों की सीमाएँ:
- डेटा गोपनीयता (Data Privacy): प्रशिक्षण डेटासेट को सुरक्षित करना अंतिम मॉडल से होने वाले अनुमान (inference) को नहीं रोकता है।
- मॉडल गोपनीयता (एन्क्रिप्शन) (Model Privacy - Encryption): होमोमोर्फिक एन्क्रिप्शन जैसी तकनीकें वास्तविक समय की रोबोटिक्स के लिए कम्प्यूटेशनल रूप से अव्यावहारिक हैं ( $10^7$ गुना तक धीमी)।
- डिफरेंशियल प्राइवेसी (Differential Privacy): यह अक्सर जटिल इंटरैक्शन कार्यों में "प्राइवेसी बजट" ( $\epsilon$ ) के साथ संघर्ष करती है और विशिष्ट व्यवहारों तक पहुँच को नियंत्रित नहीं करती है।
मुख्य चुनौती: यह कैसे सुनिश्चित किया जाए कि एक रोबोट व्यक्तिगत उपयोगकर्ताओं के अनुकूल बन सके, जबकि यह भी सुनिश्चित हो कि अनधिकृत उपयोगकर्ता (या तीसरे पक्ष) उन विशिष्ट प्राथमिकताओं को एक्सेस या अनुमान न लगा सकें, भले ही उनके पास प्रशिक्षित मॉडल मौजूद हो।

2. कार्यप्रणाली: PRoP (Personalized and Private Robot Policies)

लेखक PRoP का प्रस्ताव करते हैं, जो एक मॉडल-एग्नोस्टिक (model-agnostic) ढांचा है जो मूल नेटवर्क आर्किटेक्चर को बदले बिना निजी वैयक्तिकरण (personalization) प्राप्त करता है।

मुख्य अवधारणा: की-आधारित लेटेंट ट्रांसफॉर्मेशन (Key-Based Latent Transformation)

अलग-अलग उपयोगकर्ताओं के लिए अलग मॉडल प्रशिक्षित करने या उपयोगकर्ता की 'की' (key) को मानक इनपुट के रूप में जोड़ने के बजाय (जिसके लिए आर्किटेक्चरल बदलाव की आवश्यकता होती है), PRoP पूर्व-प्रशिक्षित नीति के मध्यवर्ती फीचर्स (intermediate features) को गणितीय रूप से बदलने के लिए एक अद्वितीय यूजर की (user key) ( $k$ ) का उपयोग करता है।

की (The Key - $k$ ): उपयोगकर्ता के लिए एक अद्वितीय पहचानकर्ता (जैसे, पासवर्ड, बायोमेट्रिक फीचर, या टोकन), जिसे एक बिट-वेक्टर के रूप में दर्शाया जाता है।
की एनकोडर (Key Encoder - $\Delta_\phi$ ): एक मल्टी-लेयर पर्सेप्ट्रॉन (MLP) जो यूजर की $k$ को लेटेंट स्पेस $Z$ में मैप करता है।
एफाइन ट्रांसफॉर्मेशन (Affine Transformation): लेटेंट एनकोडिंग का उपयोग रोबोट की नीति के विशिष्ट हिडन लेयर्स के वेट्स (weights) पर एफाइन ट्रांसफॉर्मेशन करने के लिए किया जाता है ( $R_\phi$ $R_{ϕ}$ )।
- एक हिडन लेयर $i$ के लिए जिसके वेट्स $W_i$ और बायस $b_i$ हैं, और लेटेंट वेक्टर $\delta_i = \Delta_\phi(k)$ है, आउटपुट $z_{i+1}$ की गणना इस प्रकार की जाती है:
  $z_{i+1} = f(W_i \cdot \text{diag}(\delta_i) \cdot z_i + b_i)$
- यह प्रभावी रूप से नीति को "गेट" (gate) करता है। सही की (key) के बिना, ट्रांसफॉर्मेशन आइडेंटिटी (या एक न्यूट्रल स्टेट) पर डिफ़ॉल्ट हो जाता है, जिससे रोबोट अपने सामान्य बेसलाइन व्यवहार ( $\pi^*$ ) पर वापस आ जाता है। सही की के साथ, नीति वैयक्तिकृत व्यवहार ( $\pi'$ ) में बदल जाती है।

प्रशिक्षण उद्देश्य (Training Objective)

प्रशिक्षण प्रक्रिया एक कंपोजिट लॉस फंक्शन का उपयोग करके दो प्रतिस्पर्धी लक्ष्यों को एक साथ अनुकूलित (optimize) करती है:

वैयक्तिकरण (Personalization): जब सही की $k'$ प्रदान की जाती है, तो विशिष्ट उपयोगकर्ता के उद्देश्य ( $J'$ ) के लिए लॉस को कम करना।
गोपनीयता/फ़ालबैक (Privacy/Fallback): सभी अन्य कीज़ (जिनमें रैंडम कीज़ और सही की के करीब वाली कीज़ शामिल हैं) के लिए सामान्य उद्देश्य ( $J^*$ ) पर प्रदर्शन को अधिकतम करना।

प्रशिक्षण को सुलभ बनाने के लिए, लेखक एक इंडक्टिव लॉस फंक्शन (inductive loss function) का उपयोग करते हैं जो सैंपल लेता है:

सही की ( $k'$ )।
"करीबी" कीज़ का एक उपसमूह (हैमिंग डिस्टेंस $\le \epsilon$ ), ताकि उच्च-मार्जिन पृथक्करण (high-margin separation) लागू किया जा सके।
रैंडम कीज़ का एक स्टोकेस्टिक उपसमूह, यह सुनिश्चित करने के लिए कि अनधिकृत उपयोगकर्ताओं के लिए मॉडल सामान्य नीति पर वापस आ जाए।

3. मुख्य योगदान (Key Contributions)

की-आधारित वैयक्तिकरण फॉर्मूलेशन (Key-Based Personalization Formulation): रोबोट नीतियों को यूजर की पर आधारित करने का एक नया तरीका, जो प्री-ट्रेंड आर्किटेक्चर को बदले बिना काम करता है। यह पूरे नेटवर्क को फिर से प्रशिक्षित करने या इनपुट आयामों को बदलने की आवश्यकता को समाप्त करता है।
गोपनीयता-संरक्षण तंत्र (Privacy-Preserving Mechanism): यह विधि सुनिश्चित करती है कि अनधिकृत उपयोगकर्ता (या गलत की वाले उपयोगकर्ता) केवल सामान्य नीति ही देख पाते हैं। वैयक्तिकृत व्यवहार को नेटवर्क वेट्स के भीतर गणितीय रूप से "ओब्फस्केट" (obfuscate) किया जाता है, जिससे वह विशिष्ट की के बिना अप्राप्य हो जाता है।
मॉडल एग्नोस्टिसिज्म (Model Agnosticism): PRoP इमिटेशन लर्निंग (Imitation Learning), रीइन्फोर्समेंट लर्निंग (RL), और इमेज क्लासिफिकेशन सहित विभिन्न लर्निंग प्रतिमानों के साथ संगत है। यह प्री-ट्रेंड मॉडल्स के साथ काम कर सकता है और इसे एंड-टू-एंड भी प्रशिक्षित किया जा सकता है।
स्केलेबिलिटी (Scalability): यह दृष्टिकोण एक ही साझा नेटवर्क में कई उपयोगकर्ता प्राथमिकताओं को "कंप्रेस" करने की अनुमति देता है, जिससे प्रत्येक उपयोगकर्ता के लिए अलग मॉडल स्टोर करने का मेमोरी ओवरहेड बच जाता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने चार डोमेन में बेसलाइन्स (स्टैंडर्ड MLP विद की इनपुट, कंडीशनल VAE) के विरुद्ध PRoP का मूल्यांकन किया:

इमिटेशन लर्निंग (3-DoF Arm): PRoP ने सफलतापूर्वक उपयोगकर्ता-विशिष्ट ट्राजेक्टरीज सीखीं। इसने सही की के लिए उच्च प्रदर्शन बनाए रखा और गलत की के लिए सामान्य नीति पर वापस लौट आया।
रीइन्फोर्समेंट लर्निंग (PandaGym): एक डेंस रिवॉर्ड एनवायरनमेंट में, PRोP ने सही की के लिए बेसलाइन्स की तुलना में पर्याप्त प्रदर्शन अंतर हासिल किया, जबकि गलत की के लिए सामान्य कार्य प्रदर्शन बनाए रखा।
इमेज क्लासिफिकेशन (MNIST): मॉडल ने की के आधार पर लेबल प्रेडिक्शन को बदलना सीखा (जैसे, $l \to (l+k) \mod 10$ )। PRoP ने "करीबी" कीज़ (1-बिट अंतर) के लिए बेसलाइन्स की तुलना में काफी कम सूचना लीकेज दिखाया।
स्केलेबिलिटी (Multiple Users): PRoP एक सिंगल नेटवर्क के साथ लगभग ~16 अद्वितीय उपयोगकर्ताओं को संभाल सकता था, इससे पहले कि प्रदर्शन रैखिक रूप से घटने लगे। इसके विपरीत, बेसलाइन्स (MLP/CVAE) में उपयोगकर्ताओं की संख्या बढ़ने पर घातीय (exponential) प्रदर्शन गिरावट देखी गई।
वास्तविक दुनिया का उपयोगकर्ता अध्ययन (Real-World User Study): एक मॉक किचन सेटिंग में 12 प्रतिभागियों और एक UR-10 रोबोट के साथ:
- वैयक्तिकरण: PRoP ने उपयोगकर्ता के पासवर्ड के अनुसार सैंडविच को सही ढंग से असेंबल करने में बेसलाइन्स को पछाड़ दिया।
- गोपनीयता: PRoP ने CVAE और MLP की तुलना में काफी कम प्राइवेसी लीकेज प्रदर्शित किया (उपयोगकर्ता अन्य उपयोगकर्ताओं के ऑर्डर का अनुमान नहीं लगा सके) ( $p < 0.05$ )।

5. महत्व और निष्कर्ष (Significance and Conclusion)

यह कार्य ह्यूमन-रोबोट इंटरैक्शन (HRI) में एक महत्वपूर्ण अंतराल को संबोधित करता है: वैयक्तिकरण और गोपनीयता के बीच का तनाव।

व्यावहारिक प्रभाव: PRoP घरेलू सेटिंग्स में सामान्य-उद्देश्य वाले रोबोटों की तैनाती को सक्षम बनाता है जहाँ उपयोगकर्ता अपनी निजी आदतों के उजागर होने के डर के बिना अपने व्यवहार को कस्टमाइज़ कर सकते हैं।
तकनीकी नवाचार: इनपुट कॉन्कैटिनेशन या पूर्ण मॉडल डुप्लीकेशन के बजाय इंटरमीडिएट फीचर ट्रांसफॉर्मेशन का लाभ उठाकर, PRoP एक कम्प्यूटेशनल रूप से कुशल, रियल-टाइम समाधान प्रदान करता है जो प्री-ट्रेंड मॉडल्स की अखंडता को बनाए रखता है।
भविष्य की दिशा: पेपर सुझाव देता है कि इस दृष्टिकोण को भाषा-आधारित वैयक्तिकरण और अधिक जटिल ओब्फस्केशन तकनीकों तक बढ़ाया जा सकता है, जो सुरक्षित, स्केलेबल और वैयक्तिकृत रोबोटिक सहायकों के लिए मार्ग प्रशस्त करता है।