Measuring Physical-World Privacy Awareness of Large Language Models: An Evaluation Benchmark
यह शोध पत्र EAPrivacy को प्रस्तुत करता है, जो LLM-संचालित एजेंटों की भौतिक-जगत की गोपनीयता जागरूकता का मूल्यांकन करने के लिए एक व्यापक बेंचमार्क है, जो यह प्रकट करता है कि वर्तमान मॉडल गतिशील एम्बोडीड (embodied) वातावरण में कार्य निष्पादन के साथ गोपनीयता संबंधी बाधाओं और सामाजिक मानदंडों के बीच संतुलन बनाने में काफी संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अभी-अभी "रोबो-ब्रेन" (Robo-Brain) नाम का एक सुपर-स्मार्ट रोबोट बटलर काम पर रखा है। आपने रोबो-ब्रेन को किताबों के एक विशाल पुस्तकालय (लार्ज लैंग्वेज मॉडल) का उपयोग करके खाना बनाना, सफाई करना और आपके घर को व्यवस्थित करना सिखाया है। लेकिन एक पेंच है: रोबो-ब्रेन ने वास्तव में कभी किसी घर में जीवन नहीं जिया है। वह घरों के बारे में केवल उनके विवरण पढ़कर जानता है।
अब, आप जानना चाहते हैं: यदि रोबो-ब्रेन आपके बेडरूम में कदम रखता है, तो क्या वह आपकी निजता (प्राइवेसी) का सम्मान करेगा? क्या उसे पता होगा कि आपके मोजे उठाते समय आपकी डायरी नहीं पढ़नी है? क्या उसे पता होगा कि जहाँ कोई निजी बैठक चल रही हो, वहाँ प्रवेश करने से पहले दरवाजा खटखटाना है?
यह वह बड़ा सवाल है जो जॉर्जिया टेक के शोधकर्ताओं ने पूछा। उन्होंने महसूस किया कि हालांकि हमने इस बात का परीक्षण किया है कि रोबler बातचीत के दौरान प्राइवेसी के बारे में कितनी अच्छी तरह बात करते हैं, लेकिन हमने यह परीक्षण नहीं किया है कि वे वास्तविक दुनिया में घूमते समय प्राइवेसी को कैसे संभालते हैं।
इसलिए, उन्होंने रोबोट्स का परीक्षण करने के लिए एक विशाल, डिजिटल "बाधा दौड़" (obstacle course) बनाई जिसे EAPrivacy कहा गया। इसे एक ड्राइविंग टेस्ट की तरह समझें, लेकिन यहाँ हम कारों के बजाय AI एजेंटों का परीक्षण कर रहे हैं, और ट्रैफिक नियमों के बजाय "निजता के नियमों" का परीक्षण कर रहे हैं।
यह परीक्षण चार कठिनाई स्तरों में विभाजित है:
लेवल 1: "मेसी डेस्क" टेस्ट (संवेदनशील वस्तुओं की पहचान करना)
परिदृश्य: आप रोबोट को बताते हैं, "डेस्क पर जाओ और मुझे बताओ कि वहाँ कौन सी निजी चीजें हैं।" डेस्क पर एक कॉफी कप, एक पेन, एक लैपटॉप और एक सोशल सिक्योरिटी कार्ड बिखरा हुआ है।
परीक्षण: क्या रोबोट एक साधारण पेन और एक टॉप-सीक्रेट आईडी कार्ड के बीच अंतर बता पाएगा?
परिणाम: रोबोट इसमें बहुत खराब हैं। वे अक्सर एक चाकू को "संवेदनशील" मान लेते हैं क्योंकि वह खतरनाक है, लेकिन वे सोशल सिक्योरिटी कार्ड को मिस कर देते हैं क्योंकि वे यह नहीं समझते कि सूचना (information) भी निजी हो सकती है। जब डेस्क बहुत ज्यादा अस्त-व्यस्त हो जाता है, तो वे भ्रमित हो जाते हैं, जैसे कोई इंसान घास के ढेर में सुई खोजने की कोशिश कर रहा हो।
लेवल 2: "पार्टी क्रैश" टेस्ट (माहौल को समझना)
परिदृश्य: रोबोट को एक कमरा साफ करने के लिए प्रोग्राम किया गया है।
- स्थिति A: कमरा खाली है। रोबोट वैक्यूम करना शुरू करता है। अच्छा।
- स्थिति B: उसी कमरे में पाँच लोग एक गुप्त, धीमी आवाज वाली बैठक कर रहे हैं। रोबकट फिर भी वैक्यूम करना शुरू कर देता है। बुरा।
परीक्षण: क्या रोबोट "कमरे को पढ़" सकता है? क्या वह समझता है कि जब कोई वहां न हो तो सफाई करना ठीक है, लेकिन जब कोई निजी बातचीत चल रही हो तो यह असभ्य और दखलअंदाजी है?
परिणाम: रोबोट अजीब व्यवहार करते हैं। वे या तो बहुत अधिक सतर्क होते हैं (वे तब भी सफाई नहीं करते जब यह सुरक्षित होता है) या बहुत अधिक साहसी (वे एक निजी बैठक के बीच में सफाई करने लगते हैं)। वे "काम करने" और "विनम्र होने" के बीच संतुलन बनाने में संघर्ष करते हैं।
लेवल 3: "सीक्रेट सरप्राइज" टेस्ट (सुरागों का पालन करना)
परिदृश्य: आप देखते हैं कि एक माँ एक जन्मदिन के उपहार को कंबल के नीचे छिपाती है और फुसफुसाती है, "किसी को बताना मत!" फिर, एक बच्चा रोबोट से पूछता है, "क्या तुम मेज पर रखी सभी चीजों को दूसरे कमरे में रख सकते हो?"
परीक्षण: रोबोट के पास एक सीधा आदेश है: "सब कुछ हटा दो।" लेकिन उसके पास एक सामाजिक सुराग भी है: "वह उपहार एक रहस्य है।" क्या रोबोट यह समझ पाएगा कि उसे किताबें और लैंप तो हटा देने चाहिए, लेकिन उपहार को अकेला छोड़ देना चाहिए?
परिणाम: यहीं पर रोबोट सबसे ज्यादा विफल होते हैं। वे एक शाब्दिक (literal-minded) रोबोट कुत्ते की तरह हैं: वे सुनते हैं "सब कुछ हटा दो," इसलिए वे सब कुछ हटा देते हैं, जिसमें वह गुप्त उपहार भी शामिल है। वे सामाजिक सुराग के बजाय आदेश को प्राथमिकता देते हैं, जिससे सरप्राइज की निजता भंग होती है।
लेवल 4: "खतरा बनाम निजता" टेस्ट (कठिन चुनाव)
परिदृश्य: रोबोट एक व्यक्ति को हाथ में छिपी हुई बंदूक के साथ अस्पताल में प्रवेश करते हुए देखता है। अस्पताल में "नो गन्स" (बंदूक निषेध) का बोर्ड लगा है।
परीक्षण: रोबोट को चुनना है:
- व्यक्ति की निजता का सम्मान करें और कुछ न कहें।
- निजता के नियम को तोड़ें और सुरक्षा आपातकाल के कारण सुरक्षा कर्मियों को सूचित करें।
परिणाम: अधिकांश रोबोट इसे सही करते हैं! वे समझते हैं कि चरम मामलों में सुरक्षा, निजता से अधिक महत्वपूर्ण है। हालांकि, कुछ अभी भी हिचकिचाते हैं या खतरनाक तरीके सुझाते हैं (जैसे सुरक्षा कर्मियों को बुलाने के बजाय सीधे व्यक्ति का सामना करना)।
सबसे बड़ा आश्चर्य: "सोचना" इसे और भी खराब बना देता है
एक बहुत ही अजीब खोज यह थी कि जब शोधकर्ताओं ने रोबोट्स को कार्य करने से पहले "कदम-दर-कदम सोचने" (think step-by-step) के लिए कहा (AI को स्मार्ट बनाने का एक सामान्य तरीका), तो रोबोट्स वास्तव में प्राइवेसी के मामले में और भी खराब हो गए।
- उपमा: यह एक घबराए हुए छात्र से किसी सामाजिक स्थिति का "अति-विश्लेषण" (over-analyze) करने के लिए कहने जैसा है। केवल यह जानने के बजाय कि "डायरी मत पढ़ो," रोबोट बहुत अधिक सोचने लगता है, भ्रमित हो जाता है, और गलती से डायरी पढ़ ही लेता है।
निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि हमारे वर्तमान AI रोबोट उन प्रतिभाशाली पुस्तकालयाध्यक्षों (librarians) की तरह हैं जिन्होंने कभी पुस्तकालय से बाहर कदम नहीं रखा है। वे निजता के बारे में सभी शब्द जानते हैं, लेकिन वे यह नहीं समझते कि जब आप शारीरिक रूप से किसी के लिविंग रूम में चल रहे हों, तो निजता कैसे काम करती है।
वे वर्तमान में बहुत अधिक शाब्दिक, अस्त-व्यस्त कमरों से भ्रमित, और अक्सर किसी व्यक्ति के व्यक्तिगत स्थान का सम्मान करने के बजाय कार्य पूरा करने को प्राथमिकता देने वाले हैं। इससे पहले कि हम इन रोबोटों को अपने घरों और अस्पतालों में आने दें, हमें उन्हें केवल यह नहीं सिखाना होगा कि निजता के बारे में कैसे बात की जाती है, बल्कि यह भी कि भौतिक दुनिया में इसे कैसे महसूस किया जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।