BenchPreS: A Benchmark for Context-Aware Personalized Preference Selectivity of Persistent-Memory LLMs
यह शोधपत्र BenchPreS प्रस्तुत करता है, जो यह उजागर करता है कि वर्तमान बड़े भाषा मॉडल (large language models) निरंतर स्मृति संदर्भ (persistent memory context) में संग्रहीत उपयोगकर्ता प्राथमिकताओं को संदर्भानुसार लागू करने में संघर्ष करते हैं, और अक्सर उन्हें तीसरे पक्ष के संचार में सामाजिक और संस्थागत मानदंडों का पालन करने के बजाय वैश्विक रूप से लागू होने वाले नियमों के रूप में मानते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही स्मार्ट, मददगार रोबोटिक असिस्टेंट है जो आपके बारे में सब कुछ याद रखता है। वह जानता है कि आपको चुटकुले सुनाना, इमोजी का उपयोग करना और "द जोकर" के रूप में साइन ऑफ करना पसंद है। वह यह सब इसलिए याद रखता है ताकि वह आपका एकदम सही, व्यक्तिगत साथी बन सके।
अब, कल्पना कीजिए कि यह रोबोट आपका एजेंट भी है। कभी-कभी, इसे आपके दोस्तों से बात करने की आवश्यकता होती है (अनौपचारिक बातचीत), लेकिन अन्य समय में, इसे IRS (आयकर विभाग), एक न्यायाधीश, या एक बैंक ऋण अधिकारी से बात करने की आवश्यकता होती है (गंभीर व्यवसाय)।
समस्या:
"BenchPreS" नामक शोध पत्र एक सरल लेकिन पेचीदा सवाल पूछता है: क्या यह रोबोट जान सकता है कि कब "आप" बनना है और कब "प्रोफेशनल" होना है?
अभी, अधिकांश AI मॉडल एक ऐसे बच्चे की तरह हैं जिसने अभी-अभी एक नया शब्द सीखा है। एक बार जब वे सीख जाते हैं कि "मुझे इमोजी पसंद हैं," तो वे हर चीज़ में इमोजी डाल देते हैं—यहाँ तक कि टैक्स भरने वाले को लिखे जाने वाले पत्र में भी। वे यह नहीं समझ पाते कि "मजाकिया होना" एक जन्मदिन के कार्ड के लिए तो बढ़िया है लेकिन कानूनी विवाद के लिए बहुत बुरा है। वे आपकी प्राथमिकताओं को एक वैश्विक "On" स्विच की तरह मानते हैं जो कभी बंद नहीं होता।
"BenchPreS" टेस्ट
शोधकर्ताओं ने एक टेस्ट बनाया जिसे BenchPreS कहा जाता है ताकि यह देखा जा सके कि क्या AI यह समझ सकता है। उन्होंने AI को एक "यूज़र प्रोफाइल" (आपकी प्राथमिकताएं) और एक "कार्य" (जैसे IRS को लिखना) दिया।
उन्होंने दो चीजों की तलाश की:
- "ओप्स" रेट (गलत अनुप्रयोग दर - Misapplication Rate): AI कितनी बार आपकी प्राथमिकताओं का उपयोग करता है जब उसे ऐसा नहीं करना चाहिए था? (उदाहरण के लिए, IRS एजेंट को "बडी" कहना और जोकर इमोजी का उपयोग करना)।
- "गुड जॉब" रेट (उचित अनुप्रयोग दर - Appropriate Application Rate): AI कितनी बार आपकी प्राथमिकताओं का उपयोग करता है जब उसे ऐसा करना चाहिए? (उदाहरण के लिए, अपने एक दोस्त को अनौपचारिक ईमेल लिखते समय आपके पसंदीदा बोल्ड टेक्स्ट का उपयोग करना)।
उन्हें क्या मिला
उन्होंने उपलब्ध सबसे स्मार्ट AI मॉडल्स (जैसे GPT-5, Claude, Gemini, आदि) का परीक्षण किया और आश्चर्यजनक परिणाम मिले:
- "अति-उत्साही" AI: सबसे स्मार्ट मॉडल वास्तव में इस मामले में सबसे खराब थे। क्योंकि वे निर्देशों का पालन करने में इतने अच्छे हैं, इसलिए उन्होंने सोचा, "यूजर ने कहा 'मजाकिया बनो,' इसलिए मैं हर जगह मजाकिया बनूँगा!" उन्होंने "गुड जॉब" रेट को ऊँचा रखा, लेकिन उनका "ओप्स" रेट भी बहुत बड़ा था। वे एक पार्टी और एक अदालत के बीच अंतर नहीं कर सके।
- "शर्मीला" AI: कुछ छोटे मॉडल्स गलतियाँ न करने में बेहतर थे, लेकिन केवल इसलिए क्योंकि वे आपकी प्राथमिकताओं का उपयोग ही बहुत कम करते थे। वे "आप" बनने से डरते थे।
- "सोचने वाला" जाल (The "Thinking" Trap): शोधकर्ताओं ने "रीजनिंग मोड" (AI को बोलने से पहले सोचने के लिए प्रेरित करना) चालू करने की कोशिश की। उन्हें उम्मीद थी कि इससे AI रुककर यह सोच पाएगा, "रुको, क्या यह एक मजाक है?" इसके बजाय, AI ने और भी अधिक गहराई से यह सोचने में समय बिताया कि कैसे और अधिक मजाकिया बना जाए, जिससे समस्या और भी बढ़ गई।
- "कृपया ऐसा न करें" प्रॉम्प्ट: उन्होंने AI को यह बताने की कोशिश की, "केवल तभी मजाकिया बनें जब यह उचित हो।" इससे थोड़ी मदद मिली, लेकिन AI फिर भी चूक गया। यह एक बच्चे को यह कहने जैसा है, "घर में मत दौड़ो," और वह फिर भी दौड़ता है क्योंकि वह वास्तव में क्यों नहीं समझता।
बड़ी तस्वीर
मुख्य निष्कर्ष यह है कि वर्तमान AI आपकी प्राथमिकताओं को हार्ड-कोडेड नियमों (जैसे, "हमेशा इमोजी का उपयोग करें") के रूप में देखता है बजाय संदर्भ संकेतों (जैसे, "इमोजी का उपयोग तब करें जब माहौल सही हो") के।
उपमा (Analogy):
कल्पना कीजिए कि आपने एक पर्सनल स्टाइलिस्ट को काम पर रखा है।
- वर्तमान AI: यह स्टाइलिस्ट आपको हर बार घर से बाहर निकलते समय एक नियॉन जोकर नाक पहना देता है, चाहे आप शादी में जा रहे हों, अंतिम संस्कार में, या जॉब इंटरव्यू में। वे सोचते हैं, "आपने कहा कि आपको जोकर नाक पसंद है! मुझे नियम का पालन करना चाहिए!"
- हमें जो चाहिए: एक ऐसा स्टाइलिस्ट जो जानता हो कि जोकर नाक जन्मदिन की पार्टी के लिए तो एकदम सही है लेकिन जॉब इंटरव्यू के लिए विनाशकारी है। उन्हें स्थिति को समझने की आवश्यकता है, न कि केवल निर्देश को।
यह क्यों महत्वपूर्ण है
जैसे-जैसे हम ईमेल लिखने, टैक्स भरने और सरकारी एजेंसियों से बात करने के लिए AI का उपयोग करना शुरू कर रहे हैं, हमें इसकी आवश्यकता है कि AI यह अंतर करने में स्मार्ट हो कि "कैजुअल मैं" और "प्रोफेशनल मैं" क्या है। यदि वे यह नहीं सीख सकते, तो वे गलती से किसी जज को चुटकुलों से भरा पत्र भेज सकते हैं, जिससे उपयोगकर्ता को वास्तविक परेशानी हो सकती है।
शोध पत्र निष्कर्ष निकालता है कि हमें AI को केवल यह नहीं सिखाना है कि आपकी प्राथमिकताओं का पालन कैसे करना है, बल्कि यह भी सिखाना है कि कब संयम रखना है। यह केवल मेमोरी के बारे में नहीं, बल्कि सामाजिक बुद्धिमत्ता (social intelligence) सिखाने के बारे में है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।