"Don't Say It!": Constraints, Compliance, and Communication when Language Models Play Taboo
यह शोध पत्र इस बात का मूल्यांकन करता है कि ओपन-वेट लैंग्वेज मॉडल्स 'टैबू' (Taboo) के खेल में शाब्दिक बाधाओं और संचार प्रभावशीलता की प्रतिस्पर्धी मांगों के बीच कैसे सामंजस्य बिठाते हैं, जो यह प्रकट करता है कि हालांकि हस्तक्षेप रणनीतियां नियम अनुपालन और विवरण की गुणवत्ता को प्रभावित करती हैं, फिर भी मॉडल मनुष्यों की तुलना में बाधित शाब्दिक ग्राउंडिंग (lexical grounding) के साथ काफी संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप Taboo नामक एक पार्टी गेम खेल रहे हैं। आपके पास एक कार्ड है जिसमें एक गुप्त शब्द है (जैसे "Pizza") और शब्दों की एक सूची है जिन्हें आप कहना नहीं चाहते (जैसे "Cheese," "Italy," "Dough," "Slice," या "Delivery")। आपका लक्ष्य अपने दोस्तों को "Pizza" का वर्णन करना है ताकि वे अंदाज़ा लगा सकें, लेकिन आपको उन वर्जित शब्दों का उपयोग नहीं करना है।
यह कागज़ एक वैज्ञानिक प्रयोग की तरह है जहाँ शोधकर्ताओं ने दो अलग-अलग AI "खिलाड़ियों" को यह खेल खेलना सिखाया। वे यह देखना चाहते थे कि:
- क्या AI नियमों का पालन कर सकता है (वर्जित शब्द न बोलना)?
- क्या AI अभी भी शब्द का इतना अच्छा वर्णन कर सकता है कि कोई व्यक्ति उसका अंदाज़ा लगा सके?
- एक मानव खिलाड़ी की तुलना में AI कैसा प्रदर्शन करता है?
यहाँ एक विवरण दिया गया है कि उन्होंने क्या किया और उन्हें क्या मिला, जिसका उपयोग सरल रूपकों (metaphors) के माध्यम से किया गया है।
तीन तरीके जिनसे उन्होंने AI को बेईमानी करने से रोकने की कोशिश की
शोधकर्ताओं ने AI को नियमों का पालन करने के लिए मजबूर करने के लिए तीन अलग-अलग तरीकों का परीक्षण किया, जो कि एक बच्चे को रात के खाने से पहले कुकी खाने से रोकने के तीन अलग-अलग तरीकों की तरह है:
- "प्यार से पूछने" का तरीका (Prompting):
उन्होंने बस AI को कहा, "कृपया इस शब्द का वर्णन करें, लेकिन इन विशिष्ट शब्दों का उपयोग न करें।" यह एक बच्चे को कहने जैसा है, "कृपया कुकी मत खाओ।"
- परिणाम: AI नियमों को सुनने में काफी अच्छा था, लेकिन कभी-कभी यह गलती कर बैठता था और वर्जित शब्द या उससे मिलता-जुलता शब्द (जैसे "Cheese" प्रतिबंधित होने पर "Cheesy" कहना) इस्तेमाल कर लेता था।
- "डिजिटल हथकड़ी" का तरीका (Constrained Generation):
उन्होंने AI को इस तरह प्रोग्राम किया कि जैसे ही वह कोई वर्जित अक्षर या शब्द लिखने की कोशिश करता, सिस्टम उसे भौतिक रूप से ब्लॉक कर देता। यह कुकी जार पर ताला लगाने जैसा है ताकि बच्चा वास्तव में उसे खोल ही न सके।
- परिणाम: यह लगभग पूरी तरह से काम कर गया। AI ने कभी भी वर्जित शब्दों का उपयोग नहीं किया। हालाँकि, क्योंकि वह नियमों को तोड़ने से बहुत डर रहा था, इसलिए वह कभी-कभी बहुत अस्पष्ट हो जाता था, जिससे अंदाज़ा लगाने वाले के लिए उत्तर जानना कठिन हो जाता था।
- "ब्रेन सर्जरी" का तरीका (SAEs/Internal Manipulation):
यह सबसे जटिल था। वर्जित शब्दों को रोकने के बजाय, उन्होंने AI के आंतरिक "विचारों" (इसके न्यूरल नेटवर्क) को बदलने की कोशिश की ताकि वह सोचने के दौरान वर्जित शब्द की अवधारणा को अपने दिमाग से मिटा सके। यह बच्चे को यह समझाने जैसा है कि, "वास्तव में, अभी कुकीज़ का अस्तित्व ही नहीं है," ताकि वह उनके बारे में सोचे भी नहीं।
- परिणाम: यह मिला-जुला रहा। AI अभी भी कुछ वर्धित शब्द बोलने में सफल रहा (सर्जरी एकदम सटीक नहीं थी), लेकिन उनके द्वारा दिए गए वर्णन वास्तव में बहुत रचनात्मक और समझने में आसान थे! ऐसा लगता है कि जब आप केवल शब्दों को ब्लॉक करते हैं, तो AI अनाड़ी हो जाता है, लेकिन जब आप उसके "दिमाग" में बदलाव करते हैं, तो वह चतुर रास्ते खोज लेता है।
सबसे बड़ा आश्चर्य: AI अंदाज़ा लगाने में बहुत बुरा है
शोधकर्ताओं ने खेल को उलट दिया। उन्होंने AI को मनुष्यों या अन्य AI द्वारा लिखे गए विवरणों के आधार पर शब्द का अंदाज़ा लगाने के लिए कहा।
- मानव लाभ: जब मनुष्य खेलते थे, तो वे अंदाज़ा लगाने में बहुत अच्छे थे। वे विवरण को देख सकते थे जैसे "यह गोल, लाल है और आप इसे पास्ता पर डालते हैं" और तुरंत सोच सकते थे, "टमाटर!"
- AI का संघर्ष: AI आश्चर्यजनक रूप से बुरा था। यहाँ तक कि एक बेहतरीन विवरण दिए जाने पर भी, AI अक्सर शब्द का अंदाज़ा लगाने में विफल रहा। यह एक ऐसे छात्र की तरह था जो पाठ्यपुस्तक को पूरी तरह से याद कर सकता है लेकिन जब कोई उसे कहानी सुनाता है तो वह उसे समझ नहीं पाता।
- शोध पत्र नोट करता है कि AI को एक इंसान के मुकाबले, जो पहली बार में ही सही अंदाज़ा लगा लेता है, उतना ही अच्छा होने के लिए 5 से 10 अंदाज़ों की आवश्यकता थी।
मुख्य निष्कर्ष
कागज़ यह निष्कर्ष निकालता है कि AI के लिए, नियमों का पालन करना और एक अच्छा संचारक होना दो अलग-अलग कौशल हैं जो अक्सर आपस में लड़ते हैं।
- यदि आप AI को नियमों के प्रति सख्त होने के लिए मजबूर करते हैं, तो वह एक उबाऊ, अस्पष्ट वर्णनकर्ता बन जाता है।
- यदि आप उसे रचनात्मक होने देते हैं, तो वह अनजाने में नियमों को तोड़ सकता है।
- और वह कितना भी अच्छा वर्णन करने में सक्षम क्यों न हो, वह "अंदाज़ा लगाने" वाले हिस्से में अभी भी बहुत बुरा है।
शोधकर्ता सुझाव देते हैं कि ऐसा इसलिए होता है क्योंकि मनुष्यों के पास हमारे मस्तिष्क में शब्दों को जोड़ने का एक विशेष, सहज तरीका (जैसे कि जुड़ावों का एक जाल) होता है जिसे वर्तमान AI मॉडल अभी तक हासिल नहीं कर पाए हैं। AI निर्देशों का पालन कर सकता है, लेकिन उसने अभी तक वह "मानवीय अंतर्ज्ञान" (human intuition) नहीं सीखा है जो टैबू को पूरी तरह से खेलने के लिए आवश्यक है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।