Where Norms and References Collide: Evaluating LLMs on Normative Reasoning
यह शोध पत्र SNIC को प्रस्तुत करता है, जो मानदंड-आधारित संदर्भ समाधान (norm-based reference resolution) पर लार्ज लैंग्वेज मॉडल्स का मूल्यांकन करने के लिए एक मानव-सत्यापित टेस्टबेड है, जो यह प्रकट करता है कि अत्याधुनिक मॉडल भी स्थित, मूर्त अंतःक्रियाओं (situated, embodied interactions) के लिए आवश्यक अंतर्निहित सामाजिक मानदंडों को लगातार पहचानने और लागू करने में संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक दोस्त के साथ एक व्यस्त रसोई में हैं। आप पूछते हैं, "क्या आप मुझे एक मग पकड़ा सकते हैं?" काउंटर पर तीन मग रखे हैं: एक बिल्कुल साफ है, और दो सूखे कॉफी के दागों से ढके हुए हैं।
यदि आप एक इंसान हैं, तो आप तुरंत जान जाएंगे कि आपका दोस्त आपको साफ वाला मग थमाएगा। आपको उन्हें यह कहने की ज़रूरत नहीं है कि "साफ वाला एक," क्योंकि आप दोनों के बीच एक अनकहा नियम है: किसी दूसरे का गंदा कप इस्तेमाल न करें। यह अदृश्य नियम एक सामाजिक मानदंड (social norm) है।
यह शोध पत्र, जिसका शीर्षक "Where Norms and References Collide" है, एक सरल लेकिन पेचीदा सवाल पूछता है: क्या आधुनिक AI (विशेष रूप से लार्ज लैंग्वेज मॉडल्स या LLMs) यह समझ सकते हैं कि आपका मतलब किस मग से है, बिना इसके कि उन्हें स्पष्ट रूप से बताया जाए?
यहाँ उनके निष्कर्षों का विवरण दिया गया है, कुछ रोज़मर्रा के उदाहरणों के साथ:
समस्या: AI की "अंध बिंदु" (Blind Spot)
एक LLM को एक बहुत ही बुद्धिमान छात्र के रूप में सोचें जिसने लाइब्रेरी की लगभग हर किताब पढ़ ली है। वे सामान्य ज्ञान के सवालों के जवाब देने और तर्क पहेलियों को हल करने में माहिर हैं। हालाँकि, इस छात्र ने कभी वास्तव में किसी रसोई, लाइब्रेरी या रेस्टोरेंट में जीवन नहीं जिया है। वे जानते हैं कि "मग" क्या होता है, लेकिन उन्होंने उन सूक्ष्म, अलिखित नियमों को नहीं सीखा है कि उन जगहों पर लोग कैसे व्यवहार करते हैं।
शोधकर्ता इस लुप्त कौशल को नॉर्म-बेस्ड रेफरेंस रेजोल्यूशन (NBRR) कहते हैं। यह एक दृश्य को समझने, "सामाजिक व्याकरण" (व्यवहार के नियमों) को समझने और यह अनुमान लगाने की क्षमता है कि कोई व्यक्ति किसकी ओर इशारा कर रहा है।
प्रयोग: एक "नॉर्म ट्रैप" बनाना
इसकी जांच करने के लिए, टीम ने SNIC (Situated Norms in Context) नामक एक डेटासेट बनाया।
- सेटअप: उन्होंने सफाई, भोजन परोसने या व्यवस्थित करने जैसे रोजमर्रा के कार्यों से जुड़ी 9,000 छोटी कहानियाँ (vignettes) बनाईं।
- ट्रैप (जाल): हर कहानी में, उन्होंने एक ऐसा प्रश्न पूछा जो अस्पष्ट लग रहा था। उदाहरण के लिए, "प्लेट उठाओ।"
- परिदृश्य A: कमरा साफ किया जा रहा है। AI को गंदी प्लेट उठानी चाहिए।
- परिदृश्य B: कमरे में खाना परोसा जा रहा है। AI को साफ प्लेट उठानी चाहिए।
- मानवीय परीक्षण: AI पर भरोसा करने से पहले, उन्होंने 210 वास्तविक मनुष्यों को ये पहेलियाँ सुलझाने के लिए कहा। मनुष्यों ने ज्यादातर "मानक" उत्तर पर सहमति जताई (जैसे, "गंदा वाला उठाओ क्योंकि हम सफाई कर रहे हैं"), जिससे यह सिद्ध हुआ कि नियम स्पष्ट थे।
परिणाम: बिना मानचित्र के AI भटक जाता है
शोधकर्ताओं ने इन 9,000 कहानियों पर कई शीर्ष-स्तरीय AI मॉडलों (जैसे GPT-4, Llama, और Phi) का परीक्षण किया। परिणाम ऐसे थे जैसे कोई GPS उस शहर में रास्ता खोजने की कोशिश कर रहा हो जहाँ उसने कभी कदम भी नहीं रखा:
- "अनुमान लगाने का खेल" विफल रहा: जब AI को केवल कहानी दी गई और सही वस्तु चुनने के लिए कहा गया, तो उसे संघर्ष करना पड़ा। वह औसतन आधे से भी कम समय में सही उत्तर दे पाया। वह अक्सर एक "सफाई कार्य" और एक "परोसने के कार्य" के बीच अंतर नहीं कर सका क्योंकि वह कार्य के पीछे के "नॉर्म" (मानदंड) को नहीं समझता था।
- "औपचारिक भाषा" का अंत: शोधकर्ताओं ने दृश्य का एक अत्यंत सटीक, गणितीय विवरण (प्रोलॉग नामक एक कोड भाषा का उपयोग करके) देने की कोशिश की ताकि अस्पष्टता को दूर किया जा सके। आश्चर्यजनक रूप से, इससे ज्यादा मदद नहीं मिली। यह ऐसा ही है जैसे किसी ड्राइवर को एक सटीक मानचित्र देना लेकिन उससे कहना, "फिर भी, तुम्हें यातायात के नियमों का पता नहीं है।" AI तथ्यों को जानता था लेकिन वह नियमों को नहीं जानता था।
- "चीट शीट" की सफलता: जब शोधकर्ताओं ने स्पष्ट रूप से AI को पालन करने के लिए नियमों की एक सूची दी (जैसे, "नियम: सफाई के कार्य में, गंदी वस्तुओं को उठाएं"), तो AI का प्रदर्शन आसमान छू गया। अचानक वह सही उत्तर देने लगा।
मुख्य निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि वर्तमान AI मॉडल बेहतरीन विश्वकोश लेकिन खराब पड़ोसी की तरह हैं।
- वे जानते हैं कि मग क्या है।
- वे जानते हैं कि सफाई क्या है।
- लेकिन वे स्वाभाविक रूप से यह नहीं जानते कि सामाजिक संदर्भ में लोग मग का उपयोग कैसे करते हैं, जब तक कि आप उन्हें नियम स्पष्ट रूप से न बताएं।
लेखक तर्क देते हैं कि यह एक "ब्लाइंड स्पॉट" है। AI मॉडल टेक्स्ट पर प्रशिक्षित होते हैं, लेकिन सामाजिक मानदंड अक्सर अंतर्निहित (implicit) (कभी लिखे नहीं जाते) और भौतिक रूप से आधारित (physically grounded) (वास्तविक वस्तुओं और कार्यों से जुड़े) होते हैं। चूंकि ये नियम किताबों में हमेशा स्पष्ट रूप से नहीं लिखे होते, इसलिए AI उन्हें मिस कर देता है।
यह क्यों महत्वपूर्ण है (शोध पत्र के अनुसार)
शोध पत्र सुझाव देता है कि यदि हम चाहते हैं कि रोबोट या AI सहायक हमारे घरों या कार्यालयों में काम करें, तो उन्हें इन अदृश्य सामाजिक नियमों को सीखने की आवश्यकता है। वर्तमान में, वे आपको पीने के लिए गंदा मग थमा सकते हैं, इसलिए नहीं कि वे "मूर्ख" हैं, बल्कि इसलिए क्योंकि उन्होंने उस अनकहे सामाजिक अनुबंध को नहीं सीखा है जो कहता है, "हम ऐसा नहीं करते।"
संक्षेप में: शोध पत्र ने यह देखने के लिए एक परीक्षण बनाया कि क्या AI दैनिक जीवन के "अलिखित नियमों" को समझता है। इसने पाया कि हालांकि AI बुद्धिमान है, लेकिन वर्तमान में यह उन अनकहे नियमों पर निर्भर रहने पर यह अनुमान लगाने में बहुत खराब है, जब तक कि आप पहले से ही उसके लिए नियमों को विस्तार से न समझा दें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।