Traces of Social Competence in Large Language Models
यह शोध पत्र 'फॉल्स बिलीफ टेस्ट' (False Belief Test) के व्यापक सेट का उपयोग करके 17 लार्ज लैंग्वेज मॉडल्स की सामाजिक सक्षमता की जांच करता है, जो यह प्रकट करता है कि जबकि स्केलिंग प्रदर्शन में सुधार करती है, मानसिक अवस्थाओं का स्पष्ट उल्लेख एक क्रॉस-ओवर प्रभाव को ट्रिगर करता है जो प्री-ट्रेनिंग रूढ़ियों (stereotypes) में निहित है जिसे वेक्टर स्टीयरिंग (vector steering) के माध्यम से कारण रूप से अलग किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को यह सिखाने की कोशिश कर रहे हैं कि मानवीय भावनाओं और विचारों को कैसे समझा जाए। आप जानना चाहते हैं: क्या यह रोबोट वास्तव में "समझता" है कि अन्य लोगों के विश्वास वास्तविकता से अलग हो सकते हैं?
मनोविज्ञान में, इसके लिए एक प्रसिद्ध परीक्षण है जिसे "फॉल्स बिलीफ टेस्ट" (False Belief Test) कहा जाता है। यह एक पहेली की तरह है:
मैक्सी ने अपना चॉकलेट एक नीले बॉक्स में रखा। वह चला गया। उसकी माँ ने चॉकलेट को हरे बॉक्स में रख दिया। जब मैक्सी वापस आता है, तो वह चॉकलेट के लिए कहाँ देखेगा?
एक इंसान जो "फॉल्स बिलीफ" को समझता है, वह जानता है कि मैक्सी नीले बॉक्स में देखेगा (क्योंकि उसे नहीं पता कि चॉकलेट हटा दी गई है)। एक इंसान जो इसे नहीं समझता, वह कहेगा कि वह हरे बॉक्स में देखेगा (क्योंकि चॉकलेट वास्तव में वहीं है)।
यह शोध पत्र इस बात की गहरी पड़ताल करता है कि क्या लार्ज लैंग्वेज मॉडल्स (LLMs)—जो AI चैटबॉट्स के पीछे का मस्तिष्क हैं—इस परीक्षण को पास कर सकते हैं। शोधकर्ताओं ने केवल AI से प्रश्न नहीं पूछा; उन्होंने AI के साथ एक बहुत ही जटिल भूलभुलैया में एक लैब रैट (प्रयोगशाला के चूहे) की तरह व्यवहार किया ताकि यह देखा जा सके कि वह कैसे सोचता है।
यहाँ उनके निष्कर्षों की कहानी है, जिसे कुछ रोजमर्रा के उदाहरणों के माध्यम से समझाया गया है।
1. "आकार हमेशा मायने नहीं रखता" का नियम
आप सोच सकते हैं, "यदि मैं AI को बड़ा बना दूँ और इसे अधिक डेटा दे दूँ, तो यह अधिक स्मार्ट हो जाएगा।"
- निष्कर्ष: हाँ, AI को बड़ा बनाने से उसे "फॉल्स बिलीफ" वाला उत्तर सही पाने में मदद मिलती है। लेकिन इसमें एक पेच है।
- उदाहरण: एक छात्र की कल्पना करें जो परीक्षा के लिए पढ़ाई कर रहा है। यदि आप उसे एक बड़ी लाइब्रेरी (अधिक डेटा) देते हैं, तो वह ट्रिकी (चालबाजी वाले) सवालों को पहचानने में बेहतर हो जाता है। हालांकि, यदि आप उससे एक सरल, सीधा सवाल पूछते हैं ("चॉकलेट कहाँ है?"), तो बड़ा छात्र कभी-कभी छोटे वाले की तुलना में अधिक भ्रमित हो जाता है।
- क्यों? बड़े मॉडल्स ने इतनी कहानियाँ पढ़ी हैं जहाँ किसी ने कुछ गलत सोचा है, कि वे एक "ट्रिक" की उम्मीद करने लगते हैं भले ही वहाँ कोई ट्रिक न हो। वे साधारण चीजों पर ज़रूरत से ज़्यादा सोचने लगते हैं।
2. "जादुई शब्द" का जाल
शोधकर्ताओं ने प्रश्न की शब्दावली को थोड़ा बदल दिया।
वर्जन A (स्पष्ट): "मैक्सी क्या सोचता है?"
वर्जन B (अस्पष्ट): "मैक्सी चॉकलेट लेने के लिए कहाँ जाता है?"
निष्कर्ष: जब AI "सोचता" (think) शब्द देखता है, तो वह ट्रिकी सवालों (फॉल्स बिलीफ) में बहुत अच्छा हो जाता है। लेकिन जब शब्द केवल "जाना" जैसा कोई क्रिया (action) होता है, तो वह संघर्ष करता है।
उदाहरण: यह एक कुत्ते की तरह है जिसे केवल तभी बैठने के लिए प्रशिक्षित किया गया है जब आप विशिष्ट कमांड "बैठो" कहते हैं। यदि आप कहें "कृपया बैठ जाइए," तो कुत्ता शायद नहीं सुनेगा। AI ने एक रूढ़ि (stereotype) सीख ली है: "जब मैं 'सोचना' शब्द देखता हूँ, तो मुझे एक ट्रिक ढूँढनी चाहिए।" वह कहानी के बारे में तर्क नहीं कर रहा है; वह एक कीवर्ड (keyword) पर प्रतिक्रिया दे रहा है।
3. "ओवर-ट्रेनिंग" की समस्या
शोधकर्ताओं ने देखा कि विभिन्न प्रशिक्षण चरणों के दौरान AI कैसे बदलता है:
- बेस मॉडल (Base Model): बस बहुत सारी किताबें पढ़ीं।
- इंस्ट्रक्शन ट्यून्ड (Instruction Tuned): आदेशों का पालन करने और मददगार होने के लिए सिखाया गया।
- रीज़निंग ट्यून्ड (Reasoning Tuned): "कदम-दर-कदम सोचने" के लिए सिखाया गया।
- निष्कर्ष:
- इंस्ट्रक्शन ट्यूनिंग ने थोड़ी मदद की। इसने AI को थोड़ा कम कठोर बनाया।
- रीज़निंग ट्यूनिंग ने वास्तव में ट्रिकी सवालों के लिए चीज़ों को और खराब कर दिया।
- उदाहरण: एक शेफ (रसोइये) की कल्पना करें।
- बेस शेफ को बस रेसिपी पता है।
- इंस्ट्रक्शन शेफ ग्राहक के ऑर्डर का पूरी तरह से पालन करना सीखता है।
- रीज़निंग शेफ एक "फूड क्रिटिक" बनने की कोशिश करता है और हर सामग्री का बहुत अधिक विश्लेषण करता है।
- समस्या क्या है? "रीज़निंग शेफ" "सोचना" शब्द के प्रति इतना जुनूनी हो जाता है कि वह व्यंजन के वास्तविक स्वाद को ही भूल जाता है। वह "ट्रिक" को पकड़ने में इतना अच्छा हो जाता है कि वह साधारण व्यंजनों में भी विफल हो जाता है।
4. "जादुई छड़ी" (वेक्टर स्टीयरिंग - Vector Steering)
यह सबसे दिलचस्प हिस्सा है। शोधकर्ताओं ने वेक्टर स्टीयरिंग नामक तकनीक का उपयोग किया।
- उदाहरण: कल्पना करें कि AI का मस्तिष्क एक विशाल रेडियो है। शोधकर्ताओं ने एक विशिष्ट "नॉब" (एक गणितीय वेक्टर) खोजा जो "सोचना" शब्द के प्रति AI के बोध को नियंत्रित करता है।
- प्रयोग: उन्होंने AI द्वारा उत्तर देते समय उस नॉब को ऊपर-नीचे घुमाया।
- जब उन्होंने "सोचना" का नॉब ऊपर किया, तो AI अचानक ट्रिकी सवालों में बेहतर हो गया।
- जब उन्होंने इसे नीचे किया, तो AI और भी खराब हो गया।
- निष्कर्ष: यह साबित करता है कि AI अनिवार्य रूप से मानवीय तरीके से कहानी को "समझ" नहीं रहा है। यह केवल अपने मस्तिष्क में एक विशिष्ट संकेत पर प्रतिक्रिया दे रहा है जो कहता है, "ओह, 'सोचना' शब्द यहाँ है! अब वास्तविकता के विपरीत अनुमान लगाने का समय है!"
मुख्य निष्कर्ष
यह शोध पत्र निष्कर्ष निकालता है कि हालांकि AI इन परीक्षणों को पास करने में बहुत अच्छा हो रहा है, लेकिन यह चीटिंग (बेईमानी) कर रहा हो सकता है।
ऐसा नहीं है कि AI के पास कोई "मन" है जो दूसरे लोगों के रहस्यों को समझता है। इसके बजाय, इसने एक पैटर्न सीख लिया है:
"यदि कहानी में 'सोचने' या 'विश्वासों' का उल्लेख है, तो उत्तर आमतौर पर वास्तविकता के विपरीत होता है।"
मानवीय सबक:
सिर्फ इसलिए कि AI सही उत्तर देता है, इसका मतलब यह नहीं है कि वह "क्यों" को समझता है। यह उस छात्र की तरह है जिसने विशेष प्रकार के गणित के सवालों के लिए उत्तर कुंजी (answer key) रट ली है। यदि आप संख्याओं को थोड़ा सा बदल देते हैं, तो वे विफल हो सकते हैं, भले ही उन्होंने पिछले 100 सवालों को सही हल किया हो।
संक्षेप में: AI स्मार्ट हो रहा है, लेकिन यह अभी भी ज्यादातर पैटर्न का मास्टर है, मानव सहानुभूति का मास्टर नहीं। हमें एक चतुर धोखेबाज को एक वास्तव में समझने वाले मित्र समझने की गलती करने से बचना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।