Language Statistics and False Belief Reasoning: Evidence from 41 Open-Weight LMs
41 ओपन-वेट भाषा मॉडलों का 'फॉल्स बिलीफ' (मिथ्या विश्वास) कार्यों पर मूल्यांकन करके, यह अध्ययन प्रदर्शित करता है कि हालांकि बड़े मॉडल ज्ञान की अवस्थाओं के प्रति बेहतर संवेदनशीलता दिखाते हैं, लेकिन मानव तर्क की नकल करने की उनकी क्षमता सीमित है, फिर भी वे विश्वास आरोपण में विशिष्ट भाषाई पूर्वाग्रहों को सफलतापूर्वक मॉडल करते हैं, जिससे एआई क्षमताओं का आकलन करने और मानव सामाजिक संज्ञान के सिद्धांतों का परीक्षण करने के लिए विविध ओपन-वेट मॉडलों के उपयोग की पुष्टि होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को मानवीय भावनाओं को समझना सिखाने की कोशिश कर रहे हैं, विशेष रूप से उस कठिन अवधारणा को कि दूसरे लोग ऐसी चीजों में विश्वास कर सकते हैं जो सच नहीं हैं। इसे "फॉल्स बिलीफ रीजनिंग" (False Belief Reasoning) कहा जाता है, या मनोविज्ञान के शब्दों में, यह "थ्योरी ऑफ माइंड" (Theory of Mind) का एक बुनियादी हिस्सा है।
उदाहरण के लिए, यदि आप एक जार में कुकी छिपाते हैं, लेकिन आपका दोस्त आपके न देखने पर उसे एक बॉक्स में रख देता है, तो आप जानते हैं कि कुकी बॉक्स में है। लेकिन आपके दोस्त को लगता है कि वह अभी भी जार में है। क्या एक कंप्यूटर समझ सकता है कि आपका दोस्त गलत है?
यह शोध पत्र एक विशाल प्रयोग है यह पता लगाने के लिए। केवल एक या दो "ब्लैक बॉक्स" रोबों का परीक्षण करने के बजाय (जो वेंडिंग मशीन की तरह होते हैं जहाँ आप देख नहीं सकते कि वे कैसे काम करते हैं), शोधकर्ताओं ने 41 अलग-अलग ओपन-वेट (open-weight) एआई मॉडल का परीक्षण किया। इसे ऐसे समझें जैसे कि एक कक्षा में 41 अलग-अलग छात्र हैं, जिनमें छोटे और सरल छात्रों से लेकर विशाल और अत्यंत बुद्धिमान छात्र तक शामिल हैं, जिनके पास उनकी पाठ्यपुस्तकें (प्रशिक्षण डेटा) सबके देखने के लिए खुली हुई हैं।
यहाँ उनके निष्कर्षों का विवरण दिया गया, जिसे रोजमर्रा के उदाहरणों का उपयोग करके समझाया गया है:
1. "मन पढ़ने" का परीक्षण (The "Mind-Reading" Test)
शोधकर्ताओं ने इन एआई मॉडलों को जॉन नामक एक पात्र की कहानी दी।
- परिदृश्य A (सत्य विश्वास/True Belief): जॉन देखता है कि एक गेंद बॉक्स से टोकरी में जा रही है। उसे पता है कि वह कहाँ है।
- परिदृश्य B (मिथ्या विश्वास/False Belief): जॉन गेंद को हिलते हुए नहीं देखता। उसे लगता है कि गेंद अभी भी बॉक्स में है, लेकिन वास्तव में वह टोकरी में है।
एआई को अनुमान लगाना था कि जॉन गेंद को कहाँ ढूँढेगा।
- परिणाम: लगभग 34% एआई मॉडल सही उत्तर दे पाए। उन्होंने दिखाया कि वे कहानी के आधार पर "अनुमान" लगा सकते हैं कि जॉन क्या सोच रहा है।
- पेंच (The Catch): यहाँ तक कि सबसे स्मार्ट एआई मॉडल भी पूर्ण नहीं थे। वे लगभग 74% बार सही थे, जबकि मनुष्य लगभग 83% बार सही होते हैं। एआई बेहतर हो रहे हैं, लेकिन वे इस विशिष्ट मानवीय चतुराई में अभी भी उतने कुशल नहीं हैं जितने हम हैं।
2. "आकार मायने रखता है" का नियम (The "Size Matters" Rule)
शोधकर्ताओं ने एक स्पष्ट पैटर्न देखा: बड़े मॉडल बेहतर प्रदर्शन करते हैं।
- उपमा: एक पुस्तकालय की कल्पना करें। एक छोटा पुस्तकालय (एक छोटा एआई) में "जॉन और गेंद" के बारे में केवल कुछ किताबें हो सकती हैं। एक विशाल पुस्तकालय (एक बहुत बड़ा एआई) में लाखों कहानियाँ होती हैं। एआई ने जितने अधिक किस्से पढ़े हैं, वह उतना ही बेहतर तरीके से अनुमान लगा पाता है कि जॉन क्या सोच रहा है।
- निष्कर्ष: जैसे-जैसे एआई मॉडल बड़े होते गए (अधिक "पैरामीटर्स", जो मस्तिष्क कोशिकाओं की तरह हैं), मानसिक अवस्थाओं को समझने की उनकी क्षमता में सुधार हुआ। हालाँकि, सबसे बड़े मॉडल भी पूरी तरह से यह स्पष्ट नहीं कर सके कि मनुष्य इसमें इतने अच्छे क्यों हैं।
3. "जादुई शब्द" का आश्चर्य (The "Magic Word" Surprise - बड़ी खोज)
यह सबसे दिलचस्प हिस्सा है। शोधकर्ताओं ने पाया कि मानव और एआई दोनों के सोचने के तरीके में एक अजीब सा गुण है, जिसे वे "मैजिक वर्ड" प्रभाव कहते हैं।
सेटअप: उन्होंने प्रश्न पूछने के दो तरीके आजमाए:
- अप्रत्यक्ष (Indirect): "जॉन गेंद को ... में ढूँढता है" (सोचने के बारे में कोई विशिष्ट क्रिया नहीं)।
- प्रत्यक्ष (Direct): "जॉन सोचता है कि गेंद ... में है" (शब्द "सोचता है" का उपयोग करना)।
अजीब बात: जब वाक्य में "सोचता है" (एक गैर-तथ्यात्मक क्रिया) शब्द का उपयोग किया गया, तो दोनों मनुष्य और एआई गलती करने की अधिक संभावना रखते थे। वे गलत जगह (बॉक्स) पर गेंद होने की बात कहने के प्रति अधिक प्रवृत्त थे, सिर्फ इसलिए क्योंकि "सोचता है" शब्द का उपयोग किया गया था।
क्यों? यह एक भाषाई जाल की तरह है। जब हम कहते हैं "जॉन X सोचता है", तो हमारा मस्तिष्क कभी-कभी अवचेतन रूप से इस संभावना के लिए तैयार हो जाता है कि X गलत हो सकता है।
आश्चर्य: इस विशिष्ट "जादुई शब्द" के लिए, मनुष्य और एआई लगभग समान थे। मानवीय प्रतिक्रिया एआई की प्रतिक्रियाओं के ठीक बीच में थी।
इसका अर्थ क्या है: यह सुझाव देता है कि इस प्रकार की त्रुटि के लिए, हमें किसी विशेष "मानवीय आत्मा" या जटिल सामाजिक मस्तिष्क की आवश्यकता नहीं है। हम शायद केवल भाषा में शब्दों के उपयोग के सांख्यिकीय पैटर्न के प्रति प्रतिक्रिया कर रहे हैं। एआई ने यह इंटरनेट से पढ़कर सीखा, और मनुष्यों ने यह सुनकर सीखा कि हम कैसे बात करते हैं।
4. "ब्लैक बॉक्स" की समस्या (The "Black Box" Problem)
यह शोध पत्र तर्क देता है कि हमें केवल "क्लोज्ड-सोर्स" मॉडल (जैसे बड़ी तकनीकी कंपनियों के मॉडल जो अपने रहस्य छिपा कर रखते हैं) का परीक्षण करना बंद कर देना चाहिए।
- उपमा: यदि आप कार के इंजन को समझना चाहते हैं, तो आप कार चलाकर यह नहीं समझ सकते जिसका बोनट वेल्ड करके बंद कर दिया गया हो। आपको बोनट खोलने (ओपन-वेट मॉडल) की आवश्यकता है ताकि आप गियर, पिस्टन और ईंधन लाइनों को देख सकें।
- 41 अलग-अलग मॉडलों का परीक्षण करके, शोधकर्ता देख सके कि प्रदर्शन बहुत भिन्न होता है। कुछ छोटे मॉडल पूरी तरह विफल रहे, जबकि अन्य आश्चर्यजनक रूप से अच्छा प्रदर्शन करते हैं। यह हमें समझने में मदद करता है कि "एआई" एक एकल चीज़ नहीं है; यह विभिन्न शक्तियों वाले उपकरणों का एक परिवार है।
मुख्य निष्कर्ष (The Bottom Line)
यह शोध पत्र हमें दो बातें बताता है:
- एआई "मन पढ़ने" में अच्छा हो रहा है, लेकिन यह अभी तक मानव स्तर का नहीं है। एआई जितना बड़ा होगा, वह उतना ही बेहतर होगा, लेकिन फिर भी वह उन बारीकियों को चूक जाता है जिन्हें मनुष्य स्वाभाविक रूप से पकड़ लेते हैं।
- भाषा के सांख्यिकीय पैटर्न शक्तिशाली हैं। कुछ प्रकार के तर्क (जैसे "मैजिक वर्ड" वाला जाल) के लिए, एआई वाक्यों में शब्दों के उपयोग का विश्लेषण करके मानवीय व्यवहार की सटीक नकल कर सकता है। यह सुझाव देता है कि जिसे हम "सामाजिक बुद्धिमत्ता" मानते हैं, वह वास्तव में भाषा के पैटर्न की एक बहुत ही परिष्कृत समझ हो सकती है।
संक्षेप में: एआई उन छात्रों की तरह हैं जिन्होंने पुस्तकालय की हर किताब पढ़ ली है। वे समझने लगे हैं कि लोग कैसे सोचते हैं, लेकिन वे "शब्दों को पढ़ने" और "हृदय को समझने" के बीच के अंतर को सीखने की प्रक्रिया में अभी भी हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।