OmniToM: Benchmarking Theory of Mind in LLMs via Explicit Belief Modeling
यह शोध पत्र OmniToM प्रस्तुत करता है, जो एक नया बेंचमार्क है जो लार्ज लैंग्वेज मॉडल्स की थ्योरी ऑफ माइंड क्षमताओं का मूल्यांकन करने के लिए केवल अंतिम प्रश्न-उत्तर प्रदर्शन पर निर्भर रहने के बजाय अभिनेताओं की विश्वास संरचनाओं के स्पष्ट, बहु-आयामी मॉडलिंग की आवश्यकता रखता है, जिससे यह पता चलता है कि वर्तमान मॉडल कथात्मक तथ्यों को सटीक मानसिक-अवस्था निरूपणों में बदलने के लिए आवश्यक विशिष्ट तर्क करने में संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जादू का खेल देख रहे हैं। जादूगर एक डिब्बे से गेंद गायब करता है और वह एक टोकरी में फिर से प्रकट हो जाती है। एक मानक एआई (एआई) परीक्षण केवल यह पूछेगा, "गेंद कहाँ है?" यदि एआई कहता है "टोकरी में," तो उसे एक स्वर्ण पदक (गोल्ड स्टार) मिलता है।
लेकिन यहाँ समस्या है: एआई बिना वास्तव में कहानी को समझे सही उत्तर का अनुमान लगा सकता है। इसे यह नहीं पता होगा कि किसने गेंद को चलते हुए देखा, किसने नहीं देखा, या कौन क्या सोच रहा है, या क्या सोच रहा है। यह एक ऐसे छात्र की तरह है जिसने गणित समझने के बजाय केवल उत्तर कुंजी (आंसर की) रट ली है।
OmniToM एक नया "परीक्षा" है जिसे एआई को अनुमान लगाकर नकल करने से रोकने के लिए डिज़ाइन किया गया है। केवल अंतिम उत्तर पूछने के बजाय, यह एआई को हर पात्र के विचारों का एक विस्तृत "मानसिक मानचित्र" (मेंटल मैप) बनाकर अपना काम दिखाने के लिए मजबूर करता है।
यहाँ शोध पत्र इसे सरल उपमाओं का उपयोग करके समझाता है:
1. समस्या: सोचने का "ब्लैक बॉक्स"
वर्तमान परीक्षण केवल एक छात्र के अंतिम निबंध के ग्रेड पर ग्रेड देने जैसा है। यदि निबंध अच्छा है, तो आपको यह नहीं पता चलेगा कि छात्र ने वास्तव में पात्रों की भावनाओं को समझा या केवल स्मार्ट दिखने के लिए भारी शब्दों का उपयोग किया।
- शोध पत्र का दावा: मौजूदा परीक्षण (जिन्हें "एंडपॉइंट QA" कहा जाता है) केवल अंतिम उत्तर की जाँच करते हैं। वे यह नहीं देख सकते कि एआई वास्तव में यह ट्रैक कर रहा है कि किसे क्या पता है, कौन झूठ बोल रहा है, या कौन गलत है।
2. समाधान: "मानसिक मानचित्र" (OmniToM)
शोधकर्ताओं ने OmniToM नामक एक नया बेंचमार्क बनाया है। केवल यह पूछने के बजाय कि "गेंद कहाँ है?", यह एआई से हर व्यक्ति के मस्तिष्क का नक्शा बनाने के लिए कहता है।
इसे एक फिल्म के निर्देशक के स्क्रिप्ट की तरह समझें। एक निर्देशक को केवल कथानक की चिंता नहीं होती; उन्हें इस बात की भी चिंता होती है कि हर अभिनेता क्या विश्वास करता है।
- कार्य: एआई को एक कहानी पढ़नी होगी और "विश्वास प्रस्तावों" (belief propositions) की एक सूची लिखनी होगी। ये छोटे, सरल वाक्य हैं जैसे: "बॉब सोचता है कि गेंद डिब्बे में है" या "एलिस जानती है कि गेंद टोकरी में है।"
3. दो-चरणीय परीक्षा
OmniToM एआई का दो अलग-अलग चरणों में परीक्षण करता है, जैसे कि दो-भागों वाला साक्षात्कार:
चरण 1: जासूस (विश्वास निष्कर्षण - Belief Extraction)
- काम: एआई कहानी पढ़ता है और उसे हर पात्र द्वारा रखे गए हर एक विचार को खोजना होता है।
- चुनौती: केवल यह कहना पर्याप्त नहीं है कि "बॉब दुखी है।" एआई को यह भी समझना होगा कि बॉब क्यों दुखी है, जो उसने देखा, सुना या याद किया उसके आधार पर।
- परिणाम: शोध पत्र में पाया गया कि एआई तथ्यों को खोजने में ठीक है (जैसे, "गेंद टोकरी में है"), लेकिन वे उन तथ्यों को सही व्यक्ति के मस्तिष्क के साथ जोड़ने में संघर्ष करते हैं। वे अक्सर भूल जाते हैं कि बॉब ने गेंद को चलते हुए नहीं देखा था, इसलिए उसे यह नहीं पता होना चाहिए कि वह टोकरी में है।
चरण 2: लाइब्रेरियन (विश्वास लेबलिंग - Belief Labeling)
- काम: एक बार जब एआई विचारों की सूची बना लेता है, तो उसे उन्हें एक 7-आयामी "बारकोड" के साथ टैग करना होता है।
- उपमा: कल्पना करें कि एक लाइब्रेरियन किताबों को व्यवस्थित कर रहा है। वे केवल उन्हें शेल्फ पर नहीं रखते; वे उन्हें टैग करते हैं:
- क्रम (Order): क्या यह एक सरल विचार है ("मैं भूखा हूँ") या एक जटिल विचार है ("मुझे लगता है कि आप सोचते हैं कि मैं भूखा हूँ")?
- सत्य (Truth): क्या यह विचार वास्तव में सत्य है, या पात्र गलत है?
- पहुँच (Access): क्या पात्र ने यह होते हुए देखा, या उसने केवल अनुमान लगाया?
- स्रोत (Source): क्या उन्होंने इसे किसी से सुना, याद किया या कल्पना की?
- परिणाम: एआई सरल टैग (जैसे, "क्या यह सत्य है?") में आश्चर्यजनक रूप से अच्छा है, लेकिन "पहुँच" (Access) टैग में बहुत खराब है। उसे यह याद रखने में कठिनाई होती है कि किसके पास किस जानकारी तक पहुँच थी।
4. बड़ी खोज: "सूचना बाधा" (Information Bottleneck)
शोध पत्र की सबसे महत्वपूर्ण खोज यह है कि वर्तमान एआई मॉडलों में एक विशिष्ट "अंध बिंदु" (blind spot) है।
- रूपक: कल्पना करें कि एक कमरे में लोगों का एक समूह है। एक व्यक्ति बाहर जाता है, और दूसरा व्यक्ति एक गुप्त वस्तु को हिला देता है। एआई कमरे का सटीक वर्णन कर सकता है। लेकिन जब पूछा जाता है, "जो व्यक्ति बाहर गया है, वह कमरे में क्या होने का विश्वास करता है?", तो एआई भ्रमित हो जाता है।
- दावा: एआई इसलिए विफल नहीं होता क्योंकि वह कहानी नहीं पढ़ सकता, बल्कि इसलिए क्योंकि वह कौन क्या जानता है इसे ट्रैक नहीं कर पाता। वह "वास्तव में क्या हो रहा है" और "एक विशिष्ट पात्र क्या मानता है कि हो रहा है" के बीच अंतर करने में संघर्ष करता है।
5. उन्होंने इसे कैसे बनाया
इस परीक्षण को बनाने के लिए, शोधकर्ताओं ने 895 मौजूदा कहानियों को लिया और मनुष्यों (और स्मार्ट एआई सहायकों) से 22,000 से अधिक विशिष्ट विचारों को लेबल करवाया।
- प्रक्रिया: उन्होंने एक "कैलिब्रेटेड" प्रणाली का उपयोग किया। मनुष्यों ने एआई को चीजों को सही ढंग से लेबल करना सिखाने के लिए एक छोटा बैच चेक किया, फिर एआई ने बाकी को लेबल करने में मदद की, और मनुष्यों ने काम की दोबारा जाँच की। इससे यह सुनिश्चित हुआ कि "गोल्ड स्टैंडर्ड" उत्तर सटीक थे।
सारांश
OmniToM एआई को परखने का एक नया तरीका है जो उसे केवल सही उत्तर का अनुमान लगाने से रोकता है। यह एआई को हर व्यक्ति के विचारों, विश्वासों और ज्ञान का विस्तृत मानचित्र बनाने के लिए मजबूर करता है। शोध पत्र दिखाता है कि जबकि एआई पढ़ने में बेहतर हो रहा है, वह अभी भी "कौन क्या जानता है" के जटिल सामाजिक खेल को समझने के लिए संघर्ष करता है, जो कि मानवीय सामाजिक बुद्धिमत्ता का केंद्र है।
सीमाओं पर नोट: शोध पत्र स्पष्ट रूप से कहता है कि यह परीक्षण केवल पाठ-आधारित कहानियों (text-based stories) के लिए है। यह दावा नहीं करता कि एआई वास्तविक दुनिया की सामाजिक स्थितियों, आमने-सामने की बातचीत में भावनाओं, या जटिल वास्तविक जीवन के परिदृश्यों को समझ सकता है। यह पूरी तरह से लिखित आख्यानों में विश्वासों को ट्रैक करने की क्षमता को मापने के लिए एक उपकरण है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।