OSCToM: RL-Guided Adversarial Generation for High-Order Theory of Mind
यह शोध पत्र OSCToM को प्रस्तुत करता है, जो एक सुदृढीकरण लर्निंग-निर्देशित (reinforcement learning-guided) दृष्टिकोण है जो ऑब्जर्वर-सेल्फ कॉन्फ्लिक्ट (observer-self conflict) परिदृश्य उत्पन्न करता है ताकि लार्ज लैंग्वेज मॉडल्स की थ्योरी ऑफ माइंड (Theory of Mind) तर्क क्षमता को महत्वपूर्ण रूप से बढ़ाया जा सके, जिससे पिछले तरीकों के 0.2% की तुलना में सूचना-असममित FANToM बेंचमार्क पर 76% सटीकता प्राप्त हुई।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जटिल नाटक देख रहे हैं जहाँ अभिनेता रहस्य फुसफुसा रहे हैं, वस्तुएं छिपा रहे हैं, और ऐसी चीजें जानने का ढोंग कर रहे हैं जो वे वास्तव में नहीं जानते। आज के अधिकांश AI मॉडल ऐसे दर्शकों की तरह हैं जो संवाद तो पूरी तरह से रट सकते हैं लेकिन जब कहानी में मोड़ आता है तो भ्रमित हो जाते हैं। वे सोच सकते हैं, "ओह, अभिनेता एक लाल गेंद पकड़े हुए है," जबकि वास्तव में, अभिनेता किसी को धोखा देने के लिए लाल गेंद पकड़ने का ढोंग कर रहा है।
यह शोध पत्र OSCToM पेश करता है, जो AI को इन पेचीदा "दिमागी खेलों" को समझने के लिए सिखाने का एक नया तरीका है। यहाँ बताया गया है कि यह सरल उपमाओं का उपयोग करते हुए कैसे काम करता है।
समस्या: "मन पढ़ने" का अंतर (The "Mind-Reading" Gap)
वर्तमान AI मॉडल कहानियाँ लिखने में बहुत अच्छे हैं, लेकिन उन्हें थ्योरी ऑफ माइंड (Theory of Mind) समझने में संघर्ष करना पड़ता है। यह मनुष्यों की वह क्षमता है जिससे वे समझ पाते हैं कि अन्य लोगों के विचार, विश्वास और ज्ञान हमसे अलग होते हैं।
इसे "टेलीफोन" के खेल की तरह समझें। यदि मैं आपको एक रहस्य बताता हूँ, और आप तीसरे व्यक्ति को एक झूठ बताते हैं, तो एक स्मार्ट AI को पता होना चाहिए:
- वास्तव में क्या सच है।
- आप क्या सच मानते हैं।
- तीसरा व्यक्ति क्या सच मानता है (भले ही वह गलत हो)।
AI के लिए पुराने परीक्षण साधारण पहेलियों की तरह थे। AI शब्दों में पैटर्न पहचानकर उत्तर का अनुमान लगा सकता था। लेकिन जब कहानियाँ जटिल हो गईं—जैसे जब एक प्रेक्षक (observer) यह समझने की कोशिश कर रहा हो कि एक दूसरा व्यक्ति किसी तीसरे व्यक्ति के रहस्य के बारे में क्या सोच रहा है—तो AI खो जाता था।
समाधान: OSCToM (द "कॉन्फ्लिक्ट" ट्रेनर)
लेखकों ने OSCToM (ऑब्जर्वर-सेल्फ कॉन्फ्लिक्ट थ्योरी ऑफ माइंड) नामक एक प्रणाली बनाई। इसका मूल विचार AI को उन कहानियों पर प्रशिक्षित करना है जहाँ एक प्रेक्षक का आंतरिक विश्वास इस बात से टकराता है कि वह क्या सोचता है कि कोई और क्या मानता है।
उपमा: एक जासूसी फिल्म की कल्पना करें। जासूस (प्रेक्षक) जानता है कि तिजोरी खाली है। लेकिन जासूस यह भी जानता है कि विलेन (खलनायक) सोचता है कि तिजोरी सोने से भरी है। जासूस को विलेन को धोखा देने के लिए ऐसा व्यवहार करना पड़ता है जैसे कि तिजोरी भरी हुई हो। OSCTOМ AI को इसी तरह के मानसिक तालमेल को संभालने के लिए प्रशिक्षित करता है।
उन्होंने इसे कैसे बनाया: "वीडियो गेम" दृष्टिकोण
हजारों कहानियाँ हाथ से लिखने के बजाय, टीम ने उन्हें स्वचालित रूप से उत्पन्न करने के लिए एक "गेम इंजन" बनाया।
- नियम पुस्तिका (Extended DSL): उन्होंने एक विशेष भाषा बनाई जो एक गेम के नियम पुस्तिका की तरह कार्य करती है। यह उन्हें डिसैप्टिव लोकलाइजेशन (किसी वस्तु के स्थान के बारे में झूठ बोलना) या वन-वे मिरर्स (एक व्यक्ति कुछ देखता है जो दूसरा नहीं देख पाता) जैसे विशिष्ट "मूव्स" प्रोग्राम करने की अनुमति देती है। इससे वे "सोचने के बारे में सोचने" के चार स्तरों तक वाली कहानियाँ बना सकते हैं।
- कोच (सरोगेट मॉडल्स): इन कहानियों को लिखने के लिए AI को प्रशिक्षित करने के लिए आमतौर पर हर वाक्य को ग्रेड करने के लिए एक सुपर-कंप्यूटर की आवश्यकता होती है, जो धीमा और महंगा है। इसके बजाय, टीम ने छह छोटे, तेज़ "मिनी-कोच" (छोटे AI मॉडल) प्रशिक्षित किए। ये कोच कहानियों की तुरंत जाँच करते हैं कि: क्या इसमें कोई झूठ है? क्या सोच पर्याप्त गहरी है? क्या टाइमलाइन भ्रमित करने वाली है? इसने प्रक्रिया को 6 गुना तेज़ बना दिया।
- खिलाड़ी (रीइन्फोर्समेंट लर्निंग): उन्होंने एक "प्लेयर" AI (DQN नामक विधि का उपयोग करके) का उपयोग किया जो बार-बार गेम खेलता है। यह एक टेस्ट मॉडल को बेवकूफ बनाने के लिए सबसे अधिक भ्रमित करने वाली, पेचीदा कहानी बनाने की कोशिश करता है। "मिनी-कोच" इसे कहानी को और कठिन बनाने के लिए अंक देते हैं। खिलाड़ी सबसे सटीक "दिमाग घुमा देने वाले" परिदृश्य बनाने के लिए सीखता है।
- छात्र (दो-चरणीय प्रशिक्षण): अंत में, उन्होंने एक मानक AI मॉडल (Llama-3.1-8B) को इन पेचीदा कहानियों का उपयोग करके सिखाया। उन्होंने इसे सीधे सबसे कठिन कहानियाँ नहीं दीं।
- चरण 1: उन्होंने इसे सरल झूठ और बुनियादी विश्वासों के बारे में सिखाया (जैसे साझा करना सीखने वाला एक बच्चा)।
- चरण 2: एक बार जब इसने बुनियादी बातों में महारत हासिल कर ली, तो उन्होंने जटिल, बहु-स्तरीय जासूसी कहानियों को पेश किया।
परिणाम: छोटा लेकिन शक्तिशाली
परिणामस्वरूप एक मॉडल प्राप्त हुआ जिसे OSCToM-8B कहा जाता है। भले ही यह अन्य कई प्रसिद्ध AI मॉडलों की तुलना में छोटा है, इसने अविश्वसनीय प्रदर्शन किया:
- FANToM टेस्ट: सूचना विषमता (information asymmetry - जहाँ पात्र अलग-अलग बातें जानते हैं) से संबंधित एक कठिन परीक्षण पर, पिछले सर्वश्रेष्ठ तरीके (ExploreToM) का स्कोर केवल 0.2% सही था। OSCToM-8B ने 76% सही स्कोर प्राप्त किया। यह एक विशाल उछाल है।
- गति: पुराना तरीका एक पहेली को सुलझाने के लिए हर एक टुकड़े को एक-एक करके आज़माने जैसा था (धीमा)। OSCToM-8B बॉक्स पर बनी तस्वीर को देखकर तुरंत हल करने जैसा है। यह प्रश्नों के उत्तर देने में 5.7 गुना तेज़ है।
- दक्षता: इसने उन मॉडलों की तुलना में कम कंप्यूटर संसाधनों (पैरामीटर्स) के साथ ये परिणाम प्राप्त किए जो आकार में 3 से 4 गुना बड़े हैं।
मुख्य निष्कर्ष (The Bottom Line)
शोध पत्र का दावा है कि एक स्मार्ट, स्वचालित प्रशिक्षण खेल का उपयोग करके AI को "ऑब्जर्वर-सेल्फ कॉन्फ्लिक्ट्स" (जहाँ आप जो जानते हैं वह इस बात से टकराता है कि आप क्या सोचते हैं कि दूसरे क्या जानते हैं) को संभालने के लिए सिखाकर, हम छोटे, तेज़ AI मॉडल बना सकते हैं जो जटिल सामाजिक स्थितियों और धोखे को समझने में बहुत बेहतर होते हैं।
यह क्या दावा नहीं करता: शोध पत्र यह नहीं कहता कि इस AI का उपयोग अब थेरेपी में, वास्तविक समय में सुरक्षा में झूठ पकड़ने के लिए, या प्रेम या शोक जैसी मानवीय भावनाओं को समझने के लिए किया जा सकता है। यह सख्ती से टेक्स्ट-आधारित परिदृश्यों में विश्वास, ज्ञान और धोखे के तर्क पर केंद्रित है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।