Cognitive World Models for Process-Level Social Influence Evaluation
यह शोध पत्र CogWM को प्रस्तुत करता है, जो एक नवीन SaA एनोटेशन पाइपलाइन के माध्यम से प्रशिक्षित एक LLM-आधारित संज्ञानात्मक विश्व मॉडल (cognitive world model) है, जिसका उपयोग सतही स्तर के टेक्स्ट मेट्रिक्स पर निर्भर रहने के बजाय उपयोगकर्ताओं की आंतरिक संज्ञानात्मक अवस्थाओं (विश्वास, इच्छाएं, इरादे और भावनाएं) के विकास को ट्रैक करके सामाजिक प्रभाव संवादों का मूल्यांकन करने के लिए किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक दोस्त को कुछ करने के लिए मनाने की कोशिश करते हुए देख रहे हैं, जैसे कि कोई नया शौक शुरू करना, किसी संस्था को दान देना, या बस एक बुरे दिन के बाद बेहतर महसूस करना।
सफलता को मापने का पुराना तरीका
अब तक, यदि हम यह जानना चाहते थे कि कोई कंप्यूटर प्रोग्राम (एक AI) इन बातचीतों में कितना अच्छा है, तो हम मुख्य रूप से दो तरीकों का उपयोग करते थे:
- "ग्रामर पुलिस" (व्याकरण पुलिस): यह देखना कि AI के शब्द कितने सुचारू लग रहे थे या वे उपयोगकर्ता के शब्दों से कितनी बारीकी से मेल खाते थे (जैसे यह देखना कि क्या दो वाक्य आपस में तुकबंदी करते हैं)।
- "फाइनल ग्रेड" (अंतिम ग्रेड): किसी इंसान या एक स्मार्ट कंप्यूटर से पूरी बातचीत के अंत में एक एकल स्कोर (एक अंक) मांगना, जैसे कि एक शिक्षक अंतिम परीक्षा के लिए ग्रेड देता है।
समस्या: ये तरीके मुख्य बात को पकड़ने में चूक जाते हैं। एक बातचीत सुनने में एकदम सटीक लग सकती है और उसे उच्च ग्रेड मिल सकता है, लेकिन उपयोगकर्ता अभी भी बिल्कुल वैसा ही महसूस कर सकता है (या पहले से भी बदतर) जैसा वह शुरुआत में था। यह एक ऐसी फिल्म की तरह है जिसकी पटकथा और सुखद अंत तो एकदम परफेक्ट है, लेकिन मुख्य पात्र ने वास्तव में कुछ सीखा ही नहीं या उसके विचार में कोई बदलाव नहीं आया। हम यह नहीं देख पा रहे थे कि बातचीत के दौरान उपयोगकर्ता के मन में कैसे बदलाव आया।
नया समाधान: "कॉग्निटिव वर्ल्ड मॉडल" (CogWM)
नॉर्थवेस्टर्न पॉलिटेक्निकल यूनिवर्सिटी और हारबिन इंजीनियरिंग यूनिवर्सिटी के शोधकर्ताओं ने एक नए प्रकार का AI बनाया है जिसे CogWM कहा जाता है। इसे एक "मन पढ़ने वाला सिम्युलेटर" (Mind-Reading Simulator) समझें।
केवल यह सुनने के बजाय कि उपयोगकर्ता क्या कह रहा है, CogWM यह अनुमान लगाने की कोशिश करता है कि उपयोगकर्ता अंदर से क्या सोच और महसूस कर रहा है। यह चार विशिष्ट चीजों को ट्रैक करता है, जिन्हें वे BDI/E कहते हैं:
- Beliefs (विश्वास): उपयोगकर्ता क्या सच मानता है (जैसे, "मैं गणित में कमजोर हूँ")।
- Desires (इच्छाएं): उपयोगकर्ता क्या चाहता है (जैसे, "मैं इस कक्षा को पास करना चाहता हूँ")।
- Intentions (इरादे): उपयोगकर्ता क्या करने की योजना बना रहा है (जैसे, "मैं 10 मिनट तक पढ़ाई करूँगा")।
- Emotions (भावनाएं): वह अभी कैसा महसूस कर रहा है (जैसे, "चिंतित" या "आशावादी")।
यह कैसे काम करता है ("विंड टनल" सादृश्य)
लेखक CogWM की तुलना हवाई जहाजों के लिए उपयोग होने वाली "विंड टनल" (वायु सुरंग) से करते हैं। वास्तविक विमान बनाने से पहले, इंजीनियर एक मॉडल को विंड टनल में टेस्ट करते हैं ताकि यह देख सकें कि हवा उस पर कैसे दबाव डालती है।
- हवाई जहाज: वह AI चैटबॉट जो उपयोगकर्ता को प्रभावित करने की कोशिश कर रहा है।
- विंड टनल: CogWM।
- हवा: बातचीत।
जब आप एक चैटबॉट का परीक्षण करते हैं, तो आप उसे CogWM से जोड़ देते हैं। CogWM, उपयोगकर्ता की भूमिका निभाता है। जैसे-जैसे चैटबॉट बात करता है, CogWM उपयोगकर्ता के विश्वास, इच्छाओं और भावनाओं के आंतरिक "स्कोरकार्ड" को हर मोड़ (turn) पर अपडेट करता रहता है।
तीन-स्तरीय रिपोर्ट कार्ड
केवल एक अंतिम ग्रेड देने के बजाय, CogWM तीन स्तरों वाला एक विस्तृत रिपोर्ट तैयार करता है:
- टर्न लेवल (मोड़ का स्तर): क्या चैटबॉट ने कुछ ऐसा कहा जो उस विशिष्ट क्षण के लिए तर्कसंगत था?
- जर्नी लेवल (यात्रा का स्तर): क्या उपयोगकर्ता की आंतरिक स्थिति समय के साथ एक सही दिशा में आगे बढ़ी? (उदाहरण के लिए, क्या उनकी चिंता कम हुई? या क्या उनका यह विश्वास कि "मैं यह कर सकता हूँ" बढ़ गया?)
- गोल लेवल (लक्ष्य का स्तर): क्या बातचीत वास्तव में वांछित परिणाम प्राप्त करने में सफल रही (जैसे दान देने के लिए राजी करना या बेहतर महसूस करना)?
उन्होंने क्या पाया
- विशेषज्ञों से बेहतर: उन्होंने CogWM को 1,50,000 से अधिक बातचीत के अंशों पर प्रशिक्षित किया। जब उन्होंने अन्य शीर्ष AI मॉडलों के मुकाबले इसका परीक्षण किया, तो CogWM उपयोगकर्ता की आंतरिक भावनाओं और विचारों का अनुमान लगाने में बहुत बेहतर निकला (मौजूदा सर्वोत्तम मॉडलों की तुलना में लगभग 2 गुना अधिक सटीक)।
- "नकली" बनाम "असली" बदलाव: उन्होंने छह प्रसिद्ध AI चैटबॉट्स का परीक्षण किया। कुछ चैटबॉट्स "अच्छा परिणाम" (जैसे उपयोगकर्ता को "हाँ, मैं दान दूँगा" कहने के लिए राजी करना) प्राप्त करने में बहुत अच्छे थे। लेकिन जब उन्होंने यात्रा (journey) को देखा, तो उन्होंने पाया कि कुछ चैटबॉट्स ने केवल उपयोगकर्ता पर दबाव डालकर "हाँ" कहलवाया, बिना वास्तव में उनका मन बदले।
- सादृश्य: एक चैटबॉट एक "स्प्रिंटर" (धावक) की तरह था (जिसने त्वरित परिणाम तो दिए लेकिन उपयोगकर्ता का मन वास्तव में नहीं बदला)। दूसरा एक "स्थिर हाइकर" (पगडंडी पर चलने वाला यात्री) की तरह था (जिसने धीरे-धीरे उपयोगकर्ता के मन को एक बेहतर स्थान की ओर निर्देशित किया)।
- "ब्लैक बॉक्स" अब खुला है: CogWM के साथ, हम अंततः यह देख सकते हैं कि कोई चैटबॉट क्यों सफल हुआ या क्यों विफल हुआ। हम स्पष्ट रूप से देख सकते हैं कि बातचीत के किस मोड़ ने उपयोगकर्ता को आशावादी बनाया, या किस मोड़ ने उन्हें दबाव महसूस कराया।
संक्षेप में
यह शोध पत्र एक ऐसे उपकरण को पेश करता है जो बातचीत को केवल उसके "अंतिम स्कोर" से नहीं, बल्कि इस कहानी से आंकता है कि उपयोगकर्ता का मन कैसे बदला। यह "प्रभाव डालने" की अदृश्य प्रक्रिया को एक दृश्य, मापने योग्य मानचित्र में बदल देता है, जो हमें दिखाता है कि कौन से AI सहायक वास्तव में मददगार हैं और कौन से केवल बातें करने में माहिर हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।