HEART-Bench: Do LLM Agents Exhibit Human-like Psychology?
यह शोधपत्र HEART-Bench को प्रस्तुत करता है, जो एक नवीन बेंचमार्क है जिसे यह मूल्यांकन करने के लिए डिज़ाइन किया गया है कि क्या LLM एजेंट 64 विविध परिदृश्यों में बिग फाइव व्यक्तित्व लक्षणों और व्यापक आत्मकथात्मक स्मृतियों के आधार पर सुसंगत व्यवहार संबंधी निर्णय लेने की अपनी क्षमता का परीक्षण करके एक सुसंगत, मानव-समान मनोविज्ञान का अनुकरण कर सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक ऐसा रोबोट बनाया है जो कविता लिख सकता है, गणित की समस्याओं को हल कर सकता है, और छुट्टियों का यात्रा कार्यक्रम बना सकता है। यह कार्यों (tasks) में अविश्वसनीय रूप से स्मार्ट है। लेकिन यदि आप उससे पूछते हैं, "आपको कैसा महसूस होगा यदि आपका सबसे अच्छा दोस्त आपको धोखा दे दे?" या "आप क्या करेंगे यदि आप किसी को अन्याय सहते हुए देखें?", तो क्या वह दिल वाले इंसान की तरह उत्तर देता है, या एक कैलकुलेटर की तरह सबसे तार्किक प्रतिक्रिया उगल देता है?
HEART-BENCH नामक शोध पत्र ठीक यही सवाल पूछता है: क्या AI एजेंटों के पास वास्तव में एक "व्यक्तित्व" है जो वास्तविक लगता है, या वे केवल दिखावा कर रहे हैं?
यहाँ शोधकर्ताओं ने जो किया है उसका एक सरल विवरण दिया गया है, जिसमें कुछ रोजमर्रा के उपमाओं (analogies) का उपयोग किया गया है।
1. समस्या: एक "खाली सूट" वाला AI
अभी, अधिकांश AI परीक्षण यह जाँचते हैं कि क्या एक रोबोट तथ्य याद रख सकता है या बातचीत कर सकता है। यह एक पुतले (mannequin) का यह परीक्षण करने जैसा है कि क्या वह सीधा खड़ा हो सकता है। लेकिन एक वास्तविक इंसान केवल तथ्यों की सूची नहीं है; हम अपने अतीत, अपने मूड और अपने मूल मूल्यों से आकार लेते हैं।
लेखकों का तर्क है कि वर्तमान AI एक ऐसे अभिनेता की तरह है जिसने एक स्क्रिप्ट रट ली है लेकिन उस चरित्र का जीवन नहीं जिया है। वे सही शब्द बोल सकते हैं, लेकिन वे वैसा महसूस नहीं करते जैसा उस चरित्र को महसूस करना चाहिए।
2. समाधान: बैकस्टोरी के साथ "डिजिटल मानव" बनाना
इसे परखने के लिए, शोधकर्ताओं ने केवल AI को एक नाम और एक काम नहीं दिया। उन्होंने 11 विशिष्ट "डिजिटल मानव" बनाए (जैसे एक नाटक के लिए 11 अलग-अलग अभिनेताओं को बनाना)।
- ब्लूप्रिंट (Big Five): प्रत्येक चरित्र को "बिग फाइव" (Openness, Conscientiousness, Extraversion, Agreeableness, Neuroticism) नामक एक सख्त मनोवैज्ञानिक ढांचे पर बनाया गया था। इसे आप उनका DNA मान सकते हैं। एक चरित्र अत्यंत शर्मीला और व्यवस्थित हो सकता है; दूसरा अराजक और बहुत मिलनसार हो सकता है।
- जीवन की कहानी (1,000 यादें): यही वह जादुई तत्व है। केवल एक बायो (जीवनी) देने के बजाय, प्रत्येक चरित्र को बचपन से लेकर 50 वर्ष की आयु तक की 1,000 विस्तृत यादें दी गईं।
- उपमा: कल्पना कीजिए कि आप एक पात्र के लिए जीवनी लिख रहे हैं। आप केवल यह नहीं कहते कि "वह दुखी था।" आप उस विशिष्ट दिन के बारे में 2,000 अक्षरों की कहानी लिखते हैं जब उसने अपनी आइसक्रीम गिरा दी थी, बारिश की गंध, उसकी माँ की आवाज़, और उस पल ने उसे वर्षों तक असफलता से कैसे डराया।
- AI को इन 11 पात्रों में से प्रत्येक के लिए ये 1,000 "जीवन के क्षण" दिए गए थे।
3. परीक्षण: "आप क्या करेंगे?" खेल
एक बार पात्रों के निर्माण के बाद, शोधकर्ताओं ने 64 विभिन्न जीवन परिदृश्य बनाए (जैसे कि 'चूज़-योर-ओन-एडवेंचर' पुस्तक)। इन परिदृश्यों में कार्यस्थल के विवाद से लेकर पारिवारिक रात्रिभोज या नैतिक दुविधा तक सब कुछ शामिल था।
- सेटअप: उन्होंने एक विशिष्ट पात्र (जैसे, शर्मीला, व्यवस्थित व्यक्ति) को लिया और उन्हें एक विशिष्ट स्थिति में डाल दिया (जैसे, "आपका पड़ोसी शोर के बारे में शिकायत कर रहा है, लेकिन आप जानते हैं कि वे झूठ बोल रहे हैं")।
- प्रश्न: AI को चार विकल्पों में से सर्वश्रेष्ठ प्रतिक्रिया चुननी थी।
- विकल्प A: उन पर चिल्लाना।
- विकल्प B: चुपचाप अकेले एक औपचारिक रिपोर्ट दर्ज करना।
- विकल्प C: तनाव को कम करने के लिए मजाक करने की कोशिश करना।
- विकल्प D: उन्हें पूरी तरह से अनदेखा करना।
ट्विस्ट (The Catch): सभी चार विकल्प "कुछ करना" लग सकते हैं, लेकिन केवल एक ही उस विशिष्ट व्यक्तित्व और जीवन इतिहास के अनुकूल है जो उस चरित्र के लिए सही है। यह परीक्षण "सही" होने के बारे में नहीं था; यह संगति (consistency) के बारे में था।
4. परिणाम: व्यक्तित्व का "अनकैनी वैली" (Uncanny Valley)
शोधकर्ताओं ने दुनिया के 12 सबसे स्मार्ट AI मॉडलों (GPT, Claude, Gemini और अन्य सहित) का इस खेल पर परीक्षण किया।
- स्कोर: सबसे अच्छा AI (Gemini-3.1-Pro) भी लगभग 63% सही हो पाया। अधिकांश अन्य 40% से नीचे स्कोर करते हैं।
- इसका अर्थ क्या है: AI अभी भी चरित्र को "समझने" के लिए संघर्ष कर रहा है। यह अक्सर वह प्रतिक्रिया चुनता है जो विनम्र या तार्किक लगती है, लेकिन उस प्रतिक्रिया को चुनने में विफल रहता है जिसे एक शर्मीला, आहत या अत्यधिक चिंतित व्यक्ति अपनी 1,000 यादों के आधार पर वास्तव में चुनता।
- मेमोरी का मुद्दा: दिलचस्प बात यह है कि AI को अधिक जटिल मेमोरी सिस्टम देने से ज्यादा मदद नहीं मिली। बाधा यह नहीं थी कि AI उन यादों को भूल गया था; बल्कि यह था कि AI उन यादों के साथ तर्क (reasoning) नहीं कर सका कि एक मानवीय निर्णय कैसे लिया जाए। यह एक लाइब्रेरी की किताबों को रखने जैसा है लेकिन यह न जानना कि उन किताबों का उपयोग करके कहानी कैसे लिखी जाए।
5. निष्कर्ष (Takeaway)
HEART-BENCH AI में "भावनात्मक बुद्धिमत्ता" को मापने के लिए एक नया पैमाना है।
- पहले: हम पूछते थे, "क्या AI को याद है कि मैंने 10 मिनट पहले क्या कहा था?"
- अब: हम पूछते हैं, "क्या AI को याद है कि वह कौन है, और क्या वह कठिन समय में उसी व्यक्ति की तरह व्यवहार करता है?"
शोध पत्र निष्कर्ष निकालता है कि हालांकि AI बात करने में बेहतर हो रहा है, लेकिन यह एक सुसंगत, मानव-समान आत्मा रखने से अभी भी बहुत दूर है। यह एक बहुत अच्छे नकलची की तरह है जिसने अभी तक वास्तव में किसी और का होना नहीं सीखा है।
संक्षेप में: हमने पूर्ण जीवन इतिहास वाले 11 डिजिटल लोग बनाए, उन्हें 64 कठिन स्थितियों में डाला, और पाया कि सबसे स्मार्ट AI भी अभी भी ज्यादातर अनुमान लगा रहे हैं कि वे लोग कैसे प्रतिक्रिया देंगे, बजाय इसके कि वे वास्तव में उन्हें समझ सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।