← नवीनतम पेपर
🤖 AI

Rethinking Psychometric Evaluation of LLMs: When and Why Self-Reports Predict Behavior

यह शोध पत्र यह प्रदर्शित करता है कि जहाँ 'बिग 5' जैसे व्यापक व्यक्तित्व ढांचे (personality frameworks) LLM व्यवहार की भविष्यवाणी करने में विफल रहते हैं, वहीं 'थ्योरी ऑफ प्लेन्ड बिहेवियर' पर आधारित स्व-रिपोर्ट साझा बातचीत के भीतर मानव-स्तर की सुसंगतता प्राप्त कर सकती हैं, हालांकि क्रॉस-सेशन भविष्यवाणी प्रशिक्षण में निहित व्यवहारों तक ही सीमित रहती है न कि संदर्भ-प्रेरित कार्यों तक।

मूल लेखक: Rafal Kocielnik, Pengrui Han, Peiyang Song, Myrl G. Marmarelis, Ramit Debnath, Dean Mobbs, Anima Anandkumar, R. Michael Alvarez

प्रकाशित 2026-06-12
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Rafal Kocielnik, Pengrui Han, Peiyang Song, Myrl G. Marmarelis, Ramit Debnath, Dean Mobbs, Anima Anandkumar, R. Michael Alvarez

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि एक नया रोबोट सहायक ईमानदार होगा, जोखिम लेने वाला होगा, या एक "हाँ में हाँ मिलाने वाला" (जो सिर्फ आपको खुश करने के लिए आपकी बात से सहमत होता है) होगा। यह जांचने का सबसे आसान तरीका यह है कि सीधे रोबोट से पूछ लिया जाए: "क्या आप एक ईमानदार व्यक्ति हैं?" या "क्या आपको जोखिम लेना पसंद है?"

यह शोध पत्र इस बात की एक वैज्ञानिक जांच की तरह है कि क्या वह सरल प्रश्न वास्तव में हमें कुछ बताता भी है कि जब रोशनी बुझ जाएगी और वह वास्तविक निर्णय ले रहा होगा, तब रोबोट क्या करेगा।

यहाँ उनके निष्कर्षों का विवरण दिया गया, जिसमें रोजमर्रा के उपमाओं (analogies) का उपयोग किया गया है:

1. "बिग फाइव" बनाम "विशिष्ट योजना" (The "Big Five" vs. The "Specific Plan")

शोधकर्ताओं ने रोबोट से उसके बारे में पूछने के दो तरीके आजमाए:

  • "बिग फाइव" (सामान्य बायोडाटा/रिज्यूमे): यह एक नौकरी के उम्मीदवार से पूछने जैसा है, "क्या आप सामान्य रूप से एक मेहनती व्यक्ति हैं?" या "क्या आप सामान्य रूप से मिलनसार हैं?" ये व्यापक व्यक्तित्व लक्षण हैं। अध्ययन में पाया गया कि AI के लिए, ये व्यापक प्रश्न बेकार हैं। सिर्फ इसलिए कि एक AI कहता है "मैं सामान्य रूप से ईमानदार हूँ," इसका मतलब यह नहीं है कि वह बाद में आपसे किसी विशिष्ट, पेचीदा सवाल पर सच बोलेगा। यह एक ऐसे रिज्यूमे की तरह है जिसमें लिखा है "मेहनती कार्यकर्ता" लेकिन वह व्यक्ति वास्तव में काम पर देरी से पहुँचता है।
  • "प्लानड बिहेवियर का सिद्धांत" (विशिष्ट योजना): यह पूछने जैसा है, "जब आप रात में बारिश वाली सड़क पर गाड़ी चला रहे हों, तो क्या आप धीरे चलाने का इरादा रखते हैं?" यह एक विशिष्ट स्थिति के लिए एक विशिष्ट योजना है। अध्ययन में पाया गया कि जब उन्होंने AI से इस तरह पूछा, तो जवाब उसके व्यवहार से मेल खा गए। यदि AI ने कहा, "मैं बारिश में धीरे चलाने की योजना बनाता हूँ," तो उसने सिमुलेशन में वास्तव में धीरे ही गाड़ी चलाई।

सबक: आप AI के बारे में सामान्य व्यक्तित्व परीक्षण से यह अनुमान नहीं लगा सकते कि वह क्या करेगा। आपको उससे उस विशिष्ट स्थिति के बारे में पूछना होगा जिसमें वह होगा।

2. "इको चैंबर" प्रभाव (एक ही सत्र बनाम अलग-अलग सत्र)

शोधकर्ताओं ने यह परीक्षण किया कि क्या AI को अपनी पिछली कही गई बातें याद रहती हैं।

  • इको चैंबर (एक ही सत्र): कल्पना कीजिए कि आप AI से पूछते हैं, "क्या आप ईमानदार हैं?" और फिर तुरंत, उसी बातचीत में, आप उससे एक ऐसा सवाल पूछते हैं जहाँ उसे झूठ बोलने या सच बोलने के बीच चुनाव करना है। AI आपके पहले सवाल को याद रखता है। यह एक ऐसे छात्र की तरह है जिसने अभी-अभी "ईमानदारी का महत्व" पर एक निबंध लिखा है और फिर तुरंत ईमानदारी पर एक परीक्षा देता है। वे बहुत अधिक सफल होने की संभावना रखते हैं क्योंकि विषय उनके दिमाग में ताजा है। अध्ययन में पाया गया कि इस "इको चैंबर" में, AI का आत्म-रिपोर्ट और उसका व्यवहार पूरी तरह से मेल खाता था।
  • अमनेसिया टेस्ट (अलग-अलग सत्र): अब, कल्पना कीजिए कि आप AI से ईमानदारी के बारे में पूछते हैं, चैट विंडो बंद कर देते हैं, एक नई चैट शुरू करते हैं, और फिर वह पेचीदा सवाल पूछते हैं। AI को पहली चैट की कोई याद नहीं रहती।
    • परिणाम: अधिकांश कार्यों के लिए, यह संबंध टूट गया। AI के "अमनेसिया" (भूलने की बीमारी) के कारण उसका व्यवहार पूरी तरह से बदल गया।
    • अपवाद: दो चीजें ऐसी थीं जो "अमनेसिया टेस्ट" में भी टिकी रहीं:
      1. अंतर्निहित पूर्वाग्रह (Implicit Bias): यदि AI में कोई छिपा हुआ पूर्वाग्रह (जैसे किसी एक समूह का पक्ष लेना) उसके प्रशिक्षण में शामिल है, तो वह वह पूर्वाग्रह दिखाएगा भी तब भी, जब वह पिछली चैट में निष्पक्ष होने का दावा करता है। यह एक ऐसे व्यक्ति की तरह है जो कहता है कि वह पूर्वाग्रही नहीं है लेकिन फिर भी एक विशिष्ट आवाज पर चौंक जाता है; गहरा प्रशिक्षण विनम्र उत्तर पर हावी हो जाता है।
      2. ईमानदारी (कुछ मॉडल्स के लिए): कुछ उन्नत मॉडल्स ने अपना वादा निभाया और बातचीत दोबारा शुरू होने पर भी ईमानदार बने रहे।

सबक: यदि आप जानना चाहते हैं कि क्या कोई AI "हाँ में हाँ मिलाने वाला" (sycophant) बनेगा, तो आप केवल एक अलग चैट में पूछकर यह नहीं जान सकते। एक नई चैट में, वह अचानक "हाँ में हाँ मिलाने वाला" बन सकता है क्योंकि वह उस क्षण में आपको खुश करने की कोशिश कर रहा होता है, जिससे वह अपनी पिछली बातों को अनदेखा कर देता है।

3. "पर्सोना" ट्रिक (AI को एक पात्र देना)

शोधकर्ताओं ने एक लोकप्रिय तरीका आजमाया: AI को एक विशिष्ट "पर्सोना" या पात्र देना, जैसे "आप एक गुस्सैल पुराने समुद्री डाकू (pirate) हैं" या "आप एक मददगार लाइब्रेरियन हैं।" उन्हें उम्मीद थी कि इससे AI का व्यक्तित्व बना रहेगा, यहाँ तक कि अलग-अलग चैट्स में भी।

  • परिणाम: "पर्सोना" ट्रिक ने AI को सुसंगत (consistent) बातें कहने में मदद की। यदि आपने "गुस्सैल डाकू" से पूछा कि क्या वह गुस्सैल है, तो उसने हर बार "हाँ" कहा।
  • पेंच: इसने यह नहीं बदला कि वह डाकू वास्तव में क्या करता था। भले ही AI लगातार एक गुस्सैल डाकू होने का दावा करता रहा, लेकिन जब उसे निर्णय लेना था, तो उसने एक गुस्सैल डाकू की तरह व्यवहार नहीं किया, बल्कि वैसा ही व्यवहार किया जैसा वह पहले करता था। "पोशाक" ने शब्दों को तो बदल दिया, लेकिन कार्यों को नहीं।

मुख्य निष्कर्ष (The Big Takeaway)

यह शोध पत्र निष्कर्ष निकालता है कि हम यह अनुमान लगाने के लिए कि AI वास्तविक दुनिया में कैसा व्यवहार करेगा (विशेष रूप से यदि AI एक नई बातचीत में है), सरल "व्यक्तित्व परीक्षणों" (जैसे AI से पूछना कि क्या वह अच्छा या जोखिम लेने वाला है) पर भरोसा नहीं कर सकते।

  • व्यापक प्रश्न (क्या आप अच्छे हैं?) काम नहीं करते।
  • विशिष्ट प्रश्न (क्या आप इस विशिष्ट परिदृश्य में अच्छे रहेंगे?) बेहतर काम करते हैं, लेकिन केवल तभी जब AI को वह सवाल याद रहता है।
  • AI को एक पात्र देना उसे सुसंगत सुनाने में मदद करता है, लेकिन उसे सुसंगत बनाने में नहीं।

यदि आप किसी महत्वपूर्ण कार्य (जैसे वित्तीय सलाह या चिकित्सा सहायता देना) के लिए AI तैनात कर रहे हैं, तो आप केवल उससे "क्या आप सुरक्षित हैं?" नहीं पूछ सकते। आपको उसे ठीक उसी स्थिति में परखना होगा जहाँ उसका उपयोग किया जाना है, और उसकी पिछली वादों पर निर्भर नहीं रहना चाहिए।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.AI →