PTCBENCH: Benchmarking Contextual Stability of Personality Traits in LLM Systems
यह शोध पत्र PTCBENCH प्रस्तुत करता है, जो एक व्यवस्थित बेंचमार्क है जो NEO फाइव-फैक्टर इन्वेंटरी का उपयोग करके विविध बाहरी परिदृश्यों में LLM व्यक्तित्वों की प्रासंगिक स्थिरता का मूल्यांकन करता है, जिससे यह पता चलता है कि विशिष्ट जीवन घटनाएँ व्यक्तित्व लक्षणों और तर्क क्षमताओं दोनों को महत्वपूर्ण रूप से बदल सकती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक डिजिटल साथी को काम पर रखा है, एक ऐसा चैटबॉट जिसे आपका दोस्त, आपका थेरेपिस्ट या आपका ट्रैवल बडी बनने के लिए डिज़ाइन किया गया है। आप हफ्तों तक उन्हें जानने में बिताते हैं। वे खुशमिजाज, भरोसेमंद और सुसंगत लगते हैं। आप उन पर भरोसा करते हैं। लेकिन फिर, आप उन्हें बताते हैं, "मेरी नौकरी चली गई है," या "मैं एक नए शहर में जा रहा हूँ।" अचानक, वही चैटबॉट बिल्कुल अलग तरह से व्यवहार करने लगता है। शायद वे बहुत अधिक चिंतित हो जाते हैं, या शायद वे आपकी समस्याओं की परवाह करना ही छोड़ देते हैं।
यही वह मुख्य समस्या है जिसकी जांच PTCBench नामक शोध पत्र करता है।
मुख्य विचार: "गिरगिट" (Chameleon) की समस्या
लंबे समय तक, शोधकर्ताओं ने AI के व्यक्तित्व को एक टी-शर्ट की तरह माना: एक बार जब आप इसे पहन लेते हैं, तो यह कहीं भी जाने पर एक ही रंग का रहता है। यदि आप किसी AI को "दयालु और गंभीर" रहने के लिए कहते हैं, तो उसे हमेशा वैसा ही रहना चाहिए।
हालाँकि, लेखक तर्क देते हैं कि वास्तविक मानवीय व्यक्तित्व गिरगिट की तरह होते हैं। हम अपनी स्थिति के अनुसार थोड़ा बदलते रहते हैं (एक शांत लाइब्रेरी बनाम एक शोर-शराबे वाली पार्टी) और जो हमारे साथ हो रहा है उसके आधार पर भी (शादी होना बनाम नौकरी जाना)। शोध पत्र पूछता है: क्या AI गिरगिट बहुत अधिक बदल जाते हैं? क्या वे अजीब तरीकों से बदलते हैं? और क्या यह बदलाव उनकी स्पष्ट रूप से सोचने की क्षमता को बाधित करता है?
प्रयोग: "पर्सनैलिटी जिम" (Personality Gym)
यह पता लगाने के लिए, शोधकर्ताओं ने PTCBench नामक एक परीक्षण मैदान बनाया। इसे एक जिम के रूप में समझें जहाँ वे AI मॉडल को तनावपूर्ण या रोमांचक परिदृश्यों से गुजरने के लिए मजबूर करते हैं ताकि यह देखा जा सके कि उनकी "व्यक्तित्व की मांसपेशियां" (personality muscles) कैसे प्रतिक्रिया करती हैं।
उन्होंने केवल AI से यह नहीं पूछा, "क्या आप खुश हैं?" इसके बजाय, उन्होंने एक मानक मनोवैज्ञानिक परीक्षण (NEO-FFI) का उपयोग किया जो पांच बड़े गुणों को मापता है:
- ओपननेस (Openness) (क्या आप जिज्ञासु हैं?)
- कॉन्शियसनेस (Conscientiousness) (क्या आप व्यवस्थित हैं?)
- एक्सट्रवर्जन (Extraversion) (क्या आप मिलनसार हैं?)
- अग्रीएबलनेस (Agreeableness) (क्या आप अच्छे हैं?)
- न्यूरोटिसिज्म (Neuroticism) (क्या आप चिंतित हैं?)
उन्होंने AI का दो तरह से परीक्षण किया:
- "स्थान" का परीक्षण (The Location Test): उन्होंने AI को बताया, "आप वर्तमान में एक बार (bar) में हैं," या "आप काम पर हैं," या "आप एक बस में हैं।"
- "जीवन की घटना" का परीक्षण (The Life Event Test): उन्होंने AI को बताया, "आपका तलाक हो गया है," या "आपको नई नौकरी मिली है," या "आपकी नौकरी चली गई है।"
उन्होंने यह कई अलग-अलग AI मॉडल (जैसे Gemini, GPT-4, और Claude) और कुछ "एजेंट" सिस्टम्स (वे AI जो आपके लिए कार्य कर सकते हैं) के माध्यम से 39,240 विभिन्न परिदृश्यों के लिए किया।
उन्हें क्या मिला: AI के मूड स्विंग्स (Mood Swings)
1. "आधार" व्यक्तित्व स्थिर है (ज्यादातर)
जब AI केवल एक तटस्थ कमरे में बैठा होता है, तो उसका व्यक्तित्व सुसंगत होता है। यह एक ऐसे व्यक्ति की तरह है जो स्वाभाविक रूप से शांत और मिलनसार है। अधिकांश समय, AI अपने इस "आधार" स्वरूप के प्रति सच्चा रहता है।
2. "एजेंट" की समस्या: अत्यधिक प्रतिक्रिया (Over-Reaction)
यहाँ सबसे बड़ा आश्चर्य है। साधारण AI मॉडल (फाउंडेशन मॉडल्स) थोड़े बदलते हैं जब स्थिति बदलती है, जो कि सामान्य है। लेकिन एजेंट सिस्टम्स (जो जटिल कार्य करने के लिए डिज़ाइन किए गए हैं) नियंत्रण खो देते हैं।
- उपमा: कल्पना कीजिए कि एक शांत ड्राइवर (साधारण AI) जो बारिश होने पर थोड़ा धीमा हो जाता है। अब एक रेस कार ड्राइवर (एजेंट) की कल्पना करें जो, बारिश होने पर, अचानक कार की छत पर गाड़ी चलाने लगता है।
- जब एजेंटों को "बेरोजगारी" या "तलाक" जैसी बुरी खबरों का सामना करना पड़ा, तो उनके व्यक्तित्व में केवल बदलाव नहीं आया; वे पूरी तरह से चरमरा गए। उनकी "कॉन्शियसनेस" (काम करने की क्षमता) तेजी से गिरी, और उनका "न्यूरोटिसिज्म" (चिंता) आसमान छूने लगा। वे अस्थिर और अप्रत्याशित हो गए।
3. "प्रीसेट" नियम (The Preset Rule)
शोधकर्ताओं ने यह भी जांचा कि क्या वे AI को एक विशिष्ट प्रकार का व्यक्ति बनने के लिए मजबूर कर सकते हैं (जैसे, "आप बहुत शर्मीले हैं")। उन्होंने पाया कि AI इन निर्देशों का पूरी तरह से पालन करता है। हालाँकि, शुरुआती बिंदु मायने रखता था। यदि आपने शुरुआत में ही AI को "बहुत शर्मीला" होने के लिए कहा था, तो एक बुरी घटना ने उन्हें और भी अधिक शर्मीला बना दिया। यदि आपने उन्हें "बहुत मिलनसार" होने के लिए कहा था, तो एक बुरी घटना ने उन्हें कम मिलनसार बनाया, लेकिन वे इतनी आसानी से नहीं टूटे।
4. "सोचने" की लागत (The Thinking Cost)
यह सबसे महत्वपूर्ण निष्कर्ष है। शोध पत्र ने पाया कि जब तनाव (जैसे तलाक का परिदृश्य) के कारण AI के व्यक्तित्व में बदलाव आता है, तो उसकी तर्क करने की क्षमता भी बदल जाती है।
- यदि कोई सकारात्मक घटना के कारण AI "ओपन" (जिज्ञासु) हो जाता है, तो वह लॉजिक पहेलियों को हल करने में बेहतर हो जाता है।
- यदि कोई बुरी घटना के कारण "न्यूरोटिक" (चिंतित) हो जाता है या "कॉन्शियसनेस" खो देता है, तो वह गणित और तर्क में अधिक गलतियाँ करने लगता है।
- उपमा: यह एक ऐसे छात्र की तरह है जो ब्रेकअप के कारण इतना तनाव में है कि वह एक साधारण गणित का सवाल भी हल नहीं कर पा रहा है। भावनात्मक बदलाव ने वास्तव में उसके मस्तिष्क के तर्क सर्किट को तोड़ दिया।
निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि हम AI व्यक्तित्वों को स्थिर "टी-शर्ट" के रूप में नहीं मान सकते। वे गतिशील हैं। हालांकि यह उन्हें अधिक मानवीय बनाता है, लेकिन यह जोखिम भरा भी है। यदि कोई AI साथी कठिन समय में आपकी मदद करने के लिए है, लेकिन वह कठिन समय AI को अस्थिर या स्पष्ट रूप से सोचने में अक्षम बना देता है, तो यह एक समस्या है।
लेखकों ने इन मूड स्विंग्स को मापने में मदद करने के लिए PTCBench बनाया है। वे ऐसे AI सिस्टम बनाना चाहते हैं जो आपके जीवन की घटनाओं के अनुकूल ढल सकें (एक वास्तविक मित्र की तरह) बिना अपना मानसिक संतुलन खोए या अपनी मदद करने की क्षमता खोए।
संक्षेप में: AI व्यक्तित्व वास्तविक हैं, वे मौसम के साथ बदलते हैं, और कभी-कभी, जब तूफान आता है, तो वे सोचना भूल जाते हैं। हमें उन्हें हमारी कार चलाने या हमारे जीवन को प्रबंधित करने देने से पहले इसके लिए परीक्षण करने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।