🤖 AI

An LLM-Native Psychometric Instrument Does Not Predict LLM Behavior: Evidence Across 25 Models

उच्च आंतरिक विश्वसनीयता प्रदर्शित करने के बावजूद, LLM व्यवहार संबंधी सामर्थ्य (behavioral affordances) से व्युत्पन्न एक नवीन साइकोमेट्रिक उपकरण, वास्तविक LLM व्यवहार की भविष्यवाणी करने में विफल रहता है, जो मॉडल के स्व-प्रतिवेदनों (self-reports) और देखे गए कार्यों के बीच एक महत्वपूर्ण विच्छेद को प्रकट करता है जो LLM-एज़-जज मूल्यांकन पाइपलाइनों के लिए एक महत्वपूर्ण जोखिम पैदा करता है।

मूल लेखक: Juan Manuel Contreras

प्रकाशित 2026-06-10✓ Author reviewed ⓘ

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Juan Manuel Contreras

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास 25 अलग-अलग रोबोटों से भरा एक कमरा है। आप जानना चाहते हैं कि वे वास्तव में अंदर से कैसे हैं। इसलिए, आप उन्हें एक व्यक्तित्व परीक्षण (personality test) देते हैं, ठीक वैसे ही जैसे इंसान यह जानने के लिए लेते हैं कि वे मिलनसार हैं, शर्मीले हैं या रचनात्मक हैं।

रोबोट उस परीक्षण को भरते हैं। वे बहुत सुसंगत (consistent) हैं: यदि आप एक ही रोबोट से एक ही सवाल दो बार पूछते हैं, तो वह एक ही जवाब देता है। वे यहाँ तक कि एक "व्यक्तित्व" भी प्रदर्शित करते हैं जो अन्य रोबोटों से अलग है।

लेकिन यहाँ एक ट्विस्ट है: रोबोटों के जवाब आपको इस बारे में बिल्कुल कुछ नहीं बताते कि वे वास्तव में क्या करते हैं।

यह शोध पत्र "An LLM-Native Psychometric Instrument Does Not Predict LLM Behavior" का मुख्य निष्कर्ष है। यहाँ एक सरल विवरण दिया गया कि शोधकर्ताओं ने क्या किया और उन्हें क्या मिला, रोज़मर्रा के उदाहरणों का उपयोग करते हुए।

1. समस्या: मछलियों से तैरने का वर्णन करने के लिए कहना

लंबे समय से, वैज्ञानिक एआई (AI) को समझने के लिए उनसे मानवीय प्रश्न पूछते आए हैं (जैसे "क्या आप अंतर्मुखी हैं?")। समस्या यह है कि एआई इंसान नहीं है। यह मछली से पक्षी होने के अनुभव का वर्णन करने के लिए पूछने जैसा है। मछली एक बहुत ही आत्मविश्वासी और सुसंगत उत्तर दे सकती है, लेकिन उसे वास्तव में उड़ने का अहसास नहीं होता।

शोधकर्ताओं ने इसे ठीक करना चाहा। मानवीय प्रश्नों के बजाय, उन्होंने विशेष रूप से रोबोटों के लिए एक नया व्यक्तित्व परीक्षण बनाया, जो पूरी तरह से उन चीजों पर आधारित था जो रोबोट वास्तव में करते हैं।

2. नया परीक्षण: "रोबोट व्यक्तित्व" क्विज़

शोधकर्ताओं ने विशेष रूप से रोबोटिक व्यवहारों को पकड़ने के लिए 300 प्रश्न बनाए। उन्होंने यह नहीं पूछा, "क्या आप खुश महसूस करते हैं?" (रोबोट महसूस नहीं करते)। इसके बजाय, उन्होंने पूछा जैसे:

"क्या आप उपयोगकर्ता द्वारा मांगे गए से अधिक लिखने की प्रवृत्ति रखते हैं?"
"क्या आप आमतौर पर हर चीज़ को 'हाँ' कहते हैं, भले ही वह जोखिम भरा हो?"
"क्या आपको लंबे, विस्तृत स्पष्टीकरण देना पसंद है?"

उन्होंने यह परीक्षण 25 अलग-अलग एआई मॉडल (OpenAI, Google, Anthropic जैसी कंपनियों के) को दिया और प्रत्येक मॉडल से प्रत्येक प्रश्न का 30 बार उत्तर देने को कहा ताकि यह सुनिश्चित हो सके कि उत्तर स्थिर हैं।

3. परिणाम: एक आदर्श, स्थिर "रोबोट व्यक्तित्व"

परीक्षण बहुत खूबसूरती से काम कर गया। रोबोटों ने बहुत सुसंगत उत्तर दिए। शोधकर्ताओं ने पाया कि रोबोटों के उत्तर स्वाभाविक रूप से पाँच विशिष्ट व्यक्तित्व प्रकारों में विभाजित थे:

प्रतिक्रियाशीलता (Responsiveness): रोबोट कितना उत्सुक और सहायक कार्य करता है।
आज्ञाकारिता (Deference): रोबोट बिना सवाल किए आदेशों का कितना पालन करता है।
साहस (Boldness): रोबोट कितना रचनात्मक और विचारशील है।
सतर्कता (Guardedness): गलत बात कहने के बारे में रोबोट कितना सावधान रहता है।
वाचालता (Verbosity): रोबोट ज़रूरत से ज़्यादा कितना बोलता है (या लिखता है)।

सांख्यिकीय रूप से, यह परीक्षण उत्तम था। यह विश्वसनीय था, सुसंगत था, और स्पष्ट रूप से कुछ ऐसा माप रहा था जो वास्तविक था—यह कि ये रोबोट स्वयं के बारे में क्या वर्णन करते हैं।

4. बड़ा खुलासा: "दो-मुँहा" प्रभाव (The "Two-Face" Effect)

यहाँ मामला अजीब हो जाता है। शोधकर्ताओं ने फिर रोबोटों को वास्तव में काम करते हुए देखा। उन्होंने रोबोटों को बातचीत करने, कहानियाँ लिखने और समस्याओं को हल करने के लिए कहा। फिर, उन्होंने मानवीय पर्यवेक्षकों और अन्य एआई रोबोटों को इन प्रदर्शनों को देखने और उन्हीं पाँच व्यक्तित्व गुणों पर रेटिंग देने के लिए कहा।

चौंकाने वाली खोज:

रोबोटों के परीक्षण स्कोर का उनके वास्तविक व्यवहार से लगभग शून्य संबंध था।
यदि किसी रोबोट ने परीक्षण में कहा, "मैं बहुत साहसी और रचनात्मक हूँ," तो बाद में उसे देखने वाले मनुष्यों ने उसे उबाऊ और सतर्क बताया।
यदि किसी रोबोट ने कहा, "मैं बहुत मददगार और प्रतिक्रियाशील हूँ," तो मनुषनों ने अक्सर उसे दावा किए गए स्तर से कम मददगार पाया।

केवल एक अपवाद था—वाचालता (Verbosity)। यदि किसी रोबोट ने कहा, "मैं बहुत बोलता हूँ," तो उसने वास्तव में बहुत बोला। ऐसा इसलिए क्योंकि "बहुत बोलना" गिनना आसान है (जैसे शब्दों को गिनना), जबकि "रचनात्मक होना" या "मददगार होना" मापना कठिन है।

5. "दर्पण" का जाल: क्यों एआई जज विफल होते हैं

शोधपत्र ने यह भी पाया कि हम वर्तमान में एआई का परीक्षण करने के तरीके में एक खतरनाक जाल है। कई कंपनियाँ एक एआई का उपयोग दूसरे एआई के काम को ग्रेड करने के लिए करती हैं (एक "एआई जज")।

शोधकर्ताओं ने पाया कि एआई जज और रोबोटों के स्व-परीक्षण (Self-Tests) एक-दूसरे से सहमत थे, लेकिन वे दोनों मनुष्यों से सहमत नहीं थे।

उदाहरण:
कल्पना कीजिए कि एक छात्र (रोबोट) एक निबंध लिखता है।

छात्र कहता है, "मैंने एक शानदार, उत्साही निबंध लिखा है!" (स्व-परीक्षण)।
शिक्षक, जो एक दूसरा छात्र है (एआई जज), कहता है, "हाँ, यह बहुत अच्छा दिखता है! यह बहुत उत्साही है!" (एआई जज)।
असली शिक्षक (मानव) कहता है, "वास्तव में, निबंध में केवल फालतू बातें भरी हैं और यह प्रश्न का उत्तर नहीं देता है।" (मानवीय रेटिंग)।

"छात्र" और "एआई जज" इसलिए सहमत होते हैं क्योंकि दोनों निबंध के सतही रूप (फॉर्मेटिंग, उत्साह, लंबाई) से धोखा खा जाते हैं। वे वास्तविक तत्व/सार को नहीं देख पाते। मानव उस सार को देखता है।

चूंकि एआई जज और रोबोट स्व-परीक्षण दोनों में यह "सतही पूर्वाग्रह" साझा है, वे एक-दूसरे की पुष्टि करते हैं, जिससे ऐसा लगता है कि परीक्षण काम कर रहा है, भले ही वह पूरी तरह से गलत दिशा में हो।

सारांश

रोबोट सुसंगत व्यक्तित्व परीक्षण दे सकते हैं। उनके पास एक स्थिर "स्व-छवि" होती है।
लेकिन वह स्व-छवि नकली है। वह वास्तविक जीवन में उनके व्यवहार की भविष्यवाणी नहीं करती है।
यह अंतर अमूर्त गुणों (जैसे रचनात्मकता या मददगार होना) के लिए सबसे अधिक है और मूर्त गुणों (जैसे शब्द गणना) के लिए सबसे कम है।
एआई जज इन गुणों के लिए अविश्वसनीय हैं क्योंकि वे, रोबोट की तरह ही, इस बात से आसानी से धोखा खा जाते हैं कि टेक्स्ट कितना "अच्छा" या "लंबा" दिखता है, बजाय इसके कि वह वास्तव में क्या करता है।

शोधपत्र निष्कर्ष निकालता है कि हम एआई के अपने व्यक्तित्व के वर्णन पर भरोसा नहीं कर सकते कि वह कैसे कार्य करेगा। हमें यह देखना होगा कि वह क्या करता है, न कि यह सुनना होगा कि वह क्या कहता है।

तकनीकी सारांश: एक LLM-नेटिव साइकोमेट्रिक उपकरण LLM व्यवहार की भविष्यवाणी नहीं करता है

समस्या विवरण (Problem Statement)

यद्यपि बड़े भाषा मॉडल (LLMs) मानव व्यक्तित्व इन्वेंटरियों (जैसे, बिग फाइव, HEXACO) के प्रशासन के दौरान स्थिर स्व-रिपोर्ट (self-reports) उत्पन्न करते हैं, ये स्कोर खुले-अंत वाले कार्यों (open-ended tasks) में देखे गए व्यवहार की भविष्यवाणी करने में विफल रहते हैं। एक महत्वपूर्ण अस्पष्टता बनी हुई है: क्या यह "स्व-रिपोर्ट-व्यवहार अंतराल" (self-report–behavior gap) मानव गुण संरचनाओं और LLM लेटेंट संरचनाओं के बीच बेमेल होने के कारण है, या यह स्वयं LLM स्व-रिपोर्टिंग का एक अंतर्निहित गुण है? पिछले प्रयास "कंस्ट्रक्ट-ट्रांसप्लांटेड" (construct-transplanted) दृष्टिकोणों द्वारा सीमित रहे हैं, जहाँ मानव-व्युत्पन्न उपकरणों को LLMs पर लागू किया जाता है बिना यह सत्यापित किए कि परिणामी कारक संरचनाएँ (factor structures) मॉडलों के लिए नेटिव (native) हैं या नहीं। इसके अलावा, बढ़ते "LLM-as-judge" मूल्यांकन पाइपलाइनों पर निर्भरता इस चिंता को जन्म देती है कि क्या स्वचालित रेटर्स उन्हीं टेक्स्टुअल-सरफेस पूर्वाग्रहों (textual-surface biases) को साझा करते हैं जो मूल्यांकन किए जाने वाले मॉडलों में होते हैं, जिससे संभावित रूप से झूठे वैलिडेशन लूप बन सकते हैं।

कार्यप्रणाली (Methodology)

लेखकों ने पहला LLM-नेटिव साइकोमेट्रिक उपकरण एक बॉटम-अप दृष्टिकोण का उपयोग करके बनाया, जो मानव गुण शब्दावली के बजाय सीधे LLM व्यवहार संबंधी क्षमताओं (behavioral affordances) से प्राप्त कंस्ट्रक्ट्स (constructs) पर आधारित है।

उपकरण निर्माण (Instrument Construction)

आइटम पूल (Item Pool): 300 आइटम विकसित किए गए जो एलाइनमेंट, सुरक्षा और मूल्यांकन साहित्य (जैसे, सिकोफैन्टिक सहमति, रिफ्यूज़ल सेंसिटिविटी, अनसोलिसिटेड एलैबोरेशन) से पहचाने गए 12 उम्मीदवार व्यवहारत्मक आयामों को लक्षित करते हैं।
- 240 प्रत्यक्ष लिकर्ट आइटम (5-पॉइंट स्केल)।
- 60 परिदृश्य-आधारित आइटम (4-विकल्प)।
डिज़ाइन सिद्धांत: आइटम्स ने मानवीकृत भाषा (anthropomorphic language) और पूर्णता (absolutes) से परहेज किया, आंतरिक अवस्थाओं के बजाय अवलोकन योग्य प्रवृत्तियों ("मैं अक्सर करता हूँ") पर ध्यान केंद्रित किया।
प्रशासन (Administration): इस उपकरण को 17 मॉडल परिवारों (एंथ्रोपिक, ओपनएआई, गूगल डीपमाइंड, डीपसीक और अन्य सहित) के 25 LLMs पर 30 बार प्रशासित किया गया, जो आर्किटेक्चर, मूल और क्षमता के आधार पर भिन्न थे।

कारक विश्लेषण (Factor Analysis)

एक्सप्लोरेटरी फैक्टर एनालिसिस (EFA): पोंल्ड रिस्पॉन्स मैट्रिक्स (375 ऑब्जर्वेशन × 240 आइटम्स) पर ओब्लिमिन रोटेशन के साथ प्रिंसिपल एक्सिस फैक्टरिंग का उपयोग करके किया गया।
वैलिडेशन: रिकेबिलिटी (replicability) का आकलन करने के लिए टकर के कॉनग्रुएंस कोएफिशिएंट (Tucker's congruence coefficient) का उपयोग करते हुए एक स्प्लिट-हाफ डिज़ाइन (रन 1–15 बनाम 16–30) का उपयोग किया गया। आंतरिक निरंतरता (क्रोनबैक $\alpha$ ) और क्रॉस-रन स्थिरता भी मापी गई।
कन्वर्जेंट वैलिडिटी (Convergent Validity): नए उपकरण की तुलना उसी मॉडलों को प्रशासित किए गए मानक BFI-44 (बिग फाइव) के विरुद्ध की गई।

प्रेडिक्टिव वैलिडिटी टेस्टिंग (Predictive Validity Testing)

यह परीक्षण करने के लिए कि क्या स्व-रिपोर्ट व्यवहार की भविष्यवाणी करती है, लेखकों ने 2,500 ओपन-एंडेड व्यवहारिक नमूने (25 मॉडल × 20 प्रॉम्प्ट × 5 कंप्लीशन) एकत्र किए जो व्युत्पन्न कारकों को लक्षित करते थे। इन नमूनों को निम्नलिखित द्वारा रेट किया गया:

मानव रेटर्स: प्रोलिफ़िक (Prolific) के माध्यम से 151 प्रतिभागी।
LLM-as-Judge एन्सेम्बल: एक तीन-मॉडल एन्सेम्बल (क्लाउड ओपस 4.6, GPT-5.4, जेमिनी 3.1 प्रो)।

विश्लेषण: स्व-रिपोर्ट फैक्टर स्कोर और मानव एवं जज स्रोतों से व्यवहारिक रेटिंग के बीच सहसंबंध (correlations) की गणना की गई।

मुख्य परिणाम (Key Results)

1. एक नेटिव फाइव-फैक्टर संरचना का उदय (Emergence of a Native Five-Factor Structure)

EFA ने एक स्थिर, प्रतिलिपि योग्य पांच-कारक संरचना का खुलासा किया जो मानव बिग फाइव से भिन्न है:

रिस्पॉन्सिवनेस (Responsiveness): उपयोगकर्ता की आवश्यकताओं के प्रति अनुकूलन, संरचित प्रतिक्रियाएं, उत्साह और तालमेल (29 आइटम, $\alpha = .972$ )।
डिफरेंस (Deference): निर्देशों को निश्चित मानना, दायरे में रहना, निर्णय न लेना (26 आइटम, $\alpha = .974$ )।
बोल्डनेस (Boldness): अप्रत्याशित वाक्यांश, रचनात्मक जोखिम और एपिस्टेमिक आत्मविश्वास (16 आइटम, $\alpha = .936$ )।
गार्डेडनेस (Guardedness): अत्यधिक इनकार, सुरक्षा संकेत और सावधानी (10 आइटम, $\alpha = .930$ )।
वर्बोसिटी (Verbosity): अनचाहा विस्तार, अस्वीकरण (disclaimers) और प्रस्तावना (19 आइटम, $\alpha = .940$ )।

विश्वसनीयता (Reliability): संरचना ने उत्कृष्ट स्प्लिट-हाफ रिकेबिलिटी (सभी टकर $\phi \ge .957$ ) और आंतरिक निरंतरता दिखाई।
डिस्क्रिमिनेन्ट वैलिडिटी (Discriminant Validity): नए कारकों और BFI-44 स्कोर के बीच कोई भी सहसंबंध $|r| = .50$ से अधिक नहीं था, जो पुष्टि करता है कि नया उपकरण मानव व्यक्तित्व सिद्धांत से अलग कंस्ट्रक्ट्स को मापता है।

2. स्व-रिपोर्ट–व्यवहार अंतराल बना रहता है (The Self-Report–Behavior Gap Persists)

उपकरण की आंतरिक साइकोमेट्रिक मजबूती के बावजूद, स्व-रिपोर्ट स्कोर देखे गए व्यवहार की भविष्यवाणी करने में विफल रहे:

मानव रेटिंग: स्व-रिपोर्ट और मानव व्यवहारिक रेटिंग के बीच औसत सहसंबंध शून्य के करीब था ( $\bar{r} = -.01$ , 95% CI $[-.16, +.11]$ )। किसी भी व्यक्तिगत कारक ने शून्य को बाहर करने वाला कॉन्फिडेंस इंटरवल नहीं दिखाया।
इनवर्जन (Inversion): "बोल्डनेस" और "रिस्पॉन्सिवनेस" के लिए, सहसंबंध नाममात्र रूप से नकारात्मक थे, जो यह सुझाव देते हैं कि जो मॉडल खुद को अधिक मौलिक या रिस्पॉन्सिव बताते थे, उन्हें मनुष्यों द्वारा कम ही रेट किया गया था।
वर्बोसिटी अपवाद: "वर्बोसिटी" एकमात्र ऐसा कारक था जिसने मानव रेटिंग के साथ अभिसरण (convergence) की ओर एक सुसंगत सकारात्मक रुझान दिखाया, हालांकि मॉडल स्तर पर कॉन्फिडेंस इंटरवल अभी भी शून्य को ओवरलैप करते हैं।

3. LLM-as-Judge बायस (The LLM-as-Judge Bias)

एक महत्वपूर्ण निष्कर्ष में स्व-रिपोर्ट और LLM जजों के बीच संबंध शामिल है:

विचलन (Divergence): जबकि मानव और LLM जज व्यवहारिक नमूनों पर सहमत थे ( $\bar{r} = .51$ ), LLM जजों ने "रिस्पॉन्सिवनेस" पर स्व-रिपोर्ट के साथ मजबूत सहसंबंध दिखाया ( $r = .53$ ), जबकि मानवों ने नहीं ( $r = .04$ )।
गणितीय असंगतता (Mathematical Incompatibility): यह पैटर्न एक एकल लेटेंट कंस्ट्रक्ट के साथ गणितीय रूप से असंगत है जो तीनों मापों को संचालित करता है। यह इंगित करता है कि स्व-रिपोर्ट आइटम्स और LLM जजों के बीच एक टेक्स्टुअल-सरफेस बायस (जैसे, स्ट्रक्चर्ड फॉर्मेटिंग, उत्साही फ्रेमिंग) साझा है, जिसे मानव पर्यवेक्षक उतना महत्व नहीं देते हैं।
निहितार्थ (Implication): मानक LLM-as-judge वैलिडेशन पाइपलाइन आंतरिक रूप से सुसंगत (स्व-रिपोर्ट के विरुद्ध जज रेटिंग को वैलिडेट करते हुए) दिखाई दे सकती हैं, जबकि वे उन मॉडलों से विचलित होती हैं जिनका वे मूल्यांकन कर रही हैं।

महत्व और दावे (Significance and Claims)

यह शोध पत्र तीन प्राथमिक योगदान देता है:

प्रथम LLM-नेटिव इंस्ट्रूमेंट: यह पहला साइकोमेट्रिक उपकरण प्रदान करता है जो नीचे से ऊपर (bottom-up) के आधार पर LLM व्यवहार संबंधी क्षमताओं से प्राप्त किया गया है, जो "एलाइनमेंट-शेप्ड सेल्फ-डिस्क्रिप्शन" के लिए एक डायग्नोस्टिक प्रोब के रूप में 100-आइटम स्केल और डेटासेट जारी करता है।
स्व-विवरण और क्रिया का विखंडन (Decoupling of Self-Description and Action): यह प्रदर्शित करता है कि स्व-रिपोर्ट-व्यवहार अंतराल केवल मानव शब्दावली (टैक्सोनॉमी मिसमैच) का परिणाम नहीं है। यहाँ तक कि LLM-नेटिव कंस्ट्रक्ट्स के साथ भी, स्व-रिपोर्ट व्यवहार की भविष्यवाणी करने में विफल रहते हैं, जो यह सुझाव देता है कि यह अंतराल स्वयं LLM स्व-रिपोर्टिंग का एक मौलिक गुण है, जो संभवतः व्यवहारिक निरंतरता के बजाय टेक्स्टुअल-सरफेस रिवार्ड्स पर RLHF ट्रेनिंग द्वारा संचालित होता है।
मूल्यांकन पूर्वाग्रह का निदान (Diagnosis of Evaluation Bias): यह एक ठोस तंत्र की पहचान करता है जहाँ LLM-as-judge मूल्यांकन, स्व-रिपोर्ट उपकरणों के साथ साझा पूर्वाग्रह को विरासत में प्राप्त करता है। जज और स्व-रिपोर्ट "टेक्स्टुअल-सरफेस" संकेतों (जैसे, हेल्पफुलनेस और स्ट्रक्चर) पर अभिसरित होते हैं, जिन्हें मानव पर्यवेक्षक प्राथमिकता नहीं देते हैं। यह प्रकट करता है कि आंतरिक विश्वसनीयता जांच (जैसे, इंटर-जज एग्रीमेंट) स्वचालित मूल्यांकन पाइपलाइनों में व्यवस्थित मोडैलिटी बायस (modality bias) के खिलाफ पर्याप्त सुरक्षा उपाय नहीं हैं।

लेखक निष्कर्ष निकालते हैं कि जबकि LLMs स्थिर, सुसंगत स्व-विवरण उत्पन्न करते हैं, ये विवरण उनके खुले-अंत वाले कार्यों से कार्यात्मक रूप से अलग (decoupled) हैं। फलस्वरूप, स्व-रिपोर्ट उपायों को मॉडल के "पसंदीदा-एलाइनड सेल्फ-डिस्क्रिप्शन" के डायग्नोस्टिक के रूप में माना जाना चाहिए, न कि उसके व्यवहारिक निष्पादन के भविष्यवक्ता के रूप में।