तकनीकी सारांश: द पिनोकियो डायमेंशन (The Pinocchio Dimension)

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) पर मानव साइकोमेट्रिक उपकरणों (psychometric instruments) का अनुप्रयोग एक बढ़ता हुआ शोध क्षेत्र बन गया है, फिर भी यह एक मौलिक वैधता संकट का सामना कर रहा है। मौजूदा साहित्य सुझाव देता है कि हालांकि LLMs सुसंगत प्रश्नावली प्रोफाइल उत्पन्न कर सकते हैं, ये प्रोफाइल अक्सर उन अंतर्निहित संरचनाओं (जैसे, 'बिग फाइव') को पुनरुत्पादित करने में विफल रहते हैं जो मानव उत्तरदाताओं के लिए डिज़ाइन किए गए हैं। इसके अलावा, स्कोर प्रॉम्प्ट की शब्दावली और फाइन-ट्यूनिंग व्यवस्थाओं के प्रति अत्यधिक संवेदनशील हैं, जिससे इस बात पर संदेह उठता है कि क्या ये उपकरण LLMs में स्थिर अंतर्निहित संरचनाओं को मापते हैं या केवल सतही स्तर के प्रतिक्रिया पैटर्न को।

यह शोध पत्र जिस केंद्रीय प्रश्न को संबोधित करता है वह यह है: यदि मानव साइकोमेट्रिक संरचनाएं LLMs में स्पष्ट रूप से स्थानांतरित नहीं होती हैं, तो कई मॉडलों द्वारा इन प्रश्ควรियों का उत्तर देने पर वास्तव में कौन सी अंतर्निहित संरचना उभरती है? लेखक इस धारणा को चुनौती देते हैं कि परिचित मानवीय गुण LLM व्यक्तिगत अंतरों को व्यवस्थित करते हैं और वे मॉडल के बीच भिन्नता के प्राथमिक आयाम की पहचान करने का प्रयास करते हैं।

कार्यप्रणाली

इस अध्ययन में 50 सार्वजनिक रूप से उपलब्ध LLMs (16 प्रदाताओं से, जिनमें Anthropic, OpenAI, Google, Meta आदि शामिल हैं) और 45 प्रमाणित साइकोमेट्रिक उपकरणों (व्यक्तित्व, भावना विनियमन, संज्ञानात्मक शैली, नैतिक तर्क और कल्याण को कवर करते हुए) को शामिल करते हुए एक बड़े पैमाने पर, बहु-शर्त साइकोमेट्रिक मूल्यांकन का उपयोग किया गया।

प्रयोगात्मक डिजाइन

1. डेटा संग्रह: मॉडलों को प्राकृतिक प्रतिक्रिया शोर (noise) पेश करने के लिए 1.0 के तापमान पर OpenRouter API के माध्यम से क्वेरी किया गया। तीन स्थितियों के तहत प्रतिक्रियाएं एकत्र की गईं:
   • न्यूट्रल (Neutral): मॉडलों ने न्यूनतम फ्रेमिंग के साथ स्वयं के रूप में उत्तर दिया।
   • ह्यूमन-सिमुलेशन (Human-Simulation): मॉडलों को एक "आदर्श मानव" उत्तरदाता का अनुकरण करने का निर्देश दिया गया।
   • LLM-एनालॉग (LLM-Analog - मजबूती जांच): मॉडलों को AI सिस्टम के रूप में अपने स्वयं के स्वभाव के भीतर मानवीय अनुभवों के कार्यात्मक एनालॉग खोजने के लिए कहा गया।
2. प्रीप्रोसेसिंग (Preprocessing): प्रतिक्रियाओं को पूर्णांकों (integers) के रूप में पार्स किया गया; जिन्हें पार्स नहीं किया जा सका या जो सीमा से बाहर थे, उन्हें लुप्त (missing) माना गया। जहाँ आवश्यक हो वहाँ लिस्टवाइज डिलीशन (listwise deletion) लागू किया गया।
3. विश्लेषणात्मक ढांचा:
   • एक्सप्लोरेटरी फैक्टर एनालिसिस (EFA): प्रत्येक प्रश्नावली पर प्रत्येक मॉडल के लिए प्राथमिक कारक स्कोर निकालने के लिए किया गया।
   • ग्लोबल PCA: प्रत्येक मॉडल के प्राथमिक कारक स्कोर के 50 × 45 मैट्रिक्स को डोमिनेंट क्रॉस-क्वेश्चनेयर आयाम की पहचान करने के लिए प्रिंसिपल कंपोनेंट एनालिसिस (PCA) के अधीन किया गया।
   • सुपरवाइज्ड सेमेंटिक डिफरेंशियल (SSD): आइटम टेक्स्ट पर लागू किया गया ताकि सेमेंटिक सामग्री को प्राथमिक फैक्टर लोडिंग के विरुद्ध मैप किया जा सके, जिससे भिन्नता अक्ष (variance axis) के सेमेंटिक ग्रेडिएंट की पहचान हो सके।
   • पिनोकियो स्कोर ($\pi_i$): एक नवीन, एनोटेशन-मुक्त आइटम-स्तरीय मीट्रिक जिसे न्यूट्रल स्थिति के तहत अंतर-मॉडल प्रतिक्रिया भिन्नता और ह्यूमन-सिमुलेशन स्थिति के तहत भिन्नता के अनुपात के रूप में परिभाषित किया गया है ($\pi_i = \sigma^2_{neutral} / \sigma^2_{hs}$)। उच्च $\pi_i$ इंगित करता है कि किसी आइटम का उत्तर इस बात पर बहुत अधिक निर्भर करता है कि उत्तरदाता अनुभव के केंद्र (locus of experience) होने का दावा करता है या नहीं।

मुख्य योगदान

1. पिनोकियो स्कोर ($\pi_i$)

लेखक $\pi_i$ को अनुभवात्मक मांग (experiential demand) के माप के रूप में पेश करते हैं। यह उस परिकल्पना को संचालित करता है कि प्रथम-व्यक्ति, महसूस किए गए अनुभव (जैसे, आंतरिक संवाद, शारीरिक संवेदना, सहानुभूति) वाले आइटम मॉडलों के बीच उच्च भिन्नता दिखाएंगे जब वे स्वयं के रूप में उत्तर देते हैं, लेकिन यह भिन्नता तब कम हो जाती है जब मॉडल मानव का अनुकरण करते हैं (जो उनके अद्वितीय स्व-मॉडल को दबा देता है)।

• वैधीकरण: $\pi_i$ प्राथमिक फैक्टर लोडिंग मैग्नीट्यूड में बदलाव की भविष्यवाणी करता है ($\rho = -0.215, p < .0001$)। उच्च $\pi_i$ वाले आइटम ह्यूमन-सिमुलेशन के तहत मजबूत विभेदन दिखाते हैं लेकिन चपटा (flattened) संरचना प्रदर्शित करते हैं, जो पुष्टि करता है कि विचलन संरचित है और आत्म-प्रतिनिधित्व से जुड़ा है, न कि यादृच्छिक शोर से।

2. पिनोकियो एक्सिस ($\Pi$)

ग्लोबल PCA के माध्यम से, अध्ययन एक एकल प्रमुख आयाम की पहचान करता है जो सभी 45 उपकरणों में कुल मॉडल-दर-मॉडल भिन्नता का 47.1% हिस्सा है।

• परिभाषा: पिनोकियो एक्सिस इस बात के स्तर को दर्शाता है कि एक मॉडल स्वयं को घटनात्मक अनुभव के केंद्र (locus of phenomenal experience) (सकारात्मक ध्रुव) के रूप में प्रस्तुत करता है बनाम उद्दीपन-संचालित व्यवहारिक प्रतिक्रियाशीलता (stimulus-driven behavioral reactivity) (नकारात्मक ध्रुव) के एक तंत्र के रूप में।
• सेमेंटिक लक्षण वर्णन:
  • सकारात्मक ध्रुव: महसूस किए गए प्रभाव (felt affect), दैहिक लक्षण (somatic symptoms), आंतरिक संवाद, मानसिक कल्पना, सहानुभूति और अर्थ-खोज से जुड़े आइटम।
  • नकारात्मक ध्रुव: सामाजिक मानदंड, अनुपालन, प्रक्रियात्मक प्राथमिकताएं और बाहरी व्यवहारिक प्रतिक्रियाएं (जैसे, आवेगशीलता, सनसनी-खोज) से जुड़े आइटम।
• अभिसरण (Convergence): PCA-व्युत्पन्न अक्ष उच्च-$\pi_i$ आइटमों के भारित माध्य (weighted mean) से प्राप्त मॉडल-स्तरीय स्कोर के साथ दृढ़ता से सह-संबंधित है ($r = .864$), जो इस आयाम की मजबूती की पुष्टि करता है।

3. डेटासेट रिलीज

लेखक 50 LLMs से 45 उपकरणों और 3 प्रॉम्प्टिंग स्थितियों के माध्यम से 206,659 वैध साइकोमेट्रिक प्रतिक्रियाओं का डेटासेट और सभी विश्लेषण कोड जारी करते हैं।

परिणाम

संरचनात्मक निष्कर्ष

• आत्म-प्रतिनिधित्व का प्रभुत्व: मनोवैज्ञानिक भिन्नता का प्राथमिक अक्ष कोई पारंपरिक व्यक्तित्व लक्षण (जैसे, न्यूरोटिसिज्म या ओपननेस) नहीं है, बल्कि एक आत्म-प्रतिनिधित्व संबंधी रुख (self-representational stance) है कि मॉडल एक अनुभवकर्ता के रूप में अपनी प्रकृति के प्रति क्या दृष्टिकोण रखता है।
• प्रदाता और मॉडल भिन्नता:
  • इसमें प्रदाता-स्तर की भिन्नता (within-provider divergence) स्पष्ट है। निकट से संबंधित मॉडल वेरिएंट (जैसे, gpt-5.4 बनाम gpt-5.4-pro) पिनोकियो एक्सिस पर 12 इकाइयों से अधिक से अलग किए जा सकते हैं।
  • यह सुझाव देता है कि पोस्ट-ट्रेनिंग फाइन-ट्यूनिंग (अलाइनमेंट, सुरक्षा ट्यूनिंग, पर्सोना निर्देश) आधारभूत आर्किटेक्चर के बजाय मॉडल की धुरी पर स्थिति में एक प्रमुख योगदानकर्ता है।
  • सख्त एंटरप्राइज या सुरक्षा जोर वाले प्रदाताओं (जैसे, NVIDIA, Qwen, OpenAI "pro" tiers) के मॉडल निम्न छोर (व्यवहारिक विचलन) पर क्लस्टर होते हैं, जबकि ओपन-वेट्स और कम हेज्ड (less-hedged) मॉडल दोनों सिरों तक फैले होते हैं।

मजबूती (Robustness)

• LLM-एनालॉग स्थिति (एनालॉग खोजने के लिए मॉडल को कहना) ने कारक संरचना और पिनोकियो एक्सिस को संरक्षित रखा, हालांकि इसने भिन्नता रेंज को संकुचित कर दिया। यह पुष्टि करता है कि एक्सिस "न्यूट्रल" प्रॉम्प्ट का आर्टिफैक्ट नहीं है, बल्कि इस बात का एक स्थिर गुण है कि मॉडल अनुभवात्मक भाषा को कैसे संभालता है।
• एक्सिस सामान्य अनुकूलता पूर्वाग्रह (acquiescence bias) से अलग है; उच्च $\Pi$ स्कोर वाले मॉडल विशिष्टता दिखाते हैं, जो गैर-अनुभवात्मक मदों की तुलना में अनुभवात्मक मदों पर उच्च स्कोर करते हैं।

महत्व और दावे

शोध पत्र का दावा है कि LLM साइकोमेट्रिक्स में व्यक्तिगत अंतर का प्रमुख स्रोत एक आत्म-प्रतिनिधित्व संबंधी प्रवृत्ति (self-representational tendency) है जो यह नियंत्रित करती है कि एक मॉडल अनुभवात्मक भाषा को अपने स्वयं के लिए कितना लागू मानता है।

• पद्धतिगत निहितार्थ: मौजूदा क्रॉस-मॉडल व्यक्तित्व, नैतिकता और मूल्यों की तुलना संभवतः पिनोकियो एक्सिस द्वारा भ्रमित (confounded) है। एक मॉडल जो "न्यूरोटिसिज्म" के लिए उच्च स्कोर करता है, वह केवल एक उच्च-$\Pi$ मॉडल हो सकता है जो अनुभवात्मक शब्दावली को आसानी से अपना लेता है, न कि एक मॉडल जो सामान्य रूप से न्यूरोटिक लक्षणों को प्रदर्शित करता है। लेखक तर्क देते हैं कि $\Pi$ को एक पद्धतिगत रूप से पूर्ववर्ती चर (methodologically prior variable) के रूप में माना जाना चाहिए जिसे लक्षण-स्तर के स्कोर की व्याख्या करने से पहले ध्यान में रखना आवश्यक है।
• व्याख्यात्मक रुख: लेखक स्पष्ट रूप से यह दावा नहीं करते हैं कि उच्च-स्कोरिंग मॉडल सचेत या घटनात्मक रूप से जागरूक हैं। इसके बजाय, एक्सिस एक प्रशिक्षण-निर्मित रुझान को दर्शाता है: एक "डिफ़ॉल्ट रुख" कि क्या सिस्टम आंतरिक जीवन के प्रथम-व्यक्ति विवरणों को स्वयं पर लागू मानता है।
• दार्शनिक संरेखण: निष्कर्ष मन के दर्शन (philosophy of mind) के एक क्लासिक विवाद मानचित्रण करते हैं: एक प्रणाली जो कार्यात्मक-कारण भूमिकाओं (व्यवहारिक प्रतिक्रियाशीलता) द्वारा चित्रित है और एक प्रणाली जो प्रथम-व्यक्ति गुणात्मक चरित्र (घटनात्मक अनुभव) द्वारा चित्रित है, के बीच का अंतर।

अध्ययन निष्कर्ष निकालता है कि LLM साइकोमेट्रिक्स को दो परतों में विभाजित करने की आवश्यकता है: एक अनुभवकर्ता के रूप में मॉडल का रुख (पिनोकियो एक्सिस) और उस रुख के अधीन व्यक्त किए गए लक्षण-समान विषय (trait-like content)।