💻 computer science

Mechanistic Personality Analysis of LLMs Steering Personality via Latent Feature Interventions

यह शोध पत्र एक मैकेनिस्टिक इंटरप्रिटेबिलिटी दृष्टिकोण प्रस्तावित करता है जो स्पार्स ऑटोएनकोडर्स और कंट्रास्टिव एक्टिवेशन विश्लेषण का उपयोग करके OCEAN व्यक्तित्व लक्षणों के अनुरूप लेटेंट फीचर दिशाओं की पहचान करता है, जिससे समग्र भाषा मॉडलिंग प्रदर्शन को बनाए रखते हुए एडिटिव एक्टिवेशन शिफ्ट के माध्यम से लार्ज लैंग्वेज मॉडल्स में इन लक्षणों के नियंत्रणीय स्टीयरिंग को सक्षम बनाया जा सके।

मूल लेखक: David Courtis, Ting Hu

प्रकाशित 2026-06-30

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: David Courtis, Ting Hu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक लार्ज लैंग्वेज मॉडल (LLM) की कल्पना एक विशाल, अविश्वसनीय रूप से जटिल ऑर्केस्ट्रा के रूप में करें। आमतौर पर, जब आप इसे कुछ लिखने के लिए कहते हैं, तो यह अपने प्रशिक्षण के आधार पर एक मानक धुन बजाता है। यदि आप चाहते हैं कि यह "खुश" या "चिड़चिड़ा" सुनाई दे, तो आपको आमतौर पर कंडक्टर को विशिष्ट निर्देश चिल्लाकर देने पड़ते हैं (प्रॉम्प्ट इंजीनियरिंग) या एक पूरी नई बैंड को एक विशिष्ट शैली सीखने के लिए काम पर रखना पड़ता है (फाइन-ट्यूनिंग)। दोनों ही तरीके बोझिल, असंगत या बहुत समय लेने वाले हैं।

यह शोध पत्र ऑर्केस्ट्रा को संचालित करने का एक नया तरीका पेश करता है: मैकेनिस्टिक पर्सनैलिटी स्टीयरिंग (Mechanistic Personality Steering)। निर्देशों को चिल्लाने के बजाय, शोधकर्ता सीधे ऑर्केस्ट्रा की आंतरिक वायरिंग के भीतर पहुँचते हैं और मूड बदलने के लिए विशिष्ट वाद्ययंत्रों को ट्यून करते हैं।

उन्होंने इसे सरल चरणों में इस प्रकार किया है:

1. "पर्सनैलिटी स्विच" खोजना (SAE)

शोधकर्ताओं ने एक उपकरण का उपयोग किया जिसे स्पार्स ऑटोएनकोडर (Sparse Autoencoder - SAE) कहा जाता है। सोचिए कि LLM का आंतरिक मस्तिष्क हजारों स्विचों से भरा एक विशाल कमरा है। अधिकांश समय, ये स्विच बंद रहते हैं। SAE एक जासूस की तरह है जो यह पता लगाता है कि कौन से विशिष्ट स्विच विशिष्ट विचारों के अनुरूप हैं।

खोज: उन्होंने पाया कि कुछ समूहों के स्विच तब जल उठते हैं जब मॉडल "व्यवस्थित होने" (Conscientiousness) या "भावुक होने" (Neuroticism) के बारे में सोच रहा होता है।
विधि: उन्होंने मॉडल को ऐसे पोस्ट लिखने के लिए कहा जो किसी विशिष्ट गुण (जैसे "मुझे पार्टियाँ बहुत पसंद हैं!") में बहुत अधिक उच्च थे और ऐसे पोस्ट जो उस गुण में बहुत कम थे (जैसे "मुझे भीड़ पसंद नहीं है")। इन दोनों समूहों के "लाइट पैटर्न" की तुलना करके, उन्होंने उन सटीक स्विचों की पहचान की जो व्यक्तित्व के गुण को चालू या बंद करते हैं।

2. स्विच को घुमाना (स्टीयरिंग)

एक बार जब उन्हें पता चल गया कि कौन से स्विच एक गुण को नियंत्रित करते हैं, तो उन्होंने केवल मॉडल को "अच्छा होने" के लिए नहीं कहा। इसके बजाय, उन्होंने मॉडल के लिखते समय उन विशिष्ट स्विचों को एक छोटा सा विद्युत बढ़ावा (electrical boost) दिया।

उपमा: कल्पना कीजिए कि आप एक कार चला रहे हैं। ड्राइवर को "तेज़ चलो" कहने के बजाय, आप धीरे से एक्सीलेटर को कुछ मिलीमीटर नीचे दबाते हैं। कार तेज़ हो जाती है, लेकिन इंजन अभी भी उसी तरह चल रहा है।
परिणाम: इन आंतरिक "पर्सनैलिटी स्विचों" को थोड़ा बढ़ाकर, मॉडल ने ऐसा टेक्स्ट लिखना शुरू कर दिया जो एक बहिर्मुखी (extrovert), एक न्यूरोटिक व्यक्ति, या एक अनुशासित व्यक्ति जैसा सुनाई देता था, बिना मॉडल के वास्तविक कोड या उसे फिर से प्रशिक्षित किए।

3. "स्वीट स्पॉट" खोजना (ग्रिड सर्च)

चुनौतीपूर्ण हिस्सा यह है कि यदि आप एक्सीलेटर को बहुत ज़ोर से दबाते हैं, तो कार दुर्घटनाग्रस्त हो जाती है। इसी तरह, यदि वे व्यक्तित्व के स्विचों को बहुत अधिक बढ़ाते हैं, तो मॉडल बड़बड़ाने लगता है या प्रश्नों के उत्तर देने की अपनी क्षमता खो देता है।

प्रयोग: उन्होंने एक विशाल "ग्रिड सर्च" चलाया, जो एक शेफ द्वारा सूप चखने और उसमें थोड़े-थोड़े अंतराल पर नमक डालने जैसा है। उन्होंने स्विचों पर "धक्का" देने की विभिन्न मात्राओं का परीक्षण किया ताकि सही संतुलन पाया जा सके।
लक्ष्य: वे चाहते थे कि व्यक्तित्व इतना मजबूत हो कि वह दिखाई दे, लेकिन इतना भी नहीं कि मॉडल अंग्रेजी बोलना भूल जाए।

4. उन्होंने क्या पाया

प्रयोग सफल रहा, लेकिन सभी के लिए समान नहीं था:

आसान जीत: मॉडल को Conscientious (व्यवस्थित, विवरण-उन्मुख) या Neurotic (चिंतित, भावुक) दिखाना बहुत आसान था। ये गुण मॉडल के मस्तिष्क में बहुत स्पष्ट, विशिष्ट "स्विच" रखते थे।
कठिन मोड: मॉडल को Open (जिज्ञासु, रचनात्मक) दिखाना आश्चर्यजनक रूप से कठिन था। शोधकर्ताओं को संदेह है कि ऐसा इसलिए है क्योंकि मॉडल डिज़ाइन के अनुसार पहले से ही स्वाभाविक रूप से बहुत "ओपन" है, इसलिए तर्क को तोड़े बिना इसे और अधिक "ओपन" बनाना कठिन है।
समझौता (Trade-off): एक स्पष्ट सीमा है। यदि आप व्यक्तित्व को बहुत अधिक बढ़ावा देते हैं, तो टेक्स्ट अर्थहीन हो जाता है। मॉडल खुद को दोहराना शुरू कर सकता है या अपने विचार की लय खो सकता है।

5. यह क्यों महत्वपूर्ण है (पेपर के अनुसार)

लेखकों का तर्क है कि यह तरीका पुराने तरीकों से बेहतर है क्योंकि:

यह तत्काल है: आपको मॉडल को फिर से प्रशिक्षित करने की आवश्यकता नहीं है; आप बस चलते समय स्विच बदल सकते हैं।
यह पारदर्शी है: आप जानते हैं कि आप वास्तव में किन आंतरिक विशेषताओं को बदल रहे हैं, प्रॉम्प्ट इंजीनियरिंग के विपरीत जहाँ आप केवल उम्मीद करते हैं कि निर्देश काम करेंगे।
यह नियंत्रणीय है: आप व्यक्तित्व को एक विशिष्ट स्तर तक ऊपर या नीचे ले जा सकते हैं, न कि केवल "चालू" या "बंद" रख सकते हैं।

संक्षेप में:
यह शोध पत्र दिखाता है कि हम एक AI के व्यक्तित्व को एक जादुई, अपरिवर्तनीय गुण के रूप में नहीं, बल्कि उसके कोड के भीतर समायोज्य डायल (adjustable dials) के एक सेट के रूप में देख सकते हैं। इन डायलों को खोजने और उन्हें बिल्कुल सही मात्रा में घुमाने से, हम एक AI को एक विशिष्ट प्रकार के व्यक्ति जैसा बना सकते हैं, जब तक कि हम डायल को इतना अधिक न घुमा दें कि मशीन टूट जाए।

तकनीकी सारांश: LLMs का यांत्रिक व्यक्तित्व विश्लेषण (Mechanistic Personality Analysis)

समस्या विवरण
लार्ज लैंग्वेज मॉडल्स (LLMs) स्वाभाविक रूप से मानव-समान व्यक्तित्व लक्षणों (विशेष रूप से 'बिग फाइव/OCEAN' लक्षणों) का अनुकरण करते हैं क्योंकि उन्हें विशाल मानव-जनित डेटा पर प्रशिक्षित किया गया है। हालांकि पिछले तरीकों ने प्रॉम्प्ट इंजीनियरिंग या फाइन-ट्यूनिंग के माध्यम से इन व्यक्तित्वों को आकार देने का प्रयास किया है, लेकिन इन दृष्टिकोणों में महत्वपूर्ण कमियां हैं: आउटपुट में असंगतता, उच्च संसाधन तीव्रता, और मूल भाषा कार्यों पर प्रदर्शन कम होने का जोखिम। इसके अलावा, कई परस्पर सह-संबंधित लक्षणों को एक साथ आकार देना एक चुनौती बनी हुई है, जिसके लिए अक्सर उन मॉडल क्षमताओं की आवश्यकता होती है जो छोटे या कम अनुकूलित मॉडल्स के पास नहीं होती हैं। एक ऐसे तरीके की आवश्यकता है जो मॉडल की मौलिक भाषा मॉडलिंग क्षमताओं से समझौता किए बिना, यांत्रिक स्तर पर व्यक्तित्व लक्षणों को नियंत्रित रूप से निर्देशित (steer) कर सके।

कार्यप्रणाली (Methodology)
लेखक एक मेकेनिस्टिक इंटरप्रिटेबिलिटी फ्रेमवर्क प्रस्तावित करते हैं जो व्यक्तित्व को नियंत्रित करने के लिए मॉडल के लेटेंट फीचर्स (latent features) पर सीधे हस्तक्षेप करता है। यह पाइपलाइन चार मुख्य घटकों से मिलकर बनी है:

डेटा जनरेशन और डेटासेट निर्माण:
PsyBORGS फ्रेमवर्क का उपयोग करके, लेखक बिग फाइव गुणों की अभिव्यक्ति के विभिन्न स्तरों वाले 12,000 फेसबुक-शैली के स्टेटस अपडेट उत्पन्न करते हैं। न्यूट्रल बेसलाइन्स के उपयोग वाले पिछले कार्यों के विपरीत, यह विधि प्रत्येक लक्षण के लिए विशिष्ट "पॉजिटिव" (उच्च अभिव्यक्ति, स्कोर 7–9) और "नेगेटिव" (निम्न अभिव्यक्ति, स्कोर 1–3) सेट बनाती है ताकि लक्षण-वर्धक (trait-enhancing) और लक्षण-निरोधी (trait-suppressing) दोनों फीचर्स की पहचान की जा सके।
स्पार्स ऑटोएनकोडर्स (SAEs) के माध्यम से फीचर एक्सट्रैक्शन:
लेखक DeepSeek-R1-Distill-Llama-8B मॉडल के लेयर 19 पर लगे एक प्री-ट्रेंड स्पार्स ऑटोएनकोडर (SAE) का उपयोग करते हैं। इस लेयर को इसलिए चुना गया क्योंकि यह एक "स्वीट स्पॉट" (63% गहराई) का प्रतिनिधित्व करता है जहाँ फीचर्स अर्थपूर्ण (semantically rich) होते हैं लेकिन अंतिम लॉजिट्स (logits) से ऊपर होते हैं।

कॉन्ट्रास्टिव एनालिसिस (Contrastive Analysis): पॉजिटिव ( $\mu_P$ ) और नेगेटिव ( $\mu_N$ ) सेटों के लिए औसत एक्टिवेशन की गणना की जाती है। अंतर वेक्टर $\Delta h = \mu_P - \mu_N$ को लेटेंट अंतर $\Delta z$ प्राप्त करने के लिए SAE एनकोडर का उपयोग करके डिकम्पोज़ किया जाता है।
फीचर रैंकिंग: लेटेंट कंपोनेंट्स को पूर्ण अंतर $|\Delta z_i|$ द्वारा रैंक किया जाता है। लक्षण को संचालित करने वाले (पॉजिटिव दिशा) और लक्षण को दबाने वाले (नेगेटिव दिशा) शीर्ष- $k$ फीचर्स की पहचान की जाती है। इन्हें SAE डिकोडर के माध्यम से यूनिट फीचर वेक्टर्स ( $u_{ij}$ ) में परिवर्तित किया जाता है।

ग्रिड सर्च के माध्यम से अनुकूलन (Optimization):
इष्टतम हस्तक्षेप (intervention) निर्धारित करने के लिए, लेखक एक द्विदिश रैखिक वेटिंग (bidirectional linear weighting) दृष्टिकोण का उपयोग करते हैं। एक स्टीयरिंग वेक्टर बनाया जाता है जो मॉडल के हिडन स्टेट्स ( $h'$ ) में पॉजिटिव और नेगेटिव फीचर वेक्टर्स के भारित संयोजन को जोड़कर निर्मित होता है:
$h' = h + \sum \delta^{pos} u_{ij} + \sum \delta^{neg} u_{jl}$
गुणांकों (coefficients) को चार मापदंडों पर ग्रिड सर्च के माध्यम से ट्यून किया जाता है: पॉजिटिव शिफ्ट का परिमाण ( $\alpha_{pos}$ ), पॉजिटिव फीचर्स की संख्या ( $k_{pos}$ ), नेगेटिव शिफ्ट का परिमाण ( $\alpha_{neg}$ ), और नेगेटिव फीचर्स की संख्या ( $k_{neg}$ )।
यह ऑप्टिमाइज़ेशन एक ऑब्जेक्टिव फंक्शन $O$ को मैक्सिमाइज करता है जो लक्षण अभिव्यक्ति ( $S_{trait}$ ) और प्रदर्शन गिरावट के दंड ( $C$ ) के बीच संतुलन बनाता है, जिसे MMLU सटीकता में सापेक्ष गिरावट द्वारा मापा जाता है:
$O = S_{trait} - \lambda \cdot C$
जहाँ $\lambda$ को 0.5 पर स्थिर रखा गया है।
मूल्यांकन ढांचा (Evaluation Framework):
स्टीयरिंग की प्रभावकारिता को एक बहुआयामी दृष्टिकोण का उपयोग करके मापा जाता है:

एम्बेडिंग समानता (Embedding Similarity): जनरेट किए गए टेक्स्ट और संदर्भ लक्षण उदाहरणों के बीच कोसाइन सिमिलैरिटी।
LLM-आधारित वर्गीकरण: अत्याधुनिक LLMs (Claude 3.7, GPT-4o) यह निर्णय लेते हैं कि कौन सा दो टेक्स्ट लक्षित लक्षण को बेहतर ढंग से प्रदर्शित करता है।
मानव मूल्यांकन: समान जोड़ों के लिए समानांतर मानव मूल्यांकन।
प्रदर्शन मेट्रिक्स: यह सुनिश्चित करने के लिए कि भाषा क्षमताएं संरक्षित रहें, MMLU सटीकता और कोहेरेंस (coherence) चेक।

प्रमुख योगदान

फीचर एक्सट्रैक्शन के लिए कार्यप्रणाली: पॉजिटिव और नेगेटिव प्रॉम्प्ट स्थितियों के बीच कॉन्ट्रास्टिव एनालिसिस के माध्यम से व्यक्तित्व-प्रासंगिक फीचर्स निकालने का एक नया दृष्टिकोण, जो मोनोसेमेंटिक लेटेंट फीचर्स को अलग करने के लिए SAEs का उपयोग करता है।
बहुआयामी मूल्यांकन: व्यक्तित्व अभिव्यक्ति को मापने के लिए एम्बेडिंग-आधारित समानता, LLM वर्गीकरण और मानव मूल्यांकन को संयोजित करने वाला एक मजबूत मूल्यांकन ढांचा स्थापित करना।
परिष्कृत स्टीयरिंग रणनीतियाँ: लेटेंट स्पेस में इष्टतम एडिटिव शिफ्ट की गणना करने के लिए ग्रिड सर्च ऑप्टिमाइज़ेशन के साथ एक द्विदिश रैखिक वेटिंग दृष्टिकोण का विकास, जो लक्षण अभिव्यक्ति और कार्य प्रदर्शन के बीच संतुलन बनाता है।

परिणाम

डिटेक्शन दरें: हस्तक्षेप को अधिकांश लक्षणों के लिए LLMs और मनुष्यों दोनों द्वारा विश्वसनीय रूप से पहचाना गया। कॉन्शियसनेस (Conscientiousness) और न्यूरोटिसिज्म (Neuroticism) ने उच्चतम डिटेक्शन दरें (>90% LLM और मानव मूल्यांकनकर्ताओं के लिए) दिखाईं। एक्सट्रैवर्जन (Extraversion) और एग्रीएबलनेस (Agreeableness) ने मध्यम दरें दिखाईं, जबकि ओपननेस (Openness) चुनौतीपूर्ण रहा (LLM 50%, मानव 30%), संभवतः इसलिए क्योंकि LLMs स्वाभाविक रूप से "ओपन" होते हैं या इसलिए क्योंकि यह लक्षण सूक्ष्म पैटर्न में प्रकट होता है।
लक्षण-विशिष्ट अनुकूलन: ग्रिड सर्च ने खुलासा किया कि विभिन्न लक्षणों के लिए अलग-अलग हस्तक्षेप प्रोफाइल की आवश्यकता होती है।
- एक्सट्रैवर्जन के लिए सबसे कम फीचर्स (9 पॉजिटिव, 4 नेगेटिव) की आवश्यकता थी, जो एक केंद्रित लेटेंट रिप्रजेंटेशन का सुझाव देता है।
- ओपननेस के लिए सबसे अधिक फीचर्स (25 पॉजिटिव) और उच्च परिमाण की आवश्यकता थी, जो एक वितरित एन्कोडिंग (distributed encoding) का संकेत देता है।
- कॉन्शियसनेस के लिए पॉजिटिव और नेगेटिव फीचर्स के संतुलित मिश्रण की आवश्यकता थी।
प्रदर्शन ट्रेड-ऑफ: सभी लक्षणों ने ऑब्जेक्टिव फंक्शन में एक "पीक" (peak) दिखाया और उसके बाद हस्तक्षेप परिमाण बढ़ने के साथ प्रदर्शन (कोहेरेंस और MMLU सटीकता) में भारी गिरावट देखी गई। यह एक महत्वपूर्ण थ्रेशोल्ड को उजागर करता जहाँ अत्यधिक फीचर हेरफेर मॉडल की भाषा उत्पादन क्षमताओं को खराब कर देता है।
नेगेटिव शिफ्ट्स: जबकि पॉजिटिव शिफ्ट्स ने आमतौर पर लक्षण समानता को बढ़ाया, नेगेटिव शिफ्ट्स के मिश्रित परिणाम मिले; ओपननेस के लिए, नेगेटिव शिफ्ट्स कभी-कभी पॉजिटिव शिफ्ट्स की तुलना में लक्षण संदर्भ के प्रति उच्च समानता प्रदान करते थे, जो फीचर एक्टिवेशन और लक्षण अभिव्यक्ति के बीच जटिल संबंधों का सुझाव देता है।

महत्व और दावे
यह पेपर उच्च-स्तरीय साइकोमेट्रिक अवलोकनों और निम्न-स्तरीय तंत्रिका तंत्र (neural mechanisms) के बीच सेतु बनाकर व्यक्तित्व स्टीयरिंग के लिए एक व्याख्यात्मक और सूक्ष्म विधि प्रदान करने का दावा करता है। इसका महत्व निम्नलिखित में निहित है:

मैकेनिस्टिक कंट्रोल: यह प्रदर्शित करना कि मॉडल को पुन: प्रशिक्षित किए बिना, विशिष्ट लेटेंट फीचर्स पर सीधे हस्तक्षेप करके व्यक्तित्व को नियंत्रित किया जा सकता है, जो ऑन-डिमांड मॉड्यूलेशन की सुविधा देता है।
व्याख्यात्मकता (Interpretability): SAEs का उपयोग मनोवैज्ञानिक लक्षणों के अनुरूप रेसिडुअल स्ट्रीम में विशिष्ट दिशाओं की पहचान करने की अनुमति देता है, जिससे यह स्पष्ट होता है कि ये अमूर्त अवधारणाएं मॉडल में कैसे उभरती हैं।
जिम्मेदार AI (Responsible AI): यह दृष्टिकोण AI एजेंट्स में अवांछनीय व्यक्तित्व प्रकटीकरण को नियंत्रित करने के लिए एक उपकरण प्रदान करता है, जिससे संचार में सुरक्षा, निष्पक्षता और प्रभावशीलता में सुधार हो सकता है।
मनोविज्ञान पर कम्प्यूटेशनल परिप्रेक्ष्य: निष्कर्ष बताते हैं कि मानव व्यक्तित्व लक्षणों की जटिलता (जैसे, ओपननेस की वितरित प्रकृति बनाम एक्सट्रैवर्जन की केंद्रित प्रकृति) LLM के लेटेंट फीचर स्ट्रक्चर में प्रतिबिंबित हो सकती है।

लेखक अपने निहितार्थों के बारे में विनम्र रहते हैं, यह नोट करते हुए कि हालांकि मॉडल विशिष्ट लक्षणों से जुड़े व्यवहार प्रदर्शित करता है, इसका अर्थ यह नहीं है कि मॉडल में मानव जैसे मनोवैज्ञानिक अवस्थाएँ हैं। वे कम्प्यूटेशनल ओवरहेड, उच्च हस्तक्षेप परिमाण पर कोहेरेंस बनाए रखने की कठिनाई, और SAE फीचर्स के पॉलीसेमैटिकिटी (polysemanticity) के कारण क्रॉस-ट्रे़ट डिपेंडेंसी को अलग करने की चुनौती के संबंध में सीमाओं को भी स्वीकार करते हैं।