Controllable and explainable personality sliders for LLMs at inference time

यहाँ शोध पत्र "Controllable and explainable personality sliders for LLMs at inference time" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) को अक्सर विशिष्ट, सुसंगत व्यक्तित्व (जैसे, सहानुभूतिपूर्ण थेरेपिस्ट, निष्पक्ष सहायता एजेंट) अपनाने की आवश्यकता होती है। वर्तमान संरेखण (alignment) विधियाँ महत्वपूर्ण सीमाओं का सामना करती हैं:

• फाइन-ट्यूनिंग (SFT, RLHF, DPO): ये विधियाँ कम्प्यूटेशनल रूप से महंगी और "मोनोलिथिक" (एकल) हैं। विशिष्ट गुणों के संयोजन (जैसे, उच्च बहिर्मुखता + उच्च कर्तव्यनिष्ठा) के लिए एक अलग मॉडल बनाने हेतु प्रत्येक क्रमपरिवर्तन (permutation) के लिए एक अलग मॉडल प्रशिक्षित करना होगा, जिससे एक कॉम्बिनेटोरियल विस्फोट (combinatorial explosion) की स्थिति उत्पन्न होती है।
• नाइव इन्फरेंस-टाइम स्टीयरिंग (Naive Inference-Time Steering): हालांकि रेसिड्यूअल स्ट्रीम में स्टीयरिंग वेक्टर्स जोड़ना पैरामीटर-कुशल है, लेकिन नाइव मल्टी-वेक्टर स्टीयरिंग विफल हो जाता है। जब कई वेक्टर्स को क्रमिक रूप से जोड़ा जाता है ($h' = h + \sum \alpha_i v_i$), तो पहला हस्तक्षेप सक्रियण मैनिफोल्ड (activation manifold) को स्थानांतरित कर देता है। बाद के वेक्टर्स, जो मूल (अन-शिफ्टेड) वितरण पर प्रशिक्षित होते हैं, उस वितरण परिवर्तन (distribution shift) का सामना करते हैं जिस पर उन्हें प्रशिक्षित नहीं किया गया था। इससे रिप्रेजेंटेशन कोलैप्स (representation collapse), विनाशकारी हस्तक्षेप और असंगत जनरेशन होता है।

2. कार्यप्रणाली: अनुक्रमिक अनुकूली स्टीयरिंग (Methodology: Sequential Adaptive Steering - SAS)

लेखक बिग फाइव (OCEAN) व्यक्तित्व मॉडल पर आधारित निरंतर, बहु-आयामी व्यक्तित्व नियंत्रण के लिए एक मॉड्यूलर फ्रेमवर्क प्रस्तावित करते हैं। मुख्य नवाचार अनुक्रमिक अनुवर्ती स्टीयरिंग (Sequential Adaptive Steering - SAS) है।

मुख्य तंत्र (Core Mechanism)

बेस मॉडल के रेसिड्यूअल स्ट्रीम पर सभी प्रोब्स को स्वतंत्र रूप से प्रशिक्षित करने के बजाय, SAS पूर्व हस्तक्षेपों को ध्यान में रखते हुए प्रोब्स को क्रमिक रूप से (sequentially) प्रशिक्षित करता है:

1. प्रोब 1: ट्रेट 1 को नियंत्रित करने के लिए अन-स्टीयर्ड रेसिड्यूअल स्ट्रीम पर प्रशिक्षित किया जाता है।
2. प्रोब 2: एक मिश्रित डेटासेट पर प्रशिक्षित किया जाता है जिसमें अन-स्टीयर्ड सक्रियण और प्रोब 1 द्वारा शिफ्ट किए गए सक्रियण (विभिन्न तीव्रता $\alpha$ के साथ) दोनों शामिल हैं।
3. परवर्ती प्रोब्स (Subsequent Probes): प्रत्येक नया प्रोब सभी पूर्ववर्ती प्रोब्स द्वारा शिफ्ट किए गए डेटा पर प्रशिक्षित किया जाता है।

ज्यामितीय अंतर्दृष्टि (Geometric Insight): शिफ्ट किए गए वितरण पर प्रशिक्षण देकर, नया प्रोब एक ऐसा दिशा (direction) सीखता है जो पिछले गुणों द्वारा स्पैन किए गए सबस्पेस के प्रति ऑर्थोगोनल (orthogonal) (या अपरिवर्तनीय) है। यह प्रभावी रूप से स्टीयरिंग वेक्टर्स को "डी-कोरिलेट" (de-correlate) करता है, जिससे नाइव लीनियर कॉम्बिनेशन में देखे जाने वाले विनाशकारी हस्तक्षेप को रोका जा जा सके।

प्रमुख तकनीकी घटक (Key Technical Components)

• स्वचालित लेयर चयन (Automated Layer Selection): ह्यूरिस्टिक (अनुमानित) प्रयास-त्रुटि के बजाय, लेखक प्रत्येक ट्रेट के लिए इष्टतम लेयर $l^*$ को स्वचालित रूप से पहचानने के लिए फिशर रेशियो (Fisher Ratio - FR) का उपयोग करते हैं। वे मध्य-से-विलंब (middle-to-late) परतों में खोज करते हैं जहाँ सिमेंटिक अवधारणाएँ लो-लेवल सिंटैक्स से सबसे अधिक विलगित (disentangled) होती हैं।
  $$FR(l) = \frac{(\mu_{pos} - \mu_{neg})^2}{\sigma^2_{pos} + \sigma^2_{neg}}$$
• स्टीयरिंग रेंज का अंशांकन (Calibration of Steering Range): स्थिरता सुनिश्चित करने के लिए, लेखक ग्रिड सर्च के माध्यम से एक सुरक्षा कॉरिडोर $[\alpha_{min}, \alpha_{max}]$ को परिभाषित करते हैं। ऊपरी सीमा को निम्नलिखित द्वारा सीमित किया जाता है:
  • पर्प्लेक्सिटी गिरावट (Perplexity degradation) < 50%।
  • सुसंगतता गिरावट (Coherence drop - F1 score) < 25%।
• मूल्यांकन मीट्रिक (Evaluation Metric): "LLM-as-a-Judge" दृष्टिकोण (एक फ्रोजन GPT-4 इंस्टेंस का उपयोग करके) बिग फाइव इन्वेंटरी (BFI-44) आइटम्स के विरुद्ध जनरेटेड रिस्पॉन्स को स्कोर करता है ताकि 1–5 के पैमाने पर ट्रेट की तीव्रता को मापा जा सके।

3. प्रमुख योगदान (Key Contributions)

1. अनुक्रमिक अनुवर्ती स्टीयरिंग (SAS): एक नवीन फ्रेमवर्क जो इन्फरेंस के समय मॉडल वेट्स को पुन: प्रशिक्षित किए बिना कई व्यक्तित्व गुणों के संयोजन को सक्षम बनाता है। यह मल्टी-वेक्टर इंटरफेरेंस समस्या को शिफ्ट किए गए एक्टिवेशन डिस्ट्रीब्यूशन पर प्रोब्स को प्रशिक्षित करके हल करता है।
2. स्वचालित लेयर चयन: ह्यूरिस्टिक लेयर चयन को बदलने के लिए फिशर रेशियो का उपयोग करने वाला एक डेटा-संचालित तरीका, जो यह सुनिश्चित करता है कि हस्तक्षेप वहां हो जहां गुण सबसे अधिक विभाज्य (separable) हों।
3. अनुभवजन्य सत्यापन (Empirical Validation): पारेटो डोमिनेंस (Pareto dominance) का प्रदर्शन। SAS, नाइव स्टीयरिंग या डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन (DPO) की तुलना में किसी भी दिए गए पर्प्लेक्सिटी स्तर के लिए उच्च व्यक्तित्व संरेखण स्कोर प्राप्त करता है।
4. व्याख्यात्मकता (Explainability): ज्यामितीय विश्लेषण पुष्टि करता है कि SAS सफलतापूर्वक स्टीयरिंग वेक्टर्स को ऑर्थोगोनलाइज़ करता है, जिससे आंतरिक सहसंबंधों (जैसे, बहिर्मुखता और खुलेपन के बीच) को कम किया जाता है जो नाइव दृष्टिकोणों को प्रभावित करते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस फ्रेमवर्क को Llama-3-8B, Mistral-7B, और Qwen2.5-7B पर सत्यापित किया गया।

• सिंगल-ट्रेट कंट्रोल (Single-Trait Control): स्टीयरिंग गुणांक ($\alpha$) और व्यक्त किए गए ट्रेट की तीव्रता के बीच एक मोनोटोनिक संबंध दिखाता है, जो सूक्ष्म नियंत्रण की पुष्टि करता है।
• मल्टी-ट्रेट कंट्रोल (Multi-Trait Control):
  • लक्ष्य: उच्च बहिर्मुखता (High Extraversion), निम्न सहमतता (Low Agreeableness), उच्च न्यूरोटिसिज्म (High Neuroticism)।
  • परिणाम: SAS ने उच्च सटीकता के साथ तीनों गुणों को एक साथ सफलतापूर्वक शिफ्ट किया।
  • तुलना:
    • नाइव स्टीयरिंग: पूरी तरह विफल रहा, जिससे तीव्र मॉडल कोलैप्स और असंगतता हुई।
      * DPO: मल्टी-डायमेंशनल शिफ्ट प्रदर्शित करने में विफल रहा, बेसलाइन के समान ही रहा।
    • SAS: न्यूनतम क्रॉस-ट्रेट इंटरफेरेंस के साथ लक्षित कॉन्फ़िगरेशन प्राप्त किया।
• गुणवत्ता ट्रेड-ऑफ (Quality Trade-offs): SAS उच्च स्टीयरिंग तीव्रता पर भी मॉडल की सुसंगतता (कम पर्प्लेक्सिटी) बनाए रखता है, जबकि नाइव विधियाँ संरेखण के प्रयास बढ़ने के साथ तेजी से खराब हो जाती हैं।
• एब्लेशन स्टडीज (Ablation Studies): अनुवर्ती अनुकूलित प्रशिक्षण (sequential adaptive training) को हटाने (नाइव स्वतंत्र प्रशिक्षण का उपयोग करके) के परिणामस्वरूप मल्टी-ट्रेट सफलता दर में महत्वपूर्ण गिरावट आई, जिससे पुष्टि हुई कि हस्तक्षेप (interference) प्राथमिक बाधा है।

5. महत्व और सीमाएं (Significance and Limitations)

महत्व:

• मॉड्यूलरिटी: $N$ गुणों के लिए $2^N$ मॉडल को प्रशिक्षित करने की कम्प्यूटेशनल लागत के बिना गतिशील, रीयल-टाइम व्यक्तित्व स्विचिंग सक्षम करता है।
• जीरो-टोकन इंटरवेंशन (Zero-Token Intervention): प्रॉम्प्ट इंजीनियरिंग के विपरीत, यह पूर्ण कॉन्टेक्स्ट विंडो को सुरक्षित रखता है और व्यक्तित्व निर्देशों के साथ टोकन बजट का उपभोग नहीं करता है।
• सैद्धांतिक अंतर्दृष्टि: लीनियर रिप्रेजेंटेशन हाइपोथेसिस (Linear Representation Hypothesis) को मजबूत अनुभवजन्य समर्थन प्रदान करता है, यह प्रदर्शित करता है कि जटिल, कम्पोजिशनल मानवीय अवधारणाओं (व्यक्तित्व) को लीनियर रूप से हेरफेर किया जा सकता है यदि इंटरफेरेंस को प्रबंधित किया जाए।

सीमाएं:

• व्हाइट-बॉक्स आवश्यकता (White-Box Requirement): इसके लिए मॉडल सक्रियण (activations) तक पहुंच की आवश्यकता होती है, जिससे यह क्लोज्ड-सोर्स API मॉडल्स के लिए अप्रभावी हो जाता है।
• क्षमता सीमा (Capacity Limits): एक निश्चित सीमा तक ही कई गुणों को एक साथ सक्रिय किया जा सकता है, जिसके बाद रेसिड्यूअल स्ट्रीम संतृप्त (saturated) हो जाती है, जिससे प्रत्येक के लिए सुरक्षित स्टीयरिंग तीव्रता कम हो जाती है।
• वितरण परिवर्तन (Distribution Shift): नियंत्रण केवल प्रशिक्षण वितरण के भीतर गारंटीकृत है; इस सीमा के बाहर अत्यधिक $\alpha$ मान प्रदर्शन को खराब कर सकते हैं।
• स्केल: सत्यापन 7B–8B मॉडल्स तक सीमित था; 70B+ मॉडल्स के लिए स्केलेबिलिटी पर आगे की जांच की आवश्यकता है।

नैतिक नोट (Ethical Note): लेखक दोहरे उपयोग के जोखिम (dual-use risk) को स्वीकार करते हैं: उसी तंत्र का उपयोग जिसका उपयोग "ईमानदारी" बढ़ाने के लिए किया जा सकता है, उसे "विषाक्तता" या "धोखाधड़ी" बढ़ाने के लिए उल्टा किया जा सकता है, जिससे ओपन-वेट मॉडल्स को हथियार बनाने की बाधा कम हो जाती है।