💬 NLP

Letting Tutor Personas Speak Up for LLMs: Learning Steering Vectors from Dialogue via Preference Optimization

यह शोध पत्र मानव संवाद के माध्यम से प्राथमिकता अनुकूलन (preference optimization) द्वारा स्टीयरिंग वेक्टर्स (steering vectors) सीखकर लार्ज लैंग्वेज मॉडल (LLM) ट्यूटरिंग व्यवहार को नियंत्रित करने की एक विधि प्रस्तावित करता है, जो मॉडल को स्पष्ट प्रॉम्प्टिंग के बिना विविध ट्यूटर व्यक्तित्वों को अनुकूल रूप से आत्मसात करने में सक्षम बनाता है और साथ ही सिमेंटिक संरेखण (semantic alignment) और व्याख्यात्मकता में सुधार करता है।

मूल लेखक: Jaewook Lee, Alexander Scarlatos, Simon Woodhead, Andrew Lan

प्रकाशित 2026-06-03

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jaewook Lee, Alexander Scarlatos, Simon Woodhead, Andrew Lan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, सामान्य रोबोट ट्यूटर है। वह गणित जानता है, वह चीजों को समझाना जानता है, और वह विनम्र है। लेकिन यह थोड़ा "एक ही आकार सबके लिए" (one-size-fits-all) वाले शिक्षक जैसा महसूस होता है। यह एक वास्तविक मानव शिक्षक के अनूठे व्यक्तित्व को पूरी तरह से नहीं पकड़ पाता है। कुछ वास्तविक शिक्षक गर्मजोशी से प्रोत्साहित करने वाले कोच की तरह होते हैं जो आपको हाई-फाइव देते हैं और हर कदम पर आपका मार्गदर्शन करते हैं। अन्य कुशल ड्रिल सार्जेंट की तरह होते हैं जो बस चाहते हैं कि आप समस्या को जल्दी से हल करें और आगे बढ़ें।

यह शोध पत्र पूछता है: हम अपने सामान्य रोबोट को एक विशिष्ट मानव शिक्षक की तरह कार्य करना कैसे सिखाएं, बिना हर एक के लिए एक नया निर्देश मैनुअल लिखे?

यहाँ सरल रूप से बताया गया है कि शोधकर्ताओं ने क्या किया:

1. समस्या: एक "औसत" शिक्षक

शोधकर्ताओं ने एक बड़े लैंग्वेज मॉडल (LLM) से शुरुआत की जिसे एक ट्यूटर बनने के लिए प्रशिक्षित किया गया था। हालाँकि, इस मॉडल ने एक ऐसे "औसत" के रूप में सीखा जो उन सभी शिक्षकों का मिश्रण था जिन्हें उसने देखा था। यह सभी का एक मिश्रण था, जिसका अर्थ था कि इसने व्यक्तिगत ट्यूटर्स के अनूठे "स्वाद" को खो दिया था।

उपमा: कल्पना कीजिए कि एक स्मूदी बनाई गई है जिसमें दुनिया के हर आइसक्रीम फ्लेवर को मिला दिया गया है। यह एक स्मूदी है, लेकिन यह विशेष रूप से स्ट्रॉबेरी या मिंट जैसा स्वाद नहीं देती; यह बस "आइसक्रीम" जैसा स्वाद देती है। शोधकर्ता उस जेनेरिक स्मूदी को बिना रेसिपी बुक बदले वापस एक विशिष्ट स्ट्रॉबेरी फ्लेवर में बदलने में सक्षम होना चाहते थे।

2. समाधान: "स्टीयरिंग व्हील" (Steering Wheel)

पूरे रोबोट को फिर से प्रशिक्षित करने के बजाय (जो महंगा और धीमा है), उन्होंने एक "स्टीयरिंग वेक्टर" (steering vector) का आविष्कार किया। इसे रोबोट के मस्तिष्क के लिए एक स्टीयरिंग व्हील या वॉल्यूम नॉब की तरह समझें।

यह कैसे काम करता है: उन्होंने वास्तविक मानव ट्यूटर्स और छात्रों के बीच हुई बातचीत को देखा। उन्होंने एक विशिष्ट ट्यूटर द्वारा कही गई बातों की तुलना उस "औसत" रोबोट से की जो उसी स्थिति में कुछ कहता।
जादुई दिशा: उन्होंने दोनों के बीच के अंतर की गणना की। यह अंतर उनके रोबोट के "मस्तिष्क स्थान" (उसके आंतरिक गणित) में एक विशिष्ट दिशा बन गया।
परिणाम: इस "दिशा" को रोबोट के विचारों में जोड़ने से, वे उसे जेनेरिक होने से हटाकर एक विशिष्ट व्यक्ति की ओर धकेल सके।

3. "वॉल्यूम नॉब" (Scaling)

शोधकर्ताओं ने केवल एक दिशा ही नहीं खोजी; उन्होंने यह भी नियंत्रित करने का एक तरीका खोजा कि उस व्यक्तित्व का कितना उपयोग किया जाए। उन्होंने एक "स्केलिंग कोएफिशिएंट" (scaling coefficient) बनाया (एक संख्या जिसे बदला जा सकता है)।

उपमा: कल्पना कीजिए कि स्टीयरिंग व्हील में एक वॉल्यूम नॉब है।
- इसे कम करने पर (कम संख्या): रोबोट ज्यादातर जेनेरिक है, शायद थोड़ा सा उस विशिष्ट शिक्षक जैसा।
- इसे बढ़ाने पर (उच्च संख्या): रोबोट बिल्कुल उस विशिष्ट शिक्षक की तरह व्यवहार करता है, उसका विशिष्ट लहजा, इमोजी और शिक्षण शैली अपनाता है।
- शोधकर्ताओं ने पाया कि इस नॉब को "मध्यम" सेटिंग पर रखने से सबसे अच्छे परिणाम मिले—इससे रोबोट उस शिक्षक की तरह सुनाई देता था बिना अजीब या रोबोटिक लगे।

4. उन्होंने क्या खोजा

जब उन्होंने इसका परीक्षण किया, तो उन्हें कुछ दिलचस्प बातें पता चलीं:

यह व्यक्तित्व को पकड़ता है: रोबोट विभिन्न "शैलियों" के बीच सफलतापूर्वक स्विच करने में सक्षम था।
- शैली A (प्रोत्साहित करने वाला): रोबोट ने इमोजी का उपयोग करना शुरू कर दिया, "बहुत बढ़िया!" कहना शुरू किया, और समस्याओं को छोटे, आसान चरणों में तोड़ दिया।
- शैली B (कुशल सुधारक): रोबोट ने इमोजी का उपयोग बंद कर दिया, संक्षिप्त, सीधे सुधार दिए, और छात्र को तुरंत अगले चरण को हल करने के लिए प्रेरित किया।
यह केवल शब्दों की नकल नहीं करता: रोबोट ने केवल मानव शिक्षक द्वारा उपयोग किए गए सटीक शब्दों को याद नहीं किया। इसके बजाय, उसने वाइब (vibe) और रणनीति को सीखा। उसने सीखा कि कैसे प्रोत्साहित किया जाए या कैसे कुशल बना जाए, भले ही शब्द अलग हों।
शिक्षकों का "मानचित्र" (Map): जब उन्होंने सभी 21 विभिन्न ट्यूटर्स के लिए सीखी गई संख्याओं को देखा, तो उन्होंने एक प्रकार का "मानचित्र" बनाया। मानचित्र के एक छोर पर गर्मजोशी से समर्थन देने वाले शिक्षक थे। दूसरे छोर पर सख्त, कार्य-केंद्रित शिक्षक थे। रोबोट किसी भी शिक्षक की तरह कार्य करने के लिए इस मानचित्र पर सुचारू रूप से चल सकता था।

5. निचोड़ (Bottom Line)

यह शोध पत्र दिखाता है कि आपको किसी रोबोट को व्यक्तित्व देने के लिए उसे शून्य से फिर से बनाने की आवश्यकता नहीं है। आपको बस उसके मस्तिष्क के भीतर छिपी सही "स्टीयरिंग दिशा" को खोजने और उसे उस दिशा में धकेलने की आवश्यकता है।

यह AI को एक लचीला उपकरण बनाता है जो एक मानव मेंटर की विशिष्ट शिक्षण शैली की नकल कर सकता है—चाहे वह मेंटर एक कोमल मार्गदर्शक हो या एक सख्त कोच—केवल कुछ संख्याओं को समायोजित करके, जबकि बातचीत को स्वाभाविक और सहायक बनाए रखता है।

तकनीकी सारांश: LLMs के लिए ट्यूटर व्यक्तित्वों को मुखर करना

समस्या विवरण (Problem Statement)
यद्यपि लार्ज लैंग्वेज मॉडल्स (LLMs) शैक्षिक ट्यूटरिंग में प्रमुख हो गए हैं, मौजूदा दृष्टिकोण आमतौर पर एक एकल, मोनोलिथिक (monolithic) ट्यूटर पॉलिसी सीखते हैं। ये विधियाँ मानव ट्यूटरिंग शैलियों की अंतर्निहित विविधता को पकड़ने में विफल रहती हैं। वास्तविक दुनिया की बातचीत में, शैक्षणिक इरादा (pedagogical intent) उन अनुकूलन योग्य रणनीतियों के माध्यम से साकार होता है जहाँ ट्यूटर शिक्षार्थी की आवश्यकताओं के आधार पर अपने स्कैफोल्डिंग (scaffolding), निर्देशशीलता (directiveness), फीडबैक और भावनात्मक सहायता के स्तर को बदलते हैं। वर्तमान तकनीकें, जैसे कि विशिष्ट नीतियों के साथ प्रॉम्प्टिंग करना या सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) और रीइन्फोर्समेंट लर्निंग (RL) के माध्यम से प्रशिक्षण देना, सामान्य शैक्षणिक गुणवत्ता के लिए अनुकूलित होती हैं, लेकिन वे व्यक्तिगत मानव ट्यूटर्स द्वारा प्रदर्शित विशिष्ट शैलीगत विविधताओं को स्पष्ट रूप से मॉडल या नियंत्रित नहीं करती हैं। संबोधित किया जाने वाला मुख्य शोध प्रश्न यह है कि ट्यूटरिंग शैलियों के इन अंतरों को कैसे पकड़ा जाए और LLMs को विशिष्ट, ट्यूटर-संरेखित व्यवहार प्रदर्शित करने के लिए कैसे निर्देशित किया जाए, बिना स्पष्ट, हस्तनिर्मित प्रॉम्प्ट निर्देशों पर निर्भर रहे।

कार्यप्रणाली (Methodology)
लेखक एक एक्टिवेशन स्टीयरिंग (activation steering) दृष्टिकोण प्रस्तावित करते हैं जो मानव ट्यूटर-छात्र संवादों से एक "स्टीयरिंग वेक्टर" (steering vector) सीखता है ताकि LLM व्यवहार को विशिष्ट ट्यूटर व्यक्तित्वों (personas) की ओर निर्देशित किया जा सके। यह कार्यप्रणाली तीन मुख्य चरणों में आगे बढ़ती है:

डेटा निर्माण और बेसलाइन मॉडलिंग:
लेखक Question-Anchored-Tutoring-Dialogues-2k डेटासेट का उपयोग करते हैं, जिसमें 21 अद्वितीय मानव ट्यूटर्स और छात्रों के बीच के संवाद शामिल हैं। सबसे पहले, एक LLM (Llama-3.1-8B-Instruct) को इस डेटासेट पर सुपरवाइज्ड फाइन-ट्यून (SFT) किया जाता है ताकि वह "पॉपुलेशन-मीन" (population-mean) ट्यूटर व्यवहार के प्रॉक्सी के रूप में कार्य कर सके। यह मॉडल किसी भी टर्न के लिए एक जेनेरिक, औसत ट्यूटर प्रतिक्रिया उत्पन्न करने के लिए संवाद संदर्भ (dialogue context) पर आधारित होता है।
कॉन्ट्रास्टिव पेयर (Contrastive Pair) निर्माण:
प्रत्येक संवाद टर्न के लिए, एक कॉन्ट्रास्टिव पेयर बनाया जाता है:

पसंदीदा प्रतिक्रिया (Preferred Response): एक विशिष्ट मानव ट्यूटर ( $t_{i,j,k}$ ) का वास्तविक संवाद (ground-truth utterance)।
अवांछित प्रतिक्रिया (Dispreferred Response): SFT मॉडल ( $\bar{t}_{j,k}$ ) द्वारा उत्पन्न प्रतिक्रिया, जो जनसंख्या औसत का प्रतिनिधित्व करती है।
यह सेटअप स्पष्ट रूप से औसत ट्यूटर व्यवहार से विशिष्ट ट्यूटर $i$ के व्यवहार की ओर की दिशा को परिभाषित करता है।

स्टीयरिंग वेक्टर और गुणांकों (Coefficients) को सीखना:
लेखक BiPO (Direct Preference Optimization पर आधारित) से प्रेरित एक प्रेफरेंस ऑप्टिमाइज़ेशन ऑब्जेक्टिव का उपयोग करते हैं। वे निम्नलिखित को सीखते हैं:

एक साझा स्टीयरिंग वेक्टर ( $v$ ) जो मॉडल के एक्टिवेशन स्पेस (विशेष रूप से अंतिम ट्रांसफार्मर लेयर) में स्थित है।
ट्यूटर-विशिष्ट स्केलिंग गुणांक ( $\delta_i$ ) जो प्रत्येक ट्यूटर के लिए साझा वेक्टर को स्केल करते हैं।

ऑप्टिमाइज़ेशन एक लॉजिस्टिक लॉस (logistic loss) को कम करता है जो स्टीयर्ड मॉडल को वास्तविक ट्यूटर संवाद के लिए उच्च संभावना (likelihood) और औसत ट्यूटर संवाद के लिए निम्न संभावना प्रदान करने के लिए प्रोत्साहित करता है। गुणांक $\delta_i$ को सीखने योग्य स्केलर $u_i$ के माध्यम से पैरामीटराइज़ किया जाता है और स्केल अस्पष्टता को हल करने के लिए ट्यूटर्स के बीच यूनिट मीन (unit mean) होने के लिए सामान्यीकृत किया जाता है। ऑब्जेक्टिव फंक्शन है:
$\min_{v,u} \mathbb{E}_{i,j,k} \left[ -\log \sigma \left( \beta \log \frac{\pi_\theta(t_{i,j,k} | \mathcal{A}_L + \delta_i v)}{\pi_\theta(t_{i,j,k} | \mathcal{A}_L)} - \beta \log \frac{\pi_\theta(\bar{t}_{j,k} | \mathcal{A}_L + \delta_i v)}{\pi_\theta(\bar{t}_{j,k} | \mathcal{A}_L)} \right) \right]$
जहाँ $\mathcal{A}_L$ लेयर $L$ पर लेटेंट एक्टिवेशन को दर्शाता है, और $\beta$ बेस मॉडल के साथ समानता को नियंत्रित करने वाला एक हाइपरपैरामीटर है।

इन्फरेंस (inference) के समय, हस्तक्षेप की शक्ति को सुचारू रूप से समायोजित करने के लिए एक ग्लोबल स्केलिंग फैक्टर $\alpha$ पेश किया जाता है ( $\mathcal{A}_L \leftarrow \mathcal{A}_L + \alpha \delta_i v$ )।

प्रमुख योगदान (Key Contributions)

निहित व्यक्तित्व निष्कर्षण (Implicit Persona Extraction): पेपर यह प्रदर्शित करता है कि मानव संवादों में निहित ट्यूटर-विशिष्ट व्यक्तित्वों को निकाला जा सकता है और बिना किसी स्पष्ट टेक्स्टुअल प्रॉम्प्टिंग के LLM व्यवहार को निर्देशित करने के लिए उपयोग किया जा सकता है।
ट्यूटरिंग के लिए एक्टिवेशन स्टीयरिंग: लेखक एक साझा स्टीयरिंग दिशा और ट्यूटर-विशिष्ट गुणांक सीखने का तरीका पेश करते हैं जो मॉडल व्यवहार को जनसंख्या माध्य से एक विशिष्ट ट्यूटर शैली की ओर स्थानांतरित करता है।
नियंत्रणीय और व्याख्या योग्य भिन्नता: सीखे गए स्केलिंग गुणांक ( $\delta_i$ ) एक व्याख्या योग्य संरचना प्रकट करते हैं जो ट्यूटरिंग व्यवहार में निरंतर अंतर (जैसे, उच्च-अफेक्ट स्कैफोल्डिंग से लेकर न्यूनतम, कार्य-केंद्रित निर्देश तक) के अनुरूप है।
प्रदर्शन लाभ: दृष्टिकोण वास्तविक ट्यूटर संवादों के साथ सिमेंटिक संरेखण (semantic alignment) में सुधार करता है और लेक्सिकल समानता (lexical similarity) को काफी हद तक बनाए रखते हुए प्रेफरेंस-आधारित जीत दर (win rates) को बढ़ाता है।

प्रायोगिक परिणाम (Experimental Results)
लेखकों ने लेक्सिकल (ROUGE-L, BLEU) और सिमेंटिक (Cosine Similarity, LLM-as-a-Judge Win Rate) दोनों मेट्रिक्स का उपयोग करके एक होल्ड-आउट टेस्ट सेट पर विधि का मूल्यांकन किया।

सिमेंटिक संरेखण (Semantic Alignment): स्टीयरिंग ने वास्तविक ट्यूटर्स के साथ सिमेंटिक संरेखण में महत्वपूर्ण सुधार किया। संवादों के "मिड" (mid) चरण में (जहाँ मुख्य समस्या-समाधान होता है), कोसाइन समानता (cosine similarity) अनस्टीयर्ड (unsteered) 0.385 से बढ़कर स्टीयर्ड (steered) 0.426 हो गई। LLM जज ने तुलनाओं में अनस्टीयर्ड बेसलाइन की तुलना में स्टीयर्ड संवादों को 58.7% मामलों में प्राथमिकता दी।
लेक्सिकल समानता (Lexical Similarity): लेक्सिकल ओवरलैप (ROUGE-L और BLEU) काफी हद तक सुरक्षित रहा, जिसमें केवल मामूली कमी आई, जो यह दर्शाता है कि स्टीयरिंग शब्दों के सटीक मिलान को मजबूर करने के बजाय वाक्यांश और विमर्श संरचना (discourse structure) को बदलती है।
स्केलिंग फैक्टर ( $\alpha$ ): $\alpha$ के परिवर्तन ने एक ट्रेड-ऑफ (trade-off) प्रकट किया। मध्यम मान (जैसे, $\alpha=0.5$ ) सबसे अच्छा संतुलन प्रदान करते हैं, जो लेक्सिकल समानता बनाए रखते हुए शैलीगत संरेखण में सुधार करते हैं। उच्च मान ( $\alpha=1.0$ ) विन रेट (Win Rate 0.582) को बढ़ाते हैं लेकिन लेक्सिकल स्कोर को कम कर देते हैं, जिससे पता चलता है कि अत्यधिक मजबूत स्टीयरिंग सतह-स्तर की प्रवाह (fluency) को खराब कर सकती है।
गुणात्मक विश्लेषण (Qualitative Analysis): सीखे गए गुणांकों ( $\delta_i$ ) के विश्लेषण ने ट्यूटर्स को शैलियों के एक स्पेक्ट्रम में मैप किया। कम $\delta_i$ वाले ट्यूटर्स ने "रैपो-रिच स्कैफोल्डिंग" (इमोजी, प्रशंसा, स्टेप-बाय-स्टेप मार्गदर्शन का उपयोग करना) प्रदर्शित की, जबकि उच्च $\delta_i$ वाले ट्यूटर्स ने "दक्षता-उन्मुख" (efficiency-oriented) या "मिनिमलिस्ट" (minimalist) शैलियों (संक्षिप्त सुधार, कार्य-केंद्रित प्रॉम्प्ट, कम अफेक्टिव भाषा) का प्रदर्शन किया। स्टीयर्ड LLM इन विशिष्ट शैलियों को सफलतापूर्वक दोहरा सका, जैसे कि जेनेरिक स्पष्टीकरणों से बदलकर लक्षित ट्यूटर के आधार पर विशिष्ट, संक्षिप्त सुधारात्मक कदमों या सहानुभूतिपूर्ण स्कैफोल्डिंग में बदलना।

महत्व और दावे (Significance and Claims)
पेपर दावा करता है कि एक्टिवेशन स्टीयरिंग सीधे मानव संवाद डेटा से प्राप्त संकेतों का उपयोग करके LLM में ट्यूटर-विशिष्ट भिन्नता को नियंत्रित करने के लिए एक प्रभावी और व्याख्या योग्य तंत्र प्रदान करता है। लेखक जोर देते हैं कि उनकी विधि एक जेनेरिक जनसंख्या-मीन व्यवहार से हटकर विशिष्ट ट्यूटर व्यवहारों की ओर जाने के लिए एक साझा स्टीयरिंग दिशा और ट्यूटर-विशिष्ट गुणांकों को सफलतापूर्वक कैप्चर करती है।

इसका महत्व उस "ट्यूटरिंग शैलियों की विविधता" को पकड़ने की क्षमता में निहित है जो अक्सर एकल-पॉलिसी मॉडल्स में खो जाती है। लेखक नोट करते हैं कि सीखी गई स्टीयरिंग दिशा एक निरंतरता (continuum) को एनकोड करती है, जो उच्च-निवेश, रैपो-बिल्डिंग स्कैफोल्डिंग से लेकर निम्न-निवेश, कार्य-पूर्णता-उन्मुख निर्देश तक फैली हुई है। वे निष्कर्ष निकालते हैं कि यह दृष्टिकोण केवल सतही शैली से परे शैक्षणिक इरादे को नियंत्रित करने का एक तरीका प्रदान करता है, जिससे व्यक्तिगत ट्यूटरिंग सिमुलेशन संभव होता है जो वास्तविक मानव बातचीत में पाई जाने वाली सूक्ष्म अंतरों को दर्शाते हैं।

सीमाएं और भविष्य की दिशाएं (Limitations and Future Directions)
लेखक कई सीमाओं को स्वीकार करते हैं:

सामान्यीकरण (Generalizability): मूल्यांकन एक एकल गणित संवाद डेटासेट तक सीमित है; अन्य डोमेन में सामान्यीकरण अपुष्ट है।
बेसलाइन्स: तुलना SFT तक सीमित है; भविष्य के कार्य में प्रॉम्प्टिंग-आधारित बेसलाइन्स को शामिल किया जाना चाहिए।
मूल्यांकन: अध्ययन मानव मूल्यांकन के बजाय स्वचालित मेट्रिक्स और मॉडल-आधारित निर्णयों पर निर्भर करता है।

प्रस्तावित भविष्य के कार्य दिशाओं में स्पष्ट शैक्षणिक रूब्रिक्स (pedagogical rubrics) या छात्र परिणाम पुरस्कारों (student outcome rewards) को एकीकृत करना शामिल है ताकि प्रभावी प्रथाओं के साथ मॉडल्स को बेहतर ढंग से संरेखित किया जा सके, छात्र व्यक्तित्वों (student personas) के लिए पूरक स्टीयरिंग वेक्टर्स सीखना ताकि इंटरैक्शन का अनुकरण किया जा सके, और विशिष्ट शैक्षणिक गुणों पर सूक्ष्म नियंत्रण के लिए कई विसंयोजित (disentangled) स्टीयरिंग दिशाओं को सीखने के लिए विधि का विस्तार करना शामिल है।

1. समस्या: एक "औसत" शिक्षक

2. समाधान: "स्टीयरिंग व्हील" (Steering Wheel)

3. "वॉल्यूम नॉब" (Scaling)

4. उन्होंने क्या खोजा

5. निचोड़ (Bottom Line)

इसी तरह के और पेपर