💬 NLP

As X, Do Y: How Persona and Task Combine in Instruction-Tuned LLMs

यद्यपि यह शोध पत्र यह प्रदर्शित करता है कि निर्देश-ट्यून किए गए (instruction-tuned) LLMs में व्यक्तित्व (persona) और कार्य निर्देश (task instructions), रेसिडुअल स्ट्रीम (residual stream) में प्रॉम्प्ट-टू-आंसर ट्रांज़िशन के दौरान एक स्पष्ट, योगात्मक रैखिक अपघटन (additive linear decomposition) प्रदर्शित करते हैं, किंतु यह अंततः यह सिद्ध करता है कि यह स्थानीय योगात्मकता (local additivity) रोल प्रॉम्प्ट्स को एक एकल कैश किए गए वेक्टर में संकुचित करने में सक्षम नहीं बनाती है क्योंकि व्यक्तित्व-सशर्त जनरेशन (persona-conditioned generation) एक वितरित अटेंशन तंत्र (distributed attention mechanism) पर निर्भर करता जिसे स्थानीय रेसिडुअल प्रतिस्थापन (local residual substitution) द्वारा पुनरुत्पादित नहीं किया जा सकता है।

मूल लेखक: Eric Xu

प्रकाशित 2026-05-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Eric Xu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत बुद्धिमान, विद्वान रोबोट से एक प्रश्न पूछ रहे हैं। आप उसे एक विशेष निर्देश देते हैं: "एक गुस्सैल पुराने समुद्री डाकू (pirate) के रूप में, मुझे बताएं कि नाव की लीकेज को कैसे ठीक करें।"

इस निर्देश के दो भाग हैं:

व्यक्तित्व (X): "एक गुस्सैल पुराने समुद्री डाकू के रूप में।"
कार्य (Y): "मुझे बताएं कि नाव की लीकेज को कैसे ठीक करें।"

यह शोध पत्र इस बारे में एक बहुत ही विशिष्ट प्रश्न पूछता है कि रोबोट का मस्तिष्क (इसका आंतरिक "रेसिड्यूअल स्ट्रीम") इसे कैसे संभालता है। जब रोबोट "समुद्री डाकू" वाले अंदाज़ को "नाव की मरम्मत" के कार्य के साथ मिलाता है, तो क्या वे उन्हें एक उलझे हुए, जटिल तरीके से मिलाते हैं? या क्या वहां कोई सरल, पूर्वानुमानित क्षण होता है जहाँ वे बस एक दूसरे में जुड़ जाते हैं, जैसे नीले और पीले रंग को मिलाकर हरा बनाना?

यहाँ शोधकर्ताओं द्वारा की गई खोजों का विवरण दिया गया, सरल उपमाओं का उपयोग करते हुए।

1. मिश्रण का "स्वीट स्पॉट" (Sweet Spot)

शोधकर्ताओं ने पाया कि रोबोट का मस्तिष्क हर जगह सरल नहीं है। हालाँकि, एक बहुत ही विशिष्ट "स्वीट स्पॉट" है जहाँ मिश्रण आश्चर्यजनक रूप से साफ और योगात्मक (additive) है।

उपमा: कल्पना कीजिए कि रोबोट एक कहानी लिख रहा है। "स्वीट स्पॉट" वह सटीक क्षण है जब वह आपके प्रॉम्प्ट (निर्देश) को पढ़ना समाप्त करता है और अपने उत्तर का पहला शब्द लिखना शुरू करता है।
निष्कर्ष: इस विशिष्ट क्षण पर (आपके प्रॉम्प्ट का अंतिम शब्द और रोबोट द्वारा लिखे गए पहले दो शब्द), "समुद्री डाकू" वाला हिस्सा और "नाव" वाला हिस्सा दो अलग-अलग सामग्रियों की तरह कार्य करते हैं जो बस एक दूसरे के बगल में स्थित हैं।
- यदि आप "समुद्री डाकू" के प्रभाव और "नाव" के प्रभाव को अलग-अलग लें और उन्हें एक साथ जोड़ दें, तो आपको लगभग वही परिणाम मिलेगा जो तब मिलता यदि रोबोट ने उन्हें शुरू से ही एक साथ प्रोसेस किया होता।
- गणितीय रूप से, उन्होंने पाया कि समुद्री डाकू + नाव ≈ समुद्री डाकू-नाव इस छोटे से अंतराल में।

यह "स्वीट स्पॉट" रोबोट के मस्तिष्क के मध्य परतों (middle layers) में होता है, न कि बिल्कुल शुरुआत में या बिल्कुल अंत में। यह ट्रांसमिशन के एक विशिष्ट गियर की तरह है जहाँ हिस्से पूरी तरह से आपस में जुड़ जाते हैं।

2. "जादुई छड़ी" (Magic Wand) प्रयोग

इसे सिद्ध करने के लिए, शोधकर्ताओं ने एक "जादुई छड़ी" वाला प्रयोग किया।

उन्होंने एक ऐसा रोबोट लिया जो केवल एक "विचारशील व्यक्ति" (बेसलाइन) बन रहा था।
उन्होंने "समुद्री डाकू" का अंतर और "नाव" का अंतर अलग-अलग निकाला।
उन्होंने उन अंतरों को एक साथ जोड़ा और उस विशिष्ट "स्वीट स्पॉट" क्षण पर रोबोट के मस्तिष्क में पेस्ट (चिपका) दिया।

परिणाम: रोबोट एक समुद्री डाकू की तरह व्यवहार करने लगा जो नाव ठीक कर रहा है! वह केवल थोड़ा बहुत समुद्री डाकू जैसा नहीं लगा; उसने वास्तव में समुद्री डाकू के शब्दों और अवधारणाओं का उपयोग किया। इसने सिद्ध कर दिया कि उस विशिष्ट क्षण पर, "समुद्री डाकू" और "नाव" के निर्देश रोबोट की विचार प्रक्रिया में केवल सरल जोड़ (additions) हैं।

3. सीमा: आप पूरा व्यक्तित्व "पेस्ट" नहीं कर सकते

यहाँ कहानी एक दीवार से टकराती है। शोधकर्ताओं ने और भी महत्वाकांक्षी होने की कोशिश की। उन्होंने पूछा: "यदि हम 'समुद्री डाकू' का गणित जानते हैं, तो क्या हम आपके प्रॉम्प्ट से 'समुद्री डाकू' शब्द को हटाकर उसके स्थान पर वह गणित पेस्ट कर सकते हैं?"

प्रयोग: उन्होंने रोबोट को प्रॉम्प्ट दिया: "मुझे नाव ठीक करने के बारे में बताएं" (इसमें "समुद्री डाकू के रूप में" को हटा दिया गया)। फिर, उन्होंने उस "समुद्री डाकू" के गणित को उस "स्वीट स्पॉट" पर रोबोट के मस्तिष्क में इंजेक्ट करने की कोशिश की।
परिणाम: यह विफल रहा। रोबोट समुद्री डाकू नहीं बना। उसने केवल एक सामान्य उत्तर दिया।

क्यों? शोध पत्र बताता है कि जबकि पहला कदम एक सरल जोड़ है, पूरी बातचीत वैसी नहीं है।

उपमा: "समुद्री डाकू" निर्देश को एक लाइटहाउस (प्रकाश स्तंभ) की तरह समझें। "स्वीट स्पॉट" वह क्षण है जब लाइटहाउस की किरण पानी पर पड़ती है। आप वहां किरण को स्पष्ट रूप से देख सकते हैं। लेकिन लाइटहाउस वास्तव में पूरे तट के साथ पानी पर चमक रहा है, न कि केवल एक स्थान पर।
रोबोट को अपना हर नया शब्द लिखते समय आपके मूल प्रॉम्प्ट में "समुद्री डाकू" शब्द को देखते रहना पड़ता है। आप केवल शुरुआत में "समुद्री डाकू" का अहसास इंजेक्ट नहीं कर सकते और उम्मीद नहीं कर सकते कि यह बना रहेगा। व्यक्तित्व पूरे प्रॉम्प्ट और रोबोट की मेमोरी में वितरित होता है, न कि केवल एक छोटे से गणितीय बिंदु में।

4. क्या यह अलग-अलग रोबोट और व्यक्तित्वों के लिए काम करता है?

शोधकर्ताओं ने इसे विभिन्न रोबोट मॉडलों (Gemma और Qwen) और कई अलग-अलग व्यक्तित्वों (Yoda से लेकर एक सॉफ्टवेयर इंजीनियर तक) और कार्यों (कविता लिखने से लेकर व्यावसायिक योजना की समीक्षा करने तक) पर परखा।

निष्कर्ष: "स्वीट स्पॉट" का नियम उन सभी के लिए सही साबित हुआ। चाहे रोबोट छोटा हो या थोड़ा बड़ा, और चाहे व्यक्तित्व छोटा हो ("Warren Buffett") या लंबा (एक डॉक्टर का पूरा पैराग्राफ), गणित उसी विशिष्ट संक्रमण बिंदु पर समान रूप से काम करता था।

सारांश

अच्छी खबर: जब एक इंस्ट्रक्शन-ट्यून्ड रोबोट एक भूमिका (जैसे "समुद्री डाकू") को एक कार्य (जैसे "नाव ठीक करना") के साथ जोड़ता है, तो उत्तर की शुरुआत के पास एक छोटा, विशिष्ट क्षण होता है जहाँ ये दोनों चीजें एक सरल, पूर्वानुमानित और योगात्मक तरीके से मिलती हैं।
बुरी खबर: आप भूमिका के वास्तविक टेक्स्ट को गणितीय शॉर्टकट से बदल नहीं सकते। रोबोट को पूरी प्रक्रिया के दौरान भूमिका को "पढ़ते" रहना पड़ता है। सरल गणित केवल उत्तर के पहले कदम की व्याख्या करता है, पूरी कहानी की नहीं।

संक्षेप में: रोबोट के मस्तिष्क में एक विशिष्ट "मिक्सिंग बाउल" (मिश्रण पात्र) है जहाँ सामग्रियां सरलता से मिलती हैं, लेकिन रेसिपी इस बात पर निर्भर करती है कि सामग्रियां पूरी खाना पकाने की प्रक्रिया के दौरान मौजूद रहें, न कि केवल उस एक बाउल में।

तकनीकी सारांश: "As X, Do Y: How Persona and Task Combine in Instruction-Tuned LLMs"

समस्या विवरण (Problem Statement)

इंस्ट्रक्शन-ट्यून्ड लार्ज लैंग्वेज मॉडल्स (LLMs) "As X, do Y" के रूप में दिए गए प्रॉम्प्ट्स को मजबूती से संभालते हैं, जहाँ एक पर्सोना स्पेसिफिकेशन ( $X$ ) को टास्क स्पेसिफिकेशन ( $Y$ ) के साथ जोड़ा जाता है। हालाँकि, यह आंतरिक तंत्र कि कैसे ये दो अलग-अलग स्पेसिफिकेशन मॉडल के रेसिडुअल स्ट्रीम (residual stream) के भीतर कॉज़ल रूप से एकीकृत होते हैं, अभी भी अज्ञात है। विशेष रूप से, यह स्पष्ट नहीं है कि लेयर और पोजीशन एक्सिस के अनुदिश वह कौन सा स्थान है जहाँ यह संयोजन इतना सरल है कि इसे एडिटिवली (additively) अनुमानित किया जा सके, और क्या परिणामी कंपोजिट स्टेट को रेसिडुअल स्ट्रीम इंटरवेंशन के माध्यम से पुनर्गठित या हेरफेर किया जा सकता है।

कार्यप्रणाली (Methodology)

यह शोध पत्र इंस्ट्रक्शन-ट्यून्ड मॉडल्स के रेसिडुअल स्ट्रीम एक्टिवेशन्स को डीकंपोज़ करने के लिए एक कॉज़ल इंटरवेंशन फ्रेमवर्क का उपयोग करता है। मुख्य कार्यप्रणाली में शामिल है:

प्रॉम्प्ट डीकंपोज़िशन (Prompt Decomposition): प्रत्येक पर्सोना-टास्क पेयर के लिए, लेखक प्रॉम्प्ट्स का एक $2 \times 2$ $2 \times 2$ ग्रिड बनाते हैं:
- बेसलाइन-बेसलाइन ($BB$): कोई विशिष्ट पर्सोना नहीं, बेसलाइन टास्क।
- पर्सोना-ओनली ($XB$): विशिष्ट पर्सोना, बेसलाइन टास्क।
- टास्क-ओनली ($BY$): बेसलाइन पर्सोना, विशिष्ट टास्क।
- पर्सोना-प्लस-टास्क ($XY$): विशिष्ट पर्सोना, विशिष्ट टास्क।
रेसिडुअल डीकंपोज़िशन (Residual Decomposition): विशिष्ट लेयर्स और सीक्वेंस पोजीशन्स पर, लेखक परिभाषित करते हैं:
- प्योर पर्सोना इफेक्ट: $\Delta X = h_{XB} - h_{BB}$
- प्योर टास्क इफेक्ट: $\Delta Y = h_{BY} - h_{BB}$
- कंबाइंड इफेक्ट: $\Delta XY = h_{XY} - h_{BB}$
- इंटरेक्शन टर्म: $Inter = \Delta XY - \Delta X - \Delta Y$
कॉज़ल सब्स्टीट्यूशन (Causal Substitution): लेखक इस परिकल्पना का परीक्षण करते हैं कि $\Delta XY \approx \Delta X + \Delta Y$ , जहाँ क्लीन $XY $हिडन स्टेट को एडिटिव प्रेडिक्शन ($ h_{BB} + \Delta X + \Delta Y$) से बदल दिया जाता है।
मूल्यांकन मेट्रिक्स (Evaluation Metrics):
- कॉज़ल KL (Causal KL): सब्स्टीट्यूशन के बाद मॉडल के आउटपुट और क्लीन $XY$ कंटीन्यूएशन के बीच कुलबैक-लीब्लर डाइवर्जेंस (Kullback-Leibler divergence) (10-टोकन विंडो पर)। कम KL इंगित करता है कि एडिटिव एप्रोक्सिमेशन कॉज़ल रूप से पर्याप्त है।
- जियोमेट्रिक अलाइनमेंट (Geometric Alignment): $\Delta XY$ और $\Delta X + \Delta Y$ के बीच कोसाइन सिमिलरिटी, और $\Delta X$ तथा $\Delta Y$ के बीच कोसाइन सिमिलरिटी।
- बिहेवियरल वेरिफिकेशन (Behavioral Verification): 80-टोकन ग्रीडी जनरेशन में पर्सोना-विशिष्ट कंटेंट (जैसे, इंजीनियर पर्सोना के लिए "scalability") की उपस्थिति को स्कोर करने वाला एक मार्कर-आधारित टेस्ट।
मॉडेल्स और ग्रिड्स (Models and Grids): प्रयोग Gemma-2-2B-IT, Qwen-2.5-1.5B-Instruct, और Qwen-2.5-3B-Instruct पर किए गए। दो प्रॉम्प्ट ग्रिड का उपयोग किया गया: एक 12-सेल "शॉर्ट ग्रिड" (4 पर्सोना, 3 टास्क) और एक 48-सेल "लॉन्ग-पर्सोना ग्रिड" (8 मल्टी-सेंटेंस पर्सोना, 6 विविध टास्क)।

मुख्य परिणाम (Key Results)

1. लोकलाइज्ड एडिटिव कंपोजिशन (Localized Additive Composition)

शोध पत्र एक विशिष्ट क्षेत्र की पहचान करता है जहाँ पर्सोना-टास्क संयोजन कॉज़ल रूप से सरल और लगभग एडिटिव है:

स्थान (Location): यह क्षेत्र अंतिम प्रॉम्प्ट टोकन ( $p_{last}$ ) और पहले दो जनरेटेड टोकन ( $g_1, g_2$ ) को कवर करता है, विशेष रूप से एक अर्ली-टू-मिड लेयर बैंड के भीतर।
साक्ष्य (Evidence): इस क्षेत्र में, एडिटिव प्रेडिक्शन ( $h_{BB} + \Delta X + \Delta Y$ ) को क्लीन रेसिडुअल के स्थान पर रखने से डाउनस्ट्रीम आउटपुट्स बहुत कम KL डाइवर्जेंस के साथ प्राप्त होते हैं (उदाहरण के लिए, Gemma-2-2B-IT के लिए लेयर 6 पर $p_{last}$ पर मीडियन KL 0.0004)।
जियोमेट्री (Geometry): वेक्टर्स $\Delta X$ और $\Delta Y$ आंशिक रूप से सेपरेबल हैं (उनके बीच कम कोसाइन सिमिलरिटी है), और इंटरेक्शन टर्म, हालांकि नॉर्म (norm) में गैर-नगण्य है, संयुक्त वेक्टर को एडिटिव सम से महत्वपूर्ण रूप से नहीं घुमाता है।
मजबूती (Robustness): यह "लोकलाइज्ड एडिटिव रिजीम" विभिन्न मॉडल स्केल्स (1.5B से 3B), विभिन्न आर्किटेक्चर (Gemma बनाम Qwen), और दोनों शॉर्ट और लॉन्ग-पर्सोना ग्रिड्स में बना रहता है।

2. बिहेवियरल फिडेलिटी (Behavioral Fidelity)

एडिटिव सब्स्टीट्यूशन पर्सोना के सिमेंटिक कंटेंट को सुरक्षित रखता है।

जब $p_{last}$ (लेयर 14) पर एडिटिव प्रेडिक्शन को सब्स्टिट्यूट किया जाता है, तो मॉडल ऐसे आउटपुट्स जनरेट करता है जिनमें क्लीन कंडीशन (जैसे, "Any marker present" के लिए 66.7% बनाम 58.3%) की तुलना में पर्सोना-विशिष्ट मार्कर्स की दर समान होती है।
महत्वपूर्ण रूप से, एक सिंगल साइट ( $p_{last}$ ) पर केवल पर्सोना योगदान ( $\Delta X$ ) को घटाने से पर्सोना मार्कर्स हटते नहीं हैं (62.5% उपस्थिति), जो दर्शाता है कि पर्सोना कंटेंट एक सिंगल रेसिडुअल वेक्टर तक सीमित नहीं है बल्कि वितरित (distributed) है।

3. एडिटिविटी की सीमा (The Boundary of Additivity)

शोध पत्र एडिटिव एप्रोक्सिमेशन की एक स्पष्ट सीमा स्थापित करता है:

होस्ट इंजेक्शन फेलियर (Host Injection Failure): एक बेसलाइन होस्ट प्रॉम्प्ट (जहाँ पर्सोना टेक्स्ट हटा दिया गया है) में कैश किए गए एडिटिव प्रेडिक्शन को सब्स्टिट्यूट करने से पूर्ण पर्सोना-कंडीशनड बिहेवियर को रिकवर करने में विफलता मिलती है। KL गैप बड़ा बना रहता है (मीडियन KL ~2.84 बनाम बेसलाइन के लिए 3.05), जो लक्षित व्यवहार का केवल एक छोटा हिस्सा ही रिकवर कर पाता है।
मल्टी-लेयर लिमिट (Multi-Layer Limit): कई लेयर्स (22 लेयर्स तक) में एडिटिव प्रेडिक्शन को क्लैंप करने से प्रदर्शन में सुधार नहीं होता है और अंततः यह प्रदर्शन को खराब कर देता है, क्योंकि यह नेचुरल फॉरवर्ड प्रोपेगेशन को रोकता है।
निष्कर्ष: लोकल एडिटिव रिजीम नेक्स्ट-स्टेप कंपोजिशन (मॉडल कैसे इनपुट से उत्तर की ओर ट्रांज़िशन करता है) को कैप्चर करता है, लेकिन यह मल्टी-टोकन जनरेशन के पूर्ण तंत्र को नहीं समझा पाता, जो प्रॉम्प्ट में पूरे पर्सोना-टेक्स्ट पोजीशन्स पर अटेंशन (attention) पर निर्भर करता है।

मुख्य योगदान (Key Contributions)

कंपोजिशन का लोकलाइजेशन (Localization of Composition): शोध पत्र उस विशिष्ट क्षेत्र (उत्तर निर्माण के समय अर्ली/मिड लेयर्स) को परिभाषित करता है जहाँ पर्सोना और टास्क स्पेसिफिकेशन कॉज़ल रूप से सरल और एडिटिव रूप से संयोजित होते हैं।
प्रभावों का डीकंपोज़िशन (Decomposition of Effects): यह प्योर पर्सोना इफेक्ट्स, प्योर टास्क इफेक्ट्स और उनके इंटरेक्शन को अलग करते हुए रेसिडुअल-स्ट्रीम-लेवल अकाउंट प्रदान करता है, यह प्रदर्शित करते हुए कि हालांकि इंटरेक्शन मौजूद है, फिर भी एडिटिव सम पहचाने गए क्षेत्र में कंपोजिट स्टेट के लिए एक मजबूत प्रेडिक्टर है।
लोकल और डिस्ट्रिब्यूटेड मैकेनिज्म के बीच अंतर (Distinction between Local and Distributed Mechanisms): यह कार्य स्पष्ट करता है कि जबकि पर्सोना और टास्क का कंपोजिशन उत्तर निर्माण के बिंदु पर लोकल रूप से एडिटिव है, पर्सोना-कंडीशनड कंटेंट का जनरेशन एक वितरित तंत्र (distributed mechanism) है जो पूरे प्रॉम्प्ट संदर्भ पर अटेंशन पर निर्भर करता है, जिसे सिंगल रेसिडुअल वेक्टर द्वारा प्रतिस्थापित नहीं किया जा सकता है।

महत्व और दावे (Significance and Claims)

शोध पत्र दावा करता है कि यह एक रेसिडुअल-स्ट्रीम-लेवल अकाउंट प्रदान करता है कि रोल प्रॉम्प्टिंग कहाँ कॉज़ल रूप से सरल है कि उसे एडिटिवली अनुमानित किया जा सके और वह कहानी कहाँ समाप्त होती है।

विनम्रता (Modesty): लेखक स्पष्ट रूप से कहते हैं कि वे "सर्किट-लेवल क्लोजर" (विशिष्ट न्यूरॉन्स या वेट्स की पहचान करना) का दावा नहीं करते हैं और न ही वे कंट्रोल के लिए कोई स्टीयरिंग टूल प्रस्तावित करते हैं। इसका उद्देश्य लक्षण वर्णन (characterization) है, नियंत्रण (control) नहीं।
सामान्यीकरण (Generality): निष्कर्ष विभिन्न मॉडल परिवारों और प्रॉम्प्ट जटिलताओं में मान्य हैं, जो रोल और टास्क को कैसे एकीकृत किया जाता है, इस संबंध में इंस्ट्रक्शन-ट्यून्ड मॉडल्स के एक सामान्य गुण का सुझाव देते हैं।
सीमा (Limitation): शोध पत्र स्वीकार करता है कि विश्लेषण उत्तर निर्माण के निकटतम क्षेत्र तक सीमित है और यह लंबे समय तक पर्सोना बनाए रखने के लिए आवश्यक पूर्ण डिस्ट्रिब्यूटेड मैकेनिज्म का वर्णन नहीं करता है।

संक्षेप में, शोध पत्र यह प्रदर्शित करता है कि "As X, do Y" प्रॉम्प्ट्स इनपुट से आउटपुट के ट्रांज़िशन के पास एक लोकलाइज्ड एडिटिव रिजीम बनाते हैं, लेकिन पूर्ण पर्सोना-कंडीशनड जनरेशन एक व्यापक, डिस्ट्रिब्यूटेड अटेंशन मैकेनिज्म पर निर्भर करता है जो सरल रेसिडुअल सब्स्टीट्यूशन का विरोध करता है।