Compositional Steering of Large Language Models with Steering Tokens

यहाँ शोध पत्र "Compositional Steering of Large Language Models with Steering Tokens" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वास्तविक दुनिया के परिदृश्यों में लार्ज लैंग्वेज मॉडल्स (LLMs) को तैनात करने के लिए अक्सर कई आउटपुट व्यवहारों को एक साथ नियंत्रित करने की आवश्यकता होती है (जैसे, एक ऐसा उत्तर उत्पन्न करना जो फ्रेंच में हो, 50 शब्दों से कम का हो, और लोअरकेस (lowercase) में हो)। इसे कंपोजिशनल स्टीयरिंग (compositional steering) कहा जाता है।

मौजूदा दृष्टिकोण महत्वपूर्ण सीमाओं का सामना करते हैं:

• फाइन-ट्यूनिंग (Fine-tuning): $N$ व्यवहारों के प्रत्येक संयोजन के लिए मॉडल मापदंडों (parameters) को अपडेट करना गणनात्मक रूप से अत्यधिक महंगा ($2^N$ प्रक्रियाएं) है और इसमें कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) या नकारात्मक हस्तक्षेप (negative interference) का जोखिम होता है।
• नेचुरल लैंग्वेज प्रॉम्प्टिंग (Natural Language Prompting): हालांकि यह लचीला है, मानक निर्देश प्रॉम्प्टिंग नाजुक (brittle) है; अर्थपूर्ण रूप से समान प्रॉम्प्ट अक्सर असंगत परिणाम देते हैं, और जब कई बाधाओं (constraints) को एक साथ जोड़ा जाता है, तो प्रदर्शन काफी गिर जाता है।
• एक्टिवेशन स्टीयरिंग (Activation Steering): वे विधियाँ जो मॉडल के आंतरिक एक्टिवेशन स्पेस में वेक्टर्स इंजेक्ट करती हैं (जैसे, कॉन्ट्रास्टिव एक्टिवेशन एडिशन), अक्सर व्यवहारों के अनदेखे संयोजनों (unseen combinations) तक सामान्यीकरण करने में विफल रहती हैं या उनके लिए ऑर्थोगोनल बाधाओं की आवश्यकता होती है जिन्हें स्केल करना कठिन होता है।
• जिस्ट टोकन्स (Gist Tokens): मौजूदा टोकन-संपीड़न (token-compression) विधियाँ एकल निर्देशों पर ध्यान केंद्रित करती हैं और कई अलग-अलग व्यवहारों को संयोजित करने के तंत्र की कमी होती है।

मुख्य चुनौती एक ऐसा स्टीयरिंग तंत्र बनाना है जो मॉडल के आंतरिक मापदंडों को बदले बिना व्यवहारों के जीरो-शॉट कंपोजिशन (zero-shot composition) (अनदेखे व्यवहारों और अनदेखे व्यवहारों की संख्या सहित) की अनुमति दे सके।

2. कार्यप्रणाली: कंपोजिशनल स्टीयरिंग टोकन्स (Methodology: Compositional Steering Tokens)

लेखक स्टीयरिंग टोकन्स (Steering Tokens) का प्रस्ताव करते हैं, जो एक ऐसी विधि है जो बेस LLM को फ्रीज (frozen) रखते हुए पूरी तरह से इनपुट एम्बेडिंग स्पेस (input embedding space) में कार्य करती है। यह दृष्टिकोण सेल्फ-डिस्टिलेशन (self-distillation) का उपयोग करके दो अलग-अलग प्रशिक्षण चरणों से बना है।

A. आर्किटेक्चर (Architecture)

• व्यवहार टोकन ($<b>$): प्रत्येक व्यवहार $b$ (जैसे, "French", "10-50 words") के लिए, एक समर्पित प्रैनेबल (trainable) एम्बेडिंग वेक्टर $e_b$ सीखा जाता है।
• **कंपोजिशन टोकन ($$):** "कंपोजिशन" की अवधारणा को दर्शाने के लिए एक समर्पित प्रैनेबल वेक्टर$e_{}$ सीखा जाता है।
• इनपुट फॉर्मेट: मॉडल को व्यवहार $b_i$ और $b_j$ के साथ स्टीयर करने के लिए, इनपुट अनुक्रम इस प्रकार बनाया जाता है: [Prompt Tokens] + $e_{b_i}$ + $e_{<and>}$ + $e_{b_j}$।

B. प्रशिक्षण प्रक्रिया (Training Process - Self-Distillation)

मॉडल को एक फ्रीज़्ड "टीचर" (बेस LLM) और एक "स्टूडेंट" (वही LLM जिसमें स्टीयरिंग टोकन जोड़े गए हैं) का उपयोग करके प्रशिक्षित किया जाता है।

1. चरण 1: व्यक्तिगत व्यवहार टोकन का प्रशिक्षण (Training Individual Behavior Tokens)

   • टीचर इनपुट: प्रॉम्प्ट + नेचुरल लैंग्वेज इंस्ट्रक्शन (जैसे, "Answer in French")।
   • स्टूडेंट इनपुट: प्रॉम्प्ट + व्यवहार टोकन (जैसे, <french>)।
   • उद्देश्य: टीचर और स्टूडेंट के आउटपुट डिस्ट्रीब्यूशन के बीच KL-डाइवर्जेंस (KL-divergence) को कम करना। व्यवहार टोकन निर्देश के प्रभाव की नकल करना सीखता है।
   • इनिशियलाइजेशन (Initialization): व्यवहार टोकन को उनके संबंधित निर्देश के शब्दों के एम्बेडिंग्स के माध्य (mean) के रूप में इनिशियलाइज किया जाता है।

2. चरण 2: कंपोजिशन टोकन का प्रशिक्षण (Training the Composition Token)

   • टीचर इनपुट: प्रॉम्प्ट + दो व्यवहारों के निर्देश (जैसे, "Answer in French. Use 10-50 words.")।
   • स्टूडेंट इनपुट: प्रॉम्प्ट + व्यवहार टोकन + कंपोजिशन टोकन (जैसे, <french> <and> <words_10_50>)।
   • उद्देश्य: KL-डाइवर्जेंस को कम करना। महत्वपूर्ण रूप से, इस चरण के दौरान व्यवहार टोकन ($$, $$) फ्रीज (frozen) रहते हैं। यह $$ टोकन को विशिष्ट व्यवहार वेक्टर्स को संशोधित करने के बजाय कंपोजिशन के कार्य को सीखने के लिए मजबूर करता है।
   • ऑर्थोगोनैलिटी रेगुलराइजेशन (Orthogonality Regularization): एक लॉस टर्म ($L_{orth}$) जोड़ा जाता है जो $$ एम्बेडिंग को सभी फ्रीज्ड व्यवहार एम्बेडिंग्स के ऑर्थोगोनल रहने के लिए मजबूर करता है। यह कंपोजिशन टोकन को किसी एक व्यवहार के प्रतिनिधित्व में ढहने (collapse) से रोकता है और यह सुनिश्चित करता है कि यह एक विशिष्ट "कॉम्बिनेटोरियल" (combinatorial) कार्य सीखता है।

3. मुख्य योगदान (Key Contributions)

1. इनपुट-स्पेस कंपोजिशन: एक्टिवेशन स्टीयरिंग के विपरीत, यह विधि इनपुट टोकन स्पेस में कार्य करती है, जिससे मॉडल की आंतरिक स्थिति में हस्तक्षेप किए बिना अधिक प्रभावी जीरो-शॉट कंपोजिशन संभव होता है।
2. समर्पित कंपोजिशन ऑपरेटर: सीखे जाने योग्य <and> टोकन का परिचय मॉडल को निम्नलिखित के लिए सामान्यीकरण करने की अनुमति देता है:
   • देखे गए व्यवहारों के अनदेखे संयोजन।
   • अनदेखे व्यवहारों वाले संयोजन।
   • व्यवहारों की अनदेखी संख्या के संयोजन (जैसे, पेयर्स पर प्रशिक्षण, ट्रिपल्स पर अनुमान)।
3. पूरकता (Complementarity): यह विधि दर्शाती है कि स्टीयरिंग टोकन और नेचुरल लैंग्वेज इंस्ट्रक्शन एक-दूसरे के पूरक हैं; दोनों को मिलाने से बेहतर प्रदर्शन मिलता है।
4. कठोर मूल्यांकन (Rigorous Evaluation): शोध पत्र कई मॉडल परिवारों (Qwen, Llama, OLMo, Gemma) और आकारों (3B से 14B) में सत्यापन योग्य बाधाओं (लंबाई, भाषा, प्रारूप, संरचना) पर बड़े पैमाने पर मूल्यांकन प्रदान करता है, जो मानव मूल्यांकन की व्यक्तिपरकता से बचता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने अपने तरीके का मूल्यांकन स्टैंडर्ड प्रॉम्प्टिंग, एक्टिवेशन स्टीयरिंग (CAA), LM-Steer और LoRA मर्जिंग (DARE) सहित बेसलाइन के विरुद्ध किया।

• बेहतर सामान्यीकरण (Superior Generalization): <and> ऑपरेटर के साथ स्टीयरिंग टोकन ने अनदेखे (unseen) संयोजनों पर टेक्स्ट इंस्ट्रक्शन की तुलना में काफी बेहतर प्रदर्शन किया।
  • उदाहरण: Qwen3-8B पर, अनसीन 3-व्यवहार संयोजनों के लिए, हाइब्रिड विधि (Tokens + Instructions) ने 62.9% सटीकता प्राप्त की, जबकि केवल इंस्ट्रक्शन के लिए यह 54.0% थी।
• क्रम के प्रति मजबूती (Robustness to Order): हालांकि शुद्ध टोकन स्टीयरिंग ने टोकन क्रम के प्रति कुछ संवेदनशीलता दिखाई, लेकिन हाइब्रिड दृष्टिकोण (Tokens + Instructions) ने ऑर्डर वेरिएंस को काफी कम कर दिया, जिससे सिस्टम इनपुट में बाधाओं के क्रम के प्रति मजबूत बना।
• स्केलिंग लॉज़ (Scaling Laws):
  • प्रदर्शन मॉडल के आकार के साथ सुधरा (3B $\to$ 14B)।
  • केवल 2-व्यवहार संयोजनों पर <and> टोकन को प्रशिक्षित करना 14B मॉडल्स के लिए 3-व्यवहार संयोजनों तक सामान्यीकरण करने के लिए पर्याप्त था। 3-व्यवहार डेटा पर स्पष्ट रूप से प्रशिक्षण देने से बड़े पैमाने पर कभी-कभी प्रदर्शन गिर गया, जो बताता है कि बड़े मॉडल्स सरल उदाहरणों से कंपोजिशनल लॉजिक को अधिक कुशलता से सीखते हैं।
• मॉडल एग्नोस्टिक (Model Agnostic): यह तरीका विविध आर्किटेक्चर (Qwen, Llama, OLMo) में काम कर गया, हालांकि सुधार की मात्रा भिन्न थी (जैसे, Llama मॉडल्स को Qwen मॉडल्स की तुलना में हाइब्रिड दृष्टिकोण से अधिक लाभ हुआ)।
• एब्लेशन स्टडीज (Ablation Studies):
  • <and> टोकन को हटाने से अनदेखे संयोजनों पर प्रदर्शन गिर गया।
  • ऑर्थोगोनैलिटी रेगुलराइजेशन महत्वपूर्ण था; इसके बिना, कंपोजिशन टोकन प्रभावी ढंग से सामान्यीकरण करने में विफल रहा।
  • ऑर्थोगोनैलिटी बाधाओं के साथ <and> टोकन का जीरो-इनिशियलाइजेशन (zero-initialization) सटीकता और वेरिएंस के बीच सबसे अच्छा संतुलन प्रदान करता है।

5. महत्व और प्रभाव (Significance and Impact)

यह कार्य LLM परिनियोजन (deployment) में एक महत्वपूर्ण बाधा को संबोधित करता है: फाइन-ट्यूनिंग की लागत के बिना एड-हॉक, मल्टी-कंस्ट्रेंट कंट्रोल की आवश्यकता।

• दक्षता (Efficiency): यह फाइन-ट्यूनिंग के लिए एक पैरामीटर-एफिशिएंट विकल्प प्रदान करता है, जिसमें मॉडल वेट्स को अपडेट करने के बजाय केवल वेक्टर्स के एक छोटे सेट ($|B| + 1$) को सीखने की आवश्यकता होती है।
• **स्केलेबिलिटी (Scalability): संरचनाओं के सेट अक्सर बदलते रहते हैं, जहाँ यह दृष्टिकोण गतिशील, वास्तविक दुनिया के अनुप्रयोगों के लिए व्यवहार्य बनाता है।
• व्यावहारिकता (Practicality): सत्यापन योग्य बाधाओं पर ध्यान केंद्रित करके, यह शोध पत्र पूर्व कार्यों में सामान्य रूप से पाए जाने वाले उपाख्यानात्मक साक्ष्य (anecdotal evidence) से आगे बढ़कर कंपोजिशनल कंट्रोल के लिए एक कठोर बेंचमार्क स्थापित करता है।
• भविष्य की दिशा (Future Direction): निष्कर्ष बताते हैं कि "कंपोजिशन" एम्बेडिंग स्पेस के भीतर एक सीखे जाने योग्य, विशिष्ट कार्य है, जो केवल नेचुरल लैंग्वेज या एक्टिवेशन वेक्टर्स के बजाय सीखे गए ऑपरेटर्स के माध्यम से LLMs को नियंत्रित करने के नए रास्ते खोलता है।

निष्कर्षतः, कंपोजिशनल स्टीयरिंग टोकन्स मल्टी-व्यवहार नियंत्रण के लिए एक मजबूत, स्केलेबल और कुशल तंत्र प्रदान करते हैं, जो यह प्रदर्शित करते हैं कि सीखे गए इनपुट टोकन विविध LLM आर्किटेक्चर में जटिल कंपोजिशनल लॉजिक को प्रभावी ढंग से सामान्यीकृत कर सकते हैं।