तकनीकी सारांश: सब्लिमिनल लर्निंग स्टीयरिंग वेक्टर डिस्टिलेशन (Steering Vector Distillation) है

समस्या विवरण (Problem Statement)

सब्लिमिनल लर्निंग (Subliminal learning) एक ऐसी घटना है जहाँ एक छात्र भाषा मॉडल (student language model), जब एक शिक्षक मॉडल (teacher model) के आउटपुट पर फाइन-ट्यून किया जाता है, तो वह शिक्षक के गुप्त व्यवहार संबंधी गुणों (जैसे कि बिल्लियों के प्रति पसंद) को भी आत्मसात कर लेता है, भले ही प्रशिक्षण डेटा उन गुणों से अर्थहीन (semantically unrelated) हो (जैसे कि संख्या अनुक्रम)। जबकि पिछले कार्यों ने यह स्थापित किया था कि ऐसा होता है, लेकिन इसका तंत्र (mechanism) स्पष्ट नहीं था। विशेष रूप से, यह अज्ञात था कि गैर-अर्थपूर्ण डेटा विशिष्ट अर्थपूर्ण गुणों को कैसे प्रसारित कर सकता है, कुछ गुण क्यों स्थानांतरित होते हैं जबकि अन्य क्यों नहीं, और यह प्रभाव मुख्य रूप से एक ही मॉडल परिवार के भीतर शिक्षक-छात्र जोड़ों तक ही सीमित क्यों रहता है। पूर्व परिकल्पनाओं, जैसे कि टोकन एंटैंगलमेंट (token entanglement) या डाइवर्जेंस टोकन (divergence tokens) ने यह तो पहचाना कि सिग्नल कहाँ स्थित है, लेकिन वे यह समझाने में विफल रहे कि फाइन-ट्यूनिंग के दौरान सिग्नल का स्थानांतरण कैसे होता है।

कार्यप्रणाली (Methodology)

लेखक प्रस्तावित करते हैं कि सब्लिमिनल लर्निंग एक एकल स्टीयरिंग वेक्टर (steering vector) द्वारा संचालित होती है—जो मॉडल के रेसिडुअल स्ट्रीम (residual stream) में एक दिशा है, जिसे एक्टिवेशन में जोड़ने पर व्यवहार को लक्षित गुण की ओर बदल दिया जाता है। यह अध्ययन ओपन-सोर्स मॉडल्स (Qwen2.5-7B-Instruct, Gemma-3-4b-it, Llama-3.1-8B-Instruct, और OLMo-3-7B-Instruct) का उपयोग करते हुए एक तीन-चरणीय पाइपलाइन का उपयोग करता है:

1. शिक्षक पीढ़ी (Teacher Generation): एक संदर्भ मॉडल को एक गुण-प्रेरित सिस्टम प्रॉम्प्ट (जैसे, "You love cats") के साथ प्रॉम्प्ट किया जाता है और डेटा (जैसे, संख्या अनुक्रम) उत्पन्न किया जाता है। इस डेटा को गुण के किसी भी सतही अर्थपूर्ण संदर्भ को हटाने के लिए फ़िल्टर किया जाता है।
2. वेक्टर निष्कर्षण (Vector Extraction):
   • $v_{teacher}$: इसे ट्रेट-इंड्यूसिंग प्रॉम्प्ट (trait-inducing prompt) और एक न्यूट्रल प्रॉम्प्ट के तहत संदर्भ मॉडल के रेसिडुअल-स्ट्रीम एक्टिवेशन के बीच के औसत अंतर के रूप में परिभाषित किया गया है।
   • $v_{student}$: इसे समान प्रशिक्षण डेटा पर फाइन-ट्यून किए गए छात्र और संदर्भ मॉडल (न्यूट्रल प्रॉम्प्ट के तहत) के बीच एक्टिवेशन के औसत अंतर के रूप में परिभाषित किया गया है।
3. कारण परीक्षण (Causal Testing): लेखक पर्याप्तता (sufficiency) और आवश्यकता (necessity) परीक्षण करते हैं:
   • पर्याप्तता (Sufficiency): बेस मॉडल को $v_{student}$ (या $v_{teacher}$) के साथ स्टीयर करना ताकि यह देखना कि क्या यह बिना फाइन-ट्यूनिंग के गुण को पुनरुत्पादित करता है।
   • आवश्यकता (Necessity): एक फाइन-ट्यून किए गए छात्र से $v_{student}$ को हटाना (इसके प्रोजेक्शन को संदर्भ मॉडल के साथ बदलकर) यह देखने के लिए कि क्या गुण गायब हो जाता है।
4. डिस्टिलेशन प्रयोग (Distillation Experiments): लेखक इस सेटअप को "स्टीयरिंग वेक्टर डिस्टिलेशन" तक विस्तारित करते हैं, जहाँ छात्रों को ऐसे डेटा पर प्रशिक्षित किया जाता है जो विभिन्न अर्थपूर्ण गुणों (जैसे, "Pirate," "Shakespearean," "Happiness") या रैंडम वेक्टर्स के साथ स्टीयर किए गए शिक्षक द्वारा उत्पन्न किया गया है।
5. ऑप्टिमाइज़र विश्लेषण (Optimizer Analysis): अध्ययन यह निर्धारित करने के लिए कि स्टीयरिंग वेक्टर प्राप्त करने में अनुकूलन (adaptive optimizers - Adam, AdamW) बनाम गैर-अनुकूलन (non-adaptive - SGD, SGD with momentum) की क्या भूमिका है, उनकी तुलना करता है।

मुख्य योगदान और परिणाम (Key Contributions and Results)

1. सब्लिमिनल लर्निंग एक एकल स्टीयरिंग वेक्टर द्वारा संचालित है

पेपर प्रदर्शित करता है कि फाइन-ट्यूनिंग छात्र के रेसिडुअल स्ट्रीम में एक एकल दिशा ($v_{student}$) स्थापित करती है जो शिक्षक के स्टीयरिंग वेक्टर ($v_{teacher}$) के साथ निकटता से संरेखित (aligned) होती है।

• संरेखण (Alignment): एम्पिरिकल एक्टिवेशन सिमिलैरिटी (EAS) दिखाता है कि प्रशिक्षण के दौरान $v_{student}$, $v_{teacher}$ के साथ संरेखित होता है।
• कारणता (Causality):
  • पर्याप्तता (Sufficiency): बेस मॉडल को $v_{student}$ के साथ स्टीयर करने से गुण-अभिव्यक्ति दर में उल्लेखनीय वृद्धि होती है।
  • आव्यता (Necessity): फाइन-ट्यून किए गए छात्र से $v_{student}$ घटक को हटाने से गुण-संरेखित व्यवहार का 50% से अधिक हिस्सा दब जाता है।
• शिक्षक की भूमिका: इसी प्रकार, $v_{teacher}$ आवश्यक और पर्याप्त है। $v_{teacher}$ के साथ एब्लेट (ablated) किए गए शिक्षक द्वारा उत्पन्न डेटा पर प्रशिक्षण करने से गुण प्रेरित करने में विफलता मिलती है, जबकि $v_{teacher}$ (बिना सिस्टम प्रॉम्प्ट के) के साथ बेस मॉडल को स्टीयर करके उत्पन्न डेटा पर प्रशिक्षण करने से सफलतापूर्वक गुण प्रेरित होता है।

2. स्टीयरिंग वेक्टर डिस्टिलेशन एक सामान्य घटना है

लेखक दिखाते हैं कि यह तंत्र अर्थपूर्ण गुणों के "सब्लिमिनल लर्निंग" से परे भी विस्तारित है।

• रैंडम वेक्टर्स: रैंडम वेक्टर्स या स्पार्स ऑटोएनकोडर (SAE) फीचर्स के साथ स्टीयर किए गए शिक्षक के डेटा पर प्रशिक्षित छात्र सफलतापूर्वक उन वेक्टर्स के साथ संरेखित होना सीख जाते हैं।
• अर्थपूर्ण स्थानांतरण (Semantic Transfer): हालाँकि, व्यवहार संबंधी गुण (अर्थपूर्ण अर्थ) केवल तभी स्थानांतरित होता है जब स्टीयरिंग वेक्टर स्वयं अनुमान (inference) के समय मॉडल के व्यवहार को बदलने में सक्षम हो। यदि कोई वेक्टर बेस मॉडल को किसी गुण को प्रदर्शित करने के लिए स्टीयर नहीं कर सकता, तो छात्र उस गुण को सब्लिमिनल रूप से नहीं सीख पाएगा, भले ही वह वेक्टर दिशा को सीख ले।

3. मॉडल विशिष्टता और गुण चयनात्मकता की व्याख्या

पेपर दो प्रमुख रहस्यों को सुलझाता है:

• कुछ गुण क्यों विफल होते हैं: वे गुण जो मॉडल में स्टीयरिंग वेक्टर द्वारा अच्छी तरह से प्रतिनिधित्व नहीं किए जाते हैं (अर्थात, $v_{teacher}$ के साथ स्टीयर करने से मॉडल का व्यवहार नहीं बदलता), उन्हें सब्लिमिनल रूप से नहीं सीखा जा सकता। वेक्टर को उस विशिष्ट मॉडल के एक्टिवेशन स्पेस में गुण का एक वैध "वाहक" (carrier) होना चाहिए।
• क्रॉस-मॉडल स्थानांतरण क्यों विफल होता है: स्टीयरिंग वेक्टर्स मॉडल-विशिष्ट होते हैं। एक मॉडल (जैसे, OLMo) से निकाले गए दिशाएँ दूसरे मॉडल (जैसे, Qwen) के कंपलीशन पर विश्वसनीय रूप से लॉस (loss) को कम नहीं करती हैं, भले ही वे एक ही गुण के लिए हों। सब्लिमिनल लर्निंग उन मॉडल-विशिष्ट घटकों पर निर्भर करती है जो स्टीयरिंग दिशा में होते हैं और जो विभिन्न आर्किटेक्चरों में सामान्य (generalize) नहीं होते हैं।

4. अनुकूलित ऑप्टिमाइज़र्स की भूमिका

एक महत्वपूर्ण निष्कर्ष यह है कि भाषा मॉडलों में सब्लिमिनल लर्निंग के लिए अनुकूलित ऑप्टिमाइज़र्स (जैसे Adam) आवश्यक हैं, जबकि साधारण SGD विफल रहता है।

• तंत्र (Mechanism): शिक्षक-जनित डेटा पर ग्रेडिएंट्स में स्टीयरिंग दिशा के साथ एक छोटा लेकिन सुसंगत घटक होता है।
• SGD की विफलता: SGD में, बहुत बड़े ग्रेडिएंट वाले कुछ पैरामीटर्स अपडेट स्टेप्स पर हावी हो जाते हैं, जिससे सूक्ष्म, सुसंगत स्टीयरिंग सिग्नल दब जाता है।
• Adam की सफलता: एडेप्टिव स्केलिंग इन आउटलायर स्केल्स पर अपडेट को दबा देती है, जिससे स्टीयरिंग वेक्टर के साथ संरेखित छोटा और सुसंगत घटक संचित (accumulate) हो पाता है और गुण स्थापित हो जाता है।

महत्व और दावे (Significance and Claims)

पेपर यह दावा करता है कि वह सब्लिमिनल लर्निंग को स्टीयरिंग वेक्टर डिस्टिलेशन के एक विशेष मामले के रूप में कम करके इसके यांत्रिक स्पष्टीकरण (mechanistic explanation) प्रदान करता है। लेखक तर्क देते हैं कि:

1. तंत्र: गैर-अर्थपूर्ण डेटा अर्थपूर्ण गुणों को प्रसारित करता है क्योंकि शिक्षक के आउटपुट में "मॉडल-विशिष्ट निशान" (स्टीयरिंग वेक्टर) होते हैं जो छात्र के लिए शिक्षक के गुप्त पूर्वाग्रह (latent bias) को पुनर्गठित करने के लिए पर्याप्त होते हैं।
2. पूर्वानुमेयता: किसी दिए गए गुण के लिए सब्लिमिनल लर्निंग की सफलता का पूर्वानुमान इस बात के परीक्षण से लगाया जा सकता है कि क्या उस गुण का स्टीयरिंग वेक्टर अनुमान के समय बेस मॉडल के व्यवहार को प्रभावी ढंग से बदल सकता है।
3. सीमाएँ: लेखक विनम्रतापूर्वक नोट करते हैं कि हालांकि स्टीयरिंग वेक्टर डिस्टिलेशन यह समझाने के लिए केंद्रीय रहस्य को हल करता है कि गैर-अर्थपूर्ण डेटा गुणों को कैसे प्रसारित करता है, यह सभी भिन्नताओं (variance) की पूरी तरह से व्याख्या नहीं करता है (उदाहरण के लिए, $v_{student}$ सभी मामलों में गुण आत्मीयता को पूरी तरह से रिकवर नहीं करता है, और प्रभाव का आकार मॉडल आर्किटेक्चर के अनुसार भिन्न होता है)। वे यह भी स्वीकार करते हैं कि अनुकूलित ऑप्टिमाइज़र्स की आवश्यकता के लिए अनुभवजन्य अवलोकन के अलावा कोई सैद्धांतिक स्पष्टीकरण नहीं है।

यह कार्य सुझाव देता है कि स्टीयरिंग वेक्टर्स न केवल अनुमान-समय हस्तक्षेप (inference-time intervention) के उपकरण हैं, बल्कि प्रतिनिधित्व की मौलिक इकाइयाँ भी हैं जिन्हें मानक फाइन-ट्यूनिंग के माध्यम से डिस्टिल किया जा सकता है, यहाँ तक कि ऐसे डेटा से भी जो अर्थपूर्ण रूप से तटस्थ प्रतीत होता है।