🤖 machine learning

Crafting Reversible SFT Behaviors in Large Language Models

यह शोध पत्र लॉस-कंस्ट्रेंड ड्यूल डिसेंट (LCDD) और SFT-इरेज़र को पेश करता है जो सुपरवाइज्ड फाइन-ट्यूनिंग व्यवहारों को विरल, कारण संबंधी रूप से आवश्यक उप-नेटवर्कों ("कैरियर्स") में संकुचित करने के लिए है जिन्हें मॉडल वेट्स को संशोधित किए बिना एक सॉफ्ट प्रॉम्प्ट के माध्यम से इन्फरेंस के समय चुनिंदा रूप से दबाया जा सकता है।

मूल लेखक: Yuping Lin, Pengfei He, Yue Xing, Yingqian Cui, Jiayuan Ding, Subhabrata Mukherjee, Hui Liu, Zhen Xiang

प्रकाशित 2026-05-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuping Lin, Pengfei He, Yue Xing, Yingqian Cui, Jiayuan Ding, Subhabrata Mukherjee, Hui Liu, Zhen Xiang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही स्मार्ट रोबोट (एक लार्ज लैंग्वेज मॉडल) है जिसे एक नया करतब सिखाया गया है, जैसे हमेशा सवालों के जवाब में "मुझे नहीं पता" कहना, या खतरनाक सवालों के जवाब देने से मना करना, या शेक्सपियर की तरह बोलना। इस प्रक्रिया को सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) कहा जाता है।

समस्या जो लेखकों ने पाई है वह यह है कि जब आप रोबोट को यह नया करतब सिखाते हैं, तो उस करतब का "ज्ञान" रोबोट के दिमाग में हर जगह बिखर जाता है। यह वैसा ही है जैसे किसी को साइकिल चलाना सिखाना लेकिन उसके द्वारा शरीर की हर मांसपेशी का उपयोग करना, बजाय केवल उसकी टांगों और संतुलन का। क्योंकि यह कौशल हर जगह फैला हुआ है, इसलिए बाद में इसे बंद करना मुश्किल है बिना रोबोट की सामान्य रूप से बोलने की क्षमता को खराब किए।

यह पेपर परिचय देता है कि कैसे एक नए करतब को रोबोट के दिमाग के अंदर एक बहुत ही विशिष्ट, संक्षिप्त तरीके से सिखाया जाए ताकि वह करतब दिमाग के एक छोटे से, अलग "कमरे" में रहे। फिर वे दिखाते हैं कि वे एक गुप्त कोड के साथ उस विशिष्ट कमरे को कैसे बंद कर सकते हैं, जिससे रोबोट तुरंत अपना नया करतब भूल जाए, जबकि उसका बाकी दिमाग पूरी तरह से सुरक्षित रहे।

उन्होंने इसे कैसे किया, यहाँ सरल उपमाओं का उपयोग किया गया है:

1. समस्या: "मैसी एटिक" (बिखरा हुआ अटारी)

आमतौर पर, जब आप एक मॉडल को फाइन-ट्यून करते हैं, तो नया व्यवहार एक बिखरी हुई अटारी की तरह फैल जाता है। यदि आप बाद में उस व्यवहार को हटाना चाहते हैं, तो आपको पूरी अटारी को खंगालना होगा, और आप अनजाने में रोबोट की गणित करने या ईमेल लिखने की क्षमता को भी हटा सकते हैं। आप उस नए व्यवहार के लिए सटीक "स्विच" को आसानी से नहीं ढूंढ सकते क्योंकि यह बाकी सब चीजों के साथ उलझा हुआ है।

2. समाधान भाग 1: LCDD (द "पैकिंग एक्सपर्ट")

लेखकों ने एक विधि बनाई जिसे लॉस-कंस्ट्रेंड डुअल डिसेंट (LCDD) कहा जाता है। इसे एक सुपर-व्यवस्थित पैकिंग विशेषज्ञ के रूप में सोचें।

लक्ष्य: वे चाहते हैं कि आप उस "नए व्यवहार" को लें और उसे रोबोट के दिमाग के भीतर एक छोटे, विरल (sparse) "बैकपैक" (जिसे वे कैरियर कहते हैं) में फिट करने के लिए मजबूर करें।
प्रतिबंध (Constraint): वे पैकिंग विशेषज्ञ को बताते हैं: "आपको पूरे नए व्यवहार को इस छोटे बैकपैक में फिट करना होगा, लेकिन आप यह नहीं कर सकते कि रोबोट अपने अन्य कार्यों (जैसे सवालों के सही जवाब देना) को करना भूल जाए।"
परिणाम: विशेषज्ञ सफलतापूर्वक नए व्यवहार को एक छोटे, अलग सब-नेटवर्क में संकुचित (compress) कर देता है। रोबोट का बाकी दिमाग बिल्कुल वैसा ही रहता है जैसा प्रशिक्षण से पहले था। नया व्यवहार अब इस छोटे बैकपैक पर 100% निर्भर है। यदि बैकपैक मौजूद है, तो व्यवहार होता है। यदि बैकपैक को ब्लॉक कर दिया जाता है, तो व्यवहार गायब हो जाता है।

3. समाधान भाग 2: SFT-Eraser (द "सीक्रेट कोड")

एक बार जब व्यवहार उस छोटे बैकपैक के भीतर लॉक हो जाता है, तो लेखकों ने एक दूसरा टूल बनाया जिसे SFT-Eraser कहा जाता है।

यह कैसे काम करता है: वे रोबोट के दिमाग के वजन (weights) को नहीं बदलते (जो कि रोबोट की मैनुअल को फिर से लिखने जैसा नहीं है)। इसके बजाय, वे एक विशेष सॉफ्ट प्रॉम्प्ट (इनपुट में जोड़े गए अदृश्य, गणितीय "शब्दों" का एक क्रम) बनाते हैं।
जादू: जब इस गुप्त कोड को किसी सवाल में जोड़ा जाता है, तो यह उस "बैकपैक" को विशेष रूप से जाम करने वाली एक चाबी की तरह काम करता है जहाँ नया व्यवहार रहता है।
परिणाम: रोबोट तुरंत अपने मूल व्यक्तित्व में वापस आ जाता है। यदि इसे शेक्सपियर की तरह बोलने के लिए प्रशिक्षित किया गया था, तो यह अचानक आधुनिक अंग्रेजी बोलने लगता है। यदि इसे खतरनाक सवालों को मना करने के लिए प्रशिक्षित किया गया था, तो यह फिर से उनके जवाब देने लगता है। रोबोट को "अनट्रेन" नहीं किया गया है; उसके दिमाग के उस विशिष्ट हिस्से को अस्थायी रूप से निष्प्रभावी कर दिया गया था जो उस व्यवहार को थामे हुए था।

4. प्रमाण: क्यों संरचना मायने रखती है

लेखकों ने यह साबित करने के लिए एक महत्वपूर्ण परीक्षण चलाया कि संरचना (छोटा बैकपैक) ही असली नायक था, न कि केवल गुप्त कोड।

प्रयोग: उन्होंने उसी "गुप्त कोड" का उपयोग एक ऐसे रोबोट पर करने की कोशिश की जिसमें वह छोटा बैकपैक नहीं था (एक मानक रोबोट जहाँ व्यवहार हर जगह बिखरा हुआ है)।
परिणाम: कोड विफल रहा। यह व्यवहार को बंद नहीं कर सका क्योंकि जाम करने के लिए कोई एकल, अलग लक्ष्य मौजूद नहीं था।
सबक: यह साबित करता है कि आप एक बिखरे हुए दिमाग से व्यवहार को बस "हैक" करके नहीं निकाल सकते। आपको पहले उस व्यवहार के रहने के लिए एक साफ, अलग संरचना बनानी होगी। एक बार जब वह अलग हो जाता है, तो आप उसे पूरी तरह से नियंत्रित कर सकते हैं।

सारांश कि उन्होंने क्या पाया

क्या हम व्यवहार को प्रतिवर्ती (reversible) बना सकते हैं? हाँ।
कैसे? प्रशिक्षण के दौरान व्यवहार को एक छोटे, विरल "कैरियर" में मजबूर करके (LCDD का उपयोग करके) और फिर एक विशेष इनपुट कोड (SFT-Eraser) का उपयोग करके उस कैरियर को ब्लॉक करके।
क्या यह काम करता है? उन्होंने तीन बहुत अलग व्यवहारों पर इसका परीक्षण किया:
1. फिक्स्ड रिस्पॉन्स: रोबोट को हमेशा "मुझे नहीं पता" कहने के लिए बनाना।
2. सेफ्टी (सुरक्षा): रोबोट को हानिकारक सवालों के जवाब देने से मना करने के लिए बनाना।
3. स्टाइल (शैली): रोबोट को शेक्सपियर की तरह बोलने के लिए बनाना।
निर्णय: सभी मामलों में, वे सफलतापूर्वक व्यवहार को मस्तिष्क के एक छोटे हिस्से में संकुचित करने में सफल रहे और बिना रोबोट के अंतर्निहित कोड को बदले, इसे अपनी इच्छानुसार चालू और बंद कर सके।

महत्वपूर्ण नोट: "गुप्त कोड" जिसे वे उपयोग करते हैं वह एक निरंतर गणितीय अनुक्रम (एक "सॉफ्ट प्रॉम्प्ट") है, न कि एक साधारण शब्द जिसे आप चैट बॉक्स में टाइप कर सकते हैं। पेपर इस बात को सिद्ध करने के लिए इसका उपयोग करता है कि व्यवहारों को कारणवश (causally) अलग और नियंत्रित किया जा सकता है, न कि इसे रोजमर्रा के चैटबॉट्स के लिए एक तैयार उत्पाद के रूप में।

तकनीकी सारांश: बड़े भाषा मॉडलों (LLMs) में प्रतिवर्ती (Reversible) SFT व्यवहारों का निर्माण करना

समस्या विवरण

सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) बड़े भाषा मॉडलों (LLMs) में तैनाती-महत्वपूर्ण व्यवहारों (जैसे सुरक्षा संरेखण, निर्देश पालन, शैली अनुकूलन) को स्थापित करने के लिए मानक तंत्र है। हालांकि, SFT प्रक्रिया इस बात पर कोई संरचनात्मक प्रतिबंध नहीं लगाती है कि ये व्यवहार आंतरिक रूप से कैसे व्यवस्थित हैं। फलस्वरूप, सीखे गए व्यवहार अक्सर विसरित रूप से एनकोडेड (diffusely encoded), अतिरेकपूर्ण (redundantly represented), या असंबंधित गणनाओं के साथ उलझे हुए होते हैं।

संरचना की यह कमी दो प्राथमिक सीमाएं पैदा करती है:

कारण निदान विफलता (Causal Diagnosis Failure): मौजूदा पोस्ट-हॉक व्याख्या विधियां (जैसे सर्किट एट्रिब्यूशन) व्यवहारों के सह-संबंधित स्पार्स सबनेटवर्क्स की पहचान करती हैं। हालांकि, सहसंबंध (correlation) का अर्थ कारण (causation) नहीं है। क्योंकि पूर्ण मॉडल में रेडंडेंट पाथवे बने रहते हैं, इसलिए एक सह-संबंधित सबनेटवर्क को एब्लेट (ablate) करने से व्यवहार को दबाना संभव नहीं हो सकता है, जिससे कारण अनिवार्यता (causal necessity) को निर्णायक रूप से स्थापित करना असंभव हो जाता है।
सीमित कारण नियंत्रण (Limited Causal Controllability): वर्तमान विधियां ऐसी स्पार्स उप-संरचना (substructure) को स्थापित नहीं कर सकतीं जो SFT-प्रेरित व्यवहार के लिए यांत्रिक रूप से आवश्यक हो। जबकि टास्क-वेक्टर एडिटिंग और मॉडल एडिटिंग पैरामीटर्स को संशोधित कर सकते हैं, वे ऐसी उप-संरचना उत्पन्न नहीं करते हैं जिसे फिक्स्ड वेट्स के तहत केवल इनपुट हस्तक्षेप (input intervention) के माध्यम से संबोधित किया जा सके।

यह शोध प्रश्न संबोधित करता है: क्या SFT-प्रेरित व्यवहारों को जानबूझकर स्पार्स, यांत्रिक रूप से आवश्यक उप-संरचनाओं (कैरियर्स) में संकुचित किया जा सकता है जो फिक्स्ड वेट्स के तहत इन्फरेंस के समय नियंत्रणीय रहें?

कार्यप्रणाली (Methodology)

लेखक एक दो-चरणीय ढांचा प्रस्तावित करते हैं: कैरियर को गढ़ने के लिए लॉस-कंस्ट्रेंड ड्यूल डिसेंट (LCDD), और इनपुट हस्तक्षेप के माध्यम से इसकी आवश्यकता को सत्यापित करने के लिए SFT-Eraser।

1. वेट-चेंज पैरामीटराइजेशन (Weight-Change Parameterization)

यह दृष्टिकोण SFT-प्रेरित गणना को एक योगात्मक वेट परिवर्तन $\Delta W = W_{ft} - W_{base}$ के रूप में मानता है। मॉडल को $W = W_{base} + M \odot \Delta W$ के रूप में पैरामीटराइज किया गया है, जहाँ $M$ एक बाइनरी मास्क है। लक्ष्य वह सबसे स्पार्स $M$ खोजना है जो कार्य व्यवहार को सुरक्षित रखे।

2. LCDD: स्पार्स कैरियर्स को गढ़ना

LCDD एक स्पष्ट उपयोगिता बजट (utility budget) के तहत व्यवहार को एक स्पार्स कैरियर में संकुचित करने के लिए मास्क $M$ और वेट डेल्टा $\Delta W$ को संयुक्त रूप से अनुकूलित (optimize) करता है।

स्ट्रक्चर्ड स्पार्सिटी (Structured Sparsity): मनमाने वेट तत्वों के बजाय, स्पार्सिटी को एक्टिवेशन चैनल स्तर (वेट मैट्रिसेस की पंक्तियाँ और कॉलम) पर लागू किया जाता है। यह रैंक-1 स्ट्रक्चर्ड मास्क ( $M_{jk} = m_{row, j} \cdot m_{col, k}$ ) बनाता है जो इनपुट और आउटपुट एक्टिवेशन को गेट करता है, जिससे SFT-प्रेरित डेल्टा गणना को अलग किया जा सके।
ऑप्टिमाइजेशन ऑब्जेक्टिव: यह विधि कार्य हानि $L_{task}$ को एक बजट $\epsilon$ के भीतर रखते हुए स्पारलिटी पेनल्टी (सिग्मॉइड गेट लॉजिट्स का योग) को कम करती है।
एडेप्टिव पेनल्टी (Adaptive Penalty): एक एडेप्टिव पेनल्टी पद्धति का उपयोग किया जाता है जहाँ कंस्ट्रेंट उल्लंघन के आधार पर ऑनलाइन $\lambda_t$ को अपडेट किया जाता है। एक लीनियर स्पार्सिटी वार्मअप का उपयोग किया जाता है ताकि संपीड़न शुरू होने से पहले मॉडल स्थिर हो सके।
संयुक्त अनुकूलन (Joint Optimization): महत्वपूर्ण रूप से, मास्क और वेट डेल्टा दोनों को संयुक्त रूप से अनुकूलित किया जाता है। यह शेष वेट्स को प्रून किए गए कनेक्शनों के चारों ओर पुनर्गठित होने की अनुमति देता है, जिससे केवल मास्क-आधारित दृष्टिकोणों की तुलना में अधिक गहरी स्पार्सिटी संभव होती है।

3. SFT-Eraser: आवश्यकता का सत्यापन करना

एक बार स्पार्स कैरियर तैयार हो जाने के बाद, SFT-Eraser यह परीक्षण करता है कि क्या वेट संशोधन के बिना एक इनपुट ट्रिगर द्वारा व्यवहार को दबाया जा सकता है।

लक्ष्य चयन (Target Selection): ट्रिगर "रेसिड्यूअल राइट चैनल्स" (FFN और अटेंशन डेल्टा पाथ के आउटपुट गेट्स) को लक्षित करता है, जो रेसिड्यूअल स्ट्रीम के साथ कैरियर का इंटरफेस होते हैं।
ट्रिगर ऑप्टिमाइजेशन: एक सॉफ्ट प्रॉम्प्ट (सतत टोकन एम्बेडिंग्स) को एक संयुक्त हानि को कम करने के लिए अनुकूलित किया जाता है:
- $L_{MSE}$ : कैरियर के राइट एक्टिवेशन्स को उसी इनपुट पर बेस मॉडल के एक्टिवेशन्स की ओर ले जाता है।
- $L_{KL}$ : सुनिश्चित करता है कि आउटपुट डिस्ट्रीब्यूशन बेस मॉडल की ओर वापस लौट जाए (केवल चैनल-लेवल मैचिंग से होने वाले आर्टिफैक्ट्स को रोकने के लिए)।
- $L_2$ : ट्रिगर मैग्नीट्यूड को रेगुलराइज करने के लिए ताकि डिजेनरेट एम्बेडिंग्स को रोका जा सके।
सफलता का मानदंड: रिवर्सल को तब सफल माना जाता है जब ट्रिगर SFT व्यवहार को दबा देता है और आउटपुट डिस्ट्रीब्यूशन को बेस मॉडल की ओर वापस ले जाता है, जो यह सिद्ध करता है कि कैरियर ही 'कॉज़ल बॉटलनेक' (causal bottleneck) है।

मुख्य योगदान

कंस्ट्रक्टिव कैरियर्स की पहली जांच: यह पेपर SFT व्यवहारों के लिए स्पार्स, यांत्रिक रूपेक्ट रूप से आवश्यक उप-संरचनाओं को पोस्ट-हॉक खोजने के बजाय, प्रशिक्षण के दौरान उन्हें जानबूझकर निर्मित करने की व्यवहार्यता की जांच करने वाला पहला शोध है।
LCDD फ्रेमवर्क: स्पष्ट उपयोगिता बाधाओं के तहत मास्क और वेट्स के संयुक्त अनुकूलन के माध्यम से SFT व्यवहारों को स्पार्स कैरियर्स में संकुचित करने की एक विधि पेश करता है।
SFT-Eraser प्रोटोकॉल: एक इनपुट-ट्रिगर प्रोटोकॉल प्रस्तावित करता है जो निर्मित कैरियर्स की कारण अनिवार्यता (causal necessity) को सत्यापित करता है। यदि एक ट्रिगर फिक्स्ड वेट्स के तहत व्यवहार को दबा देता है, तो यह सिद्ध होता है कि कैरियर ही व्यवहार का 'कॉज़ल लोकस' (causal locus) है, न कि केवल सह-संबंधित।
अनुभवजन्य सत्यापन (Empirical Validation): तीन व्यवहार प्रकारों (फिक्स्ड रिस्पॉन्स, सेफ्टी अलाइनमेंट, शेक्सपियर स्टाइल) और चार मॉडल परिवारों (Qwen, DeepSeek, Mistral, Vicuna) में यह प्रदर्शित करता है कि:
- LCDD उच्च निष्ठा (fidelity) के साथ लक्षित व्यवहारों को सुरक्षित रखता है।
- SFT-Eraser इन व्यवहारों को सफलतापूर्वक उलट देता है।
- स्पार्स संरचना रिवर्सल के लिए आवश्यक पूर्व शर्त है; मानक SFT मॉडलों (बिना निर्मित कैरियर के) पर समान ट्रिगर लगाने से डिस्ट्रीब्यूशनल रिवर्जन प्राप्त करने में विफलता होती है।

प्रयोगात्मक परिणाम

प्रयोग तीन बढ़ते संरचनात्मक जटिलता वाले कार्यों को कवर करते हैं:

फिक्स्ड रिस्पॉन्स: मॉडल "मुझे नहीं पता" कहना सीखता है। LCDD ने लगभग पूर्ण व्यवहार संरक्षण के साथ उच्च स्पार्सिटी (73–84%) प्राप्त की। ट्रिगर्स ने फिक्स्ड-रिस्पॉन्स दर को शून्य के करीब ला दिया।
सेफ्टी अलाइनमेंट: हानिकारक/सौम्य डेटा पर प्रशिक्षित। LCDD ने उच्च सुरक्षा इनकार दर (88–98%) बनाए रखी। ट्रिगर्स ने सफलतापूर्वक सुरक्षा मेट्रिक्स को कम किया (कम इनकार, उच्च अटैक सक्सेस) और डिस्ट्रीब्यूशन को बेस मॉडल की ओर वापस ले गया।
शेक्सपियर स्टाइल: एक डिस्ट्रीब्यूशनल स्टाइल ट्रांसफर कार्य। शैलीगत व्यवहार की विसरित प्रकृति के कारण स्पार्सिटी कम थी (30–56%), लेकिन ट्रिगर्स ने अभी भी शैली को प्रभावी ढंग से दबा दिया।

एब्लेशन निष्कर्ष (Ablation Findings):

स्ट्रक्चर बनाम ट्रिगर: एक मानक SFT मॉडल (बिना LCDD के) पर SFT-Eraser ट्रिगर लगाने से व्यवहार संबंधी व्यवधान तो हुआ, लेकिन बेस मॉडल की डिस्ट्रीब्यूशन को वापस लाने में विफलता मिली। यह पुष्टि करता है कि स्पार्स संरचना ही सक्रिय कारक है, न कि ट्रिगर डिज़ाइन।
संयुक्त अनुकूलन: मास्क-ओनली ऑप्टिमाइजेशन (वेट्स को स्थिर रखकर और केवल मास्क को अनुकूलित करके) पर्याप्त स्पार्सिटी डेप्थ या विश्वसनीय रिवर्सल प्राप्त करने में विफल रहा, जो पुष्टि करता है कि लक्षित बॉटलनेक बनाने के लिए संयुक्त वेट पुनर्गठन आवश्यक है।

महत्व और दावे

पेपर यह दावा करता है कि यह SFT-प्रेरित व्यवहारों के लिए सीखे गए कैरियर्स के 'कॉज़लली नेसेसरी' (causally necessary) होने के प्रत्यक्ष प्रमाण प्रदान करता है। निर्मित स्पार्स उप-संरचना के माध्यम से, लेखक निम्नलिखित सक्षम करते हैं:

कारण निदान (Causal Diagnosis): फिक्स्ड वेट्स के तहत इनपुट हस्तक्षेप के माध्यम से सहसंबंध से आगे बढ़कर आवश्यकता का परीक्षण करना।
मॉड्यूलर कंट्रोल: बिना रिट्रेनिंग या वेट मॉडिफिकेशन के इन्फरेंस के समय विशिष्ट व्यवहारों का ऑडिट या चयनात्मक रूप से दबाने की क्षमता।

लेखक सीमाओं को भी नोट करते हैं, जिसमें ट्रिगर्स के लिए निरंतर सॉफ्ट प्रॉम्प्ट्स (डिस्क्रीट टोकन के बजाय) का उपयोग और संरचनात्मक एब्लेशन के लिए एकल मॉडल-टास्क संयोजन पर मूल्यांकन शामिल है। वे दोहरे उपयोग के जोखिम को भी स्वीकार करते हैं, क्योंकि इस कार्यप्रणाली का सैद्धांतिक रूप से तैनात मॉडलों से सुरक्षा संरेखण को हटाने के लिए उपयोग किया जा सकता है। यह कार्य व्याख्यात्मकता अनुसंधान (interpretability research) के भविष्य के दिशाओं का सुझाव देता है, जैसे कि व्यवहारिक रूपांतरण की 'डिस्क्रिप्शन कॉम्प्लेक्सिटी' के प्रॉक्सी के रूप में कैरियर स्पार्सिटी का उपयोग करना।