A Gravitational Interpretation of Fine-Tuning Reversion

तकनीकी सारांश: फाइन-ट्यूनिंग रिवर्जन (Fine-Tuning Reversion) का एक गुरुत्वाकर्षण संबंधी व्याख्यात्मक दृष्टिकोण

समस्या विवरण (Problem Statement)
यह शोध पत्र उस घटना को संबोधित करता है जहाँ हानिरहित और सौहार्दपूर्ण डेटा पर लार्ज लैंग्वेज मॉडल्स (LLMs) की फाइन-ट्यूनिंग करने से उनके पूर्ववर्ती प्रशिक्षण चरणों के दौरान प्राप्त सुरक्षा व्यवहार (safety behaviors) आंशिक रूप से समाप्त हो जाते हैं। यह "सुरक्षा क्षरण" (safety erosion) हानिकारक क्षमताओं के पुनरुत्थान, असंबंधित पर्यवेक्षण के माध्यम से अंतर्निहित लक्षणों के हस्तांतरण, और मानक टेक्स्ट-टू-टेक्स्ट सुरक्षा से परे जेनेरेटिव सेटिंग्स में भंगुरता के रूप में प्रकट होता है। जबकि मौजूदा साहित्य यह स्थापित करता है कि सुरक्षा संरेखण (safety alignment) एक उथले, लो-रैंक सबस्पेस (low-rank subspace) में स्थित है और मॉडल केवल सीमित स्थानीय बेसिनों के भीतर ही सुरक्षित रहते हैं, वहाँ इस बात की कमी है कि क्यों सौहार्दपूर्ण पोस्ट-अलाइनमेंट अपडेट विभिन्न सेटिंग्स में इतनी बार इन संशोधनकारी प्रभावों (revisionary effects) को उत्पन्न करते हैं। लेखक इस विचार का खंडन करते हैं कि ये केवल नए प्राप्त व्यवहार हैं जो पुराने व्यवहारों के साथ संघर्ष कर रहे हैं, बल्कि वे प्रस्ताव देते हैं कि ये प्रारंभिक, प्रभावी व्यवहारिक क्षेत्रों की ओर वापसी का प्रतिनिधित्व करते हैं।

कार्यप्रणाली (Methodology)
लेखक फाइन-ट्यूनिंग रिवर्जन की एक "गुरुत्वाकर्षण संबंधी व्याख्या" (gravitational interpretation) प्रस्तावित करते हैं, जो प्रशिक्षण इतिहास की ज्यामितीय विषमता (geometric asymmetry) पर आधारित है। नोट: यहाँ "गुरुत्वाकर्षण" शब्द का उपयोग एक भौतिक गतिशील नियम के बजाय एक ज्यामितीय और अनुकूलन रूपक (optimization metaphor) के रूप में किया गया है, जो प्रारंभिक प्रशिक्षण अवस्थाओं की ओर एक इतिहास-प्रेरित पूर्वाग्रह का वर्णन करता है। मुख्य परिकल्पना यह है कि बड़े प्रारंभिक प्रशिक्षण चरण (प्री-ट्रेनिंग, व्यापक हेल्पफुल ट्यूनिंग) प्रभावी व्यवहारिक मैनिफोल्ड्स (behavioral manifolds) बनाते हैं, जबकि बाद के अलाइनमेंट या विशेषज्ञता चरण इन मैनिफोल्ड्स से उथले विस्थापन (shallow displacements) के रूप में कार्य करते हैं। इसके बाद होने वाली सौहार्दपूर्ण फाइन-ट्यूनिंग के बारे में परिकल्पना है कि इसमें एक निरंतर "रिवर्जन घटक" (reversion component) होता है जो प्रारंभिक प्रभावी क्षेत्र की ओर संकेत करता है।

इसे संचालित करने के लिए, शोध पत्र विशिष्ट सक्रियण-स्थान वस्तुओं (activation-space objects) को परिभाषित करता है:

1. विटनेस-परिभाषित रिवर्जन दिशा ($v_{rev}$): अंतर्निहित मैनिफोल्ड को सीधे देखने के बजाय, लेखक "हेल्पफुल-ओनली विटनेस" ($\theta_H$) का निर्माण करते हैं। ये लघु, केवल-हेल्पफुल फाइन-ट्यूनिंग चरणों के माध्यम से बेस मॉडल से प्राप्त चेकपॉइंट्स हैं। वेक्टर $v_{rev}$ को सुरक्षा-संरेखित शुरुआती मॉडल ($\theta_S$) से एक हेल्पफुल विटनेस ($\theta_H$) तक सक्रियण स्थान (activation space) में विस्थापन के रूप में परिभाषित किया गया है।
2. ट्रैजेक्टरी डिकंपोजिशन (Trajectory Decomposition): लेखक परिकल्पना करते हैं कि एक सौहार्दपूर्ण उद्देश्य का ग्रेडिएंट एक कार्य घटक ($g_{task}$) और एक रिवर्जन घटक ($g_{rev}$) में विभाजित होता है जो $v_{rev}$ के साथ संरेखित है।
3. प्रायोगिक सेटअप:
   • मॉडेल्स: मुख्य प्रयोग Llama-3.1-8B का उपयोग करते हैं; सहायक रन Llama-3.2-3B और Qwen2.5-3B का उपयोग करते हैं।
   • प्रोब्स (Probes): सक्रियण-स्थान विस्थापनों को मापने के लिए प्रोब फैमिली के रूप में 16 AdvBench प्रॉम्प्ट्स का एक निश्चित सेट उपयोग किया जाता है।
   • फाइन-ट्यूनिंग: Alpaca (निर्देश), HumanEvalPack (कोड), और GSM8K (गणित) पर दोनों LoRA और फुल फाइन-ट्यूनिंग का उपयोग करके सौहार्दपूर्ण फाइन-ट्यूनिंग की जाती है।
   • हस्तक्षेप (Intervention): लेखक एक सहायक लॉस (auxiliary loss) पेश करते हैं जो $v_{rev}$ के अनुदिश गति को चुनिलेक्टिवली ब्लॉक या एम्प्लीफाई करता है, जिससे $v_{rev}$ की कारण प्रासंगिकता (causal relevance) का परीक्षण किया जा सके।

उन्होंने इसका परीक्षण कैसे किया

1. दिशात्मक उद्भव (Directional Emergence): मुख्य 8B सेटिंग में, फाइन-ट्यूनिंग ट्रैजेक्टरी और $v_{rev}$ के बीच संरेखण तेजी से बढ़ता है। पहले अपडेट के बाद कोसाइन सिमिलरिटी $0.429 \pm 0.052$ से बढ़कर स्टेप 20 तक $0.647 \pm 0.021$ हो जाती है। यह संरेखण सांख्यिकीय रूप से महत्वपूर्ण है, जो प्रत्येक देखे गए रन-स्टेप पेयर में एक आइसोट्रोपिक एक्टिवेशन-स्पेस नल (isotropic activation-space null) के $p_{99}$ से अधिक है।
2. स्थिरता और अभिसरण (Stability and Convergence): दिशा $v_{rev}$ विभिन्न हेल्पफुल-ओनली विटनेस निर्माणों (विभिन्न सीड्स के साथ LoRA और फुल फाइन-ट्यूनिंग) में स्थिर है। इसके अलावा, अलग-अलग सौहार्दपूर्ण कार्य (जैसे कोड बनाम गणित) जो लगभग ऑर्थोगोनल वेट अपडेट प्रेरित करते हैं, $v_{rev}$ अक्ष के साथ सक्रियण स्थान में अत्यधिक संरेखित बदलावों की ओर अभिसरित होते हैं (औसत पेयरवाइज कोसाइन $\approx 0.82$)।
3. व्यवहार संबंधी युग्मन (Behavioral Coupling): बेसलाइन रन में, $v_{rev}$ के साथ संरेखण की वृद्धि असुरक्षित विचलन (unsafe drift) के साथ सह-विकसित होती है। ज्यामितीय संरेखण, स्पियरमैन सहसंबंध $r = 0.877$ के साथ डाउनस्ट्रीम गिरावट की भविष्यवाणी करता है। उदाहरण के लिए, Alpaca पर फुल फाइन-ट्यूनिंग स्टेप 100 पर $19.0\% \pm 4.0\%$ की हानिकारकता दर की ओर ले जाती है, जबकि LoRA अपडेट कार्य-निर्भर भिन्नता दिखाते हैं।
4. कारण हस्तक्षेप (Causal Intervention): $v_{rev}$ के अनुदिश गति को चुनिलेक्टिवली ब्लॉक करने से परिणाम महत्वपूर्ण रूप से बदल जाते हैं। 8B सेटिंग में, $v_{rev}$ को ब्लॉक करने से स्टेप 100 पर हानिकारकता $19.0\% \pm 4.0\%$ (बेसलाइन) से घटकर $8.5\% \pm 1.5\%$ हो जाती है, जबकि कार्य प्रदर्शन (परप्लेक्सिटी स्थिर रहती है) बना रहता है। इसके विपरीत, $v_{rev}$ के अनुदिश धकेलने से हानिकारकता बढ़कर $59.0\%$ हो जाती है। रैंडम-डायरेक्शन कंट्रोल्स इस प्रभाव को दोबारा उत्पन्न नहीं करते हैं, जो $v_{rev}$ की विशिष्टता की पुष्टि करता है।
5. सामान्यीकरण (Generalization): रिवर्जन दिशा तब भी बनी रहती है जब शुरुआती बिंदु को गैर-सुरक्षा विशेषज्ञता (जैसे कोड-विशेषज्ञ मॉडल) द्वारा विस्थापित किया जाता है, जो यह सुझाव देता है कि यह घटना प्रशिक्षण-इतिहास की विषमता (training-history asymmetry) द्वारा संचालित है न कि केवल सुरक्षा संरेखण के कारण।

महत्व और दावे
यह शोध पत्र पोस्ट-अलाइनमेंट भंगुरता (fragility) को समझने के लिए एक एकीकृत, यांत्रिक लेंस प्रदान करने का दावा करता है। इसके प्राथमिक योगदान हैं:

• पुनर्गठन (Reframing): यह तर्क देता है कि सुरक्षा गिरावट केवल एक संकीर्ण विफलता मोड नहीं है, बल्कि एक व्यापक, इतिहास-निर्भर रिवर्जन घटना का उदाहरण है जहाँ अनुकूलन स्वाभाविक रूप से प्रारंभिक प्रभावी व्यवहारिक क्षेत्रों की ओर वापस जाने वाले पथ का अनुसरण करता है।
• एक कारण मध्यस्थ की पहचान (Identification of a Causal Mediator): यह एक ठोस, इतिहास-परिभाषित दिशा ($v_{rev}$) की पहचान करता है जिसका बाद की फाइन-ट्यूनिंग स्वाभाविक रूप से अनुसरण करती है। महत्वपूर्ण रूप से, शोध पत्र प्रदर्शित करता है कि इस दिशा में हेरफेर करने से डाउनस्ट्रीम सुरक्षा परिणामों को कारणवश बदला जा सकता है।
• परिचालन वैधता (Operational Validity): लेखक स्पष्ट रूप से कहते हैं कि वे सीधे डोमिनेंट मैनिफोल्ड को देखने का दावा नहीं करते हैं, न ही वे यह दावा करते हैं कि $v_{rev}$ एकमात्र सुरक्षा दिशा है। बल्कि, वे एक मजबूत, विटनेस-परिभाषित दिशा की पहचान करते हैं जो प्रारंभिक रिवर्जन डायनेमिक्स की व्याख्या करती है और उसे आंशिक रूप से नियंत्रित करती है।

शोध पत्र निष्कर्ष निकालता है कि असमान प्रशिक्षण इतिहास (बड़े प्रारंभिक चरण बनाम उथले बाद के चरण) द्वारा प्रेरित "गुरुत्वाकर्षण" पूर्वाध (gravitational bias) एक संरचनात्मक परिणाम है जिसे अलाइनमेंट रणनीतियों में संबोधित किया जाना चाहिए, क्योंकि सरल उथले सुधार (shallow corrections) निरंतर रिवर्जन घटक का मुकाबला करने के लिए अपर्याप्त हो सकते हैं।