तकनीकी सारांश: चयनात्मक परत बहाली विविधता को पुनः प्राप्त करती है (Selective Layer Restoration Recovers Diversity)

समस्या विवरण

पोस्ट-ट्रेनिंग तकनीकें, जैसे कि इंस्ट्रक्शन ट्यूनिंग और मानव फीडबैक से सुदृढीकरण सीखना (RLHF), लार्ज लैंग्वेज मॉडल्स (LLMs) की निर्देश-अनुपालन क्षमताओं और उपयोगिता को महत्वपूर्ण रूप से बढ़ाती हैं। हालाँकि, ये विधियाँ अक्सर मोड कोलैप्स (mode collapse) उत्पन्न करती हैं, जो एक ऐसी घटना है जहाँ मॉडल प्रतिक्रियाओं की एक संकीर्ण सीमा को अत्यधिक उच्च प्रायिकता (probability mass) प्रदान करता है, जिससे विविध लेकिन वैध विकल्प दब जाते हैं। यह खुले-अंत वाले परिवेशों (जैसे, रचनात्मक लेखन, ओपन-एंडेड QA, और तर्क प्रक्रिया) में दोहराव वाली आउटपुट उत्पन्न करता है, जिससे उन अनुप्रयोगों में मॉडल की उपयोगिता सीमित हो जाती है जहाँ विशिष्ट प्रतिक्रियाओं का महत्व होता है।

मौजूदा शमन रणनीतियाँ तीन श्रेणियों में आती हैं, जिनमें से प्रत्येक की अपनी सीमाएँ हैं:

1. डिकोडिंग-आधारित विधियाँ (जैसे, टेम्परेचर स्केलिंग, मिन-पी सैंपलिंग) स्टोकेस्टिसिटी (stochasticity) को बढ़ाती हैं लेकिन पोस्ट-ट्रेनिंग के दौरान पैरामीटर परिवर्तनों के कारण खोई हुई विविधता को पुनः प्राप्त नहीं कर सकतीं।
2. प्रॉम्प्ट-आधारित विधियाँ (जैसे, कई उत्तरों का अनुरोध करना) अनुमान लागत (inference costs) को बढ़ाती हैं और प्रॉम्प्ट की शब्दावली के प्रति संवेदनशील होती हैं।
3. प्रशिक्षण-आधारित विधियाँ (जैसे, ऑब्जेक्टिव रीडिज़ाइन) के लिए महंगे पुन: प्रशिक्षण और डेटा संग्रह की आवश्यकता होती है।

लेखक एक ऐसी विधि चाहते हैं जो प्रभावी रूप से विविधता को पुनः प्राप्त करे, अनुकूलन के दौरान कम्प्यूटेशनल रूप से कुशल हो, और अनुमान-समय (inference-time) पर कोई अतिरिक्त लागत न लाए।

कार्यप्रणाली (Methodology)

प्रस्तावित दृष्टिकोण, चयनात्मक परत बहाली (Selective Layer Restoration - SLR), दो अनुभवजन्य अवलोकनों पर आधारित एक ट्रेनिंग-फ्री वेट-स्पेस हस्तक्षेप है:

1. LLM परतें विशिष्ट कार्यात्मक भूमिकाएँ प्रदर्शित करती हैं (जैसे, तथ्यात्मक संबंध अक्सर मध्य-गहराई वाली परतों तक स्थानीयकृत होते हैं)।
2. पोस्ट-ट्रेनिंग मुख्य रूप से इस बात को निर्देशित करती है कि कौन से प्री-ट्रेंड व्यवहार व्यक्त किए जाने चाहिए, जो अक्सर अन्य व्यवहारों को दबा देता है (कैटास्ट्रोफिक फॉरगेटिंग), न कि पूरी तरह से नया ज्ञान प्राप्त करता है।

लेखक परिकल्पना करते हैं कि मोड कोलैप्स विशिष्ट परतों तक स्थानीयकृत है और एक सावधानीपूर्वक चुनी गई परतों की श्रेणी को पोस्ट-ट्रेंड मॉडल ($M_{post}$) में उनके प्री-ट्रेंड वेट्स ($M_{pre}$) से बदलकर विविधता को बनाए रखते हुए उसे पुनः प्राप्त किया जा सकता है।

SLR ढांचा

$N$ परतों वाले मॉडल के लिए, SLR एक हाइब्रिड मॉडल $M_{i:j}$ का निर्माण करता है जो $M_{post}$ में परतों के एक निरंतर अंतराल $[i, j]$ को $M_{pre}$ के संगत परतों से बदल देता है। लक्ष्य उस अंतराल $(i, j)$ को खोजना है जो न्यूनतम गुणवत्ता थ्रेशोल्ड ($Q \ge q_{min}$) के अधीन विविधता ($D$) को अधिकतम करता है।

CRC प्रॉक्सी टास्क

जटिल डाउनस्ट्रीम कार्यों पर बहाली अंतराल (restoration interval) को सीधे अनुकूलित करना कम्प्यूटेशनल रूप से महंगा है और "गुणवत्ता" की व्यक्तिपरकता के कारण इसका मूल्यांकन करना कठिन है। इसे संबोधित करने के लिए, लेखक कन्स्ट्रेंड रैंडम कैरेक्टर (Constrained Random Character - CRC) को एक प्रॉक्सी टास्क के रूप में पेश करते हैं।

• तंत्र: CRC में एक कड़ाई से परिभाषित वैध सेट (जैसे, "एक यादृच्छिक पूर्णांक [0, 5] के बीच उत्पन्न करें") के भीतर यादृच्छिक वर्णों (अंक या अक्षर) को उत्पन्न करना शामिल है।
• मेट्रिक्स:
  • गुणवत्ता ($Q_{CRC}$): वैध आउटपुट को दी गई प्रायिकता द्रव्यमान (यह निर्देश अनुपालन को मापता है)।
  • विविधता ($D_{CRC}$): वैध आउटपुट के वितरण पर एंट्रॉपी (यह विविधता को मापता है)।
• चयन प्रक्रिया: लेखक सभी संभावित निरंतर परत अंतरालों पर CRC का उपयोग करके ग्रिड सर्च करते हैं। वे उस अंतराल का चयन करते हैं जो $Q_{CRC} \ge 0.9 \times Q_{CRC}(M_{post})$ को संतुष्ट करते हुए $D_{CRC}$ को अधिकतम करता है। इस चयनित अंतराल को बिना किसी और ट्यूनिंग के डाउनस्ट्रीम कार्यों पर लागू किया जाता है।

मुख्य योगदान

1. चयनात्मक परत बहाली (SLR): यह एक ट्रेनिंग-फ्री विधि है जो पोस्ट-ट्रेंड LLM में परतों के एक विशिष्ट निरंतर अंतराल को उनके प्री-ट्रेंड पैरामीटर्स से बहाल करती है। यह मूल आर्किटेक्चर और पैरामीटर संख्या को सुरक्षित रखती है, जिससे कोई अतिरिक्त अनुमान लागत नहीं आती। यह डिकोडिंग और प्रॉम्प्ट-आधारित विविधता विधियों के पूरक के रूप में भी कार्य करती है।
2. कन्स्ट्रेंड रैंडम कैरेक्टर (CRC): एक प्रॉक्सी टास्क जिसमें एक स्पष्ट वैधता सेट और प्राकृतिक विविधता उद्देश्य है। CRC बहाली अंतरालों के कुशल, कम लागत वाले अन्वेषण को सक्षम बनाता है और परत-स्थानीयकरण परिकल्पना के लिए अनुभवजन्य साक्ष्य प्रदान करता है।
3. अनुभवजन्य सत्यापन: तीन मॉडल परिवारों (Llama, Qwen, Gemma) और तीन डाउनस्ट्रीम कार्यों (रचनात्मक लेखन, ओपन-एंडेड QA, मल्टी-स्टेप रीजनिंग) में व्यापक मूल्यांकन।

प्रयोगात्मक परिणाम

लेखकों ने SLR का मूल्यांकन पोस्ट-ट्रेंड बेसलाइन और एक "मॉडल सूप" (Model Soup) बेसलाइन (प्री-ट्रेंड और पोस्ट-ट्रेंड मॉडल्स का भारित पैरामीटर औसत) के विरुद्ध किया।

• रचनात्मक लेखन: SLR ने न्यूनतम गुणवत्ता हानि (औसत -2.1% LLM-जज स्कोर में) के साथ लगातार विविधता में सुधार किया (औसत +42.5% एम्बेडिंग-आधारित असामान्यता में वृद्धि)। इसके विपरीत, मॉडल सूप ने कम विविधता लाभ (+27.3%) और अधिक महत्वपूर्ण गुणवत्ता गिरावट (-6.0%) दिखाई।
• ओपन-एंडेड QA: SLR ने उत्तरों की विविधता में पर्याप्त वृद्धि की, जो +112.7% एंट्रॉपी वृद्धि और +169.5% कवरेज (विशिष्ट सही उत्तरों का अंश) में वृद्धि दिखाता है, जबकि उच्च परिशुद्धता (औसत -1.8% की गिरावट) बनाए रखता है।
• रीजनिंग (GSM8K): उन समस्याओं पर जहाँ पोस्ट-ट्रेंड मॉडल ग्रीडी डिकोडिंग के तहत विफल हो जाते हैं, SLR ने सभी सैंपलिंग बजट ($k \in \{1, \dots, 64\}$) के लिए Pass@k में सुधार किया, जो विविध लेकिन सही तर्क पथों की ओर प्रायिकता द्रव्यमान के बदलाव को दर्शाता है।
• संयोजकता (Composability): SLR उच्च टेम्परेचर डिकोडिंग ($T=1.5$) और वर्बलाइज्ड सैंपलिंग (प्रॉम्प्ट-आधारित विधियों) के साथ संयोजन में भी प्रभावी रहा, जो यह सुझाव देता है कि SLR अंतर्निहित मॉडल वितरण को संशोधित करता है जबकि अन्य विधियाँ सैंपलिंग प्रक्रिया या इनपुट को नियंत्रित करती हैं।
• एब्लेशन अध्ययन: CRC प्रॉक्सी द्वारा निर्देशित परतों को बहाल करने से मनमाने अंतराल (जैसे, शुरुआती या अंतिम परतें) को बहाल करने की तुलना में बेहतर परिणाम मिले। मनमाने परतों को बहाल करने से अक्सर विविधता में सुधार नहीं हुआ या गुणवत्ता गिर गई, जो पुष्टि करता है कि विशिष्ट अंतराल चयन महत्वपूर्ण है।

महत्व और दावे

पेपर का दावा है कि SLR बिना किसी री-ट्रेनिंग के कम्प्यूटेशनल ओवरहेड या जटिल प्रॉम्प्टिंग की अनुमान लागत के, मोड कोलैप्स को कम करने के लिए एक सरल लेकिन प्रभावी मार्ग प्रदान करता है। लक्षित वेट-स्पेस हस्तक्षेपों के माध्यम से विविधता को पुनः प्राप्त किया जा सकता है, यह प्रदर्शित करके, यह कार्य पोस्ट-ट्रेंड LLMs के लिए एक मॉड्यूलर दृष्टिकोण का समर्थन करता है:

1. कार्यक्षमताएं और व्यवहार (मोड कोलैप्स सहित) परतों में वितरित होने के बजाय विशिष्ट परतों तक स्थानीयकृत होते हैं।
2. पोस्ट-ट्रेनिंग मुख्य रूप से मॉडल के मूल ज्ञान आधार को मौलिक रूप से बदलने के बजाय प्री-ट्रेंड व्यवहारों की अभिव्यक्ति को निर्देशित करती है।

लेखक निष्कर्ष निकालते हैं कि SLR जैसी सूक्ष्म वेट-स्पेस हस्तक्षेप विधियाँ LLMs में गुणवत्ता-विविधता ट्रेड-ऑफ को नियंत्रित करने के लिए एक आशाजनक मार्ग प्रदान करती हैं, जिससे पोस्ट-ट्रेंड लाभों (जैसे निर्देश अनुपालन) को बनाए रखते हुए वांछित प्री-ट्रेंड गुणों (जैसे विविधता) को पुनः प्राप्त किया जा सकता है। पेपर स्केलेबिलिटी के संबंध में विनम्र रहता है, यह नोट करते हुए कि परिणाम वर्तमान में ~7–9B पैरामीटर वाले मॉडल्स तक सीमित हैं और यह निर्धारित करने के लिए भविष्य के कार्य की आवश्यकता है कि क्या ये निष्कर्ष बड़े पैमाने पर या अधिक सूक्ष्म हस्तक्षेपों (जैसे, सब-लेयर बहाली) पर लागू होते हैं।