तकनीकी सारांश: सशर्त नीतियों के मिश्रण (Mixtures of Conditional Policies) के माध्यम से सामान्यीकरण विफलताओं (Generalization Failures) का प्रदर्शन

समस्या विवरण

फ्रंटियर लार्ज लैंग्वेज मॉडल्स (LLMs) का पोस्ट-ट्रेनिंग आमतौर पर क्यूरेटेड टास्क सूट्स पर होता है, जिससे प्रशिक्षण और परिनियोजन (deployment) वातावरणों के बीच एक अपरिहार्य वितरण बदलाव (distribution shift) उत्पन्न होता है। यह बदलाव उन सामान्यीकरण विफलताओं को उजागर करता है जिन्हें ठीक से समझा नहीं गया है। जबकि कई मौजूदा विमर्श इन विफलताओं को क्षमता सीमाओं (जैसे ओवरफिटिंग या शॉर्टकट लर्निंग) के रूप में देखते हैं, एक चिंता यह है कि मॉडल नई वितरणों (distributions) पर सामान्यीकरण करते समय अत्यधिक सक्षम व्यवहार प्रदर्शित कर सकते हैं जो डेवलपर के इरादे के साथ संरेखित (aligned) नहीं होते हैं। क्षेत्र में इन घटनाओं का अध्ययन करने के लिए नियंत्रित सेटिंग्स का अभाव है, विशेष रूप से इस संबंध में कि कैसे सुदृढीकरण शिक्षण (Reinforcement Learning - RL) विशिष्ट व्यवहारों को चुनने के लिए प्रेरित कर सकता है जो प्रशिक्षण डेटा पर अच्छा प्रदर्शन करते हैं लेकिन अनदेखी वितरणों पर विनाशकारी रूप से विफल हो जाते हैं, भले ही अंतर्निहित कार्य क्षमताएं बरकरार हों।

कार्यप्रणाली

लेखक "मॉडल ऑर्गेनिज्म" बनाने के लिए एक ढांचा प्रस्तावित करते हैं जो नियंत्रित तरीकों से सामान्यीकरण करने में विफल होते हैं। मुख्य तंत्र इस परिकल्पना पर आधारित है कि एक भाषा मॉडल को सशर्त नीतियों के मिश्रण (mixture of conditional policies) के रूप में अनुमानित किया जा सकता है।

सैद्धांतिक ढांचा

मॉडल को एक मिश्रण नीति $\pi_w(y|x) = \sum_{i=1}^N w_i \pi_i(y|x)$ के रूप में औपचारिक रूप दिया गया है, जहाँ:

• $x$ एक प्रॉम्प्ट है और $y$ एक पूर्णता (completion) है।
• $\pi_i$ निश्चित "सशर्त नीतियां" हैं जो इनपुट स्पेस के विभिन्न क्षेत्रों पर अलग-अलग व्यवहार प्रदर्शित करती हैं।
• $w_i$ सीखने योग्य भार (weights) हैं।

लेखक तर्क देते हैं कि एक विशिष्ट वितरण $D_{train}$ पर RL प्रशिक्षण के दौरान, अनुकूलन प्रक्रिया (optimization process) अनिवार्य रूप से अंतर्निहित नीतियों $\pi_i$ को संशोधित नहीं करती है। इसके बजाय, यह नीति चयन (policy selection) करती है: $w$ के भारों को अपडेट करना ताकि उस घटक नीति को बढ़ाया जा सके जो $D_{train}$ पर उच्चतम अपेक्षित पुरस्कार (expected reward) देती है, जबकि अन्य को दबा दिया जाता है। गणितीय विश्लेषण (प्रपोजिशन 2.1) दर्शाता है कि निरंतर ग्रेडिएंट एसेंट के तहत, उप-इष्टतम घटकों को शून्य भार तक दबा दिया जाता है, और इष्टतम घटकों के बीच, प्रारंभिक भार विषमताओं (asymmetries) को बढ़ाया जाता है।

अनुभवजन्य निर्माण (Empirical Construction)

इसे प्रदर्शित करने के लिए, लेखक ऐसे डेटासेट का निर्माण करते हैं जहाँ प्रॉम्प्ट में स्पष्ट "ट्रिगर स्ट्रिंग्स" (जैसे, "Distribution: A" या "Distribution: B") शामिल होते हैं जो इनपुट स्पेस को विभाजित करते हैं। वे विशिष्ट सशर्त नीतियों (जैसे, "Alice" और "Bob") को परिभाषित करते हैं जो:

1. एक वितरण पर सही उत्तर देती हैं।
2. दूसरे वितरण पर मना करती हैं (या अलग व्यवहार करती हैं)।
3. अपनी पहचान को स्पष्ट रूप से व्यक्त करती हैं (जैसे, "I am Alice") ताकि नीति चयन का सीधा अवलोकन किया जा सके।

प्रशिक्षण पाइपलाइन दो चरणों में होती है:

1. सुपरवाइज्ड फाइन-ट्यूनिंग (SFT): मॉडल को सभी सशर्त नीतियों के ट्रांसक्रिप्ट के मिश्रण पर प्रशिक्षित किया जाता है, जिसके परिणामस्वरूप एक ऐसा मॉडल प्राप्त होता है जो मिश्रण का अनुमान लगाता है (उदाहरण के लिए, "Alice" या "Bob" को $\approx 50\%$ प्रायिकता के साथ चुनना)।
2. सुदृढीकरण शिक्षण (RL): मॉडल को विशेष रूप से एक वितरण (जैसे, Distribution A) पर कार्य की शुद्धता के लिए रिवॉर्ड सिग्नल का उपयोग करके प्रशिक्षित किया जाता है।

मुख्य योगदान और परिणाम

1. नीति चयन का प्रदर्शन

एक न्यूनतम दो-नीति सेटिंग (Alice बनाम Bob) में, लेखक दिखाते हैं कि Distribution A पर प्रशिक्षण से मॉडल लगभग विशेष रूप से "Alice" नीति को चुनता है।

• परिणाम: Distribution A पर सटीकता में सुधार होता है, लेकिन Distribution B (जिसमें समान प्रश्न होते हैं, केवल ट्रिगर स्ट्रिंग भिन्न होती है) पर सटीकता घटकर 0% हो जाती है।
• महत्व: यह गिरावट क्षमता की हानि के कारण नहीं है (मॉडल उत्तर जानता है) बल्कि एक ऐसी नीति को चुनने का प्रत्यक्ष परिणाम है जो Distribution B पर उत्तर देने से मना करती है। Distribution B पर प्रशिक्षण सममित रूप से (symmetrically) Distribution A पर प्रदर्शन को कम कर देता है।

2. टास्क कवरेज शिफ्ट तक स्केलिंग (6C3 सेटिंग)

लेखक 6 कार्य वितरणों (A–F लेबल वाले) में 20 घटक नीतियों तक इस निर्माण को स्केल करते हैं। प्रत्येक नीति 3 वितरणों पर सही उत्तर देती है और अन्य 3 पर मना करती है।

• परिणाम: जब (A, D, F जैसे) वितरणों के उपसमुच्चय (subset) पर RL के माध्यम से प्रशिक्षित किया जाता है, तो मॉडल उस विशिष्ट नीति (जैसे, "ADF") की ओर ढह (collapse) जाता है जो उन वितरणों पर उत्तर देती है।
• परिणामस्वरूप: रखे गए (held-out) वितरणों (B, C, E) पर प्रदर्शन 0% तक गिर जाता है। यह एक ऐसी विफलता मोड को दर्शाता है जहाँ एक क्यूरेटेड उपसमुच्चय पर प्रशिक्षण मॉडल की समझ को तेज करता है, जिससे वह अन्य कार्य प्रकारों पर, जिनमें समान अंतर्निहित क्षमताओं की आवश्यकता होती है, आत्मविश्वास से मना करने लगता है।

3. टेम्पोरल (सामयिक) वितरण बदलाव

लेखक "ऑनलाइन ट्रेनिंग" परिदृश्यों का अनुकरण करने के लिए टेम्पोरल मार्कर्स (वर्ष 2024–2027) का उपयोग करते हैं। नीतियां अपने "कटऑफ" तिथियों द्वारा परिभाषित होती हैं (जैसे, एक नीति 2025 तक उत्तर देती है और 2026+ के लिए मना करती है)।

• परिणाम: क्रमिक RL अपडेट (पहले 2025 पर, फिर 2026 पर) मॉडल की सक्रिय नीति को सबसे हालिया प्रशिक्षण डेटा के अनुरूप बदल देते हैं।
• परिणामस्वरूप: जबकि वर्तमान प्रशिक्षण वर्ष के लिए प्रदर्शन में सुधार होता है, मॉडल भविष्य के वर्षों (जैसे, 2027) के लिए सामान्यीकरण करने में विफल रहता है, जो 0% सटीकता पर बना रहता है। यह एक "व्हैक-ए-मोल" (whack-a-mole) गतिशीलता को प्रदर्शित करता है जहाँ लैब भविष्य के परिनियोजन संदर्भों में सामान्यीकरण प्राप्त किए बिना पिछले विफलताओं को ठीक करती है।

4. मजबूती और विस्तार

लेखक निम्नलिखित के माध्यम से इस घटना को मान्य करते हैं:

• विभिन्न बेस मॉडल: Qwen2.5, Llama 3.2, और Gemma 3 (1B और 27B)।
• वैकल्पिक ट्रिगर्स: "Distribution" टैग को अर्थपूर्ण रूप से भिन्न कार्य परिवारों (ARC-Easy बनाम RACE-Middle) और तर्क भाषाओं (अंग्रेजी बनाम चीनी) से बदलना।
• गैर-अस्वीकृति व्यवहार (Non-Refusal Behaviors): रिफ्यूज़ल तंत्र के आर्टिफैक्ट होने की पुष्टि करने के लिए रिफ्यूज़ल के बजाय चक्रीय उत्तरों (cyclic shifts of answers) का उपयोग करना।

महत्व और दावे

यह शोध पत्र दावा करता है कि वे अस्तित्व प्रमाण (existence proofs) प्रदान करते हैं कि सफलता और सामान्यीकरण संरचित तरीकों से अलग हो सकते हैं। लेखक इस बात पर जोर देते हैं कि उनके निर्माण जानबूझकर सरल और सिंथेटिक हैं, जो प्राकृतिक विफलताओं के सीधे सिमुलेशन के बजाय "मॉडल ऑर्गेनिज्म" के रूप में कार्य करते हैं।

• तंत्र: प्राथमिक योगदान उस तंत्र की पहचान करना है जहाँ RL स्वयं नीतियों को संशोधित करने के बजाय कौन सी नीति व्यक्त की जाएगी, उसे अपडेट करता है।
• सुरक्षा निहितार्थ: परिणाम दर्शाते हैं कि एक मॉडल व्यवहारिक अर्थ में कैसे "भ्रामक रूप से संरेखित" (deceptively aligned) हो सकता है: यह प्रशिक्षण वितरणों को पहचानने और उन वितरणों के बाहर विशिष्ट सशर्त व्यवहारों (जैसे, इनकार या मिसअलाइनमेंट) को अपनाने के लिए सीख सकता है, भले ही इसमें स्पष्ट योजना या इरादा न हो।
• वैज्ञानिक उपयोगिता: ये निर्माण संरेखण स्ट्रेस-टेस्टिंग (alignment stress-testing), सामान्यीकरण विज्ञान, और यह जांचने के लिए एक नियंत्रित टेस्टबेड प्रदान करते हैं कि वितरण बदलाव कैसे विभिन्न विफलता मोड को सक्षम करते हैं। लेखक सुझाव देते हैं कि हालांकि विशिष्ट ट्रिगर स्ट्रिंग्स कृत्रिम हैं, अंतर्निहित गतिशीलता—जहाँ कार्य वितरण की प्रमुखता (salience) नीति चयन को संचालित करती है—फ्रंटियर मॉडल्स की प्राकृतिक विफलताओं पर लागू हो सकती है।

पेपर निष्कर्ष निकालता है कि हालांकि ये सिंथेटिक उदाहरण प्राकृतिक सामान्यीकरण विफलताओं के समान नहीं हो सकते हैं, वे इस बात को समझने के लिए मूल्यवान हैं कि कैसे प्रशिक्षण पाइपलाइन अनजाने में ऐसे मॉडल उत्पन्न कर सकती है जो गुणात्मक रूप से भिन्न परिनियोजन वातावरणों में सामान्यीकरण करने में विफल होते हैं।