तकनीकी सारांश: भौतिकी-निर्देशित नीति अनुकूलन (Physics-Guided Policy Optimization) के साथ स्व-आसवन (Self-Distillation)

1. समस्या विवरण

यह शोध पत्र स्व-आसवित नीति अनुकूलन (Self-Distilled Policy Optimization - SDPO) में निहित महत्वपूर्ण स्थिरता संबंधी समस्याओं को संबोधित करता है, जो एक ऐसा प्रतिमान (paradigm) है जहाँ एक एकल लार्ज लैंग्वेज मॉडल (LLM) शिक्षक और छात्र दोनों की भूमिका निभाता है। SDPO में, मॉडल प्रतिक्रियाएँ उत्पन्न करता है, फीडबैक प्राप्त करता है (अक्सर सही समाधानों जैसी विशेषाधिकार प्राप्त जानकारी), और एक "स्व-शिक्षक" (self-teacher) से आसवन (distill) करता है जो पिछली गलतियों को सुधारता है।

जबकि SDPO प्रारंभिक चरणों में तीव्र प्रगति सक्षम करता है, लेखक पहचानते हैं कि जैसे-जैसे प्रशिक्षण आगे बढ़ता है, यह एक मौलिक क्रेडिट असाइनमेंट समस्या (credit assignment problem) के कारण अस्थिर हो जाता है:

• अविश्वसनीय सुधार: जैसे-जैसे छात्र के जनरेट किए गए प्रीफिक्स (prefixes) शिक्षक के कंडीशनिंग डिस्ट्रीब्यूशन से विचलित होते हैं, सुधार भ्रामक या दिशात्मक रूप से गलत हो सकते हैं।
• समान अनुप्रयोग: सभी नमूनों (उन नमूनों सहित जहाँ छात्र पहले से ही सही है) पर समान रूप से सुधार लागू करने से अस्पष्टता पैदा होती है और सीखे गए व्यवहार दूषित हो जाते हैं।
• प्रशिक्षण पतन (Training Collapse): टोकन-स्तर के अत्यधिक रिवॉर्ड्स ग्रेडिएंट अपडेट्स पर हावी हो सकते हैं, जिससे प्रशिक्षण अस्थिरता और अंततः पतन हो जाता है।

मौजूदा शमन रणनीतियाँ (mitigation strategies), जैसे कि नमूना शुद्धता के आधार पर रूटिंग या आत्मविश्वास के आधार पर फ़िल्टरिंग, नोट की गई हैं, लेकिन लेखक भौतिक अंतर्ज्ञान (physical intuition) पर आधारित एक नवीन दृष्टिकोण प्रस्तावित करते हैं।

2. कार्यप्रणाली: भौतिकी-निर्देशित नीति अनुकूलन (PGPO)

लेखक फिजिक्स-गाइडेड पॉलिसी ऑप्टिमाइज़ेशन (PGPO) का प्रस्ताव करते हैं, जो अनुकूलन प्रक्रिया को श्यान तरल गतिकी (viscous-fluid dynamics) के लेंस के माध्यम से व्याख्यायित करता है।

सैद्धांतिक आधार

• तरल उपमा (Fluid Analogy): पैरामीटर प्रक्षेपवक्र (trajectory) $\theta_t$ को एक श्यान तरल (viscous fluid) के माध्यम से चलते हुए एक कण के रूप में मॉडल किया गया है। ड्रिफ्ट टर्म ($-\nabla L$) कण को लॉस मिनिमा की ओर ले जाता है, जबकि डिफ्यूजन टर्म मिनी-बैच सैंपलिंग से होने वाले स्टोकेस्टिक उतार-चढ़ाव (ब्राउनियन मोशन) को कैप्चर करता है।
• श्यानता मॉड्यूलेशन (Viscosity Modulation): भौतिक प्रणालियों में, श्यानता गति को धीमा कर देती है। PGPO इस अवधारणा को अनुकूलित करता है: एक गैर-सूचनात्मक सुधार (uninformative correction) आधारभूत श्यानता (मानक स्टेप साइज) बनाए रखता है, जबकि एक सूचनात्मक सुधार (informative correction) श्यानता को कम करता है, जिससे बड़े और अधिक आत्मविश्वासी कदम संभव होते हैं।
• SDE फॉर्मूलेशन: यह विधि इस उपमा को स्टोकेस्टिक डिफरेंशियल इक्वेशन (SDE) स्तर पर औपचारिक रूप देती है। लेखक प्रदर्शित करते हैं कि PGPO वैनिला स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD) के ऑर्डर-1 वीक-एप्रोक्सिमेशन गारंटी को सुरक्षित रखता है।

एल्गोरिदम कार्यान्वयन

PGPO एक सूचना-मॉड्यूलेटेड स्टेप-साइज मल्टीप्लायर, $\rho_k$ पेश करता है, जो छात्र के अनुमानों और फीडबैक-कंडीशन्ड शिक्षक के बीच म्यूचुअल इंफॉर्मेशन (mutual information) से प्राप्त होता है।

1. सूचना सिग्नल ($I_k$): एक मिनी-बैच $B_k$ के लिए, सूचनात्मकता को फीडबैक प्रदान करने पर एंट्रॉपी में कमी के रूप में मापा जाता है:
   $$I_k := \frac{1}{|B_k|} \sum_{i \in B_k} [H(y_i|x_i, y_{<t}) - H(y_i|x_i, f_i, y_{<t})]$$
   उच्च $I_k$ इंगित करता है कि फीडबैक एक मजबूत, विश्वसनीय सिग्नल प्रदान करता है (फीडबैक के बिना छात्र का अनुमान शिक्षक के सुधारात्मक संस्करण से काफी भिन्न है)।

2. स्टेप-साइज मल्टीप्लायर ($\rho_k$): लर्निंग रेट को निम्नलिखित द्वारा मॉड्यूलेट किया जाता है:
   $$\rho_k = \min(\exp(\alpha \cdot I_k), \rho_{max})$$

   • $\alpha$: संवेदनशीलता पैरामीटर (Sensitivity parameter)।
   • $\rho_{max}$: सूचना सिग्नल के बढ़ने पर अत्यधिक त्वरण को रोकने के लिए एक कैप।
   • व्यवहार:
     • उच्च $I_k$ (सूचनात्मक) $\rightarrow \rho_k > 1 \rightarrow$ कम श्यानता $\rightarrow$ बड़े कदम।
     • निम्न $I_k$ (गैर-सूचनात्मक) $\rightarrow \rho_k \approx 1 \rightarrow$ आधारभूत श्यानता $\rightarrow$ मानक कदम।

3. दक्षता: $I_k$ की गणना ग्रेडिएंट गणना के लिए पहले से किए गए फॉरवर्ड पास का पुन: उपयोग करती है, जिससे प्रति इटरेशन केवल नगण्य ($O(1)$) ओवरहेड होता है। यह ढांचा Adam जैसे एडेप्टिव ऑप्टिमाइज़र के साथ संगत है क्योंकि यह मोमेंट संचय को बदले बिना अंतिम अपडेट दिशा को मॉड्यूलेट करता है।

3. मुख्य योगदान

• नवीन प्रतिमान: PGPO का प्रस्ताव, जो एक विधि है जो भौतिकी के माध्यम से प्रेरित, स्व-शिक्षक संकेतों के म्यूचुअल इंफॉर्मेशन के आधार पर स्टेप साइज़ को अनुकूलित करके SDPO में क्रेडिट असाइनमेंट समस्या को संबोधित करता है।
• सैद्धांतिक गारंटी: प्रमाण कि PGPO एक ऑर्डर-1 वीक SDE एप्रोक्सिमेशन को स्वीकार करता है, यह सुनिश्चित करता है कि सांख्यिकीय गुण वैनिला SGD के समान ही अभिसरित (converge) होते हैं जब लर्निंग रेट शून्य की ओर जाता है।
• अनुभवजन्य सत्यापन (Empirical Validation): वैज्ञानिक तर्क कार्यों पर प्रारंभिक प्रयोगों में प्रभावशीलता का प्रदर्शन, जो मानक SDPO की तुलना में बेहतर स्थिरता और प्रदर्शन दिखाता है।

4. प्रयोगात्मक परिणाम

लेखकों ने Qwen3-8B मॉडल का उपयोग करके चार डोमेन: रसायन विज्ञान (Chemistry), भौतिकी (Physics), जीव विज्ञान (Biology), और पदार्थ विज्ञान (Materials Science) में Science-QA डेटासेट पर PGPO का मूल्यांकन किया।

• प्रदर्शन लाभ: PGPO ने 4 में से 3 डोमेन में SDPO को पछाड़ दिया:
  • पदार्थ विज्ञान (Materials Science): +4.51 अंक (78.65 बनाम 74.14)।
  • रसायन विज्ञान (Chemistry): +3.45 अंक (76.02 बनाम 72.57)।
  • भौतिकी (Physics): +0.51 अंक (77.56 बनाम 77.05)।
• स्थिरता: उन सेटिंग्स में जहाँ SDPO में देर से प्रशिक्षण पतन (late-training collapse) देखा गया, PGPO स्थिर रहा।
• सीमाएँ: जीव विज्ञान (Biology) डोमेन में मामूली गिरावट (-0.37 अंक) देखी गई। लेखक इसे $\alpha$ पैरामीटर की संवेदनशीलता को जिम्मेदार मानते हुए, यह नोट करते हैं कि कोई भी एकल $\alpha$ मान इस विशिष्ट सेटिंग में SDPO के प्रदर्शन से मेल नहीं खा सका।

5. महत्व और दावे

शोध पत्र का दावा है कि PGPO स्व-आसवन (self-distillation) में समान सुधार रणनीतियों (uniform correction strategies) के लिए एक सिद्धांत-आधारित विकल्प प्रदान करता है। अनुकूलन प्रक्रिया को एक श्यान माध्यम में एक कण के रूप में मानकर, PGPO स्वाभाविक रूप से शोर (गैर-सूचनात्मक सुधारों) को दबा देता है जबकि सूचनात्मक संकेतों को बढ़ाता है।

लेखक PGPO को LLM पोस्ट-ट्रेनिंग में स्व-आसवन को स्थिर करने के रूप में प्रस्तुत करते हैं। वे वर्तमान सीमाओं को स्पष्ट रूप से स्वीकार करते हैं, यह नोट करते हुए कि वर्तमान इंस्टेंशिएशन बैच स्तर (batch level) पर काम करता है और $\alpha$ के चयन के प्रति संवेदनशील है। फलस्वरूप, वे भविष्य के कार्य के लिए इसे एक अंतिम समाधान के रूप में दावा करने के बजाय, सूक्ष्म-स्तरीय मॉड्यूलेशन (जैसे, प्रति-टोकन) और अनुकूली $\alpha$ शेड्यूल्स को प्राकृतिक दिशाओं के रूप में पहचानते हैं।