तकनीकी सारांश: इंजेक्ट, अलाइन, रिकवर (IAR)

समस्या की परिभाषा

यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs) में दस्तावेज़ ज्ञान के आंतरिककरण (document knowledge internalization) की चुनौती को संबोधित करता है। मानक रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) में, मॉडल किसी विशिष्ट संग्रह के आधार पर प्रश्नों के उत्तर देने के लिए बाहरी रिट्रीवल पर निर्भर करते हैं। हालाँकि, कई परिनियोजन (deployment) परिदृश्यों में (विलंबता, गोपनीयता या परीक्षण बाधाओं के कारण), रिट्रीवल उपलब्ध नहीं होता है। लक्ष्य एक निश्चित, सीमित दस्तावेज़ संग्रह को मॉडल के भीतर उपयोग योग्य पैरामीट्रिक ज्ञान में परिवर्तित करना है, जिससे यह इन्फरेंस के समय स्रोत दस्तावेजों तक पहुँच के बिना प्रश्नों के उत्तर देने में सक्षम हो सके।

मौजूदा दृष्टिकोण महत्वपूर्ण सीमाओं का सामना करते हैं:

• QA पेयर्स पर सुपरवाइज्ड फाइन-ट्यूनिंग (SFT): यह सही इनपुट-आउटपुट प्रारूप तो प्रदान करता है, लेकिन यह विरल (sparse) लर्निंग सिग्नल देता है, क्योंकि केवल QA जनरेटर द्वारा चुने गए तथ्यों से ही लॉस (loss) में योगदान मिलता है।
• कंटीन्यूड प्रीट्रेनिंग (CPT): यह दस्तावेज़ टेक्स्ट के प्रति सघन (dense) एक्सपोज़र तो प्रदान करता है, लेकिन यह मॉडल को एक इंस्ट्रक्शन-फॉलोइंग इंटरफ़ेस के तहत प्रश्न कैसे पूछे जाएं, यह स्पष्ट रूप से नहीं सिखा पाता है।
• व्यापार-संतुलन (The Trade-off): दोनों विधियाँ अक्सर कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) से ग्रस्त होती हैं, जहाँ एक विशिष्ट डोमेन के लिए मॉडल को अनुकूलित करने से इसकी सामान्य इंस्ट्रक्शन-फॉलोइंग क्षमताओं और व्यापक बेंचमार्क पर प्रदर्शन में गिरावट आती है।

कार्यप्रणाली: IAR फ्रेमवर्क

लेखक IAR (इंजेक्ट, अलाइन, रिकवर) का प्रस्ताव करते हैं, जो एक तीन-चरणीय पोस्ट-ट्रेनिंग फ्रेमवर्क है जिसे डोमेन अधिग्रहण (domain acquisition), टास्क अलाइनमेंट और सामान्य क्षमता रिकवरी को अलग करने के लिए डिज़ाइन किया गया है।

चरण 1: इंजेक्ट (Inject)

रॉ कंटीन्यूड प्रीट्रेनिंग के बजाय, यह चरण स्रोत दस्तावेजों को संरचित, इंस्ट्रक्शन-कंडीशन्ड सुपरवाइज्ड रिकंस्ट्रक्शन कार्यों में बदल देता है। इसका उद्देश्य रॉ-स्ट्रीम CPT लॉस का उपयोग किए बिना, QA-ओनली ट्रेनिंग की तुलना में सघन दस्तावेज़-स्तरीय पर्यवेक्षण (supervision) इंजेक्ट करना है। यह चरण तीन विशिष्ट उद्देश्यों का उपयोग करता है:

1. कंटिन्यूएशन (Continuation): एक इंस्ट्रक्शन-कंडीशन्ड प्रीफिक्स के आधार पर दस्तावेज़ के सफिक्स (suffix) की भविष्यवाणी करना।
2. रीराइट (Rewrite): एक जनरेटेड समरी, आउटलाइन, या नॉलेज स्केलेटन से एक क्लीन किए गए दस्तावेज़ का पुनर्निर्माण करना।
3. इंस्ट्रक्शन-फॉर्मेटेड रिकंस्ट्रक्शन (Instruction-Formatted Reconstruction): एक छोटे, जेनेरिक रीडिंग इंस्ट्रक्शन से क्लीन किए गए दस्तावेज़ की भविष्यवाणी करना।
   इन उद्देश्यों को एक "रेसिपी" डेटासेट बनाने के लिए मिलाया जाता है जो मॉडल को पूर्ण दस्तावेज़ संरचना के संपर्क में लाता है और साथ ही इंस्ट्रक्शन-फॉलोइंग फॉर्मेट को बनाए रखता है।

चरण 2: अलाइन (Align)

मॉडल, जिसमें अब इंजेक्ट किया गया दस्तावेज़ ज्ञान है, को दस्तावेज़-व्युत्पन्न प्रश्न-उत्तर (QA) पेयर्स पर फाइन-ट्यून किया जाता है। महत्वपूर्ण रूप से, यह चरण आंसर-ओनली सुपरवाइज्ड फाइन-ट्यूनिंग का उपयोग करता है। यह इंजेक्ट किए गए ज्ञान को QA इंटरफ़ेस के साथ अलाइन करता है, जिससे मॉडल को विशिष्ट प्रश्नों के उत्तर देने के लिए आंतरिक तथ्यों को रिट्रीव करने और उपयोग करने की शिक्षा मिलती है। यह चरण एक डोमेन-अनुकूलित चेकपॉइंट ($\theta_{IA}$) तैयार करता है।

चरण 3: रिकवर (Recover)

कैटास्ट्रोफिक फॉरगेटिंग को कम करने के लिए, फ्रेमवर्क पोस्ट-हॉक मॉडल मर्जिंग (post-hoc model merging) करता है। यह डोमेन-अनुकूलित चेकपॉइंट ($\theta_{IA}$) को मूल बेस इंस्ट्रक्शन मॉडल ($\theta_0$) के साथ मर्ज करता है। लेखक SLERP, टास्क अरिथमेटिक, TIES और DARE सहित कई मर्जिंग ऑपरेटर्स का मूल्यांकन करते हैं।

• चयन रणनीति (Selection Strategy): अंतिम चेकपॉइंट अनिवार्य रूप से उच्चतम डोमेन सटीकता वाला नहीं होता है। इसके बजाय, लेखक डोमेन-जनरल फ्रंटियर पर एक बिंदु का चयन करते हैं। वे डोमेन सटीकता को प्राथमिक उद्देश्य के रूप में प्राथमिकता देते हैं, जबकि डिप्लॉयबिलिटी सुनिश्चित करने के लिए सामान्य बेंचमार्क (IFEval, MMLU, MSBench) को "गार्डरेल्स" के रूप में उपयोग करते हैं।

मुख्य योगदान

1. समस्या का निरूपण: यह पेपर एक निश्चित संग्रह पर रिट्रीवल-फ्री QA को एक डोमेन-जनरल ऑपरेटिंग-पॉइंट समस्या के रूप में फ्रेम करता है, जो डोमेन एक्सेसिबिलिटी और सामान्य क्षमता के बीच ट्रेड-ऑफ को स्पष्ट रूप से मापता है।
2. IAR फ्रेमवर्क: यह एक तीन-चरणीय अपघटन (इंजेक्ट, अलाइन, रिकवर) पेश करता है जो स्ट्रक्चर्ड डॉक्यूमेंट एक्सपोज़र, आंसर अलाइनमेंट और कैपेबिलिटी रिकवरी को अलग करता है। यह किस हस्तक्षेप से विशिष्ट लाभ या विफलता होती है, इसे अलग करने की अनुमति देता है।
3. व्यापक मूल्यांकन: इस पद्धति का मूल्यांकन दो कॉर्पोरा (Common Corpus/CC और CCI) और चार मॉडल परिवारों (Llama, Phi, Qwen, SmolLM) में किया गया है। यह वैनिला SFT, CPT+SFT, LoRA, SDFT, Replay और FAPM सहित विस्तृत बेसलाइन्स के विरुद्ध तुलना करती है।
4. अनुभवजन्य साक्ष्य (Empirical Evidence): अध्ययन मजबूत और सीमावर्ती (boundary) साक्ष्य प्रदान करता है, जो स्पष्ट करता है कि प्रारंभिक स्थिति (initialization strength), डेटा रेसिपी या ऑपरेटिंग-पॉइंट चयन में से क्या सबसे महत्वपूर्ण है।

परिणाम

प्रयोगों से पता चलता है कि IAR रिट्रीवल-फ्री डॉक्यूमेंट इंटरनलाइजेशन के लिए डोमेन-जनरल फ्रंटियर में सुधार करता है:

• वैनिला SFT बनाम प्रदर्शन: IAR सभी चार रिपोर्ट किए गए मेट्रिक्स में 7 में से 8 डेटासेट-मॉडल सेटिंग्स में वैनिला SFT पर बेहतर प्रदर्शन करता है।
  • अपवाद: Phi-4-mini CCI सेटिंग में, IAR ने IFEval और MSBench में सुधार किया लेकिन वैनिला SFT की तुलना में डोमेन सटीकता और MMLU में थोड़ी कमी आई।
  • औसत लाभ: सेटिंग्स के माध्यम से, IAR वैनिला SFT की तुलना में डोमेन QA सटीकता में औसतन 3.6 प्रतिशत अंक और औसत सामान्य प्रदर्शन (IFEval, MMLU और MSBench में) में 12.1 प्रतिशत अंक की वृद्धि प्राप्त करता है।
  • विशिष्ट उदाहरण: Qwen3-4B के साथ CC डेटासेट पर, IAR ने डोमेन सटीकता को वैनिला SFT के 42.4% से बढ़ाकर 50.5% कर दिया और साथ ही तीनों सामान्य मेट्रिक्स में सुधार किया।
• बजटमैच (BudgetMatch) के साथ तुलना: "बजटमैच" बेसलाइन (जो समान टोकन बजट का उपयोग करती है लेकिन केवल QA-ओनली ट्रेनिंग का उपयोग करती है) के साथ तुलना करने पर, IAR ने चार में से तीन सेटिंग्स में बेहतर प्रदर्शन दिखाया, जो इंगित करता है कि लाभ केवल बढ़े हुए टोकन काउंट के कारण नहीं बल्कि चरणबद्ध एक्सपोज़र और रिकवरी के कारण है।
• स्केलिंग (Scaling): CC डेटासेट पर, Qwen3 मॉडल्स (8B, 14B, 32B) को स्केल करने पर यह देखा गया कि IAR सर्वश्रेष्ठ प्री-रिकवरी चेकपॉइंट के भीतर डोमेन सटीकता को 1.1 अंक के भीतर बनाए रखता है और औसत सामान्य प्रदर्शन में 14.9–24.1 अंक की रिकवरी करता है।
• सीमावर्ती मामले (Boundary Cases): पेपर नोट करता है कि IAR हर सेटिंग में हर मेट्रिक पर समान रूप से हावी नहीं होता है (जैसे, CCI पर Phi-4-mini ने डोमेन सटीकता में थोड़ी कमी दिखाई लेकिन सामान्य मेट्रिक्स में सुधार किया), जो यह दर्शाता है कि परिनियोजन प्राथमिकताएं (deployment preferences) इष्टतम ऑपरेटिंग पॉइंट को निर्धारित करती हैं।

महत्व और दावे

पेपर का दावा है कि IAR रिट्रीवल-फ्री डॉक्यूमेंट इंटरनलाइजेशन के लिए ऑपरेटिंग-पॉइंट फ्रंटियर में सुधार करता है। इसका महत्व यह प्रदर्शित करने में है कि:

1. अपघटन प्रभावी है (Decomposition is Effective): दस्तावेज़ एक्सपोज़र, QA अलाइनमेंट और रिकवरी को अलग करना, इन कार्यों को एक एकल फाइन-ट्यूनिंग रेसिपी में मिलाने की तुलना में अधिक प्रभावी है।
2. रिकवरी महत्वपूर्ण है (Recovery is Critical): पोस्ट-हॉक मर्जिंग, आंतरिक डोमेन ज्ञान को खोए बिना सामान्य क्षमताओं को पुनः प्राप्त करने के लिए एक व्यवहार्य रणनीति है।
3. मापने योग्य ट्रेड-ऑफ (Measurable Trade-offs): दस्तावेज़ एक्सपोज़र, आंसर अलाइनमेंट, डेटा रेसिपी और रिकवरी को अलग-अलग मापा जाना चाहिए। पेपर एक एकल स्कोर में इन्हें मिलाने के विरुद्ध तर्क देता है, क्योंकि अलग-अलग बेसलाइन्स (जैसे LoRA या FAPM) विशिष्ट सामान्य मेट्रिक्स पर जीत सकते हैं लेकिन डोमेन इंटरनलाइजेशन में विफल हो सकते हैं, जबकि IAR एक संतुलित, मजबूत डोमेन-प्राइमरी ऑपरेटिंग पॉइंट प्रदान करता है।

लेखक निष्कर्ष निकालते हैं कि IAR एक सार्वभौमिक रूप से प्रभावी रेसिपी के बजाय एक मजबूत, सेटिंग-आधारित ऑपरेटिंग पॉइंट है, जो सामान्य मॉडल उपयोगिता को संरक्षित करते हुए दस्तावेज़ ज्ञान को आंतरिक करने के लिए एक सुदृढ़ ढांचा प्रदान करता है।