🤖 machine learning

RAFT: Data Refinement and Adaptive Distillation for Domain Fine-Tuning with Alleviated Forgetting

RAFT एक दो-चरणीय ढांचा है जो मॉडल-अनुकूल पुनर्लेखन के माध्यम से प्रशिक्षण डेटा को परिष्कृत करके और मॉडल की मूल सामान्य क्षमताओं को संरक्षित करते हुए इन-डोमेन प्रदर्शन में सुधार करने के लिए उत्तर-सशर्त ऑन-पॉलिसी डिस्टिलेशन (answer-conditioned on-policy distillation) का उपयोग करके डोमेन-विशिष्ट फाइन-ट्यूनिंग के दौरान होने वाली कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) को कम करता है।

मूल लेखक: Yuduo Li, Xiaofeng Shi, Qian Kou, Longbin Yu, Hua Zhou

प्रकाशित 2026-06-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuduo Li, Xiaofeng Shi, Qian Kou, Longbin Yu, Hua Zhou

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक शानदार, विद्वान लाइब्रेरियन (AI मॉडल) है जो सब कुछ थोड़ा-बहुत जानता है: इतिहास, खाना बनाना, कोडिंग और कविता। यह लाइब्रेरियन सामान्य प्रश्नों के उत्तर देने में बहुत कुशल है।

अब, कल्पना कीजिए कि आप इस लाइब्रेरियन को विशेष रूप से कानून (Law) में विशेषज्ञ बनाने के लिए प्रशिक्षित करना चाहते हैं। आप उन्हें कानून की पाठ्यपुस्तकों का एक ढेर देते हैं और कहते हैं, "इसे सीखो!"

समस्या: "विशेषज्ञता का जाल" (The "Specialist Trap")
यदि आप केवल लाइब्रेरियन को इन कानून की किताबों को रटने के लिए मजबूर करते हैं (एक प्रक्रिया जिसे पेपर में Standard SFT कहा गया है), तो वे एक बेहतरीन वकील बन जाते हैं। लेकिन एक पेंच है। वे एक अच्छा सामान्य लाइब्रेरियन होना भूलने लगते हैं। वे कविता लिखना, सरल निर्देशों का पालन करना या मौसम के बारे में बात करना भूल सकते हैं। वे नए नियमों पर इतना अधिक ध्यान केंद्रित करने लगते हैं कि वे अपना मूल व्यक्तित्व और व्यापक ज्ञान खो देते हैं। इसे "विनाशकारी विस्मृति" (Catastrophic Forgetting) कहा जाता है।

यह पेपर तर्क देता है कि ऐसा मुख्य रूप से दो कारणों से होता है:

"शैली का टकराव" (The "Style Clash"): कानून की किताबें एक कठोर, औपचारिक शैली में लिखी गई हैं जो लाइब्रेरियन के बात करने के सामान्य तरीके से मेल नहीं खातीं। उन्हें टेक्स्टबुक की तरह बोलने के लिए मजबूर करने से वे अजीब हो जाते हैं और उनका स्वाभाविक प्रवाह टूट जाता है।
"एकतरफा रास्ता" (The "One-Way Street"): प्रशिक्षण केवल किताबों में दिए गए "सही" उत्तरों को देखता है। इसे इस बात की परवाह नहीं है कि यदि लाइब्रेरियन अपने दम पर किसी प्रश्न का उत्तर देने का प्रयास करता है तो वह भ्रमित हो जाता है या नहीं। यह एक ऐसे शिक्षक की तरह है जो केवल एक बहुविकल्पीय परीक्षा (multiple-choice test) पर छात्र को ग्रेड देता है, लेकिन कभी यह नहीं देखता कि वह समस्या को हल करने के लिए कैसे सोचता है।

समाधान: RAFT (एक "परिष्कृत और अनुकूलन योग्य" कोच)
लेखक RAFT नामक एक नया तरीका प्रस्तावित करते हैं। RAFT को एक दो-चरणीय कोचिंग कार्यक्रम के रूप में सोचें जिसे लाइब्रेरियन को इंसान बने रहना सिखाने के साथ-साथ कानून सिखाने के लिए डिज़ाइन किया गया है।

चरण 1: "अनुवादक" (डेटा रिफाइनमेंट - Data Refinement)

लाइब्रेरियन के पढ़ाई शुरू करने से पहले, RAFT एक अनुवादक के रूप में कार्य करता है।

समस्या: कानून की किताबें बहुत कठोर हैं।
समाधान: लाइब्रेरियन से उन कानून संबंधी उत्तरों को अपनी स्वयं की स्वाभाविक आवाज़ में फिर से लिखने के लिए कहा जाता है, जबकि तथ्यों को सही रखा जाता है।
फ़िल्टर: एक स्मार्ट संपादक जाँच करता है: "क्या लाइब्रेरियन ने शैली बदलते समय अर्थ बदल दिया है?" यदि उत्तर अभी भी सटीक है, तो पुनर्गठित संस्करण को रखा जाता है। यदि वह निरर्थक है, तो मूल संस्करण को रखा जाता है।
फ्यूजन (Fusion): अंत में, एक सुपर-स्मार्ट "फ्यूजन मॉडल" (जैसे एक वरिष्ठ संपादक) मूल कानून के उत्तर और लाइब्रेरियन द्वारा पुनर्गठित संस्करण को मिलाकर एक आदर्श, उच्च-गुणवत्ता वाला उत्तर बनाता है जो तथ्यात्मक रूप से सही और लाइब्रेरियन के लिए समझने में आसान दोनों है।

उपमा (Analogy): लाइब्रेरियन को एक शुष्क कानूनी अनुबंध पढ़ने के लिए मजबूर करने के बजाय, आप उन्हें एक "चीट शीट" देते हैं जो सरल अंग्रेजी में लिखी गई है लेकिन जिसमें सभी कानूनी तथ्य मौजूद हैं।

चरण 2: "शैडो कोच" (अनुकूलन योग्य डिस्टिलेशन - Adaptive Distillation)

अब, लाइब्रेरियन इन नए, मित्रवत चीट शीट्स का उपयोग करके अध्ययन शुरू करता है। लेकिन असली जादू यहाँ है:

परिदृश्य: लाइब्रेरियन अपने दम पर एक प्रश्न का उत्तर देने का प्रयास करता है (एक "ट्रैजेक्टरी" या विचारों का मार्ग उत्पन्न करता है)।
कोच: मूल लाइब्रेरियन (वह जो दुनिया के बारे में सब कुछ जानता है, न कि केवल कानून) इस प्रक्रिया को देखता है।
गुप्त हथियार: कोच को संदर्भ के रूप में "परफेक्ट चीट शीट" (चरण 1 से) दी जाती है। जब छात्र-लाइब्रेरियन अटक जाता है या रास्ते से भटक जाता है, तो कोच कहता है, "हे, जो तथ्य हमें पता हैं, उनके आधार पर, यहाँ इसे कहने का एक बेहतर तरीका है," लेकिन वे यह बहुत कोमलता से करते हैं।
संतुलन: कोच केवल "गलत" नहीं कहता। वे एक विशेष तकनीक (Top-K Temperature) का उपयोग करते हैं ताकि एक एकल उत्तर थोपने के बजाय कुछ अच्छे विकल्प सुझाए जा सकें। यह छात्र को रोबोटिक बनाने के बजाय रचनात्मक और विविध बनाए रखता है।
ऑटो-पायलट: सिस्टम स्वचालित रूप से यह तय करता है कि उसे "कानून" को कितना सुनना चाहिए बनाम "सामान्य ज्ञान" वाले कोच को कितना सुनना चाहिए। यदि छात्र बहुत अधिक कानून पर ध्यान केंद्रित कर रहा है और सामान्य कौशल भूल रहा है, तो कोच स्वचालित रूप से सामान्य ज्ञान की आवाज़ (volume) बढ़ा देता है।

उपमा (Analogy): कल्पना कीजिए कि एक छात्र रेस कार (कानून) चलाना सीख रहा है। एक मानक शिक्षक केवल चिल्लाता है, "लाल बत्ती पर बाएं मुड़ो!" (एक विशिष्ट चाल थोपना)। RAFT एक ड्राइविंग इंस्ट्रक्टर की तरह है जो बगल वाली सीट पर बैठा है, जिसके पास नक्शा (परिष्कृत डेटा) है, और छात्र का मार्गदर्शन करता है: "तुम बहुत तेज़ी से मुड़ रहे हो, याद रखो कि मुड़ने के दौरान अपने दर्पणों (सामान्य कौशल) की जाँच करना न भूलें।"

परिणाम

पेपर ने इसे तीन अलग-अलग प्रकार के "लाइब्रेरियन" (AI मॉडल्स) पर पाँच विषयों (कानून, विज्ञान, संस्कृति, आदि) में परखा।

काम में बेहतर: RAFT-प्रशिक्षित लाइब्रेरियन पुराने तरीके से प्रशिक्षित होने वालों की तुलना में कानून के सवालों के जवाब देने में 23% बेहतर थे।
बाकी चीज़ें नहीं भूलीं: महत्वपूर्ण रूप से, उन्होंने अपने सामान्य कौशल नहीं खोए। सामान्य तर्क और निर्देशों का पालन करने के परीक्षणों पर, उन्होंने उन कौशलों को 18% और 10% तक वापस प्राप्त किया जो आमतौर पर खो जाते हैं।

संक्षेप में:
RAFT एक प्रशिक्षण पद्धति है जो पहले कठिन नई जानकारी को उस भाषा में अनुवाद (translate) करती है जिसे AI पहले से समझता है, और फिर AI की सीखने की प्रक्रिया को निर्देशित करने के लिए एक स्मार्ट, अनुकूलित कोच का उपयोग करती है। यह सुनिश्चित करता है कि AI एक विशेषज्ञ बन जाए बिना एक सामान्यज्ञ (generalist) होने के अपने गुण खोए। यह किसी को एक नया पेशा सिखाने के बारे में है बिना उन्हें यह भुलाए कि एक इंसान कैसे बने रहना है।

तकनीकी सारांश: RAFT (डेटा रिफाइनमेंट एंड एडेप्टिव डिस्टिलेशन फॉर डोमेन फाइन-ट्यूनिंग विद अलिएवेटेड फॉरगेटिंग)

समस्या विवरण

डोमेन-विशिष्ट सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) विशेष कार्यों के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) को अनुकूलित करने के लिए आवश्यक है, लेकिन यह अक्सर कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) का परिणाम देती है, जहाँ मॉडल की सामान्य क्षमताएं काफी कम हो जाती हैं। लेखक इस गिरावट को चलाने वाले दो व्यावहारिक अंतराल (gaps) की पहचान करते हैं:

सुपरविजन-कम्पैटिबिलिटी गैप (Supervision-Compatibility Gap): डोमेन ग्राउंड-ट्रुथ उत्तर अक्सर मॉडल के स्वाभाविक उत्तरों से शैली या तर्क प्रारूप (reasoning format) में भिन्न होते हैं। मॉडल को इन विसंगत लक्ष्यों (targets) के अनुरूप ढालने के लिए मजबूर करने से अचानक पैरामीटर शिफ्ट होता है जो प्री-ट्रेंड ज्ञान को ओवरराइट कर देता है।
ट्रैजेक्टरी-प्रिजर्वेशन गैप (Trajectory-Preservation Gap): मानक SFT अपने स्वयं के जनरेटेड प्रीफिक्स पर मॉडल के व्यवहार को बाधित किए बिना, निश्चित लक्ष्य टोकन के लिए अनुकूलन करता है। बाधाओं की इस कमी के कारण अनुकूलन के दौरान मॉडल के मूल व्यवहारिक पैटर्न को बनाए रखने में विफलता होती है।

मौजूदा तरीके आमतौर पर इस समस्या के केवल एक पक्ष को संबोधित करते हैं (जैसे, सेल्फ-डिस्टिलेशन के माध्यम से डेटा रिफाइनमेंट या रेगुलराइजेशन/KL डाइवर्जेंस के माध्यम से प्रशिक्षण बाधाएं) लेकिन शायद ही कभी दोनों को, जिससे डोमेन अनुकूलन और सामान्य क्षमता प्रतिधारण (retention) के बीच उप-इष्टतम ट्रेड-ऑफ होता है।

कार्यप्रणाली (Methodology)

RAFT एक दो-चरणीय ढांचे का प्रस्ताव करता है जो दोनों अंतरालों को एक साथ संबोधित करने के लिए डेटा रिफाइनमेंट को एडेप्टिव ऑन-पॉलिसी डिस्टिलेशन के साथ जोड़ता है।

1. ऑफलाइन डिस्टिलेशन (डेटा रिफाइनमेंट)

यह चरण ग्राउंड ट्रुथ और मॉडल के आउटपुट डिस्ट्रीब्यूशन के बीच वितरण बेमेल (distribution mismatch) को कम करने के लिए मॉडल-संगत पर्यवेक्षण (supervision) का निर्माण करता है।

सेल्फ-कंडीशन्ड रीराइटिंग (Self-Conditioned Rewriting): मूल इंस्ट्रक्शन-ट्यून्ड मॉडल मूल उत्तर स्वयं पर आधारित होकर ग्राउंड-ट्रुथ उत्तरों ( $y_i$ ) को फिर से लिखता है ( $\tilde{y}_i \sim p_\theta(\cdot | x_i, y_i)$ ), जिससे तथ्यात्मक सामग्री को सुरक्षित रखते हुए अभिव्यक्ति शैली को मॉडल के अपने डिस्ट्रीब्यूशन के अनुकूल बनाया जाता है।
सिमेंटिक फ़िल्टरिंग (Semantic Filtering): सिमेंटिक ड्रिफ्ट को रोकने के लिए, मूल और पुनर्गठित (rewritten) उत्तरों के बीच कोसाइन समानता (cosine similarity) की गणना की जाती है। पुनर्गठित उत्तरों को तभी स्वीकार किया जाता है यदि वे थ्रेशोल्ड $\tau$ से अधिक हों; अन्यथा, मूल उत्तर को बरकरार रखा जाता है।
मल्टी-एक्सपर्ट ऑप्टिमल सिलेक्शन (Multi-Expert Optimal Selection): स्वीकृत पुनर्गठित उत्तरों के लिए, एक मजबूत फ्यूजन मॉडल (जैसे, Qwen3-3B) मूल और पुनर्गठित उत्तरों को जोड़ता है। कई जज मॉडल मूल उत्तर के साथ निरंतरता के लिए फ्यूज्ड आउटपुट का मूल्यांकन करते हैं, और उच्चतम-स्कोरिंग परिणाम को अंतिम रिफाइंड उत्तर ( $\hat{y}_i$ ) के रूपв रूप में चुना जाता है।

2. एडेप्टिव ऑन-पॉलिसी डिस्टिलेशन (प्रशिक्षण अनुकूलन)

यह चरण मॉडल को रिफाइंड डेटासेट का उपयोग करके प्रशिक्षित करता है जबकि डिस्टिलेशन बाधाओं के माध्यम से सामान्य क्षमताओं को स्पष्ट रूप से संरक्षित करता है।

आंसर-कंडीशन्ड ऑन-पॉलिसी डिस्टिलेशन (Answer-Conditioned On-Policy Distillation): स्टूडेंट मॉडल ऑटोरिग्रेसिवली ट्रैजेक्टरीज ( $z_i$ ) जनरेट करता है। मूल इंस्ट्रक्शन-ट्यून्ड मॉडल एक टीचर के रूप में कार्य करता है, जो सॉफ्ट टारगेट्स प्रदान करता है। महत्वपूर्ण बात यह है कि टीचर को अतिरिक्त संदर्भ के रूप में फ्यूज्ड उत्तर ( $\hat{y}_i$ ) पर कंडीशन किया जाता है, जिससे यह स्टूडेंट की जनरेटेड ट्रैजेक्टरी पर अधिक सूचनात्मक मार्गदर्शन प्रदान करने में सक्षम होता है।
टॉप-K टेम्परेचर डिस्टिलेशन (Top-K Temperature Distillation): ओवर-स्मूथिंग को रोकने और आउटपुट विविधता बनाए रखने के लिए, KL डाइवर्जेंस की गणना केवल टीचर के डिस्ट्रीब्यूशन के टॉप- $K$ टोकन पर की जाती है, जिसे तापमान पैरामीटर $T$ द्वारा स्केल किया जाता है।
EMA-आधारित एडेप्टिव बैलेंसिंग (EMA-Based Adaptive Balancing): फिक्स्ड हाइपरपैरामीटर्स के बजाय, एक एक्सपोनेंशियल मूविंग एवरेज (EMA) मैकेनिज्म SFT लॉस (क्रॉस-एन्ट्रॉपी) और डिस्टिलेशन लॉस (KL डाइवर्जेंस) के बीच वेट ( $\lambda$ ) को डायनेमिक रूप से एडजस्ट करता है। यह सुनिश्चित करता है कि मैन्युअल ट्यूनिंग के बिना पूरे प्रशिक्षण के दौरान दोनों उद्देश्य संतुलित रहें।

मुख्य योगदान

समस्या की पहचान: पेपर इस बात को रेखांकित करता है कि डोमेन SFT में फॉरगेटिंग के मूल कारण सुपरविजन डिस्ट्रीब्यूशन मिसमैच और स्पष्ट ट्रैजेक्टरी प्रिजर्वेशन बाधाओं की कमी का जुड़ाव हैं।
ऑफलाइन डिस्टिलेशन रणनीति: कोसाइन सिमिलैरिटी फ़िल्टरिंग और मल्टी-मॉडल फ्यूजन का उपयोग करके उच्च-गुणवत्ता वाले, डिस्ट्रीब्यूशन-कंसिस्टेंट सुपरविजन डेटा को जनरेट करने वाली एक पाइपलाइन का परिचय।
एडेप्टिव ऑन-पॉलिसी डिस्टिलेशन: एक नया ट्रेनिंग ऑब्जेक्टिव जो आंसर-कंडीशन्ड ऑन-पॉलिसी डिस्टिलेशन, टॉप- $K$ टेम्परेचर स्केलिंग और EMA-आधारित लॉस बैलेंसिंग को जोड़ता है।
अनुभवजन्य सत्यापन (Empirical Validation): यह प्रदर्शन करना कि डेटा रिफाइनमेंट को ट्रैजेक्टरी-लेवल प्रिजर्वेशन के साथ जोड़ने से डोमेन प्रदर्शन में सुधार के साथ-साथ फॉरगेटिंग को प्रभावी ढंग से कम किया जा सकता है।

प्रयोगात्मक परिणाम

RAFT का मूल्यांकन तीन इंस्ट्रक्शन-ट्यून्ड बैकबोन (SmolLM3-3B, Llama-3.2-3B-Instruct, Phi-4-mini-instruct) पर पांच डोमेन (बिजनेस, लॉ, साइंस, कल्चर, वेब) में किया गया।

डोमेन प्रदर्शन: RAFT ने मानक SFT की तुलना में औसत डोमेन एक्यूरेसी (D-Acc) में 23.2% का सुधार किया।
सामान्य क्षमता प्रतिधारण (General Capability Retention): RAFT ने SFT द्वारा होने वाली गिरावट के महत्वपूर्ण हिस्सों को रिकवर किया:
- MS-Bench (सब्जेक्टिव QA): SFT के सापेक्ष 18.2% का सुधार।
- IFEवला (इंस्ट्रक्शन फॉलोइंग): SFT के सापेक्ष 10.2% का सुधार।
एब्लेशन स्टडीज (Ablation Studies):
- डेटा फ्यूजन: केवल फ्यूज्ड डेटा का उपयोग करने से मूल डेटा की तुलना में D-Acc और जनरल मेट्रिक्स में सुधार हुआ, जो स्टाइल एडाप्टेशन के मूल्य की पुष्टि करता है।
- डिस्टिलेशन: फ्यूज्ड-डेटा SFT में एडेप्टिव ऑन-पॉलिसी डिस्टिलेशन जोड़ने से डोमेन एक्यूरेसी और सामान्य क्षमता दोनों में पर्याप्त लाभ मिला।
- एडेप्टिव बैलेंसिंग: EMA-आधारित रणनीति ने फिक्स्ड KL कोएफिशिएंट्स को पछाड़ दिया, जो या तो डोमेन एडैप्टेशन को दबा देते थे या सामान्य क्षमताओं को बनाए रखने में विफल रहते थे।
पैरामीटर विश्लेषण: इष्टतम प्रदर्शन को कोसाइन सिमिलैरिटी थ्रेशोल्ड $\tau=0.8$ , टेम्परेचर $T=1.5$ , और Top- $K=512$ के साथ पाया गया।

महत्व और दावे

पेपर का दावा है कि RAFT 'अलिएवेटेड फॉरगेटिंग' के साथ डोमेन फाइन-ट्यूनिंग के लिए एक प्रभावी "रेसिपी" प्रदान करता है। डेटा रिफाइनमेंट और ट्रेनिंग कंस्ट्रेंट्स को स्वतंत्र के बजाय युग्मित (coupled) समस्याओं के रूप में मानकर, यह ढांचा मॉडल्स को उनकी प्री-ट्रेंड जनरल क्षमताओं को ओवरराइट किए बिना डोमेन-विशिष्ट ज्ञान प्राप्त करने की अनुमति देता है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण टीचर मॉडल को एक "कंजर्वेटिव एंकर" से बदलकर एक "टारगेट-अवेयर गाइड" बना देता है। परिणाम बताते हैं कि कम्पैटिबल सुपरविजन को ट्रैजेक्टरी-लेवल प्रिजर्वेशन के साथ जोड़ना LLMs में स्पेशलाइजेशन और जनरलाइजेशन के बीच ट्रेड-ऑफ के लिए एक व्यावहारिक समाधान है। पेपर अपनी स्केलेबिलिटी के संबंध में विनम्र रहता है, यह नोट करते हुए कि मूल्यांकन छोटे पैमाने के मॉडल्स और विशिष्ट डोमेन तक सीमित था, और बड़े मॉडल्स या विशेष कार्यों (जैसे कोड जनरेशन) पर प्रदर्शन के लिए आगे की जांच की आवश्यकता है।