The Long-Term Effects of Data Selection in LLM Fine-Tuning

तकनीकी सारांश: LLM फाइन-ट्यूनिंग में डेटा चयन के दीर्घकालिक प्रभाव

समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल (LLM) फाइन-ट्यूनिंग के लिए वर्तमान डेटा चयन विधियाँ मुख्य रूप से एक एकल प्रशिक्षण चरण के भीतर तत्काल उपयोगिता (immediate utility) को अनुकूलित करती हैं। ये विधियाँ दक्षता को अधिकतम करने के लिए वर्तमान लॉस (loss), ग्रेडिएंट मैग्नीट्यूड, विविधता या गुणवत्ता के आधार पर नमूनों को प्राथमिकता देती हैं। हालाँकि, यह शोध पत्र एक महत्वपूर्ण अंतराल की पहचान करता है: फाइन-ट्यूनिंग अक्सर एक क्रमिक, बहु-चरणीय प्रक्रिया होती है (जैसे, सामान्य निर्देश $\to$ गणित $\to$ कोड $\to$ सुरक्षा)। लेखक तर्क देते हैं कि जो चयन रणनीतियाँ अल्पकालिक रूप से इष्टतम दिखाई देती हैं, वे मायोपिक चयन (myopic selection) को प्रेरित कर सकती हैं, जहाँ मॉडल की पैरामीटर अवस्था क्षमताओं के एक संकीर्ण सेट की ओर धकेल दी जाती है। यह विशेषज्ञता मॉडल की भविष्य की अनुकूलन क्षमता को कम करती है, पिछले कार्यों के विस्मरण (forgetting) को बढ़ाती है, और आगामी चरणों में आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) बदलावों के प्रति मजबूती को कम करती है। मूल प्रश्न यह है कि क्या अल्पकालिक रूप से जीतने वाले चयनकर्ता (selectors) तब भी प्रभावी रहते हैं जब उनका मूल्यांकन दीर्घ-क्षितिज (long-horizon) प्रशिक्षण हस्तक्षेप के रूप में किया जाता है।

कार्यप्रणाली और ढांचा (Methodology and Framework)

यह शोध पत्र एक एकीकृत प्रोटोकॉल प्रस्तावित करता है ताकि एकल-चरण प्रदर्शन मेट्रिक्स से आगे बढ़कर, बहु-चरणीय सेटिंग के तहत डेटा चयन रणनीतियों का मूल्यांकन किया जा सके।

1. सैद्धांतिक सूत्रीकरण (Theoretical Formulation):
लेखक एक दीर्घ-क्षितिज उद्देश्य ($U_{long}$) को परिभाषित करते हैं जो सभी चरणों, अनुकूलन गति, विस्मरण और OOD मजबूती के प्रदर्शन को एकत्रित करता है। वे मायोपिया गैप (My-opia Gap) पेश करते हैं, जो तत्काल उपयोगिता बनाम दीर्घ-क्षितिज उपयोगिता के तहत एक चयनकर्ता की रैंकिंग के बीच असहमति को मापने वाला एक मीट्रिक है।

• सैद्धांतिक विश्लेषण: लॉस लैंडस्केप के स्थानीय द्विघाती सन्निकटन (local quadratic approximation) का उपयोग करते हुए, यह शोध पत्र प्रदर्शित करता है कि समान तत्काल लाभ वाले दो चयनकर्ता भविष्य की अनुकूलन लागत में काफी भिन्न हो सकते हैं। विशेष रूप से, एक ऐसा चयनकर्ता जो ग्रेडिएंट्स को भविष्य के कार्य ज्यामिति ($u_{t+1}$) के लंबवत या विरोधी दिशा में केंद्रित करता है, वह उच्च भविष्य के लॉस का सामना करेगा, भले ही वह वर्तमान कार्य ($u_t$) को पूरी तरह से हल कर ले।

2. मूल्यांकन प्रोटोकॉल (Evaluation Protocol):

• सेटअप: प्रयोग 8B-श्रेणी के ओपन LLM के साथ LoRA (Rank 16) फाइन-ट्यूनिंग का उपयोग करते हैं, हालांकि पूर्ण फाइन-ट्यूनिंग (full fine-tuning) के सैनिटी चेक भी शामिल किए गए हैं।
• कार्य अनुक्रम (Task Sequences): तीन अलग-अलग अनुक्रमों का उपयोग किया गया है: (1) कौशल-आधारित (सामान्य, गणित, कोड, रीजनिंग, सुरक्षा), (2) डोमेन-आधारित (सामान्य, बायोमेडिकल, लीगल, फाइनेंस, साइंटिफिक QA), और (3) इंटरलीव्ड (मिश्रित सीमाएँ)।
• तुलना किए गए चयनकर्ता (Selectors Compared):
  • रैंडम (Random): निष्पक्ष बेसलाइन।
  • लॉस-आधारित (Loss-based): उच्च वर्तमान लॉस।
  • ग्रेडिएंट-आधारित (Gradient-based): उच्च ग्रेडिएंट नॉर्म/समानता।
  • विविधता-आधारित (Diversity-based): एम्बेडिंग कवरेज (फर्स्ट-फार्टेस्ट ट्रैवर्सल)।
  • गुणवत्ता-आधारित (Quality-based): बाहरी ह्यूरिस्टिक स्कोर (जैसे, रिवॉर्ड मॉडल)।
  • उपयोगिता-विविधता (Utility-Diversity): उपयोगिता को अंतर-नमूना विविधता (UDS) के साथ जोड़ता है।
  • LHAS (Long-Horizon Aware Selection): एक डायग्नोस्टिक बेसलाइन जो कवरेज, फ्यूचर-प्रॉक्सी ट्रांसफर और एंटी-कंसंट्रेशन टर्म्स के साथ तत्काल उपयोगिता को बढ़ाती है।

3. डायग्नोस्टिक्स (Diagnostics):
अंतिम स्कोर के अलावा, अध्ययन निम्नलिखित को ट्रैक करता है:

• क्षमता एंट्रॉपी (Capability Entropy): चयनित उदाहरणों का कौशल क्लस्टर में प्रसार।
• अपडेट कंसंट्रेशन (Update Concentration): चयनित-ग्रेडिएंट कोवेरिएंस मैट्रिक्स का सबसे बड़ा आइजनवैल्यू शेयर।
• एडैप्टर ड्रिफ्ट (Adapter Drift): वर्तमान और संचयी अपडेट दिशाओं के बीच कोसाइन दूरी।

मुख्य परिणाम (Key Results)

प्रयोग एक सुसंगत रैंक रिवर्सल (rank reversal) घटना को प्रकट करते हैं जहाँ अल्पकालिक ऑप्टिमाइज़र दीर्घकालिक मूल्यांकन में विफल रहते हैं:

1. अल्पकालिक बनाम दीर्घकालिक ट्रेड-ऑफ: लॉस-आधारित और ग्रेडिएंट-आधारित चयनकर्ता वर्तमान-चरण के उच्चतम स्कोर प्राप्त करते हैं लेकिन भविष्य की अनुकूलन गति (AUC), उच्चतम विस्मरण और सबसे खराब OOD मजबूती प्रदर्शित करते हैं। इसके विपरीत, रैंडम और विविधता-आधारित चयनकर्ता, वर्तमान स्कोर पर थोड़े कमजोर होने के बावजूद, बेहतर दीर्घ-क्षितिज प्रदर्शन बनाए रखते हैं।
2. विविधता की सीमा (The Limit of Diversity): जबकि विविधता-आधारित चयन मजबूती में सुधार करता है, यह अपने आप में अपर्याप्त है। उपयोगिता-विविधता तत्काल स्कोर में सुधार करती है लेकिन भविष्य के अनुकूलन में अभी भी LHAS से पीछे रह जाती है क्योंकि इसका विविधता मीट्रिक वर्तमान उम्मीदवार स्ट्रीम तक सीमित है, जो भविष्य की क्षमता आवश्यकताओं का पूर्वानुमान लगाने में विफल रहता है।
3. LHAS का प्रदर्शन: लॉन्ग-होरिज़न अवेयर सिलेक्शन (LHAS) बेसलाइन समग्र रूप से सर्वश्रेष्ठ प्रोफाइल प्राप्त करने के लिए वर्तमान-चरण के प्रदर्शन का मामूली त्याग करती है: उच्चतम भविष्य अनुकूलन AUC, निम्नतम विस्मरण, सर्वश्रेष्ठ वर्स्ट-टास्क स्कोर और सबसे छोटा मायोपिया गैप।
4. ट्रैजेक्टरी विश्लेषण (Trajectory Analysis): डायग्नोस्टिक मेट्रिक्स पुष्टि करते हैं कि मायोपिक चयनकर्ता (लॉस/ग्रेडिएंट) कम क्षमता एंट्रॉपी और उच्च अपडेट कंसंट्रेशन (संकीर्ण ग्रेडिएंट कोवेरिएंस) का परिणाम देते हैं। LHAS व्यापक क्षमता कवरेज और कम अपडेट कंसंट्रेशन बनाए रखता है, जिससे मॉडल को एक ही दिशा में अत्यधिक विशिष्ट होने से रोका जा सके।
5. बजट संवेदनशीलता (Budget Sensitivity): चयन बजट बढ़ाने से सभी विधियों में प्रदर्शन में सुधार होता है लेकिन दीर्घ-क्षितिज प्रभावों द्वारा प्रेरित रैंकिंग को समाप्त नहीं करता है। मायोपिक प्रभाव कम बजट (जैसे, 10%) पर सबसे गंभीर होते हैं जहाँ प्रत्येक चयनित नमूने का प्रभाव अधिक होता है।

मुख्य योगदान (Key Contributions)

1. दीर्घ-क्षितिज चयन का औपचारिककरण: यह शोध पत्र डेटा चयन का मूल्यांकन न केवल एक स्थानीय दक्षता तंत्र के रूप में, बल्कि एक प्रशिक्षण हस्तक्षेप के रूप में करने के लिए एक ढांचा परिभाषित करता है जो कई चरणों में मॉडल के सीखने के प्रक्षेपवक्र (learning trajectory) को आकार देता है।
2. एकीकृत प्रोटोकॉल और मेट्रिक्स: यह समान टोकन बजट के तहत चयन परिवारों की तुलना करने के लिए एक मानकीकृत प्रोटोकॉल पेश करता है, जिसमें भविष्य के अनुकूलन की गति, विस्मरण, क्षमता असंतुलन और OOD मजबूती के लिए मेट्रिक्स शामिल हैं।
3. सैद्धांतिक अंतर्दृष्टि: यह एक सरल सैद्धांतिक प्रमाण प्रदान करता है कि कैसे तत्काल-उपयोगिता मैक्सिमाइजेशन भविष्य के कार्यों को नुकसान पहुँचा सकता है, क्योंकि यह अपडेट को उन दिशाओं में केंद्रित करता है जो भविष्य की कार्य ज्यामिति के साथ संरेखित नहीं हैं।
4. डायग्नोस्टिक बेसलाइन (LHAS): लेखक LHAS का प्रस्ताव करते हैं, जो एक हल्का उद्देश्य है जो कवरेज और एंटी-कंसंट्रेशन टर्म्स के साथ उपयोगिता को बढ़ाता है, यह प्रदर्शित करते हुए कि सरल टेम्पोरल सुधार दीर्घकालिक दुष्प्रभावों को कम कर सकते हैं।

महत्व और दावे (Significance and Claims)

यह शोध पत्र तर्क देता है कि डेटा चयन के क्षेत्र को "एक विधि आज के कार्य को कम टोकन के साथ कितनी अच्छी तरह हल करती है" के मूल्यांकन से बदलकर "एक विधि मॉडल को कल के कार्यों के लिए कितनी अच्छी तरह तैयार छोड़ती है" के मूल्यांकन की ओर विकसित होना चाहिए।

• प्रतिमान परिवर्तन (Paradigm Shift): डेटा चयन को केवल एक प्रीप्रोसेसिंग फ़िल्टर के बजाय एक ऑप्टिमाइज़र के घटक के रूप में माना जाना चाहिए जो भविष्य के सीखने के लिए प्रारंभिक अवस्था निर्धारित करता है।
• बेंचमार्किंग निहितार्थ: लेखक दावा करते हैं कि वर्तमान ऑनलाइन चयन बेंचमार्क अधूरे हैं क्योंकि उनमें होल्ड-आउट भविष्य के चरण नहीं हैं। वे अनुशंसा करते हैं कि भविष्य के मूल्यांकनों में समान टोकन बजट के तहत फॉरवर्ड-ट्रांसफर मेट्रिक्स, विस्मरण मेट्रिक्स और OOD मजबूती शामिल होनी चाहिए।
• व्यावहारिक उपयोगिता: अध्ययन सुझाव देता है कि बार-बार अपडेट की आवश्यकता वाले सिस्टम (जैसे, लंबे समय तक चलने वाले असिस्टेंट) के लिए, यदि यह मॉडल की प्लास्टिसिटी को बनाए रखता है और विनाशकारी विस्मरण या विशेषज्ञता को रोकता है, तो तत्काल प्रदर्शन का मामूली त्याग तर्कसंगत है।
• सीमित दायरा: लेखक स्पष्ट रूप से नोट करते हैं कि LHAS एक डायग्नोस्टिक बेसलाइन है, न कि इष्टतमता का दावा। वे सीमाओं को स्वीकार करते हैं, जिसमें कार्य अनुक्रमों की शैलीगत प्रकृति और सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) तथा LoRA पर निर्भरता शामिल है, यह देखते हुए कि निष्कर्ष RLHF या प्रीट्रेनिंग संदर्भों में भिन्न हो सकते हैं।

निष्कर्षतः, यह शोध पत्र प्रतिपादित करता है कि मायोपिक चयन (myopic selection) बहु-चरणीय LLM अनुकूलन में एक महत्वपूर्ण विफलता मोड है, और दीर्घ-क्षितिज जागरूकता को चयन रणनीतियों में शामिल करना मजबूत, निरंतर अनुकूलन योग्य भाषा मॉडल बनाने के लिए आवश्यक है।