🤖 machine learning

Two-Stage Optimizer-Aware Online Data Selection for Large Language Models

यह शोध पत्र लार्ज लैंग्वेज मॉडल फाइन-ट्यूनिंग में ऑनलाइन डेटा चयन के लिए एक दो-चरणीय, ऑप्टिमाइज़र-जागरूक फ्रेमवर्क प्रस्तावित करता है जो चयन को एक अपडेट-मैचिंग समस्या के रूप में तैयार करके और अभिसरण (convergence) एवं डाउनस्ट्रीम प्रदर्शन में सुधार के लिए एक 'फिल्टर-देन-वेट' एल्गोरिदम का उपयोग करके ऑफलाइन विधियों की सीमाओं को संबोधित करता है।

मूल लेखक: Fangxin Wang, Peyman Baghershahi, Langzhou He, Henry Peng Zou, Sourav Medya, Philip S. Yu

प्रकाशित 2026-04-02

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Fangxin Wang, Peyman Baghershahi, Langzhou He, Henry Peng Zou, Sourav Medya, Philip S. Yu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही प्रतिभाशाली लेकिन बहुत महंगे छात्र (एक लार्ज लैंग्वेज मॉडल, या LLM) को एक मास्टर शेफ बनने के लिए सिखाने की कोशिश कर रहे हैं। आपके पास 1,00,000 कुकबुक्स (ट्रेनिंग डेटा) का एक विशाल पुस्तकालय है, लेकिन आपके पास परीक्षा से पहले केवल 5,000 पन्ने पढ़ने का समय है।

समस्या क्या है? उन 1,00,000 कुकबुक्स में से अधिकांश निरर्थक, दोहराव वाली, या उस विशिष्ट व्यंजन के लिए अप्रासंगिक हो सकती हैं जिसे आपको बनाना है। यदि आप बस रैंडम तरीके से पन्ने पलटते हैं, तो छात्र भ्रमित हो सकता है या गलत तकनीक सीख सकता है।

यह पेपर यह चुनने का एक नया, स्मार्ट तरीका प्रस्तावित करता है कि कौन से पन्ने पढ़ने हैं और प्रत्येक पन्ने पर कितना ध्यान देना है। यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है।

1. पुराना तरीका बनाम नया तरीका

पुराना तरीका (ऑफलाइन चयन - Offline Selection):
कल्पना कीजिए कि आप छात्र को पढ़ाना शुरू करने से पहले ही सबसे अच्छे 5,000 पन्ने चुनने की कोशिश कर रहे हैं। आप पूरे पुस्तकालय को देखते हैं, पन्नों को रैंक करते हैं, और फिर छात्रों को पन्नों का एक ढेर थमा देते हैं।

दोष: एक बार जब छात्र पढ़ना शुरू करता है, तो उसकी समझ बदल जाती है। एक पन्ना जो शुरुआत में "अच्छा" लग रहा था, वह बाद में भ्रमित करने वाला हो सकता है, या एक "बुरा" पन्ना अचानक समझ में आने योग्य हो सकता है। इसके अलावा, यह तरीका मानता है कि छात्र एक साधारण, सीधी रेखा में सीखता है (जैसे समतल जमीन पर चलना), लेकिन वास्तविक सीखना ऊबड़-खाबड़ और जटिल होता है।

नया तरीका (ऑनलाइन, ऑप्टिमाइज़र-अवेयर - Online, Optimizer-Aware):
यह पेपर सुझाव देता है कि आप केवल पन्ने नहीं चुनते; बल्कि आप एक डायनेमिक कोच (गतिशील प्रशिक्षक) के रूप में कार्य करते हैं जो छात्र को चरण-दर-चरण सीखते हुए देखता है।

कोच की अंतर्दृष्टि: कोच जानता है कि छात्र एक विशिष्ट "सीखने की शैली" (जिसे ऑप्टिमाइज़र, जैसे Adam कहा जाता है) का उपयोग करता है। यह शैली एक ऐसी कार की तरह है जिसमें सस्पेंशन सिस्टम है जो अलग-अलग झटकों पर अलग तरह से प्रतिक्रिया करता है। कोच केवल सबसे अच्छा रास्ता नहीं चुनता; वह वह रास्ता चुनता है जो कार के सस्पेंशन के साथ सबसे अच्छा काम करे।

2. मुख्य विचार: "अगले कदम को आकार देना" (Shaping the Next Step)

"कौन सा पन्ना सबसे दिलचस्प है?" यह पूछने के बजाय, कोच पूछता है: "पन्नों का कौन सा संयोजन छात्र को ठीक वहीं ले जाएगा जहाँ उसे अगले कदम में जाने की आवश्यकता है?"

लेखकों ने महसूस किया कि केवल "सर्वश्रेष्ठ" पन्ने चुनना पर्याप्त नहीं है क्योंकि:

अतिरेक (Redundancy): यदि आप तीन ऐसे पन्ने चुनते हैं जो बिल्कुल एक ही बात कहते हैं, तो आप समय बर्बाद कर रहे हैं।
द्वंद्व (Conflict): यदि आप एक ऐसा पन्ना चुनते हैं जो कहता है "नमक डालें" और दूसरा जो कहता है "नमक न डालें," तो छात्र भ्रमित हो जाता है।
"सस्पेंशन" प्रभाव: छात्र का लर्निंग एल्गोरिदम (ऑप्टिमाइज़र) इस बात को बदल देता है कि वे जानकारी पर कैसी प्रतिक्रिया देंगे। एक पन्ना जो अकेले में अच्छा दिखता है, वह इस विशिष्ट एल्गोरिदम द्वारा प्रोसेस किए जाने पर वास्तव में बुरा हो सकता है।

3. दो-चरणीय "फ़िल्टर-फिर-वेट" रणनीति (Filter-Then-Weight Strategy)

इसे हल करने के लिए, लेखकों ने एक दो-चरणीय प्रक्रिया बनाई है, जो एक छलनी और तराजू की तरह है।

चरण 1: छलनी (Filtering)

सबसे पहले, कोच आने वाले डेटा के प्रवाह को तेजी से स्कैन करता है ताकि "ज्यामितीय रूप से उपयोगी" (geometrically useful) उम्मीदवारों को खोजा जा सके।

उपमा: कल्पना कीजिए कि आप सूप के लिए सामग्री देख रहे हैं। आप जल्दी से सड़ी हुई सब्जियां और वे चीजें बाहर फेंक देते हैं जो स्पष्ट रूप से गलत हैं (जैसे टमाटर के सूप में चॉकलेट)। आप "शायद" वाली सामग्रियों का एक छोटा ढेर रखते हैं।
तकनीक: वे रैंडम प्रोजेक्शन (Random Projection) नामक एक चतुर ट्रिक का उपयोग करते हैं। एक लंबी किताब के हर एक शब्द को पढ़ने के बजाय (जिसमें बहुत समय लगता है), वे पन्ने का एक "स्नैपशॉट" या सारांश लेते हैं जो सबसे महत्वपूर्ण स्वाद के नोट्स को बनाए रखता है लेकिन उसके आकार को छोटा कर देता है। यह इसे रियल-टाइम में करने के लिए पर्याप्त तेज़ बनाता है।

चरण 2: तराजू (Reweighting)

एक बार जब उनके पास "शायद" वाला ढेर आ जाता है, तो वे उन्हें समान रूप से उपयोग नहीं करते हैं। वे यह तय करने के लिए कि प्रत्येक का कितना उपयोग करना है, उन्हें एक तराजू पर रखते हैं।

उपमा: आपके पास एक चुटकी नमक, एक कप आटा और वनीला की एक बूंद है। आप इनका समान मात्रा में उपयोग नहीं करते हैं। आप मात्रा को इस तरह समायोजित करते हैं कि अंतिम मिश्रण सटीक लक्षित स्वाद तक पहुँच जाए।
तकनीक: वे प्रत्येक चयनित पन्ने को एक विशिष्ट "वेट" (महत्व स्कोर) देने के लिए एक गणितीय समस्या को हल करते हैं। महत्वपूर्ण रूप से, वे इन वेट्स को पॉजिटिव (धनात्मक) रहने के लिए मजबूर करते हैं।
- क्यों? यदि आप नेगेटिव वेट की अनुमति देते हैं, तो गणित एक खराब पन्ने को "घटाकर" (subtract करके) खत्म करने की कोशिश कर सकता है। लेकिन वास्तविक सीखने में, आप किसी चीज़ को घटाकर "अन-लर्न" नहीं कर सकते; आपको बस उसे अनदेखा करने की आवश्यकता है। पॉजिटिव वेट सुनिश्चित करना यह सुनिश्चित करता है कि मॉडल केवल सहायक जानकारी जोड़ता है, कभी भी घटाता नहीं है।

4. "ऑप्टिमाइज़र-अवेयर" क्यों महत्वपूर्ण है

यही इस पेपर का गुप्त मंत्र है। अधिकांश पिछले तरीकों ने माना कि छात्र एक साधारण पैदल यात्री (Stochastic Gradient Descent) की तरह सीखता है। लेकिन आधुनिक छात्र (LLMs) Adam का उपयोग करते हैं, जो एक ऐसे स्मार्ट पैदल यात्री की तरह है जिसके पास पिछले झटकों को याद रखने वाला सस्पेंशन सिस्टम है।

समस्या: यदि आप एक पथ इस आधार पर चुनते हैं कि एक साधारण पैदल यात्री कैसा करेगा, तो स्मार्ट पैदल यात्री दुर्घटनाग्रस्त हो सकता है।
समाधान: कोच स्मार्ट पैदल यात्री के लिए विशेष रूप से पथ की गणना करता है। वे लक्ष्य को "प्री-कंडीशन" (pre-condition) करते हैं, जिसका अर्थ है कि वे लक्ष्य को इस आधार पर समायोजित करते हैं कि छात्र के सस्पेंशन सिस्टम की प्रतिक्रिया कैसी होगी। यह सुनिश्चित करता है कि छात्र केवल आगे ही न बढ़े, बल्कि कुशलतापूर्वक आगे बढ़े।

5. परिणाम

जब उन्होंने इस पद्धति का परीक्षण किया:

तेज़ सीखना: मॉडल ने पूरी सामग्री पढ़ने की तुलना में केवल 5% डेटा का उपयोग करके उच्च प्रदर्शन प्राप्त किया।
बेहतर ग्रेड: कठिन परीक्षाओं (जैसे कई भाषाओं में उत्तर देना या सामान्य ज्ञान) पर, इस पद्धति ने अन्य "स्मार्ट सिलेक्शन" विधियों की तुलना में उच्च स्कोर प्राप्त किया।
स्थिरता (Stability): "चुनने" (picking) को "वजन देने" (weighing) से अलग करके, सिस्टम शोर वाले डेटा (noisy data) से भ्रमित नहीं हुआ, जिससे अधिक स्थिर सीखने की प्रक्रिया हुई।

सारांश

इस पेपर को AI ट्रेनिंग के लिए एक स्मार्ट GPS के रूप में समझें।
पुराने तरीके ट्रैफिक या कार के हैंडलिंग का ध्यान रखे बिना स्थिर मानचित्रों (static maps) की तरह थे।
यह नया तरीका एक लाइव नेविगेशन सिस्टम है जो:

आगे के रास्ते को जल्दी से स्कैन करता है (Filtering)।
कार के विशिष्ट सस्पेंशन और स्टीयरिंग के आधार पर मार्ग को समायोजित करता है (Optimizer-Awareness)।
ड्राइवर को हर क्षण बताता है कि पहिया कितना घुमाना है (Reweighting)।

परिणाम? AI तेजी से सीखता है, कम गलतियाँ करता है, और पूरे पुस्तकालय को पढ़े बिना अपने काम में बेहतर होता है।

यहाँ शोध पत्र "Two-Stage Optimizer-Aware Online Data Selection for Large Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs) की फाइन-ट्यूनिंग के लिए ऑनलाइन डेटा चयन (online data selection) की चुनौती को संबोधित करता है। ऑफलाइन सेटिंग्स के विपरीत, जहाँ प्री-कंप्यूटेशन के लिए पूरा डेटासेट उपलब्ध होता है, ऑनलाइन फाइन-ट्यूनिंग में डेटा क्रमिक रूप से आता है (जैसे, निरंतर इंस्ट्रक्शन ट्यूनिंग) और इसमें मेमोरी तथा लेटेंसी (latency) की सख्त सीमाएं होती हैं।

पहचानी गई मुख्य चुनौतियाँ:

ऑप्टिमाइज़र की अनभिज्ञता (Optimizer Ignorance): मौजूदा ग्रेडिएंट-आधारित चयन विधियाँ (जैसे, TracIn, LESS) अक्सर सरल स्टोकैस्टिक ग्रेडिएंट डिसेंट (SGD) को मान लेती हैं। वे Adam/AdamW जैसे एडेप्टिव ऑप्टिमाइज़र्स के नॉन-लीनियर अपडेट नियमों को ध्यान में रखने में विफल रहती हैं, जो LLM ट्रेनिंग में मानक हैं।
स्थिर बनाम गतिशील उपयोगिता (Static vs. Dynamic Utility): ऑफलाइन विधियाँ सैंपल की उपयोगिता को स्थिर मानती हैं। ऑनलाइन सेटिंग्स में, एक सैंपल की उपयोगिता वर्तमान मॉडल स्टेट और उस चरण में विशिष्ट ऑप्टिमाइज़र ज्योमेट्री पर निर्भर करती है।
अतिरेक और अंतःक्रिया (Redundancy and Interactions): सरल ग्रेडिएंट अलाइनमेंट (इनर प्रोडक्ट्स) चयनित सैंपल्स के बीच की अंतःक्रिया को अनदेखा करता है। एडेप्टिव ऑप्टिमाइज़र्स में, अत्यधिक सह-संबंधित (correlated) सैंपल्स का चयन करने से घटते प्रतिफल (diminishing returns) या अस्थिर अपडेट हो सकते हैं।
कंप्यूटेशनल लागत (Computational Cost): LLMs के लिए पूर्ण प्रति-सैंपल ग्रेडिएंट्स की गणना करना मेमोरी और समय की सीमाओं के कारण अव्यवहारिक है, विशेष रूप से लंबे कॉन्टेक्स्ट वाले डेटा के साथ।

2. कार्यप्रणाली (Methodology)

लेखक एक ऑप्टिमाइज़र-अवेयर फ्रेमवर्क (Optimizer-Aware Framework) प्रस्तावित करते हैं जो डेटा चयन को केवल स्टैटिक रैंकिंग के रूप में नहीं, बल्कि विशिष्ट ऑप्टिमाइज़र द्वारा प्रेरित ज्योमेट्री के तहत अगले ट्रेनिंग अपडेट को लक्षित कार्य (target task) के अनुरूप ढालने के रूप में पुनर्परिभाषित करता है।

A. सैद्धांतिक सूत्रीकरण (Theoretical Formulation)

ऑप्टिमाइज़र-अवेयर अपडेट मैचिंग: लक्ष्य ऑप्टिमाइज़र के ट्रांसफॉर्मेशन फंक्शन $P_t$ $P_{t}$ को ध्यान में रखते हुए, भारित (weighted) ट्रेनिंग ग्रेडिएंट और लक्षित वैलिडेशन ग्रेडिएंट के बीच संरेखण (alignment) को अधिकतम करना है।
- उद्देश्य: $\max_w \langle \nabla L_{val}, P_t(\sum w_i \nabla l_i) \rangle$ ।
दूरी-आधारित उपसमूह उपयोगिता (Distance-Based Subset Utility): साधारण अलाइनमेंट के बजाय, लेखक समस्या को लक्षित ग्रेडिएंट और ऑप्टिमाइज़र-प्रेरित अपडेट के बीच की दूरी को न्यूनतम करने के रूप में तैयार करते हैं:
- $\min_{w \ge 0} \| \nabla l_{val} - P_t(\nabla l_{tr}) \|_2^2 + \lambda \|w\|_2^2$ ।
- सेकंड-ऑर्डर व्याख्या: यह दूरी-आधारित उद्देश्य लक्षित लॉस के सेकंड-ऑर्डर टेलर एक्सपेंशन का सन्निकटन (approximation) करता है, जो स्वाभाविक रूप से रेडंडेंट ग्रेडिएंट्स (पेयरवाइज इंटरैक्शन) को दंडित करता है।
- गैर-ऋणात्मक बाधा (Non-Negative Constraint): भार $w$ को गैर-ऋणात्मक ( $w \ge 0$ ) रखा गया है ताकि "विनाशकारी त्रुटि रद्दीकरण" (destructive error cancellation) को रोका जा सके, जहाँ ऑप्टिमाइज़र लक्ष्य को फिट करने के लिए बड़े विपरीत वेक्टर्स को घटा देता है, जिससे ट्रेनिंग अस्थिर हो जाती है।

B. कुशल ग्रेडिएंट प्रतिनिधित्व (Efficient Gradient Representation)

LLMs के लिए इसे व्यावहारिक बनाने हेतु, शोध पत्र निम्नलिखित पेश करता है:

LoRA एकीकरण: ट्रेन करने योग्य पैरामीटर्स के आयाम (dimensionality) को कम करने के लिए लो-रैंक अडैप्टेशन (Low-Rank Adaptation) का उपयोग।
रैंडम प्रोजेक्शन (Random Projection): इनर प्रोडक्ट्स को संरक्षित करते हुए उच्च-आयामी ग्रेडिएंट्स को निम्न-आयामी सबस्पेस में प्रोजेक्ट करना (जॉन्सन-लिंडेनस्ट्रॉस लेम्मा)।
फैक्टराइज्ड आउटर-प्रोडक्ट प्रतिनिधित्व: लीनियर लेयर ग्रेडिएंट्स ( $\nabla l = g a^T$ $\nabla l = g a^{T}$ ) की संरचना का लाभ उठाना। पूर्ण ग्रेडिएंट्स को स्टोर करने के बजाय, यह विधि एक्टिवेशन्स ( $a$ $a$ ) और आउटपुट ग्रेडिएंट्स ( $g$ $g$ ) को स्टोर करती है।
- इनर प्रोडक्ट्स की गणना $\langle g_j, g_i \rangle \cdot \langle a_j, a_i \rangle$ के रूप में की जाती है।
- यह मेमोरी कॉम्प्लेक्सिटी को $O(d_1 d_2)$ से घटाकर $O(d_1 + d_2)$ कर देता है और लंबे सीक्वेंस को कुशलतापूर्वक संभालता है।

C. ऑप्टिमाइज़र-अवेयर प्रीकंडीशनिंग (Optimizer-Aware Preconditioning)

Adam जैसे एडेप्टिव ऑप्टिमाइज़र्स के लिए, अपडेट नियम में पिछले चरण के स्टेट से प्राप्त प्रीकंडीशनिंग मैट्रिक्स ( $\hat{v}$ ) शामिल होता है।

रैखिक सन्निकटन (Linearized Approximation): लेखक Adam अपडेट ऑपरेटर को पिछले चरण के स्टेट का उपयोग करके एक फिक्स्ड लीनियर ट्रांसफॉर्मेशन $D_{t-1} \odot g$ के रूप में अनुमानित करते हैं।
एसिमेट्रिक प्रीकंडीशनिंग (Asymmetric Preconditioning): प्रत्येक उपसमूह के लिए सेकंड मोमेंट को पुन: मूल्यांकित करने से बचने के लिए, वे प्रीकंडीशनर को वैलिडेशन साइड पर स्थानांतरित करते हैं: $\langle \nabla l_{val}, D_{t-1} \odot \nabla l_{tr} \rangle = \langle D_{t-1} \odot \nabla l_{val}, \nabla l_{tr} \rangle$ । यह उम्मीदवारों को वास्तविक ऑप्टिमाइज़ेशन दिशा के साथ संरेखित करता है।

D. दो-चरणीय फ़िल्टर-देन-वेट एल्गोरिदम (Two-Stage Filter-then-Weight Algorithm)

स्थिरता और दक्षता सुनिश्चित करने के लिए चयन प्रक्रिया को दो चरणों में विभाजित किया गया है:

चरण 1: ग्रीडी फ़िल्टरिंग (उम्मीदवार चयन):
- विविध उम्मीदवारों के एक विविध उपसमूह को चुनने के लिए ग्रीडी रेसिडुअल सर्च (ऑर्थोगोनल मैचिंग पच्यूट के समान) का उपयोग करता है।
- इस चरण के दौरान यह शोर वाले ग्रेडिएंट दिशाओं पर ओवरफिटिंग से बचने और ज्यामितीय विविधता को प्राथमिकता देने के लिए यूनिट वेट्स मानता है।
चरण رح: सटीक वेटिंग (गुणांक अनुकूलन):
- अनुकूल निरंतर भार (continuous weights) खोजने के लिए फ़िल्टर्ड उपसमूह पर नॉन-नेगेटिव लीस्ट स्क्वायर्स (NNLS) समस्या को हल करता है।
- यह चरण कंपोजिट ग्रेडिएंट को रिफाइन करता है ताकि वह ऑप्टिमाइज़र-अवेयर टारगेट के साथ सख्ती से संरेखित हो सके।

3. प्रमुख योगदान (Key Contributions)

ऑप्टिमाइज़र-अवेयर फ्रेमवर्क: ऑनलाइन सेटिंग में एडेप्टिव ऑप्टिमाइज़र्स (जैसे Adam) के साथ डेटा चयन और उनके बीच की अंतःक्रिया को स्पष्ट रूप से मॉडल करने वाला पहला फ्रेमवर्क, जो SGD सन्निकटन से आगे बढ़ता है।
सैद्धांतिक अंतर्दृष्टि: ग्रेडिएंट मैचिंग और सेकंड-ऑर्डर टारगेट यूटिलिटी के बीच संबंध स्थापित करता है, जो डिस्टेंस-बेस्ड ऑब्जेक्टिव और नॉन-नेगेटिव कंस्ट्रेंट्स के उपयोग के लिए एक सिद्धांत आधारित औचित्य प्रदान करता है।
कुशल कार्यान्वयन: एक फैक्टराइज्ड ग्रेडिएंट रिप्रेजेंटेशन और रैंडम प्रोजेक्शन रणनीति पेश करता है जो अत्यधिक मेमोरी लागत के बिना लंबे कॉन्टेक्स्ट वाले LLMs के लिए ऑनलाइन चयन को सक्षम बनाता है।
दो-चरणीय डिकपलिंग: एक मजबूत "फ़िल्टर-देन-वेट" एल्गोरिदम प्रस्तावित करता है जो उम्मीदवार पहचान को वेट ऑप्टिमाइज़ेशन से अलग करता है, जिससे कपल्ड सिलेक्शन-वेटिंग विधियों (जैसे मानक OMP) में पाई जाने वाली अस्थिरता की समस्याओं को हल किया जाता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन Llama-3.2-1B और Qwen3-0.6B पर MMLU (ज्ञान) और TyDiQA (बहुभाषी QA) बेंचमार्क का उपयोग करके किया गया।

प्रदर्शन: प्रस्तावित विधि मौजूदा बेसलाइन्स (TracIn, LESS, GREATS, GRAD-MATCH) को लगातार पीछे छोड़ देती है और अक्सर "फुल डेटा" बेसलाइन से भी बेहतर प्रदर्शन करती है, जबकि यह केवल 5% प्रशिक्षण डेटा का उपयोग करती है।
- उदाहरण: Llama-3.2-1B के साथ TyDiQA पर, इस विधि ने 48.86 F1 प्राप्त किया, जबकि GREATS ने 47.50 और Full Data ने 42.47 प्राप्त किया।
डेटा दक्षता: विधि ने कम डेटा अनुपात पर बेहतर प्रदर्शन दिखाया, जो इंगित करता है कि यह प्रभावी रूप से सूचनात्मक सैंपल्स की पहचान करती है जब ट्रेनिंग सिग्नल कम होते हैं।
एब्लेशन स्टडीज (Ablation Studies):
- ऑप्टिमाइज़र-अवेयरनेस महत्वपूर्ण है: कच्चे ग्रेडिएंट्स (ऑप्टिमाइज़र स्टेट को अनदेखा करते हुए) के साथ रीवेटिंग का उपयोग करने से साधारण चयन से भी खराब प्रदर्शन हुआ। वेटिंग चरण के लाभकारी होने के लिए प्रीकंडीशनिंग चरण आवश्यक है।
- गैर-ऋणात्मक बाधाएं (Non-Negative Constraints): गैर-ऋणात्मक बाधा को हटाने से ग्रेडिएंट रद्दीकरण के कारण विनाशकारी विफलता हुई।
- दो-चरणीय बनाम हार्ड फ़िल्टर: दो-चरणीय दृष्टिकोण (ग्रीडी फ़िल्टर + NNLS वेटिंग) ने सरल Top-k फ़िल्टरिंग की तुलना में बेहतर दीर्घकालिक स्थिरता और अंतिम प्रदर्शन प्रदान किया।

5. महत्व (Significance)

यह शोध पत्र LLMs के लिए डेटा-सेंट्रिक AI और ऑप्टिमाइज़ेशन थ्योरी के बीच एक महत्वपूर्ण सेतु प्रदान करता है।

व्यावहारिक प्रभाव: यह संसाधन-बाधित, स्ट्रीमिंग वातावरण (जैसे, निरंतर सीखना, एज डिवाइसेस) में LLMs को फाइन-ट्यून करने के लिए एक स्केलेबल समाधान प्रदान करता है, जहाँ पूर्ण डेटासेट या चेकपॉइंट्स को स्टोर करना असंभव है।
सैद्धांतिक प्रगति: यह इस धारणा को चुनौती देता है कि डेटा चयन को एक स्टेटिक रैंकिंग समस्या माना जा सकता है, और यह प्रदर्शित करता है कि ऑप्टिमाइज़र की "ज्योमेट्री" मौलिक रूप से बदल देती है कि कौन सा डेटा उपयोगी है।
भविष्य की दिशा: यह कार्य सुझाव देता है कि भविष्य के डेटा चयन एल्गोरिदम को ऑप्टिमाइज़र-एग्नोस्टिक होने के बजाय, उपयोग किए जाने वाले विशिष्ट ऑप्टिमाइज़र के साथ सह-डिज़ाइन (co-designed) किया जाना चाहिए।