🤖 machine learning

Cost-Aware Learning

यह शोध पत्र कॉस्ट-अवेयर लर्निंग (Cost-Aware Learning) प्रस्तुत करता है, जो विविध सैंपलिंग खर्चों को ध्यान में रखते हुए कुल प्रशिक्षण लागत को कम करने वाला एक ढांचा है, जो सैद्धांतिक गारंटियों और एक सबसेट चयन पद्धति के साथ कॉस्ट-अवेयर SGD एल्गोरिदम का प्रस्ताव देता है, और इन अंतर्दृष्टि को कॉस्ट-अवेयर GRPO विकसित करने में लागू करता है, जो प्रदर्शन को बनाए रखते हुए LLM पॉलिसी ऑप्टिमाइज़ेशन में टोकन उपयोग को 30% तक कम करता है।

मूल लेखक: Clara Mohri, Amir Globerson, Haim Kaplan, Tomer Koren, Yishay Mansour

प्रकाशित 2026-05-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Clara Mohri, Amir Globerson, Haim Kaplan, Tomer Koren, Yishay Mansour

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शेफ हैं जो एक नई रेसिपी को बेहतर बनाने की कोशिश कर रहे हैं। आपका लक्ष्य व्यंजन का स्वाद लेना, उसमें मसालों का तालमेल बिठाना और उसे एकदम सही (एक लक्षित "त्रुटि" स्तर तक) बनाना है।

मानक कंप्यूटर प्रशिक्षण की दुनिया में, यह धारणा है कि हर सामग्री को चखने में लगने वाला समय और प्रयास बिल्कुल समान होता है। चाहे आप नमक का एक चुटकी लें या सूप का एक पूरा कटोरा, "लागत" (cost) समान होती है। इसलिए, आप बस तब तक चीजों को रैंडमली चखते रहते हैं जब तक कि आप सही परिणाम तक न पहुँच जाएँ।

लेकिन आधुनिक AI (विशेष रूप से लार्ज लैंग्वेज मॉडल्स) की वास्तविक दुनिया में, ऐसा नहीं है। कुछ "सामग्रियाँ" (प्रशिक्षण डेटा) सस्ती और जल्दी चखी जा सकती हैं (छोटे वाक्य), जबकि अन्य महंगी और धीमी होती हैं (लंबी, जटिल तर्क श्रृंखलाएँ)। एक लंबी, जटिल कहानी को चखने में एक छोटी कहानी की तुलना में 100 गुना अधिक कंप्यूटिंग पावर लग सकती है।

यह पेपर कॉस्ट-अवेयर लर्निंग (Cost-Aware Learning) नामक खाना पकाने का एक नया तरीका पेश करता है। केवल रैंडम तरीके से चखने के बजाय, शेफ (एल्गोरिदम) यह सीखता है कि क्या चखना है और कितनी बार चखना है, जिससे वह जानकारी के मूल्य और चखने की लागत के बीच संतुलन बना सके।

यहाँ उनके दृष्टिकोण का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. समस्या: "महंगी सूप" की दुविधा (The "Expensive Soup" Dilemma)

कल्पना कीजिए कि आपके पास 1,000 अलग-अलग सामग्रियों वाला सूप का एक विशाल बर्तन है।

सामग्री A: नमक का एक छोटा सा कण। इसे चखना सस्ता है, लेकिन यह समग्र स्वाद के बारे में बहुत कम बताता है।
सामग्री B: एक पूरा भुना हुआ चिकन। इसे चखना बहुत महंगा है (इसे चबाने और पचाने में बहुत समय लगता है), लेकिन यह स्वाद के बारे में बहुत कुछ बताता है।
सामग्री C: एक मध्यम आकार का गाजर। इसे चखने में थोड़ी लागत आती है और यह स्वाद की अच्छी जानकारी देता है।

पुराने तरीके बस रैंडमली सामग्रियाँ चुनते थे। इससे वे चिकन को बहुत बार चखने में समय बर्बाद करते थे, या नमक जैसी सस्ती चीज़ पर समय बर्बाद करते थे जब उन्हें वास्तव में चिकन के बारे में जानने की ज़रूरत थी।

2. समाधान: "कॉस्ट-अवेयर SGD" (द स्मार्ट टेस्टर)

लेखक कॉस्ट-अवेयर स्टोकेस्टिक ग्रेडिएंट डिसेंट (Cost-Aware Stochastic Gradient Descent - SGD) नामक एक नई रणनीति प्रस्तावित करते हैं।

रैंडम तरीके से सामग्रियाँ चुनने के बजाय, यह एल्गोरिदम एक "स्मार्ट टेस्टर" नियम का उपयोग करता है। यह प्रत्येक सामग्री के लिए एक स्कोर की गणना करता है जो दो चीजों पर आधारित है:

यह कितना स्वाद की जानकारी देता है: (गणितीय शब्दों में, "ग्रेडिएंट नॉर्म" या यह कि यदि आप इसे जोड़ते हैं तो स्वाद कितना बदलता है)।
इसे चखने की कितनी लागत आती है: (गणितीय शब्दों में, आवश्यक टोकन या कंप्यूटिंग पावर की संख्या)।

स्वर्ण नियम (The Golden Rule): एल्गोरिदम कहता है, "मैं ऐसी सामग्रियाँ चखना चाहता हूँ जो मुझे खर्च किए गए प्रति डॉलर पर सबसे अधिक स्वाद परिवर्तन दें।"

यदि एक लंबी, महंगी कहानी का AI की सीखने की प्रक्रिया पर बड़ा प्रभाव पड़ता है, तो वह लागत के लायक है।
यदि एक छोटी, सस्ती कहानी का लगभग कोई प्रभाव नहीं है, तो उसे छोड़ दें।
यदि एक लंबी कहानी का लगभग कोई प्रभाव नहीं है, तो उस पर पैसा बर्बाद न करें, भले ही उसे छोड़ना सस्ता हो।

उन्होंने गणितीय रूप से सिद्ध किया कि "उच्च मूल्य / कम लागत" का यह विशिष्ट मिश्रण बजट को जलाए बिना परफेक्ट रेसिपी प्राप्त करने का सबसे तेज़ तरीका है।

3. "सबसेट सिलेक्शन" (मेन्यू क्यूरेशन)

कभी-कभी, सबसे स्मार्ट टेस्टर भी सबसे महंगी वस्तुओं को चखने का खर्च नहीं उठा पाता है। पेपर एक दूसरा तरीका सुझाता है: सबसेट सिलेक्शन (Subset Selection)।

कल्पना कीजिए कि आप अपने चखने के मेनू से "महंगे चिकन" को पूरी तरह से हटाने का निर्णय लेते हैं। आप यह स्वीकार करते हैं कि आपकी अंतिम रेसिपी शायद थोड़ी कम परफेक्ट होगी (एक मामूली सा "बायस"), लेकिन आप चिकन को कभी न चखकर भारी मात्रा में पैसा बचा लेते हैं। आप केवल गाजर और नमक पर ध्यान केंद्रित करते हैं।

लेखक दिखाते हैं कि महंगी वस्तुओं में से सावधानीपूर्वक यह चुनकर कि किसे बाहर करना है, आप अभी भी बहुत कम लागत में एक बहुत अच्छी रेसिपी प्राप्त कर सकते हैं। यह एक व्यंजन का शाकाहारी संस्करण बनाने का निर्णय लेने जैसा है, यह जानते हुए कि यह अभी भी स्वादिष्ट होगा।

4. परीक्षण: "AI शेफ" (कॉस्ट-अवेयर GRPO)

लेखकों ने इन सिद्धांतों को GRPO (Group Relative Policy Optimization) नामक विधि का उपयोग करके लार्ज लैंग्वेज मॉडल्स (LLMs) को प्रशिक्षित करने में लागू किया।

इस संदर्भ में:

"लागत" (Cost) प्रॉम्प्ट और AI की प्रतिक्रिया में शब्दों (टोकन) की संख्या है। लंबे, जटिल गणित के सवालों को प्रशिक्षित करने में छोटे सवालों की तुलना में अधिक लागत आती है।
"मूल्य" (Value) यह है कि AI का उत्तर उसके व्यवहार को कितना बदलता है (जिसे "एडवांटेज" कहा जाता है)।

उन्होंने कॉस्ट-अवेयर GRPO बनाया। हर उत्पन्न उत्तर पर समान रूप से प्रशिक्षण देने के बजाय, यह उन उत्तरों को प्राथमिकता देता है जो हैं:

उच्च प्रभाव (High Impact): AI ने इस उत्तर से बहुत कुछ सीखा।
कम लागत (Low Cost): उत्तर अनावश्यक रूप से लंबा नहीं था।

परिणाम:
उन्होंने दो AI मॉडल्स (एक 1.5-बिलियन पैरामीटर मॉडल और एक 8-बिलियन पैरामीटर मॉडल) पर गणितीय बेंचमार्क का उपयोग करके इसका परीक्षण किया।

परिणाम: वे मानक पद्धति के समान (या उससे भी बेहतर) सटीकता तक पहुँचे।
बचत: उन्होंने प्राप्त करने के लिए 30% तक कम टोकन (कंप्यूटिंग रिसोर्स) का उपयोग किया।
उपमा: यह उसी स्वादिष्ट भोजन को प्राप्त करने जैसा है लेकिन 30% कम भोजन और 30% कम खाना पकाने के समय के साथ।

सारांश

यह पेपर हमें सिखाता है कि AI प्रशिक्षण की महंगी दुनिया में, "अधिक डेटा" हमेशा बेहतर नहीं होता है। कभी-कभी, "स्मार्ट डेटा" ही कुंजी होती है। हर टुकड़े के डेटा को एक अलग मूल्य टैग और अलग मूल्य के रूप में मानकर, और केवल उन्हीं को चुनकर जो सबसे अच्छा "वैल्यू फॉर मनी" देते हैं, हम गुणवत्ता खोए बिना बहुत तेज़ और सस्ते में शक्तिशाली AI मॉडल प्रशिक्षित कर सकते हैं।

मुख्य निष्कर्ष: बुफे में सब कुछ मत खाइए। केवल वही चीज़ें खाइए जो आपको दिए गए दाम के हिसाब से सबसे बेहतरीन स्वाद देती हैं।

यहाँ मोहरी और अन्य लेखकों द्वारा लिखित शोध पत्र "Cost-Aware Learning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या का निरूपण (Problem Formulation)

यह शोध पत्र मानक स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD) सिद्धांत की सीमा को संबोधित करता है, जो आमतौर पर यह मानता है कि किसी भी डेटा सैंपल के लिए ग्रेडिएंट की गणना करने में समान कम्प्यूटेशनल लागत आती है। आधुनिक मशीन लर्निंग में, विशेष रूप से लार्ज लैंग्वेज मॉडल्स (LLMs) और रिनफोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक (RLHF) के साथ, यह धारणा गलत है। उदाहरण के लिए, एक लंबे रीजनिंग ट्रेस (reasoning trace) के लिए पॉलिसी ग्रेडिएंट की गणना करने में एक छोटे रिस्पॉन्स की तुलना में काफी अधिक FLOPs (फ्लोटिंग-पॉइंट ऑपरेशंस) की आवश्यकता होती है।

मुख्य समस्या:
एक परिमित-योग उद्देश्य (finite-sum objective) $f(x) = \frac{1}{n}\sum_{i=1}^n f_i(x)$ दिया गया है, जहाँ प्रत्येक घटक $f_i$ का ग्रेडिएंट क्वेरी करने के लिए एक ज्ञात, गैर-समान कम्प्यूटेशनल लागत $c_i$ है, लक्ष्य एक ऐसा बिंदु $\hat{x}$ खोजना है जिससे अपेक्षित त्रुटि $E[f(\hat{x}) - f(x^*)] \leq \epsilon$ हो, जबकि कुल अपेक्षित कम्प्यूटेशनल लागत को न्यूनतम किया जा सके।

2. कार्यप्रणाली (Methodology)

लेखक इस समस्या को हल करने के लिए एक सैद्धांतिक ढांचा और एक व्यावहारिक एल्गोरिदम प्रस्तावित करते हैं, जिसे वे कन्वेक्स ऑप्टिमाइज़ेशन से LLM पॉलिसी ऑप्टिमाइज़ेशन तक विस्तारित करते हैं।

A. कॉस्ट-अवेयर SGD (सैद्धांतिक आधार)

लेखक एक इष्टतम सैंपलिंग वितरण $p^*$ व्युत्पन्न करते हैं जो लक्षित त्रुटि $\epsilon$ तक पहुँचने के लिए कुल लागत को कम करता है।

उद्देश्य: इटरेशन की संख्या $T(\epsilon, p)$ और प्रति इटरेशन अपेक्षित लागत $C(p)$ के गुणनफल को कम करना।
व्युत्पत्ति: सामान्य कन्वेक्स और स्ट्रॉन्गली कन्वेक्स फंक्शनों के लिए कन्वर्जेंस रेट्स का विश्लेषण करके, वे दिखाते हैं कि कुल लागत को कम करना $J(p) = S(p)C(p)$ को कम करने के बराबर है, जहाँ $S(p)$ ग्रेडिएंट एस्टिमेटर का दूसरा क्षण (variance) है और $C(p)$ अपेक्षित लागत है।
इष्टतम वितरण: कॉची-श्वार्ज़ असमानता (Cauchy-Schwarz inequality) का उपयोग करते हुए, वे सिद्ध करते हैं कि सैंपल $i$ $i$ के लिए इष्टतम सैंपलिंग प्रायिकता है:
$p^*_i = \frac{G_i / \sqrt{c_i}}{\sum_{j=1}^n G_j / \sqrt{c_j}}$
जहाँ $G_i$ $G_{i}$ सैंपल $i$ $i$ का लिप्सचिट्ज स्थिरांक (Lipschitz constant या ग्रेडिएंट नॉर्म बाउंड) है, और $c_i$ $c_{i}$ इसकी लागत है।
- अंतर्ज्ञान (Intuition): यह वितरण उन सैंपल्स को प्राथमिकता देता है जिनमें बड़े ग्रेडिएंट्स (उच्च सूचना) और कम लागत (सस्ते गणना योग्य) होते हैं। यह प्रभावी रूप से "सूचना-से-लागत" (information-to-cost) अनुपात को संतुलित करता है।

B. सबसेट सिलेक्शन (Bias-Cost Trade-off)

यह पहचानते हुए कि यदि उच्च-लागत वाले सैंपल्स में बड़े ग्रेडिएंट्स हैं तो इष्टतम सैंपलिंग भी बहुत महंगी हो सकती है, लेखक एक सबसेट सिलेक्शन रणनीति प्रस्तावित करते हैं।

अवधारणा: कम्प्यूटेशनल बजट को कम करने के लिए उच्च-लागत वाले सैंपल्स के एक उपसमुच्चय (subset) को पूरी तरह से बाहर कर देना, जिससे एक नियंत्रित बायस (bias) स्वीकार किया जाता है।
निरूपण: इसे एक मिन-कॉस्ट नैपसैक प्रॉब्लम (Min-Cost Knapsack Problem) के रूप में मॉडल किया गया है। लक्ष्य एक ऐसा उपसमुच्चय $\pi$ चुनना है जो अनुमेय बायस फ्लोर ( $\beta_\pi \leq \Gamma$ ) पर नियंत्रण रखते हुए सैंपलिंग लागत को कम करता है।
समाधान: एक ग्रीडी अप्रोक्सिमेशन प्रस्तावित किया गया है, जो बायस बाधा (bias constraint) पूरी होने तक सबसे कम लागत $c_i$ वाले सैंपल्स को चुनता है।

C. कॉस्ट-अवेयर GRPO (व्यावहारिक अनुप्रयोग)

इन सैद्धांतिक अंतर्दृष्टियों को ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) पर लागू किया गया है, जो LLM पोस्ट-ट्रेनिंग के लिए एक अत्याधुनिक एल्गोरिदम है।

लागत परिभाषा: GRPO में, एक सैंपल (प्रॉम्प्ट-रिस्पॉन्स पेयर) की लागत $c_i$ , अनुक्रम (sequence) में कुल टोकन की संख्या है, क्योंकि FLOPs अनुक्रम लंबाई के साथ रैखिक रूप से स्केल होते हैं।
ग्रेडिएंट प्रॉक्सी: प्रत्येक सैंपल के लिए सटीक ग्रेडिएंट नॉर्म $G_i$ की गणना करना अत्यधिक महंगा है। लेखक ग्रेडिएंट नॉर्म के प्रॉक्सी के रूप में एडवांटेज के परिमाण ( $|A_i|$ ) का उपयोग करते हैं। वे पुष्टि करते हैं कि $|A_i|$ का वास्तविक ग्रेडिएंट नॉर्म्स के साथ लगभग पूर्ण पियर्सन सहसंबंध (Pearson correlation) है और इष्टतम वितरण से निम्न $\chi^2$ -डाइवर्जेंस है।
एल्गोरिदम:
1. प्रॉम्प्ट्स के एक बैच के लिए रोलआउट जेनरेट करें।
2. एडवांटेज और सीक्वेंस लेंथ की गणना करें।
3. $p^*_i \propto |A_i| / \sqrt{\text{length}_i$ के अनुसार सैंपलिंग प्रोबेबिलिटी की गणना करें।
4. $p^*$ के अनुसार पॉलिसी अपडेट के लिए मिनी-बैचेस को सैंपल करें और बायस को ठीक करने के लिए इम्पॉर्टेंस वेटिंग (importance weighting) लागू करें।

3. मुख्य योगदान

कॉस्ट-अवेयर लर्निंग का निरूपण: गैर-समान सैंपल लागतों वाला एक कठोर गणितीय ढांचा, जो कन्वेक्स और स्ट्रॉन्गली कन्वेक्स दोनों सेटिंग्स में लागू होता है।
इष्टतम सैंपलिंग रणनीति: इष्टतम सैंपलिंग वितरण $p^* \propto G_i / \sqrt{c_i}$ की व्युत्पत्ति, जो $\epsilon$ -सटीकता प्राप्त करने के लिए कुल लागत को कम करता है। पेपर इस सेटिंग के लिए सैद्धांतिक ऊपरी और मिलान निचले (lower) बाउंड प्रदान करता है।
सबसेट सिलेक्शन एल्गोरिदम: एक विधि जो महंगे सैंपल्स को बाहर करके लागत को और कम करती है, जिसे मिन-कॉस्ट नैपसैक समस्या के रूप में बनाया गया है, जो थोड़े बायस के बदले महत्वपूर्ण लागत बचत करती है।
कॉस्ट-अवेयर GRPO: LLM पॉलिसी ऑप्टिमाइज़ेशन में कॉस्ट-अवेयर सिद्धांतों का पहला अनुप्रयोग। यह एक व्यावहारिक एल्गोरिदम पेश करता है जो टोकन दक्षता को अनुकूलित करने के लिए एडवांटेज मैग्नीट्यूड को ग्रेडिएंट नॉर्म के प्रॉक्सी के रूप में उपयोग करता है।
अनुभवजन्य सत्यापन (Empirical Validation): Qwen2.5-Math-1.5B और Qwen3-8B मॉडल्स पर व्यापक प्रयोग जो प्रदर्शन में गिरावट के बिना महत्वपूर्ण टोकन बचत प्रदर्शित करते हैं।

4. परिणाम

पेपर गणितीय तर्क (mathematical reasoning) बेंचमार्क (AIME, AMC, MATH500, GSM8K) पर प्रस्तावित विधियों का मूल्यांकन करता है।

टोकन दक्षता:
- Qwen3-8B: CA-GRPO ने मानक GRPO बेसलाइन के समान पीक एक्यूरेसी प्राप्त करने के लिए 51% कम टोकन का उपयोग किया। यहाँ तक कि जब बेसलाइन के 99% तक पहुँचने की तुलना की गई, तब भी CA-GRPO को 17% कम टोकन की आवश्यकता थी।
- Qwen2.5-Math-1.5B: CA-GRPO ने 28–32% कम टोकन का उपयोग करके बेसलाइन की पीक एक्यूरेसी के बराबर प्रदर्शन किया और अंततः बेसलाइन के प्रदर्शन को ~5% से पार कर गया।
मजबूती (Robustness): विधि का परीक्षण विभिन्न ट्रेनिंग उद्देश्यों (Standard GRPO, GRPO+Zero-Variance Filtering, और CISPO) के तहत किया गया और इसने लगातार टोकन दक्षता में सुधार किया।
एब्लेशन स्टडीज (Ablation Studies):
- ग्रेडिएंट नॉर्म्स के प्रॉक्सी के रूप में एडवांटेज मैग्नीट्यूड $|A_i|$ का उपयोग अत्यधिक प्रभावी पाया गया (सहसंबंध $\approx 1$ )।
- विधि प्रॉक्सी में शोर (noise) के प्रति एक निश्चित वेरिएंस थ्रेशोल्ड तक मजबूत है।
- सैंपलिंग वितरण को स्मूथ करना (यूनिफॉर्म के साथ मिक्स करना) स्थिरता में मदद करता है, लेकिन शुद्ध इष्टतम वितरण अक्सर सर्वोत्तम दक्षता देता है।

5. महत्व

यह शोध पत्र कई कारणों से महत्वपूर्ण है:

दक्षता मेट्रिक्स को फिर से परिभाषित करना: यह अनुकूलन दक्षता (optimization efficiency) के फोकस को "स्टेप्स की संख्या" से बदलकर "कुल कम्प्यूटेशनल लागत" पर ले जाता है, जो फाउंडेशन मॉडल्स के प्रशिक्षण में वास्तविक बाधा है।
स्केलेबिलिटी: जैसे-जैसे LLMs लंबे और अधिक जटिल रीजनिंग ट्रेस जेनरेट करते हैं, प्रशिक्षण की कम्प्यूटेशनल लागत बढ़ती जाती है। कॉस्ट-अवेयर लर्निंग "सस्ते" लेकिन "सूचनात्मक" सैंपल्स को प्राथमिकता देकर इस स्केलिंग लॉ को कम करने का एक सिद्धांतपूर्ण तरीका प्रदान करती है।
व्यावहारिक प्रभाव: पॉलिसी ऑप्टिमाइज़ेशन के लिए उपयोग किए जाने वाले 30–50% टोकन की कमी सीधे तौर पर GPU घंटों और ऊर्जा खपत में भारी बचत में बदल जाती है, जिससे उन्नत RLHF प्रशिक्षण अधिक सुलभ और टिकाऊ बनता है।
सैद्धांतिक कठोरता: यह पेपर ऑप्टिमाइज़ेशन बाउंड्स (कॉस्ट कॉम्प्लेक्सिटी पर लोअर/अपर बाउंड्स) और व्यावहारिक डीप लर्निंग अनुप्रयोगों के बीच के अंतर को पाटता है, जो महंगे प्रशिक्षण व्यवस्थाओं में डेटा चयन के लिए एक नया प्रतिमान (paradigm) पेश करता है।