🤖 AI

ESSAM: A Novel Competitive Evolution Strategies Approach to Reinforcement Learning for Memory Efficient LLMs Fine-Tuning

यह शोध पत्र ESSAM को पेश करता है, जो एक मेमोरी-कुशल फुल पैरामीटर फाइन-ट्यूनिंग फ्रेमवर्क है जो इवोल्यूशन स्ट्रेटजीज (Evolution Strategies) को शार्पनेस-अवेयर मैक्सिमाइजेशन (Sharpness-Aware Maximization) के साथ जोड़ता है ताकि पारंपरिक सुदृढीकरण शिक्षण (reinforcement learning) विधियों जैसे कि PPO और GRPO की तुलना में GPU मेमोरी के उपयोग को काफी कम करते हुए LLMs पर प्रतिस्पर्धी गणितीय तर्क प्रदर्शन प्राप्त किया जा सके।

मूल लेखक: Zhishen Sun, Sizhe Dang, Guang Dai, Haishan Ye

प्रकाशित 2026-05-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhishen Sun, Sizhe Dang, Guang Dai, Haishan Ye

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ शोध पत्र "ESSAM: A Novel Competitive Evolution Strategies Approach to Reinforcement Learning for Memory Efficient LLMs Fine-Tuning" का सरल, रोजमर्रा की भाषा और रचनात्मक उपमाओं के साथ हिंदी अनुवाद दिया गया है।

बड़ी समस्या: "भारी बैकपैक"

कल्पना कीजिए कि आपके पास एक प्रतिभाशाली छात्र (एक लार्ज लैंग्वेज मॉडल या LLM) है जो गणित में अच्छा है, लेकिन उसे कठिन शब्द समस्याओं (word problems) को हल करने में वास्तव में माहिर होने के लिए अतिरिक्त ट्यूशन की आवश्यकता है।

आमतौर पर, इस छात्र को ट्यूशन देने का सबसे अच्छा तरीका रीइन्फोर्समेंट लर्निंग (RL) नामक विधि है। RL को एक बहुत ही सख्त, हाई-टेक कोच के रूप में समझें जो छात्र द्वारा किए गए हर कदम को देखता है, सुधार के लिए सटीक गणना करता है, और तुरंत फीडबैक देता है। यह बहुत अच्छा काम करता है, लेकिन इसका एक बहुत बड़ा नुकसान है: इसे सभी गणनाओं को करने के लिए कंप्यूटर मेमोरी (GPU मेमोरी) के एक विशाल बैकपैक की आवश्यकता होती है।

एक मानक गणित की समस्या के लिए, यह "बैकपैक" एक छोटी कार जितना भारी (सैकड़ों गीगाबाइट) हो सकता है। अधिकांश लोगों और छोटे लैब्स के पास इस भार को ढोने के लिए कार के आकार का कंप्यूटर नहीं होता, इसलिए वे इस शक्तिशाली कोचिंग पद्धति का उपयोग नहीं कर सकते।

पुराना समाधान: "अनुमान और जांच" की टीम

भारी बैकपैक से बचने के लिए, शोधकर्ताओं ने इवोल्यूशन स्ट्रैटेजीज़ (ES) नामक एक अलग विधि आज़माई।

यह कैसे काम करता है: एक सख्त कोच के बजाय, 10 इमर्जिंग एक्सप्लोरर्स (खोजकर्ताओं) की एक टीम की कल्पना करें। वे सभी एक ही स्थान से शुरू करते हैं, लेकिन प्रत्येक एक थोड़ा अलग, यादृच्छिक रास्ता (एक "परटर्बेशन") लेता है। वे सभी गणित की समस्या को हल करने की कोशिश करते हैं। जो सही उत्तर प्राप्त करते हैं, उन्हें "पुरस्कार" मिलता है। टीम फिर विजेताओं को देखती है और कहती है, "ठीक है, आइए हम सभी थोड़ा उस दिशा में बढ़ें जिस दिशा में विजेता गए थे।"
लाभ: यह विधि अविश्वसनीय रूप से हल्की है। इसे भारी बैकपैक की आवश्यकता नहीं है क्योंकि यह जटिल बैकवर्ड गणनाएँ नहीं करती है। इसे केवल मॉडल को एक बार चलाने के लिए पर्याप्त मेमोरी की आवश्यकता होती है (जैसे एक मानक उपयोगकर्ता को)।
दोष: हालांकि यह हल्की है, खोजकर्ता अक्सर "उथले घाटियों" (shallow valleys) में फंस जाते हैं। वे एक ऐसा समाधान ढूंढ लेते हैं जो ठीक-ठाक काम करता है, लेकिन वह बहुत मजबूत नहीं होता। यदि आप उन्हें थोड़ी अलग गणित की समस्या देते हैं, तो वे भ्रमित हो सकते हैं। उनमें जनरलाइजेशन (नई स्थितियों में सीखी गई बातों को लागू करने की क्षमता) की कमी होती है।

नया समाधान: ESSAM (एक "स्मार्ट हाइकर")

लेखकों ने ESSAM (एवोल्यूशन स्ट्रैटेजीज़ विद शार्पनेस-अवेयर मैक्सिमाज़ेशन) नामक एक नई विधि प्रस्तावित की है। वे "अनुमान और जांच" वाली टीम के हल्के बैकपैक को बनाए रखना चाहते थे, लेकिन परिणामों को बेहतर बनाने के लिए उसमें सख्त कोच की "स्मार्टनेस" भी जोड़ना चाहते थे।

ESSAM कैसे काम करता है, इसे हाइकिंग (पदयात्रा) की उपमा से समझते हैं:

"शार्पनेस" की समस्या: कल्पना कीजिए कि खोजकर्ता एक शिखर (सर्वश्रेष्ठ उत्तर) की ओर हाइकिंग कर रहे हैं। कभी-कभी, वे एक ऐसा शिखर पाते हैं जो ऊँचा तो दिखता है लेकिन वास्तव में एक नुकीली, ऊबड़-खाबड़ चट्टान है। यदि हवा चलती है (एक नई गणित की समस्या आती है), तो वे आसानी से गिर सकते हैं। यह एक "शार्प मिनिमम" (तीव्र न्यूनतम) है।
ESSAM की ट्रिक: टीम उस दिशा में बढ़ने के लिए प्रतिबद्ध होने से पहले, एक स्काउट को उस दिशा के आस-पास के इलाके की जांच करने के लिए भेजता है।
- स्काउट पूछता है: "यदि हम इस दिशा में बढ़ते हैं, तो क्या जमीन समतल और स्थिर है, या यह एक नुकीली चट्टान है?"
- यदि जमीन नुकीली (शार्प) है, तो टीम अपनी दिशा में थोड़ा पीछे हट जाती है। वे ऐसी दिशा की तलाश करते हैं जहाँ जमीन समतल और चौड़ी (एक "फ्लैट मिनिमम") हो।
- एक सपाट शिखर अधिक सुरक्षित होता है। भले ही हवा चले या समस्या थोड़ी बदल जाए, टीम शिखर पर बनी रहती है।

तकनीकी शब्दों में: ESSAM मानक "अनुमान और जांच" विधि को लेता है और उसमें एक "नेबरहुड प्रोब" (पड़ोस की जांच) जोड़ देता है। यह अस्थायी रूप से मॉडल के पैरामीटर्स को एक नजदीकी स्थान पर ले जाता है, यह जांचता है कि क्या पुरस्कार वहां स्थिर है, और इस जानकारी का उपयोग मुख्य अपडेट को निर्देशित करने के लिए करता है। यह मॉडल को ऐसे समाधान खोजने के लिए मजबूर करता है जो मजबूत हों, न कि केवल भाग्यशाली।

परिणाम: पंख जैसा हल्का, बैल जैसा मजबूत

पत्र ने एक लोकप्रिय गणित डेटासेट जिसे GSM8K (ग्रेड-स्कूल गणित की शब्द समस्याओं का संग्रह) कहा जाता है, पर इसका परीक्षण किया।

प्रदर्शन: ESSAM ने भारी, मेमोरी-गहन रीइन्फोर्समेंट लर्निंग विधियों (जैसे PPO और GRPO) के समान प्रदर्शन किया। वास्तव में, कुछ मॉडलों पर, यह उनसे भी बेहतर था।
मेमोरी: यह बड़ी जीत है। जहाँ भारी विधियों को सैकड़ों गीगाबाइट मेमोरी की आवश्यकता थी, वहीं ESSAM ने बुनियादी "अनुमान और जांच" विधि के समान ही कम मेमोरी का उपयोग किया।
- उपमा: यदि पुराने तरीकों को अपना उपकरण ढोने के लिए एक सेमी-ट्रक की आवश्यकता थी, तो ESSAM एक साइकिल में फिट हो जाता है।
- आंकड़े: इसने मानक भारी विधि (PPO) की तुलना में 18 गुना कम मेमोरी और अन्य लोकप्रिय विधि (GRPO) की तुलना में 10 गुना कम मेमोरी का उपयोग किया।
जनरलाइजेशन: जब उन गणित की समस्याओं पर परीक्षण किया गया जिन्हें उन्होंने पहले नहीं देखा था (अलग-अलग डेटासेट), तो ESSAM-प्रशिक्षित मॉडल मानक "अनुमान और जांच" मॉडलों की तुलना में उन्हें हल करने में बहुत बेहतर थे। उन्होंने गणित के सिद्धांत को सीखा था, न कि केवल विशिष्ट उत्तरों को रटा था।

"टर्बो" संस्करण (ESSAM-F)

लेखकों ने एक तेज़ संस्करण भी बनाया जिसे ESSAM-F कहा जाता है।

यह कैसे काम करता है: यह "चेकिंग" चरण के लिए स्काउट्स की एक छोटी टीम का उपयोग करता है।
परिणाम: यह मूल ESSAM की तुलना में दोगुनी तेज़ी से चलता है जबकि उतनी ही कम मेमोरी का उपयोग करता है और लगभग उतनी ही उच्च सटीकता बनाए रखता है।

सारांश

यह शोध पत्र ESSAM पेश करता है, जो गणित सिखाने का एक नया तरीका है। यह "अनुमान और जांच" विधियों की कम लागत को "स्मार्ट स्टेबिलिटी चेक" (शार्पनेस-अवेयर मैक्सिमाज़ेशन) के साथ जोड़ता है।

पहले: आपको "उच्च प्रदर्शन लेकिन भारी/महंगा" (RL) या "हल्का/सस्ता लेकिन कमजोर" (मानक ES) के बीच किसी एक को चुनना पड़ता था।
अब: ESSAM के साथ, आपको भारी विधियों का उच्च प्रदर्शन और सरल विधियों का हल्का/सस्ता फुटप्रिंट दोनों मिलते हैं। यह छोटे लैब्स और ओपन-सोर्स समुदायों को सुपरकंप्यूटर की आवश्यकता के बिना शक्तिशाली गणित-तर्क (math-reasoning) AI को प्रशिक्षित करने की अनुमति देता है।

तकनीकी सारांश: ESSAM – शार्पनेस-अवेयर मैक्सिमाइजेशन के साथ इवोल्यूशन स्ट्रैटेजीज

समस्या विवरण
रीइन्फोर्समेंट लर्निंग (RL), विशेष रूप से प्रॉक्सिमल पॉलिसी ऑप्टिमाइजेशन (PPO) और ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) जैसे एल्गोरिदम, लार्ज लैंग्वेज मॉडल्स (LLMs) की गणितीय तर्क क्षमताओं को बढ़ाने के लिए एक आधार बन गए हैं। हालांकि, ये विधियाँ बैकप्रोपैगेशन, वैल्यू नेटवर्क और पॉलिसी अपडेट्स पर अपनी निर्भरता के कारण अत्यधिक GPU मेमोरी की आवश्यकताएं थोपती हैं। उदाहरण के लिए, 8B पैरामीटर वाले मॉडल को PPO के साथ फाइन-ट्यून करने के लिए 300 GiB से अधिक GPU मेमोरी की आवश्यकता हो सकती है, जो इसे संसाधन-सीमित ओपन-सोर्स समुदायों के लिए अप्राप्य बना देता है। जबकि इवोल्यूशन स्ट्रैटेजीज (ES) केवल फॉरवर्ड जनरेशन और रिवॉर्ड इवैल्यूएशन पर निर्भर रहकर एक मेमोरी-कुशल, ज़ीरो-ऑर्डर विकल्प प्रदान करती हैं, वे अक्सर खराब सामान्यीकरण (generalization) से ग्रस्त होती हैं। मानक ES अक्सर मॉडल्स को पैरामीटर स्पेस में "शार्प मिनिमा" (sharp minima) की ओर ले जाता है, जिससे GSM8K जैसे मुख्यधारा के रीजनिंग कार्यों पर RL विधियों की तुलना में उप-इष्टतम प्रदर्शन होता है।

कार्यप्रणाली: ESSAM
लेखक ESSAM (इवोल्यूशन स्ट्रैटेजीज विद शार्पनेस-अवेयर मैक्सिमाइजेशन) प्रस्तावित करते हैं, जो एक फुल-पैरामीटर फाइन-ट्यूनिंग फ्रेमवर्क है जो ES की ज़ीरो-ऑर्डर सर्च क्षमताओं को शार्पनेस-अवेयर मैक्सिमाइजेशन (SAM) के सामान्यीकरण-बढ़ाने वाले सिद्धांतों के साथ एकीकृत करता है।

मुख्य तंत्र: मानक ES के विपरीत, जो रिवॉर्ड-वेटेड नॉइज़ दिशाओं के आधार पर सीधे पैरामीटर्स को अपडेट करता है, ESSAM एक दो-चरणीय अपडेट प्रक्रिया पेश करता है:
- चरण 1 (नेबरहुड प्रोबिंग): एल्गोरिदम वर्तमान पैरामीटर्स $\theta_t$ को रिवॉर्ड ग्रेडिएंट की विपरीत दिशा में (एक "शार्प" क्षेत्र की ओर) ले जाने के लिए रिवॉर्ड-वेटेड नॉइज़ दिशाओं का एक एग्रीगेशन कंप्यूट करता है। यह एक विक्षेपित नेबरहुड पॉइंट $\theta^{SAM}_t$ बनाता है।
- चरण 2 (रिवर्स अपडेट): एल्गोरिदम इस विक्षेपित बिंदु $\theta^{SAM}_t$ पर रिवॉर्ड का मूल्यांकन करता है और परिणामी रिवॉर्ड सिग्नल का उपयोग मूल पैरामीटर्स $\theta_t$ को अपडेट करने के लिए करता है। प्रभावी रूप से "शार्प क्षेत्र" की ओर देखते हुए और विक्षेपित लैंडस्केप के आधार पर अपडेट करके, यह विधि अनुकूलन को फ्लैट मिनिमा (flatter minima) की ओर निर्देशित करती है, जो बेहतर सामान्यीकरण और मजबूती से जुड़े होते हैं।
मेमोरी दक्षता: ESSAM, ES की ज़ीरो-ऑर्डर प्रकृति को बनाए रखता है, जिसमें किसी बैकप्रोपैगेशन या ग्रेडिएंट्स/एक्टिवेशंस के स्टोरेज की आवश्यकता नहीं होती है। यह GPU मेमोरी उपयोग को "इन्फरेंस-लेवल" स्केल पर बनाए रखने के लिए मेमोरी-बचत तकनीकों (जैसे इन-प्लेस अपडेट और सीड रीप्ले) का उपयोग करता है, जो RL विधियों की तुलना में काफी कम है।
त्वरित संस्करण (ESSAM-F): प्रशिक्षण गति में सुधार के लिए, लेखक ESSAM-F प्रस्तावित करते हैं। यह वेरिएंट प्रारंभिक SAM नेबरहुड प्रोबिंग चरण के लिए एक छोटे पॉपुलेशन साइज का उपयोग करता है और विक्षेपण दिशा के लिए फ्रोबेनियस नॉर्म (Frobenius norm) नॉर्मलाइजेशन का उपयोग करता है। यह समान निम्न मेमोरी फुटप्रिंट को बनाए रखते हुए कम्प्यूटेशनल ओवरहेड को कम करता है।
प्रशिक्षण प्रोटोकॉल: लेखक एक मानकीकृत प्रशिक्षण प्रक्रिया पर जोर देते हैं, जिसमें मानक ट्रेन/इवैल्यूएशन स्प्लिट्स, डेटा शफलिंग और छोटे मिनी-बैचेस के साथ मल्टी-स्टेप अपडेट शामिल हैं, जो ES साहित्य में पिछली विसंगतियों को संबोधित करते हैं।

प्रमुख योगदान

नया फ्रेमवर्क: ESSAM का परिचय, जो LLMs के लिए SAM तंत्र को सफलतापूर्वक एकीकृत करने वाला पहला ज़ीरो-ऑर्डर फुल-पैरामीटर फाइन-ट्यूनिंग मेथड है, जो बिना ग्रेडिएंट गणना के अनुकूलन को फ्लैट मिनिमा की ओर निर्देशित करता है।
मानकीकरण: एक कठोर, मानक प्रशिक्षण पाइपलाइन (शफलिंग, मिनी-बैचेस) का उपयोग करके GSM8K गणितीय तर्क कार्य के लिए ज़ीरो-ऑर्डर फाइन-ट्यूनिंग का विस्तार करना, ताकि स्थिरता और पुनरुत्पादकता सुनिश्चित की जा सके।
त्वरित संस्करण: ESSAM-F का विकास, जो मेमोरी दक्षता और प्रतिस्पर्धी सटीकता को बनाए रखते हुए, मानक ESSA की तुलना में लगभग दो गुना गति प्राप्त करता है।
संसाधन दक्षता: यह प्रदर्शित करना कि फुल-पैरामीटर फाइन-ट्यूनिंग को इन्फरेंस-लेवल GPU मेमोरी के साथ प्राप्त किया जा सकता है, जो LLM रीजनिंग रिसर्च के लिए प्रवेश बाधा को काफी कम कर देता है।

प्रायोगिक परिणाम
प्रयोग विभिन्न मॉडल परिवारों (Qwen2.5 और LLaMA3) में 0.5B से 8B पैरामीटर्स तक GSM8K डेटासेट पर किए गए थे।

GSM8K पर प्रदर्शन: ESSAM ने सभी मॉडल्स में औसतन 78.27% सटीकता प्राप्त की। यह मानक ES (75.97%) से काफी बेहतर है और PPO (77.72%) से भी आगे है। यह GRPO (78.34%) के बराबर है और विशिष्ट मॉडल्स पर उससे बेहतर प्रदर्शन करता है।
सामान्यीकरण (Generalization): छह आउट-ऑफ-डिस्ट्रीब्यूशन बेंचमार्क (SVAMP, MATH, और AMC सहित) पर, ESSAM के साथ फाइन-ट्यून किए गए मॉडल्स ने 6 में से 5 डेटासेट्स पर सर्वश्रेष्ठ औसत प्रदर्शन किया, जो ES, PPO और GRPO की तुलना में बेहतर ट्रांसफ़रेबिलिटी प्रदर्शित करता है।
मेमोरी उपयोग: ESSAM, PPO की तुलना में लगभग 18× और GRPO की तुलना में 10× कम GPU मेमोरी का उपयोग करता है। 8B मॉडल के लिए, ESSAM लगभग 21.45 GiB का उपयोग करता है, जबकि PPO को ~314.44 GiB की आवश्यकता होती है।
दक्षता: त्वरित वेरिएंट, ESSAM-F, ने समान मेमोरी उपयोग बनाए रखते हुए, मानक ESSAM की तुलना में लगभग 2× गति के साथ औसतन 78.02% सटीकता प्राप्त की (PPO से बेहतर)।

महत्व और दावे
पेपर का दावा है कि ESSAM गणितीय तर्क कार्यों पर LLMs को फाइन-ट्यून करने के लिए एक व्यावहारिक, संसाधन-कुशल विकल्प प्रदान करता है। इवोल्यूशन स्ट्रैटेजीज की मेमोरी दक्षता को शार्पनेस-अवेयर मैक्सिमाइजेशन के सामान्यीकरण लाभों के साथ जोड़कर, ESSAM ज़ीरो-ऑर्डर मेथड्स और ग्रेडिएंट-आधारित RL के बीच के अंतर को पाटता है। लेखक दावा करते हैं कि उनका दृष्टिकोण उच्च-प्रदर्शन वाले LLM रीजनिंग फाइन-ट्यूनिंग को संसाधन-सीमित सेटिंग्स में व्यवहार्य बनाता है, जो विशाल कंप्यूटेशनल क्लस्टर्स तक पहुंच के बिना ओपन-सोर्स समुदाय को मजबूत रीजनिंग मॉडल विकसित करने के लिए एक व्यावहारिक मार्ग प्रदान करता है। यह कार्य रेखांकित करता है कि मेमोरी दक्षता के लिए मॉडल के प्रदर्शन या सामान्यीकरण क्षमता के साथ समझौता करने की आवश्यकता नहीं है।