RLSF: Fine-tuning LLMs via Symbolic Feedback
यह शोध पत्र 'रिनफोर्समेंट लर्निंग वाया सिम्बोलिक फीडबैक' (RLSF) को प्रस्तुत करता है, जो एक नवीन फाइन-ट्यूनिंग प्रतिमान है जो सूक्ष्म, टोकन-स्तरीय फीडबैक प्रदान करने के लिए प्रतीकात्मक तर्क उपकरणों (सिम्बोलिक रीजनिंग टूल्स) का लाभ उठाता है, जिससे छोटे LLMs विशिष्ट डोमेन-आधारित तार्किक संरेखण वाले कार्यों पर बड़े क्लोज्ड-सोर्स मॉडल्स को महत्वपूर्ण रूप से पीछे छोड़ने में सक्षम होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही प्रतिभाशाली लेकिन अनुभवहीन प्रशिक्षु शेफ (जिसे Large Language Model या LLM कहा जाता है) को जटिल व्यंजन बनाना सिखा रहे हैं।
समस्या: "स्वाद-परीक्षण" का जाल (The "Taste-Test" Trap)
परंपरागत रूप से, इस शेफ को सिखाने के लिए, आप RLHF (Reinforcement Learning from Human Feedback) नामक एक विधि का उपयोग करेंगे। यह इस प्रकार काम करता है:
- शेफ एक व्यंजन बनाता है।
- आप उसे चखते हैं और एक साधारण थम्स-अप या थम्स-डाउन देते हैं (एक scalar reward)।
- आप शेफ को कहते हैं, "अच्छा काम किया" या "बुरा काम किया।"
दोष: यदि शेफ केक में चीनी के बजाय नमक डाल देता है, और आप केवल "बुरा काम किया" कहते हैं, तो शेफ को यह समझ नहीं आएगा कि वह क्यों विफल हुआ। क्या उन्होंने बहुत अधिक नमक डाला? क्या ओवन बहुत गर्म था? क्या वे अंडे डालना भूल गए? बिना विशिष्ट विवरणों के, शेफ केवल अनुमान लगाता रहता है, और बार-बार वही गलतियाँ करता रहता है। इसके अलावा, हर एक व्यंजन को चखने के लिए मानव चखने वालों को नियुक्त करना धीमा, महंगा और कभी-कभी विवादित भी होता है।
समाधान: RLSF (The "Smart Inspector")
इस शोध पत्र के लेखक एक नई विधि प्रस्तावित करते हैं जिसे RLSF (Reinforcement Learning via Symbolic Feedback) कहा जाता है। एक मानव चखने वाले के बजाय, यहाँ एक Symbolic Reasoning Tool है—इसे एक अत्यंत सटीक, बिना पलक झपकाए काम करने वाले रोबोट इंस्पेक्टर के रूप में सोचें जो रसायन विज्ञान, गणित या कोडिंग के सटीक नियमों को जानता है।
यहाँ RLSF खेल को कैसे बदल देता है:
- शेफ खाना बनाता है: LLM एक समाधान उत्पन्न करता है (जैसे कोड का एक टुकड़ा, एक रासायनिक सूत्र, या एक गणितीय समीकरण)।
- इंस्पेक्टर जाँच करता है: केवल "अच्छा/बुरा" कहने के बजाय, रोबोट इंस्पेक्टर इसे एक सख्त नियम पुस्तिका (जैसे कोड के लिए कंपाइलर या अणुओं के लिए केमिस्ट्री सिम्युलेटर) के माध्यम से चलाता है।
- "एक्स-रे" फीडबैक: इंस्पेक्टर केवल थम्स डाउन नहीं देता। यह त्रुटियों का एक विस्तृत मानचित्र प्रदान करता है।
- उदाहरण: "लाइन 4 में सेमीकोलन गायब है। लाइन 7 में एक ऐसा रासायनिक तत्व उपयोग किया गया है जो अस्तित्व में नहीं है। लाइन 12 द्रव्यमान संरक्षण के नियम का उल्लंघन करती है।"
- सुधार: शेफ (LLM) को यह विशिष्ट, पंक्ति-दर-पंक्ति फीडबैक प्राप्त होता है और वह ठीक समझता है कि रेसिपी में कहाँ सुधार करना है।
जादुई उपमा: "GPS बनाम कंपास" (The "GPS vs. The Compass")
- पारंपरिक RLHF एक ड्राइवर को एक ऐसे कंपास देने जैसा है जो केवल "उत्तर" या "दक्षिण" की ओर इशारा करता है। यह उसे बताता है कि वह गलत दिशा में जा रहा है, लेकिन यह नहीं कि वापस ट्रैक पर कैसे आना है।
- RLSF एक टर्न-बाय-टर्न नेविगेशन वाले GPS जैसा है। यह कहता है, "आपने मेन स्ट्रीट पर एग्जिट मिस कर दिया। 200 फीट में बाएं मुड़ें। आप वर्तमान में पथ से 5 मील दूर हैं।" यह सटीक और कार्रवाई योग्य निर्देश देता है।
परिणाम: छोटी मछली बड़ी व्हेल को पछाड़ती है (Small Fish Outswimming Whales)
सबसे रोमांचक हिस्सा इस शोध पत्र की "डेविड बनाम गोलियथ" की कहानी है।
आमतौर पर, सर्वोत्तम परिणाम प्राप्त करने के लिए, आपको एक विशाल, महंगी "गोलियथ" मॉडल (जैसे GPT-4, जो बहुत बड़ा है और जिसकी लागत बहुत अधिक है) की आवश्यकता होती है। लेखकों ने बहुत छोटे, सस्ते "डेविड" मॉडल (जैसे 2-बिलियन या 7-बिलियन पैरामीटर वाले मॉडल) लिए और उन्हें इस RLSF विधि का उपयोग करके प्रशिक्षित किया।
परिणाम:
- कोडिंग: RLSF के साथ प्रशिक्षित एक छोटा मॉडल ने एक मॉडल (जो 100 गुना बड़ा था, जैसे GPT-3.5) से बेहतर C++ कोड लिखा।
- रसायन विज्ञान: एक छोटा रसायन विज्ञान मॉडल ने एक मॉडल (जो 1,000 गुना बड़ा था, जैसे GPT-4) से बेहतर वैध अणु (molecules) उत्पन्न किए।
- गणित: एक छोटे मॉडल ने "गेम ऑफ 24" (एक गणितीय पहेली) को GPT-3.5 जैसे विशाल मॉडल से बेहतर तरीके से हल किया।
यह क्यों महत्वपूर्ण है
यह दृष्टिकोण एक गेम-चेंजर है क्योंकि:
- यह सस्ता है: आपको हर उत्तर को ग्रेड करने के लिए हजारों मनुष्यों को नियुक्त करने की आवश्यकता नहीं है। "रोबोट इंस्पेक्टर" इसे तुरंत कर देता है।
- यह स्मार्ट है: यह उन सूक्ष्म त्रुटियों को पकड़ लेता है जिन्हें इंसान भी मिस कर सकते हैं।
- यह लचीला है: आपको रोबोट इंस्पेक्टर को मानवीय तरीके से "स्मार्ट" होने की आवश्यकता नहीं है; इसे बस सख्त तर्क नियमों का पालन करने की आवश्यकता है। इसका अर्थ है कि आप इसका उपयोग कोडिंग, गणित, रसायन विज्ञान, या किसी भी ऐसे क्षेत्र के लिए कर सकते हैं जिसमें कठोर नियम होते हैं।
संक्षेप में: RLSF न केवल AI को यह सिखाता है कि क्या गलत है, बल्कि यह भी कि ठीक कहाँ और क्यों गलत है, जिससे छोटे, किफायती AI मॉडल उन कार्यों में बड़े, महंगे मॉडलों को पछाड़ पाते हैं जिनमें तर्क और सटीकता की आवश्यकता होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।