Goal-Conditioned Supervised Learning for LLM Fine-Tuning
यह शोध पत्र गोल-कंडीशन्ड सुपरवाइज्ड लर्निंग (GCSL) प्रस्तुत करता है, जो एक कुशल ऑफलाइन फाइन-ट्यूनिंग फ्रेमवर्क है जो फीडबैक संकेतों को स्पष्ट लक्ष्यों के रूप में मानता है और बड़े भाषा मॉडलों (LLMs) को गुणवत्ता थ्रेशोल्ड को लगातार प्राप्त करने के लिए निर्देशित करने हेतु प्राकृतिक भाषा का लाभ उठाता है, जिससे यह ऑनलाइन सुदृढीकरण शिक्षण (reinforcement learning) की उच्च लागतों से बचते हुए मानक सुपरवाइज्ड विधियों से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़ी शरारती रोबोटिक असिस्टेंट को व्यवहार करना सिखाने की कोशिश कर रहे हैं। आपके पास पुराने लॉग्स का एक विशाल ढेर है जो दिखाते हैं कि रोबोट ने कब-कब सवालों के जवाब दिए, साथ ही एक "स्कोर" भी है (जैसे कि 1 से 5 स्टार रेटिंग)।
यह पेपर इस रोबोट को सिखाने का एक नया, सरल और सस्ता तरीका प्रस्तावित करता है, जिसमें उन पुराने लॉग्स का उपयोग किया जाता है, बिना किसी महंगे अतिरिक्त टूल्स या निरंतर परीक्षण-और-त्रुटि (trial-and-error) के।
यहाँ उनके तरीके का विवरण दिया गया है, रोज़मर्रा के उपमाओं (analogies) का उपयोग करते हुए:
वर्तमान तरीकों के साथ समस्या
वर्तमान में, इन रोबोटों को सिखाने के दो मुख्य तरीके हैं:
"ऑनलाइन" तरीका (एक कोच के साथ वीडियो गेम की तरह):
- यह कैसे काम करता है: रोबोट जवाब देने की कोशिश करता है, एक अलग "कोच" (रिवॉर्ड मॉडल) देखता है और एक स्कोर देता है, और फिर रोबोट फिर से कोशिश करता है। यह हजारों बार होता है।
- दिक्कत: यह अविश्वसनीय रूप से महंगा, धीमा है, और इसके लिए एक "कोच" (जो कि एक दूसरा AI है) को काम पर रखने की आवश्यकता होती है जो शायद यह भी न समझ पाए कि उपयोगकर्ता वास्तव में क्या चाहता है। यह कार चलाने सीखने जैसा है जहाँ आप कार चलाते हैं, ग्रेड प्राप्त करते हैं, फिर से कार चलाते हैं, और इसे हफ्तों तक दोहराते हैं।
"ऑफलाइन" तरीका (एक टेक्स्टबुक से पढ़ाई करने की तरह):
- यह कैसे काम करता है: आप बस लॉग्स से "अच्छे" जवाबों को दिखाते हैं और कहते हैं, "इसे कॉपी करो।"
- दिक्कत: आमतौर पर, लोग "ठीक-ठाक" जवाबों को फेंक देते हैं और केवल "परफेक्ट" जवाबों को ही रखते हैं। यह एक छात्र की तरह है जो केवल टेस्ट के शीर्ष 10% उत्तरों का अध्ययन करता है। रोबमा औसत-अच्छी (average good) बनने के लिए सीखता है, लेकिन यह कभी नहीं सीख पाता कि "अच्छे" से "बेहतरीन" तक कैसे पहुँचा जाए। वह एक सीमा (ceiling) पर आकर रुक जाता है।
पेपर का समाधान: "गोल-कंडीशन्ड सुपरवाइज्ड लर्निंग" (GCSL)
लेखक पुराने लॉग्स का उपयोग करने का एक स्मार्ट तरीका सुझाते हैं। केवल "अच्छे जवाबों को कॉपी करने" के बजाय, वे रोबोट को बताते हैं: "यहाँ एक विशिष्ट लक्ष्य (goal) है जिसे आपको हासिल करना है।"
इसे एक फिटनेस ट्रेनर की तरह समझें।
- पुराना तरीका: "यहाँ एक प्रो एथलीट का वीडियो है। उसे कॉपी करो।" (रोबोट बस औसत प्रो की नकल करता है)।
- नया तरीका: "यहाँ एक प्रो का वीडियो है। आपका लक्ष्य 0.85 सेकंड से तेज़ दौड़ना है।"
रोबोट वीडियो को देखकर यह समझना सीख जाता है: "ठीक है, उस विशिष्ट गति के लक्ष्य को पाने के लिए, मुझे X, Y और Z करना होगा।"
दो बड़े अपग्रेड
पेपर में दो विशिष्ट ट्रिक्स पेश की गई हैं जो इसे और भी बेहतर बनाती हैं:
1. "थ्रेशोल्ड के पार" (Beyond the Threshold) वाली ट्रिक
पुराने "टेक्स्टबुक" तरीके में, यदि आप चाहते थे कि रोबोट "तेज़" हो, तो आप केवल सबसे तेज़ धावकों को ही दिखाते थे। रोबोट उस तेज़ समूह के औसत को कॉपी करना सीख जाता था।
नया तरीका कहता है: "यदि कोई धावक 0.85 सेकंड का लक्ष्य हासिल करने के लिए पर्याप्त तेज़ है, तो वह 0.80, 0.70 और 0.60 के लिए भी पर्याप्त अच्छा है।"
- उपमा: कल्पना कीजिए कि एक छात्र को टेस्ट में 'A' ग्रेड मिला। पुराने तरीके में, हम उन्हें केवल 'A' वाले पेपर दिखाते। नए तरीके में, हम छात्र को बताते हैं: "चूंकि तुम्हें 'A' मिला है, इसलिए तुम 'B', 'C' और 'D' भी प्राप्त करने की क्षमता रखते हो।"
- परिणाम: रोबोट प्रगति की एक सीढ़ी (ladder of progress) सीखता है। वह समझ जाता है कि बेहतर स्कोर पाने के लिए, उसे केवल एक स्थिर तस्वीर की नकल करने के बजाय, अधिक या बेहतर चीजें करनी होंगी। वह केवल एक स्थिर चित्र नहीं, बल्कि सुधार की दिशा को समझता है।
2. "नेचुरल लैंग्वेज" (Natural Language) वाली ट्रिक
पिछले प्रयासों में, "लक्ष्य" एक अजीब कोड जैसा था जैसे [GOAL_TOKEN_5]। रोबोट को यह याद करना पड़ता था कि इस कोड का अर्थ "तेज़ दौड़ना" है।
नया तरीका साधारण अंग्रेजी का उपयोग करता है।
- उपमा: गुप्त कोड के बजाय, ट्रेनर कहता है: "एक ऐसा जवाब जेनरेट करें जिसका नॉन-टॉक्सिसिटी स्कोर 0.85 से अधिक हो। स्कोर 0 से 1 के बीच है, जहाँ उच्च स्कोर बेहतर है।"
- परिणाम: क्योंकि रोबोट (LLM) पहले से ही मानवीय भाषा समझने में माहिर है, वह इसे तुरंत "समझ" जाता है। वह अपने मौजूदा ज्ञान का उपयोग यह समझने के लिए करता है कि "टॉक्सिक" या "कुशल" होने का क्या अर्थ है, न कि केवल एक प्रतीक को याद करने के लिए।
यह क्यों महत्वपूर्ण है
- यह सस्ता है: आपको महंगे "कोच" AI या निरंतर परीक्षण-और-त्रुटि के लूप की आवश्यकता नहीं है। आप बस उन्हीं लॉग्स का उपयोग करते हैं जो आपके पास पहले से मौजूद हैं।
- यह स्मार्ट है: रोबोट केवल सर्वश्रेष्ठ उदाहरणों की नकल नहीं करता; वह गुणवत्ता की सीढ़ी चढ़ना सीखता है। वह एक ऐसे लक्ष्य की ओर लक्षित कर सकता है जो उसने पहले नहीं देखा है (जैसे "सर्वश्रेष्ठ उदाहरण से भी बेहतर बनना") क्योंकि वह लक्ष्य की अवधारणा को समझता है।
- यह हर जगह काम करता है: लेखकों ने तीन अलग-अलग कार्यों पर इसका परीक्षण किया:
- विनम्र होना: रोबोट को कम टॉक्सिक/अपमानजनक बनाना।
- कोडिंग: रोबोट को तेज़ और अधिक कुशल कोड लिखना सिखाना।
- सिफारिशें (Recommendations): रोबोट को ऐसे उत्पाद सुझाना जिन्हें लोग वास्तव में पसंद करते हैं।
निचोड़ (Bottom Line)
यह पेपर AI को एक लक्ष्य को ध्यान में रखकर काम करने के लिए सिखाने के बारे में है, जिसमें साधारण भाषा और गुणवत्ता की एक "सीढ़ी" का उपयोग किया जाता है, न कि केवल सर्वश्रेष्ठ उदाहरणों की नकल करने या महंगे वीडियो गेम खेलने के लिए। यह AI को अधिक स्मार्ट बनाता है और इसके प्रशिक्षण की प्रक्रिया को बहुत तेज़ और सस्ता बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।