Introspective X Training: Feedback Conditioning Improves Scaling Across all LLM Training Stages
यह शोध पत्र इंट्रोस्पेक्टिव ट्रेनिंग (IXT) को प्रस्तुत करता है, जो एक थिंकिंग रिवॉर्ड मॉडल से प्राप्त प्राकृतिक भाषा फीडबैक का उपयोग करके LLM विकास के सभी चरणों में ट्रेनिंग डेटा को प्रीफिक्स-कंडीशन करता है, जिससे कंप्यूट दक्षता में महत्वपूर्ण सुधार होता है और मानक प्रशिक्षण दृष्टिकोणों की तुलना में गणित और कोड में बेहतर प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, भूखे रोबोट को पढ़ना और लिखना सिखा रहे हैं। पारंपरिक रूप से, यह प्रक्रिया दो बहुत ही अलग चरणों में होती है:
"विशाल पुस्तकालय" चरण (प्री-ट्रेनिंग): आप रोबोट के मस्तिष्क में लाखों किताबें, वेबसाइटें और लेख डाल देते हैं। वह सब कुछ पढ़ता है, अच्छा भी और बुरा भी। यह एक बच्चे को स्वादिष्ट भोजन, फास्ट फूड और खाली रैपर का मिश्रण खिलाने जैसा है, इस उम्मीद में कि वह सब कुछ चखकर खाना बनाना सीख जाएगा।
"ट्यूटरिंग" चरण (पोस्ट-ट्रेनिंग): बाद में, आप रोबोट के साथ बैठते हैं और कहते हैं, "वास्तव में, ये रैपर मत खाओ। यहाँ कुछ विशिष्ट गणित के सवाल और कोडिंग कार्य दिए गए हैं। इन्हें विशेष रूप से सीखो।"
इस पुराने तरीके के साथ समस्या यह है कि रोबोट पहले चरण के दौरान "रैपर" (निम्न-गुणवत्ता वाले डेटा) को पचाने में बहुत अधिक समय और ऊर्जा (कंप्यूटिंग पावर) खर्च करता है, केवल यह महसूस करने के लिए कि उसे बाद में उन्हें अनदेखा कर देना चाहिए था।
नया विचार: "इंट्रोस्पेक्टिव ट्रेनिंग" (IXT)
इस शोध पत्र के लेखक एक स्मार्ट तरीके से रोबмोट को सिखाने का प्रस्ताव देते हैं, जिसे वे इंट्रोस्पेक्टिव ट्रेनिंग (IXT) कहते हैं। इसे एक रोबोट को उसके साथ चलते हुए एक स्मार्ट लाइब्रेरियन देने के रूप में सोचें जो पहले दिन से ही उसके साथ है।
यह इस प्रकार काम करता है, एक सरल उपमा का उपयोग करते हुए:
1. स्मार्ट लाइब्रेरियन (न्यायाधीश)
रोबोट के किसी पृष्ठ को पढ़ना शुरू करने से पहले, एक "जज" (एक अन्य AI) उस टेक्स्ट को देखता है। जज केवल "अच्छा" या "बुरा" नहीं कहता। इसके बजाय, वह यह समझाने के लिए एक छोटी, प्राकृतिक भाषा की टिप्पणी (एक आलोचना) लिखता है कि टेक्स्ट क्यों अच्छा या बुरा है।
- उदाहरण: "यह पैराग्राफ बहुत अच्छा है क्योंकि यह बफ़र्स के रसायन विज्ञान को स्पष्ट और सटीक रूप से समझाता है।"
- उदाहरण: "यह पैराग्राफ कमजोर है क्योंकि यह बिना किसी वास्तविक तथ्य के केवल मार्केटिंग का फालतू शोर है।"
2. स्टिकी नोट (फीडबैक)
जज इस टिप्पणी को पृष्ठ के शीर्ष पर एक स्टिकी नोट की तरह चिपका देता है। अब, जब रोबोट पृष्ठ पढ़ता है, तो वह नोट को पहले देखता है।
- यदि नोट कहता है "उच्च गुणवत्ता," तो रोबकार अतिरिक्त ध्यान देता है।
- यदि नोट कहता है "निम्न गुणवत्ता," तो वह इसे अलग तरह से समझना सीखता है, यह समझते हुए कि यह केवल शोर (noise) है।
3. सुनना सीखना (कंडीशनिंग)
रोबोट को अगला शब्द अनुमान लगाने की कोशिश करने से पहले स्टिकी नोट को पढ़ने के लिए प्रशिक्षित किया जाता है। वह एक पैटर्न सीखता है: "जब मैं 'विशेषज्ञता: उच्च' कहने वाला नोट देखता हूँ, तो मुझे एक बहुत ही स्मार्ट, सघन स्पष्टीकरण की अपेक्षा करनी चाहिए।"
यह जादू का मंत्र है: रोबोट शुरुआत से ही "सोने" और "कचरे" के बीच अंतर करना सीख जाता है, न कि प्रशिक्षण के अंत तक यह समझने के लिए इंतजार करता है कि उसे क्या छोड़ देना चाहिए।
उन्होंने क्या पाया?
शोधकर्ताओं ने छोटे से लेकर विशाल (18 ट्रिलियन शब्दों तक पढ़े गए) मॉडलों पर इसका परीक्षण किया। यहाँ उनके मुख्य निष्कर्ष दिए गए हैं, जिन्हें सरल हिंदी में अनुवादित किया गया है:
- यह एक सुपर-एफिशिएंट स्टडी गाइड की तरह है: इन "स्टिकी नोट्स" का उपयोग करके, रोबोट ने पुराने तरीके की तुलना में 2.8 गुना कम ऊर्जा (कंप्यूटिंग पावर) का उपयोग करके समान मात्रा में जानकारी सीखी। यह ऐसा है जैसे किसी कक्षा में आधा कम अध्ययन करके A+ प्राप्त करना, क्योंकि आपको ठीक बताया गया था कि किस पर ध्यान केंद्रित करना है।
- गणित और कोडिंग में बेहतर: रोबोट गणित के सवालों को हल करने और कोड लिखने में काफी बेहतर हो गया। वास्तव में, इस विधि से एक छोटे डेटासेट पर प्रशिक्षित रोबोट, पुराने "सब कुछ खाओ" वाले तरीके का उपयोग करके बहुत बड़े डेटासेट पर प्रशिक्षित रोबोट से बेहतर प्रदर्शन कर सकता है।
- यह हर जगह काम करता है: यह ट्रिक तब भी काम करती थी जब रोबोट अभी शुरू ही कर रहा था (रैंडम इंटरनेट टेक्स्ट पढ़ रहा था), प्रशिक्षण के बीच में था, या बिल्कुल अंत में (विशिष्ट कार्यों को सीख रहा था)। यह एक सार्वभौमिक उपकरण है।
- "नोट" मायने रखता है: उन्होंने पाया कि पूर्ण स्पष्टीकरण लिखना ("यह अच्छा है क्योंकि...") एक साधारण लेबल जैसे "उच्च गुणवत्ता" का उपयोग करने की तुलना में थोड़ा बेहतर काम करता है। यह एक शिक्षक की विस्तृत टिप्पणी प्राप्त करने जैसा है, न कि केवल "A" ग्रेड प्राप्त करने जैसा।
- अभी कुछ भी फेंकें नहीं: दिलचस्प बात यह है कि उन्होंने पाया कि "निम्न गुणवत्ता" वाला डेटा भी उपयोगी था यदि उसके साथ एक नोट जुड़ा हुआ था। रोबोट ने सीखा कि "यह निम्न गुणवत्ता है" कहना भी अभी भी एक मूल्यवान जानकारी है। डेटा को पूरी तरह से फेंक देना इस तुलना में बदतर था कि उसे लेबल करके रखना।
निचोड़
यह शोध पत्र बताता है कि हमें केवल AI मॉडलों को अंधाधुंध अधिक डेटा खिलाने की आवश्यकता नहीं है। इसके बजाय, यदि हम मॉडल को खिलाने से पहले मददगार नोट्स के साथ डेटा की गुणवत्ता को लेबल करने में समय लेते हैं, तो मॉडल तेजी से सीखता है, कम ऊर्जा का उपयोग करता है, और तर्क करने तथा कोडिंग में अधिक स्मार्ट बनता है।
यह एक ऐसे छात्र के बीच का अंतर है जिसे रैंडम कागजात का ढेर दिया जाता है और कहा जाता है कि "सीखो", बनाम एक छात्र को जिसे वही ढेर मिलता है लेकिन एक शिक्षक के हाइलाइटर और नोट्स के साथ, जो उसे ठीक से बताते हैं कि क्या पढ़ना है और किसे छोड़ना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।