Decomposing the Delta: What Do Models Actually Learn from Preference Pairs?
यह शोध पत्र इस बात की जांच करता है कि कैसे प्राथमिकता डेटा (preference data) जनरेटर-स्तरीय और सैंपल-स्तरीय गुणवत्ता अंतरों के बीच अंतर करके भाषा मॉडलों में तर्क संबंधी लाभ (reasoning gains) को संचालित करता है, यह पाते हुए कि चुने गए और अस्वीकृत ट्रेसेस (traces) के बीच क्षमता अंतराल को अधिकतम करने से आउट-ऑफ-डोमेन प्रदर्शन में सुधार होता है, जबकि सैंपल-स्तरीय गुणवत्ता द्वारा फ़िल्टर करना प्रशिक्षण दक्षता को बढ़ाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक छात्र को जटिल गणितीय समस्याओं को हल करना सिखाने की कोशिश कर रहे हैं। आपके पास अभ्यास पत्रों का एक ढेर है, लेकिन उन्हें केवल सही उत्तर देने के बजाय, आप उन्हें समाधानों के जोड़े देते हैं: एक "चुना हुआ" (बेहतर वाला) और एक "अस्वीकृत" (खराब वाला)। छात्र का काम यह पता लगाना है कि एक समाधान दूसरे से बेहतर क्यों है और उस अंतर से सीखना है।
यह शोध पत्र इस बारे में है कि वास्तव में वह "अंतर" (gap) क्या है जो उन दो समाधानों के बीच इतना शक्तिशाली बनाता है। शोधकर्ता जानना चाहते थे: क्या यह मायने रखता है कि "बेहतर" समाधान एकदम सटीक हो? या क्या केवल यह मायने रखता है कि वह "खराब" वाले से स्पष्ट रूप से बेहतर हो?
यहाँ उनके निष्कर्षों का विवरण दिया गया, जिसमें रोजमर्रा के उदाहरणों का उपयोग किया गया है।
"अंतर" के दो प्रकार (द डेल्टा)
लेखकों ने महसूस किया कि एक "अच्छे" उत्तर और एक "बुरे" उत्तर के बीच अंतर पैदा करने के दो अलग-अलग तरीके हैं। वे इन्हें जेनरेटर-लेवल डेल्टा (Generator-Level Delta) और सैंपल-लेवल डेल्टा (Sample-Level Delta) कहते हैं।
1. जेनरेटर-लेवल डेल्टा: "शिक्षक बनाम नौसिखिया" का अंतर
इसे उन दो लोगों के बीच कौशल के अंतर के रूप में सोचें जो उत्तर लिख रहे हैं।
- सेटअप: आप एक जीनियस (मॉडल A) द्वारा लिखे गए समाधान को एक संघर्ष कर रहे छात्र (मॉडल B) द्वारा लिखे गए समाधान के साथ जोड़ते हैं।
- निष्कर्ष: दोनों लेखक के बीच कौशल का अंतर जितना बड़ा होगा, छात्र उतना ही बेहतर सीखेगा—लेकिन केवल नई, कठिन समस्याओं के लिए।
- उपमा: एक शतरंज कोच की कल्पना करें। यदि आप एक नौसिखिए को एक ग्रैंडमास्टर द्वारा चली गई चाल और एक कुल नौसिखिए द्वारा चली गई चाल के बीच का अंतर दिखाते हैं, तो नौसिखिया बहुत कुछ सीखता है। लेकिन यदि आप उसे एक ग्रैंडमास्टर की चाल और थोड़े कम कुशल ग्रैंडमास्टर की चाल के बीच का अंतर दिखाते हैं, तो वह शतरंज खेलने के बारे में बहुत अधिक नहीं सीख पाता है।
- आश्चर्य: यदि छात्र पहले से ही गणित में अच्छा है, तो "जीनियस" लेखक को और भी स्मार्ट बनाने से उसे और अधिक गणित के सवाल हल करने में मदद नहीं मिलती (वह पहले ही अपनी सीमा तक पहुँच चुका है)। हालाँकि, यह उसे अन्य क्षेत्रों, जैसे कोडिंग या विज्ञान में मदद करता है। बड़ा अंतर उसे सोचना सिखाता है, न कि केवल गणित करना।
2. सैंपल-लेवल डेल्टा: "व्याख्या की गुणवत्ता" का अंतर
यह एक ही जोड़ी के उत्तरों के भीतर विशिष्ट विवरणों के बारे में है। भले ही दोनों उत्तर एक ही दो लेखकों के हों, एक जोड़ी में गुणवत्ता का बहुत बड़ा अंतर हो सकता है, जबकि दूसरी जोड़ी बहुत समान हो सकती है।
- सेटअप: आप वास्तविक तर्क चरणों (reasoning steps) को देखते हैं। क्या "अच्छे" उत्तर ने तर्क को सुचारू रूप से प्रवाहित किया? क्या "बुरे" उत्तर ने ध्यान भटकाया या मूर्खतापूर्ण गलतियाँ कीं?
- निष्कर्ष: सबसे महत्वपूर्ण बात यह नहीं है कि अंतिम उत्तर सही था या गलत। यह चरण सामंजस्य (Step Coherence) के बारे में है।
- उपमा: कल्पना करें कि दो लोग केक बनाने का तरीका समझा रहे हैं।
- व्यक्ति A (चुना हुआ): "पहले, मैदा मिलाएं। फिर अंडे डालें। 30 मिनट तक बेक करें।" (स्पष्ट, तार्किक चरण)।
- व्यक्ति B (अस्वीकृत): "मैदा मिलाएं... रुकिए, क्या ओवन गर्म है? ओह, वैसे, मुझे अंडे पसंद नहीं हैं। खैर, बेक करें।" (भ्रमित, इधर-उधर कूदना, अप्रासंगिक बातें)।
- परिणाम: छात्र यह सीखने में अधिक प्रगति करता है कि उन्होंने कैसे समझाया (तरीके के अंतर से), बजाय इसके कि व्यक्ति A ने केक सही बनाया या नहीं और व्यक्ति B ने केक जला दिया। मुख्य बात यह थी कि व्यक्ति A के चरण तार्किक और जुड़े हुए थे, जबकि व्यक्ति B के चरण अस्त-व्यस्त थे।
बड़ी आश्चर्यजनक बातें
शोध पत्र ने तीन ऐसी चीजें पाईं जो भविष्य में AI को प्रशिक्षित करने के तरीके को बदल सकती हैं:
"सही" होना ही सब कुछ नहीं है:
आप सोच सकते हैं कि "चुना हुआ" उत्तर में सही अंतिम संख्या होनी ही चाहिए ताकि वह उपयोगी हो। शोधकर्ताओं ने इसे गलत साबित कर दिया। भले ही "चुना हुआ" उत्तर अंतिम संख्या गलत दे देता, लेकिन यदि उसके तर्क के चरण "अस्वीकृत" उत्तर की तुलना में अधिक तार्किक थे, तो छात्र फिर भी सीखता है!- रूपक: यह गाड़ी चलाना सीखने जैसा है। यदि आपका प्रशिक्षक थोड़ा गलत मोड़ लेता है लेकिन समझाता है कि वह क्यों मुड़ रहा है और कार को स्थिर रखता है, तो आप अधिक सीखते हैं, बजाय इसके कि वह सही मोड़ ले लेकिन चिल्ला रहा हो और कार को झटके दे रहा हो।
कम डेटा बेहतर हो सकता है:
आपको छात्र को हजारों अभ्यास पत्र खिलाने की आवश्यकता नहीं है। यदि आप केवल उन शीर्ष 5,000 जोड़ों को चुनते जहाँ "तार्किक प्रवाह" का अंतर सबसे बड़ा है, तो छात्र उतना ही अच्छा सीखता है जितना कि यदि उसने सभी 16,500 जोड़ों का अध्ययन किया होता।- रूपक: एक ऐसी किताब के 20 अध्याय पढ़ने से बेहतर है कि आप उस किताब के 5 अध्याय पढ़ें जहाँ कथानक पूरी तरह से समझ में आता है। मात्रा से अधिक गुणवत्ता महत्वपूर्ण है।
"चरण सामंजस्य" (Step Coherence) का रहस्य:
सबसे महत्वपूर्ण चीज़ जो AI ने सीखी वह थी चरण सामंजस्य। इसका अर्थ है: "क्या चरण B स्वाभाविक रूप से चरण A से निकलता है?"- रूपक: एक कहानी जहाँ कथानक समझ में आता है। यदि नायक रसोई में है, तो उसका फ्रिज खोलना समझ में आता है। यह समझ में नहीं आता कि वह अचानक चंद्रमा पर पहुँच जाए। AI सीखता है कि "तार्किक प्रवाह" ही कठिन समस्याओं को हल करने का गुप्त सूत्र है।
बेहतर AI के लिए "नुस्खा"
इन निष्कर्षों के आधार पर, लेखक बेहतर AI बनाने के लिए एक सरल दो-चरणीय नुस्खा सुझाते हैं:
- बड़े अंतर पैदा करें: अपना प्रशिक्षण डेटा बनाते समय, एक बहुत बुद्धिमान मॉडल को बहुत कम बुद्धिमान मॉडल के साथ जोड़ें। इस बात की चिंता न करें कि स्मार्ट वाला मॉडल पूर्ण है या नहीं; बस यह सुनिश्चित करें कि उनके बीच का अंतर बहुत बड़ा हो।
- सर्वश्रेष्ठ उदाहरण चुनें: सभी डेटा का उपयोग न करें। इसे फ़िल्टर करें ताकि उन जोड़ों को खोजा जा सके जहाँ "स्मार्ट" मॉडल का तर्क "बुरे" मॉडल की तुलना में सबसे अधिक तार्किक और जुड़ा हुआ (उच्च चरण सामंजस्य) था।
संक्षेप में: AI को बेहतर सोचना सिखाने के लिए, उसे केवल सही उत्तर न दिखाएं। उसे एक स्पष्ट, तार्किक मार्ग बनाम एक अस्त-व्यस्त, भ्रमित मार्ग दिखाएं। उनके सोचने के तरीके में अंतर जितना बड़ा होगा, AI उतना ही अधिक बुद्धिमान बनेगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।