Peer-Predictive Self-Training for Language Model Reasoning
यह शोध पत्र पीयर-प्रेडिक्टिव सेल्फ-ट्रेनिंग (PST) का परिचय देता है, जो एक लेबल-मुक्त ढांचा है जहाँ कई भाषा मॉडल क्रॉस-मॉडल एग्रीगेटेड रिस्पॉन्स को पॉइंटवाइज म्यूचुअल इंफॉर्मेशन द्वारा स्केल किए गए आंतरिक प्रशिक्षण संकेतों के रूप में उपयोग करके अपनी तर्क क्षमताओं में सहयोगात्मक रूप से सुधार करते हैं, जिससे बाहरी पर्यवेक्षण के बिना गणितीय बेंचमार्क पर महत्वपूर्ण सटीकता लाभ प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
बड़ी समस्या: बिना शिक्षक के कैसे बनें स्मार्ट?
कल्पना कीजिए कि आप जटिल गणितीय पहेलियों को हल करना सीख रहे हैं। आमतौर पर, आपको एक शिक्षक की आवश्यकता होती है जो आपको बताए कि आपका उत्तर सही है या गलत। लेकिन क्या होगा यदि आपके पास कोई शिक्षक न हो? क्या होगा यदि आप कमरे में अकेले छात्र हों, और आपके पास कोई उत्तर कुंजी (answer key) भी न हो?
यह आधुनिक एआई (लार्ज लैंग्वेज मॉडल्स) के सामने एक बड़ी चुनौती है। वे टेक्स्ट लिखने में बहुत अच्छे हैं, लेकिन बिना बाहरी पर्यवेक्षण (जैसे कि मानव शिक्षक या सही उत्तरों का डेटाबेस) के, वे तर्क करने वाले कार्यों (जैसे गणित या तर्कशास्त्र) में बेहतर होने के लिए संघर्ष करते हैं। यदि वे केवल अपनी गलतियों पर अभ्यास करते हैं, तो वे अक्सर और खराब होते जाते हैं, क्योंकि वे अपनी ही गलतियों को दोहराने लगते हैं।
समाधान: "ग्रुप स्टडी" का तरीका
लेखकों ने एक चतुर नई विधि प्रस्तावित की है जिसे पियर-प्रेडिक्टिव सेल्फ-ट्रेनिंग (PST) कहा जाता है। एक अकेले छात्र के अकेले प्रयास करने के बजाय, कल्पना कीजिए कि तीन अलग-अलग छात्रों का एक स्टडी ग्रुप है (मान लीजिए कि उनके नाम जेम्मा, लामा और क्वेन हैं)।
यहाँ उनके "स्टडी सेशन" के काम करने का तरीका दिया गया है:
1. रिले रेस (क्रमिक पीढ़ी - Sequential Generation)
सबके एक साथ चिल्लाकर उत्तर देने के बजाय, वे बारी-बारी से काम करते हैं।
- छात्र A गणित की समस्या पढ़ता है और अपना सबसे अच्छा अनुमान लिखता है।
- छात्र B समस्या और छात्र A के अनुमान को पढ़ता है, फिर अपना अनुमान लिखता है।
- छात्र C समस्या, छात्र A का अनुमान और छात्र B का अनुमान पढ़ता है, और फिर अंतिम उत्तर लिखता है।
चूंकि छात्र C ने अन्य सभी के विचार देख लिए हैं, इसलिए उसका अंतिम उत्तर आमतौर पर सबसे विश्वसनीय होता है। यह एक "क्राउड-सोर्स्ड" उत्तर की तरह है।
2. जादुई स्कोरकार्ड (पियर प्रेडिक्शन)
अब आता है कठिन हिस्सा। हमें कैसे पता चलेगा कि किस छात्र को और अधिक पढ़ाई करने की आवश्यकता है?
- यदि छात्र A का अनुमान अंतिम "भीड़" (group) के उत्तर के बहुत समान था, तो इसका मतलब है कि छात्र A पहले से ही सही रास्ते पर था। उसे ज्यादा मदद की जरूरत नहीं है।
- यदि छात्र A का अनुमान भीड़ से बिल्कुल अलग था, तो इसका मतलब है कि वह भ्रमित था। उसे सुधारा जाना चाहिए।
पेपर एक गणितीय उपकरण का उपयोग करता है जिसे पॉइंटवाइज म्यूचुअल इंफॉर्मेशन (PMI) कहा जाता है, जो एक "स्कोरकार्ड" के रूप में कार्य करता है। यह पूछता है: "छात्र A के उत्तर ने अंतिम समूह के उत्तर की भविष्यवाणी करने में कितनी मदद की?"
- उच्च स्कोर: "आप मददगार थे! आप पहले से ही समूह के साथ तालमेल में थे।" -> छोटा अपडेट (ज्यादा बदलाव न करें)।
- कम स्कोर: "आप गलत रास्ते पर थे। समूह आपसे असहमत था।" -> बड़ा अपडेट (कड़ी मेहनत करें और अपनी सोच बदलें)।
3. "बिना शिक्षक वाला" ट्विस्ट
इस प्रणाली की प्रतिभा यह है कि कोई भी शिक्षक नहीं है।
- आमतौर पर, आपको एक "शिक्षक" (एक बहुत स्मार्ट मॉडल) की आवश्यकता होती है जो एक "छात्र" (एक कमजोर मॉडल) को ग्रेड दे सके।
- PST में, "शिक्षक" वास्तव में केवल समूह की सहमति (group consensus) है। मॉडल एक-दूसरे को सिखाते हैं। अंतिम उत्तर किसी किताब से लिया गया "तथ्य" नहीं है; यह केवल वही सबसे अच्छा अनुमान है जो समूह ने मिलकर निकाला है।
यह क्यों काम करता है? (जासूस का रूपक)
पेपर इसे "वेरिफिकेशन बनाम जनरेशन गैप" नामक अवधारणा का उपयोग करके समझाता है।
कल्पना कीजिए कि एक जासूस अपराध को सुलझाने की कोशिश कर रहा है।
- जनरेशन (कहानी बनाना): सभी सुरागों की व्याख्या करने के लिए शुरू से एक पूरी तरह से नई, तार्किक कहानी बनाना बहुत कठिन है। आप अपने ही झूठ में खो सकते हैं।
- वेरिफिकेशन (कहानी की जाँच करना): किसी और द्वारा लिखी गई कहानी को देखना और कहना, "रुको, यह हिस्सा समझ में नहीं आ रहा है," या "हाँ, यह हिस्सा सुरागों के साथ फिट बैठता है," बहुत आसान है।
भले ही एक मॉडल सही उत्तर बनाने (inventing) में बुरा हो, लेकिन वह किसी दूसरे के उत्तर को देखकर उसे पहचानने (recognizing) में अच्छा हो सकता है।
मॉडल्स को बारी-बारी से काम करने के लिए कहकर, बाद के मॉडल्स शुरुआती मॉडल्स के लिए "वेरिफायर" (जांचकर्ता) के रूप में कार्य करते हैं। वे पिछले उत्तरों की समूह के तर्क के विरुद्ध जाँच करते हैं। सिस्टम इस "जाँचने" की शक्ति का उपयोग भविष्य में बेहतर उत्तर "बनाने" के लिए मॉडल्स को प्रशिक्षित करने के लिए करता है।
परिणाम: एक टीम जो मिलकर स्मार्ट बनती है
शोधकर्ताओं ने गणित की समस्याओं (जैसे समीकरणों या शब्द समस्याओं को हल करना) पर इनका परीक्षण किया।
- सेटअप: उन्होंने अलग-अलग आकार के तीन अलग-अलग AI मॉडल्स का उपयोग किया।
- परिणाम: इस "ग्रुप स्टडी" के कुछ राउंड के बाद, तीनों मॉडल्स गणित में बेहतर हो गए।
- उनकी सटीकता (accuracy) में लगभग 2% से 4% का सुधार हुआ।
- उन्होंने "जो वे जनरेट करते हैं" और "जिसे वे वेरिफाई कर सकते हैं" के बीच के अंतर को 26% से 40% तक कम कर दिया।
मुख्य निष्कर्ष
यह पेपर दिखाता है कि AI को बेहतर होने के लिए हमेशा मानव शिक्षक या सही उत्तरों के विशाल डेटाबेस की आवश्यकता नहीं होती है। यदि आप AI मॉडल्स के एक समूह को एक-दूसरे से बात करने, एक-दूसरे को सुनने और अपने काम को ग्रेड करने के लिए "भीड़ की बुद्धिमत्ता" (wisdom of the crowd) का उपयोग करने का मौका देते हैं, तो वे स्वयं में सुधार (self-improve) कर सकते हैं।
यह एक ऐसी स्टडी ग्रुप की तरह है जहाँ, रात के अंत तक, हर कोई पहले की तुलना में अधिक स्मार्ट हो जाता है, सिर्फ एक-दूसरे को सुनने और समूह की सहमति के आधार पर अपनी गलतियों को सुधारने से।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।