: Unifying Generation and Self-Verification for Parallel Reasoners
यह शोधपत्र को प्रस्तुत करता है, जो एक कुशल युग्मवार रैंकिंग (pairwise ranking) और एक टूर्नामेंट-आधारित अनिश्चितता-निर्देशित एल्गोरिदम के माध्यम से जनरेशन और स्व-सत्यापन (self-verification) को एकीकृत करने वाला एक ढांचा है, जो मौजूदा पॉइंटवाइज वेरिफिकेशन (pointwise verification) और मानक सुदृढीकरण शिक्षण (reinforcement learning) विधियों की तुलना में जटिल तर्क और कोड जनरेशन बेंचमार्क पर टेस्ट-टाइम स्केलिंग प्रदर्शन और दक्षता में महत्वपूर्ण सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन थोड़े अति-आत्मविश्वासी शेफ हैं। आपको एक बहुत ही महत्वपूर्ण डिनर के लिए एक आदर्श व्यंजन (dish) बनाने का काम सौंपा गया है। आप जानते हैं कि आप केवल एक व्यंजन बनाकर यह उम्मीद नहीं कर सकते कि वह सही होगा; आपको एक विजेता सुनिश्चित करने के लिए कई अलग-अलग संस्करण (16, 32, या उससे भी अधिक) बनाने होंगे।
Large Language Models (LLMs) को कोडिंग या गणित जैसी कठिन समस्याओं को हल करते समय यही करना होता है। वे कई "चेन ऑफ थॉट" (विभिन्न समाधान) उत्पन्न करते हैं और फिर उन्हें में से सबसे अच्छा चुनना होता है। इसे पैरेलल रीजनिंग (Parallel Reasoning) कहा जाता है।
समस्या क्या है? आप विजेता को कैसे चुनते हैं?
पुराना तरीका: "सोलो जज" (पॉइंटवाइज वेरिफिकेशन)
अतीत में, मॉडल अपने 16 व्यंजनों को एक-एक करके, अलग-थलग देखता था और उन्हें 1 से 10 तक का स्कोर देता था।
- खामी: शेफ अकेले निर्णय लेने में बुरा है। यदि कोई व्यंजन शानदार दिखता है, तो शेफ उसे 10/10 दे सकता है, भले ही वह जला हुआ हो। यदि एक साधारण, उत्तम व्यंजन साधारण दिखता है, तो वह उसे 5/10 दे सकता है।
- परिणाम: मॉडल अक्सर "दिखावटी लेकिन गलत" उत्तर चुन लेता है क्योंकि वह अकेले देखते हुए 9 और 10 के बीच अंतर नहीं बता पाता। यह एक पत्थर का वजन बिना तराजू के हाथ में पकड़कर अनुमान लगाने जैसा है।
नया तरीका: "द टूर्नामेंट" (V1 फ्रेमवर्क)
इस पेपर के पीछे के शोधकर्ताओं ने महसूस किया कि इंसान शून्य में चीजों का न्याय करने में बुरे होते हैं, लेकिन हम दो चीजों की आपस में तुलना करने में बेहतरीन होते हैं।
उन्होंने एक नया सिस्टम पेश किया जिसे V1 कहा जाता है, जिसके दो मुख्य भाग हैं:
1. V1-Infer: "स्विस-स्टाइल कुकिंग टूर्नामेंट" (इन्फरेंस टाइम)
16 व्यंजनों का अलग-अलग न्याय करने के बजाय, V1-Infer उन्हें एक टूर्नामेंट में डाल देता है।
- सेटअप: यह दो व्यंजन लेता है और पूछता है, "कौन सा स्वाद बेहतर है?"
- रणनीति: यह केवल रैंडम व्यंजनों की तुलना नहीं करता है। यह एक स्मार्ट एल्गोरिदम (जैसे स्विस-सिस्टम शतरंज टूर्नामेंट) का उपयोग करता है ताकि सबसे करीबी मैचों को खोजा जा सके।
- यदि व्यंजन A और व्यंजन B दोनों ही बेकार हैं, तो मॉडल तुरंत समझ जाता है।
- यदि व्यंजन A और व्यंजन B दोनों लगभग पूर्ण हैं, तो मॉडल उनके बीच के सूक्ष्म अंतर को समझने के लिए अतिरिक्त दिमागी शक्ति लगाता है।
- उपमा: कल्पना कीजिए कि आप सबसे तेज़ धावक को खोजने की कोशिश कर रहे हैं। सभी का अलग-अलग समय रिकॉर्ड करने के बजाय (जो कि कठिन है), आप उन्हें आपस में दौड़ने के लिए रखते हैं। आप अपना ध्यान उन शीर्ष दावेदारों की दौड़ पर केंद्रित करते हैं जो एक-दूसरे के बेहद करीब हैं, न कि सबसे धीमे धावकों के बीच की दौड़ में समय बर्बाद करते हैं।
- परिणाम: मॉडल वास्तव में सबसे अच्छे समाधान को खोजने में बहुत बेहतर हो जाता है, भले ही वह सबसे आम समाधान न हो।
2. V1-PairRL: "शेफ का ट्रेनिंग कैंप" (ट्रेनिंग टाइम)
पेपर यह भी पूछता है: "क्या हम शेफ को बेहतर जज बनने के लिए सिखा सकते हैं जब वे खाना बनाना सीख रहे हों?"
- पुरानी ट्रेनिंग: आमतौर पर, मॉडल्स को केवल खाना बनाने के लिए प्रशिक्षित किया जाता है। यदि वे गलती करते हैं, तो उन्हें "खराब" स्कोर मिलता है। वे कभी अपने काम की आलोचना करना नहीं सीखते।
- V1 ट्रेनिंग: मॉडल को एक ही समय में दोनों कार्य करने के लिए प्रशिक्षित किया जाता है। वह एक व्यंजन बनाना सीखता है, और फिर तुरंत उसे अपने द्वारा बनाए गए दूसरे व्यंजन के साथ तुलना करके यह तय करना होता है कि कौन सा बेहतर है।
- उपमा: एक ऐसी कुकिंग स्कूल की कल्पना करें जहाँ छात्र केवल खाना नहीं बनाते; उन्हें अपने सहपाठियों के व्यंजनों का न्याय भी करना होता है। जैसे-जैसे छात्र खाना बनाने में बेहतर होते जाते हैं, न्याय करने के मानदंड भी कठिन होते जाते हैं। यह छात्र को यह समझने के लिए मजबूर करता है कि कोई व्यंजन क्यों अच्छा है, न कि केवल रेसिपी को याद करने के लिए।
- परिणाम: मॉडल एक "सेल्फ-वेरिफायर" बन जाता है। वह केवल उत्तर उत्पन्न नहीं करता; वह ऐसे उत्तर उत्पन्न करता है जिन्हें वह जानता है कि सही हैं क्योंकि उसने उनकी तुलना करने का अभ्यास किया है।
यह क्यों मायने रखता है (द "आहा!" मोमेंट)
पेपर दिखाता है कि यह "हेड-टू-हेड" दृष्टिकोण दो बड़ी समस्याओं को हल करता है:
- कैलिब्रेशन (Calibration): मॉडल हर चीज़ को "10/10" देना बंद कर देता है। वह सीख जाता है कि "10/10" दुर्लभ है और केवल पूर्णतः सर्वश्रेष्ठ के लिए है।
- विविधता (Diversity): कभी-कभी, सबसे अच्छा उत्तर एक अजीब, अनूठा एक होता है जो अन्य से अलग दिखता है। पुराने तरीके (जैसे सबसे आम उत्तर के लिए वोट करना) इस अनूठे उत्तर को खत्म कर देते। टूर्नामेंट विधि इसे ढूंढ लेती है क्योंकि यह इसकी सीधे "लोकप्रिय" गलत उत्तरों के खिलाफ तुलना करती है और देखती है कि यह जीत गया।
निचोड़ (The Bottom Line)
V1 एक मॉडल को एक अकेले आलोचक (जो अंधे होकर स्कोर का अनुमान लगाता है) से एक स्मार्ट टूर्नामेंट ऑर्गनाइज़र (जो जानता है कि मुकाबला देखकर कौन जीतेगा) में अपग्रेड करने जैसा है।
- कोड के लिए: यह 15 बग वाले कोड के बीच छिपे बग-मुक्त कोड को ढूंढ लेता है।
- गणित के लिए: यह सही समाधान चुनता है भले ही गणित पेचीदा हो।
- वास्तविक जीवन के लिए: यह AI को वास्तविक दुनिया के सॉफ्टवेयर बग्स (जैसे Django और Matplotlib के उदाहरणों में) को ठीक करने में मदद करता है, क्योंकि यह पैच की आपस में तुलना करता है।
संक्षेप में: मॉडल को शून्य में अपने होमवर्क को ग्रेड करने के लिए न कहें। उसे अपने ही अन्य प्रयासों के साथ तुलना करके अपने होमवर्क को ग्रेड करने दें। ऐसे ही आपको सर्वश्रेष्ठ परिणाम मिलते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।