Shrinking the Generation-Verification Gap with Weak Verifiers
यह शोधपत्र वीवर (Weaver) को पेश करता है, जो एक ऐसा फ्रेमवर्क है जो कई कमजोर, अपूर्ण सत्यापनकर्ताओं (verifiers) को एक मजबूत, स्केलेबल सत्यापनकर्ता में संयोजित करने के लिए वीक सुपरविजन (weak supervision) का लाभ उठाता है, जिससे वर्तमान लैंग्वेज मॉडल जजों और ओरकल सत्यापनकर्ताओं के बीच के प्रदर्शन अंतराल को काफी कम किया जा सकता है ताकि व्यापक फाइन-ट्यूनिंग के बिना o3-mini-स्तर की सटीकता प्राप्त की जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही कठिन पहेली को सुलझाने की कोशिश कर रहे हैं, जैसे कि कोई जटिल गणितीय समस्या या कोई पेचीदा तर्क वाला रहस्य। आपके पास एक सुपर-स्मार्ट दोस्त है (एक आर्टिफिशियल इंटेलिजेंस) जो आपके लिए सैकड़ों अलग-अलग उत्तर उत्पन्न कर सकता है। कभी-कभी, वह पहली ही कोशिश में सही उत्तर दे देता है। लेकिन अक्सर, वह 50वीं कोशिश पर, या 99वीं कोशिश पर सही होता है, जबकि पहले 98 उत्तर गलत होते हैं। असली चुनौती केवल दोस्त को और स्मार्ट बनाने की नहीं है; बल्कि यह पता लगाने की है कि उन सैकड़ों उत्तरों में से सही उत्तर कौन सा है। यह "सत्यापन" (verification) की दुनिया है। अतीत में, हमने उत्तरों की जांच करने के दो मुख्य तरीकों पर भरोसा किया है: एक मानव विशेषज्ञ से पूछना (जो धीमा और महंगा है) या एक विशेष, पूर्ण कंप्यूटर प्रोग्राम का उपयोग करना (जो केवल बहुत विशिष्ट प्रकार की पहेलियों के लिए काम करता है)। लेकिन क्या होगा यदि हम "ठीक-ठाक" जांचकर्ताओं की एक पूरी भीड़ का उपयोग कर सकें—कुछ जो गणित में अच्छे हैं, कुछ तर्क में, कुछ सिर्फ अनुमान लगाने में—ताकि वे मिलकर सही उत्तर का पता लगा सकें? यही वह बड़ा सवाल है जिसे यह शोध पत्र संबोधित करता है।
इस अध्ययन के पीछे के शोधकर्ताओं ने, जो स्टैनफोर्ड और अन्य संस्थानों की एक टीम के नेतृत्व में हैं, Weaver नामक एक नया ढांचा पेश किया है। Weaver को एक सुपर-स्मार्ट "ज्यूरी फोरमैन" (जूरी का अध्यक्ष) के रूप में समझें। आमतौर पर, जब हमारे पास AI जांचकर्ताओं (जिन्हें "वेरिफायर" कहा जाता है) का एक समूह होता है, तो हम बस उन सभी को वोट देने के लिए कहते हैं और उस उत्तर को चुनते हैं जिसे सबसे अधिक "हाँ" वोट मिलते हैं। इसे "बहुमत मतदान" (majority voting) कहा जाता है। लेकिन यह शोध पत्र तर्क देता है कि यह एक कमरे में बैठे लोगों से गणित की समस्या पर वोट देने जैसा है, बिना इस बात की परवाह किए कि उनमें से कुछ गणित में बहुत खराब हैं और कुछ जीनियस हैं। "खराब" मतदाता "अच्छे" मतदाताओं को दबा सकते हैं, जिससे गलत उत्तर मिल सकता है।
शोध पत्र का मुख्य निष्कर्ष यह है कि यदि आप यह पता लगा सकते हैं कि प्रत्येक जांचकर्ता कितना अच्छा है और बेहतर वालों को अधिक "वोट" (या भार/weight) दे सकते हैं, तो आपको बहुत बेहतर परिणाम मिलते हैं। पेचीदा हिस्सा यह है कि आपको यह जानने के लिए आमतौर पर उत्तर कुंजियों (लेबल वाले डेटा) के एक विशाल ढेर की आवश्यकता होती है कि कौन अच्छा है और कौन बुरा। लेकिन वास्तविक दुनिया में, हमारे पास अक्सर वे उत्तर कुंजियाँ नहीं होती हैं। इसलिए, टीम ने कमजोर पर्यवेक्षण (Weak Supervision) नामक एक तकनीक का उपयोग करके एक चतुर तरकीब बनाई। कल्पना कीजिए कि आपके पास जासूसों का एक समूह है, और आप नहीं जानते कि कौन सा जासूस अच्छा है। लेकिन यदि आप उन्हें मिलकर काम करते हुए देखते हैं, तो आप पैटर्न पकड़ सकते हैं: यदि जासूस A और जासूस B हमेशा सहमत होते हैं, लेकिन जासूस C उनसे असहमत होता है, तो आप अनुमान लगा सकते हैं कि C अविश्वसनीय हो सकता है। Weaver इस तरह के सांख्यिकीय जासूसी कार्य का उपयोग करके बिना किसी उत्तर कुंजी के प्रत्येक जांचकर्ता की सटीकता का अनुमान लगाता है।
परिणाम काफी आश्चर्यजनक हैं। जब उन्होंने एक मानक AI मॉडल (Llama 3.3 70B) द्वारा 100 प्रयासों में से सर्वश्रेष्ठ उत्तर चुनने के लिए Weaver का उपयोग किया, तो इसने बाजार के सबसे उन्नत, महंगे AI मॉडलों (जैसे OpenAI का o3-mini) के लगभग समान प्रदर्शन किया, जिन्हें इतना स्मार्ट होने के लिए भारी प्रशिक्षण की आवश्यकता होती है। विशेष रूप से, Weaver ने कई कठिन तर्क और गणित संबंधी कार्यों में 87.7% की औसत सटीकता हासिल की, जबकि शीर्ष-स्तरीय o3-mini की सटीकता 86.7% थी। यह केवल AI द्वारा दिए गए पहले उत्तर को चुनने (जो औसतन केवल 68.4% था) की तुलना में एक बड़ी छलांग है।
हालाँकि, हर प्रश्न के लिए 30 या अधिक अलग-अलग AI जांचकर्ताओं को चलाना महंगा और धीमा है, जैसे कि एक होमवर्क असाइनमेंट को चेक करने के लिए विशेषज्ञों की एक पूरी टीम को काम पर रखना। इसे ठीक करने के लिए, लेखकों ने Weaver को "डिस्टिल" (distill) किया। उन्होंने पूरे दल द्वारा लिए गए स्मार्ट निर्णयों को लिया और एक छोटे, सुपर-फास्ट AI मॉडल (केवल 400 मिलियन पैरामीटर) को उनकी नकल करने के लिए प्रशिक्षित किया। इस छोटे मॉडल ने 98.7% सटीकता बनाए रखी लेकिन इसके लिए आवश्यक कंप्यूटिंग शक्ति को 99.97% कम कर दिया। यह एक विशाल पुस्तकालय के सामूहिक ज्ञान को एक एकल, जेब के आकार की मार्गदर्शिका में संकुचित करने जैसा है जो लगभग उतना ही अच्छा काम करती है लेकिन आपकी जेब में भी समा सकती है।
यह शोध पत्र स्पष्ट रूप से कुछ विचारों को खारिज करता है। यह दिखाता है कि सभी जांचकर्ताओं के स्कोर का औसत निकालना (सभी को समान वोट देना) भारित करने (weighting) की तुलना में बहुत खराब है। यह यह भी पाता है कि केवल AI से अपना काम खुद जांचने के लिए कहना (स्व-सत्यापन) या एक एकल "सर्वश्रेष्ठ" जांचकर्ता का उपयोग करना, कई कमजोरों को सही भार के साथ संयोजित करने जितना प्रभावी नहीं है। इसके अलावा, हालांकि अधिक जांचकर्ता जोड़ने से मदद मिलती है, शोध पत्र नोट करता है कि एक निश्चित बिंदु के बाद, और अधिक जोड़ने से ज्यादा मदद नहीं मिलती क्योंकि वे एक ही तरह की गलतियाँ करने लगते हैं।
संक्षेप में, Weaver सुझाव देता है कि हमें कठिन समस्याओं को हल करने के लिए बड़े, अधिक महंगे AI मॉडल बनाने की आवश्यकता नहीं है। इसके बजाय, हम पहले से मौजूद कई "ठीक-ठाक" AI जांचकर्ताओं को सुनने के एक स्मार्ट तरीके से बेहतर परिणाम प्राप्त कर सकते हैं। यह विचारों की शोर भरी भीड़ को एक स्पष्ट, विश्वसनीय संकेत में बदल देता है, जो कि एक AI क्या जनरेट कर सकता है और हम क्या सत्यापित कर सकते हैं, उसके बीच के अंतर को पाट देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।