LLMs as a Jury: Cross-Model Consensus Can Outperform Process Reward Models for LLM Reasoning
यह शोध पत्र "LLM-jury" को प्रस्तुत करता है, जो एक पैरामीटर-मुक्त टेस्ट-टाइम स्केलिंग विधि है जो स्वतंत्र रूप से प्रशिक्षित मॉडलों के बीच क्रॉस-मॉडल सर्वसम्मति का लाभ उठाकर सही रीजनिंग चेन्स (reasoning chains) चुनने में सेल्फ-कंसिस्टेंसी (self-consistency) और प्रशिक्षित रिवॉर्ड मॉडल्स (reward models) से बेहतर प्रदर्शन करती है, जबकि यह इसकी सटीकता की भविष्यवाणी करने और इसके विफलता स्तर (failure ceiling) की पहचान करने के लिए एक क्लोज्ड-फॉर्म लॉ (closed-form law) भी प्रदान करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही कठिन गणित की समस्या या विज्ञान की पहेली को हल करने की कोशिश कर रहे हैं। आप एक सुपर-स्मार्ट AI से उसका उत्तर पूछते हैं। लेकिन कभी-कभी, यहाँ तक कि सबसे स्मार्ट AI भी अपने ही विचारों में उलझ जाता है, और अपनी गलत तर्कशक्ति पर बहुत अधिक विश्वास करते हुए बार-बार एक ही गलती करता रहता है।
यह शोध पत्र उत्तर की जाँच करने का एक नया तरीका पेश करता है: LLM-Jury।
समस्या: "इको चैंबर" (Echo Chamber) का जाल
आमतौर पर, जब हम यह सुनिश्चित करना चाहते हैं कि AI सही है, तो हम उसे एक ही सवाल कई बार पूछते हैं और सबसे सामान्य उत्तर चुनते हैं। इसे Self-Consistency कहा जाता है।
इसे ऐसे समझें जैसे आप अपने सबसे अच्छे दोस्त से सलाह मांग रहे हैं, लेकिन आप उनसे लगातार 12 बार पूछते हैं। यदि आपका दोस्त बुरा महसूस कर रहा है और गलत उत्तर दे रहा है, तो वह 12 बार गलत ही उत्तर देगा। वे आत्मविश्वास के साथ गलत उत्तर के लिए वोट करेंगे, और क्योंकि आपने केवल उन्हीं से पूछा है, इसलिए "बहुमत" भी गलत होगा। शोध पत्र दिखाता है कि यह विधि उनके 'ब्लाइंड स्पॉट्स' (कमियों) को भी विरासत में लेती है।
एक अन्य तरीका जिसे लोग ठीक करने के लिए अपनाते हैं, वह है एक विशेष "जज AI" को उत्तरों को स्कोर करने के लिए प्रशिक्षित करना। लेकिन उस जज को सीखने के लिए बहुत अधिक होमवर्क (लेबल किए गए डेटा) की आवश्यकता होती है, और यदि आप उससे ऐसे विषय पर सवाल पूछते हैं जिसका उसने अध्ययन नहीं किया है, तो वह अक्सर विफल हो जाता है।
समाधान: "LLM-Jury"
लेखक एक अलग विचार प्रस्तावित करते हैं: Cross-Model Consensus। एक ही दोस्त से 12 बार पूछने के बजाय, आप चार अलग-अलग दोस्तों से पूछते हैं जो अलग-अलग घरों में पले-बढ़े हैं, अलग-अलग स्कूलों में गए हैं और पूरी तरह से अलग तरह से सोचते हैं।
- सेटअप: आपके पास एक "जेनरेटर" (Generator) AI है जो संभावित उत्तरों की एक सूची बनाता है। फिर, आपके पास तीन अन्य AIs (जैसे Qwen, DeepSeek, और Claude) की एक "जूरी" (Jury) है जो प्रत्येक स्वतंत्र रूप से, एक बार समस्या को हल करती है। वे एक-दूसरे का काम कभी नहीं देखते।
- फैसला: यदि चार जूरियों में से तीन एक उत्तर पर सहमत होते हैं, तो वही चुना जाता है।
यह क्यों काम करता है: "स्कैटर" (Scatter) प्रभाव
शोध पत्र इस बात को त्रुटियों के एक चतुर रूपक (metaphor) से समझाता है।
- एक ही मॉडल के गलत उत्तर उन दोस्तों के समूह की तरह हैं जो एक ही पत्थर से टकराकर गिर जाते हैं। वे सभी एक ही स्थान पर गिरते हैं।
- विभिन्न मॉडलों के गलत उत्तर उन दोस्तों के समूह की तरह हैं जो अलग-अलग चीजों से टकराकर गिरते हैं। एक केले के छिलके से टकराता है, दूसरा ढीले पत्थर से, तीसरा पानी के गड्ढे से। उनकी गलतियाँ हर जगह "बिखर" (scatter) जाती हैं।
चूंकि विभिन्न मॉडलों के गलत उत्तर बिखरे हुए होते हैं, वे एक-दूसरे को रद्द कर देते हैं। हालाँकि, सही उत्तर ही एकमात्र चीज़ है जो सभी को समझ आती है, इसलिए वह सभी वोट बटोर लेता है। शोध पत्र ने इसे मापा और पाया कि कठिन गणित प्रतियोगिताओं में, यह जूरी विधि पुराने "एक ही दोस्त से कई बार पूछने" वाले तरीके की तुलना में 100% सुधार को पकड़ लेती है, जबकि एक एकल मॉडल जो अपने स्वयं के काम को ग्रेड करने की कोशिश करता है, लगभग 0% पकड़ पाता है।
"मैजिक लॉ" (Magic Law) और "सीलिंग" (Ceiling)
शोधकर्ताओं ने केवल यह अनुमान नहीं लगाया कि यह काम करेगा; उन्होंने एक गणितीय नियम (बिना किसी छिपी हुई सेटिंग वाला फॉर्मूला) लिखा है जो सटीक रूप से भविष्यवाणी करता है कि जूरी कितनी अच्छी तरह करेगी। उन्होंने सात अलग-अलग बेंचमार्क पर इस नियम का परीक्षण किया, जिसमें स्कूली गणित से लेकर स्नातक स्तर के विज्ञान तक शामिल हैं, और इसने औसत त्रुटि केवल 0.03 के साथ परिणामों की भविष्यवाणी की (यह अविश्वसनीय रूप से करीब है!)।
हालाँकि, शोध पत्र ने एक कठिन सीलिंग (सीमा) भी पाई कि यह कितना बेहतर हो सकता है।
- साझा-त्रुटि फ्लोर (Shared-Error Floor): कभी-कभी, चारों जूरी सदस्य एक ही गलत धारणा साझा कर सकते हैं। उदाहरण के लिए, यदि उन सभी ने अपने प्रशिक्षण के दौरान एक विशिष्ट विज्ञान तथ्य गलत सीखा है, तो वे सभी एकमत होकर गलत उत्तर पर सहमत हो सकते हैं।
- शोध पत्र ने इस "फ्लोर" को मापा। गणित की समस्याओं पर, यह लगभग 0 है (वे शायद ही कभी एक ही गणितीय गलती साझा करते हैं)। लेकिन विज्ञान के प्रश्नों (जैसे GPQA बेंचमार्क) पर, यह फ्लोर लगभग 0.03 है, जिसका अर्थ है कि एक छोटी संभावना है कि वे सभी एक गलत उत्तर पर आत्मविश्वास के साथ सहमत होंगे क्योंकि वे एक ही ब्लाइंड स्पॉट साझा करते हैं।
परिणाम: विशेषज्ञों को मात देना
शोध पत्र ने इस मुफ्त, बिना प्रशिक्षण वाले जूरी की तुलना चार अलग-अलग प्रकार के "प्रशिक्षित न्यायाधीशों" (विशेष रूप से उत्तरों को ग्रेड करने के लिए बनाए गए विशेष AI मॉडल) से की।
- अपने प्रशिक्षण क्षेत्र के भीतर: गणित की समस्याओं पर, जूरी ने सर्वश्रेष्ठ प्रशिक्षित न्यायाधीशों के बराबर प्रदर्शन किया या उन्हें पीछे छोड़ दिया।
- अपने प्रशिक्षण क्षेत्र के बाहर: विज्ञान के उन प्रश्नों पर जहाँ प्रशिक्षित न्यायाधीशों ने पहले कभी डेटा नहीं देखा था, जूरी शीर्ष प्रदर्शन करने वाली रही, जबकि प्रशिक्षित न्यायाधीश संघर्ष करते रहे।
जूरी यह बिना किसी अतिरिक्त प्रशिक्षण या लेबल किए गए डेटा के करती है। यह केवल हमारे पास मौजूद मॉडलों का उपयोग करती है।
"एग्रीमेंट कैस्केड" (Agreement Cascade): पैसा बचाना
शोध पत्र एक स्मार्ट तरीका भी सुझाता है जिससे कंप्यूटर पावर बचाई जा सके। आपको हमेशा चारों जूरियों को पूछने की आवश्यकता नहीं है।
- पहले केवल दो जूरियों से पूछें। यदि वे सहमत हैं, तो आप समाप्त हैं (सस्ता!)।
- यदि वे असहमत हैं, तब अन्य दो को पार्टी में शामिल होने के लिए कहें (अधिक महंगा, लेकिन केवल कठिन समस्याओं के लिए)।
यह "कैस्केड" विधि बहुत सारी कंप्यूटिंग शक्ति बचाती है जबकि अभी भी हर बार चारों को पूछने के समान उच्च सटीकता प्राप्त करती है।
यह क्या नहीं है
शोध पत्र बहुत स्पष्ट है कि यह विधि क्या नहीं है:
- यह कोई जादुई छड़ी नहीं है जो सब कुछ ठीक कर देती है। यदि सभी मॉडल एक ही गलत विचार (जैसे कि एक विशिष्ट रसायन विज्ञान इकाई रूपांतरण) साझा करते हैं, तो जूरी आत्मविश्वास के साथ गलत होगी, और मतदान का कोई भी तरीका इसे ठीक नहीं कर पाएगा।
- यह केवल "अधिक मॉडल बेहतर हैं" वाली बात नहीं है। शोध पत्र ने सिद्ध किया कि एक मॉडल को 32 बार पूछना, चार अलग-अलग मॉडलों को एक बार पूछने से बदतर है। जादू मॉडलों के बीच के अंतर में है, न कि केवल वोटों की संख्या में।
- यह सबसे स्मार्ट एकल मॉडल का विकल्प नहीं है यदि वह मॉडल पहले से ही पूर्ण है। लेकिन चूंकि कोई भी मॉडल पूर्ण नहीं है, इसलिए जूरी अनुमानों के ढेर में से सही उत्तर चुनने के लिए हमारे पास सबसे अच्छा उपकरण है।
संक्षेप में, शोध पत्र दिखाता है कि यदि आप जानना चाहते हैं कि क्या कोई AI सही है, तो उसे खुद को ग्रेड करने के लिए न कहें। विभिन्न AIs के एक पैनल को वोट देने के लिए कहें। यदि वे सहमत हैं, तो आप उन पर भरोसा कर सकते हैं। यदि वे असहमत हैं, तो आप जानते हैं कि आपको और गहराई से जाने की आवश्यकता है। और सबसे अच्छी बात यह है कि आप शुरू करने से पहले ही सटीक रूप से भविष्यवाणी कर सकते हैं कि आप उन पर कितना भरोसा कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।