Reasoning Jury: Multi-Model Consensus for Evaluating Reasoning Traces
यह शोध पत्र "रीज़निंग जूरी" (Reasoning Jury) का परिचय देता है, जो एक लागत प्रभावी प्रणाली है जो कई ओपन-वेट (open-weight) LLMs के बीच एक मॉडरेटेड कंसेंसस तंत्र का उपयोग करती है ताकि लंबे रीज़निंग ट्रेसेस (reasoning traces) के भीतर तर्क संबंधी दोषों को सटीक रूप से पहचानने और मूल्यांकन करने में फ्रंटियर मॉडल्स से काफी बेहतर प्रदर्शन किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
जासूसी की दुविधा: एक मस्तिष्क पर्याप्त क्यों नहीं है
कल्प Imagine कीजिए कि आप एक सुपर-स्मार्ट रोबोट को रहस्य सुलझाना सिखाने की कोशिश कर रहे हैं। आप केवल यह नहीं चाहते कि रोबोट अंतिम उत्तर चिल्लाकर बता दे; आप उसकी पूरी विचार प्रक्रिया देखना चाहते हैं, चरण-दर-चरण, जैसे कोई जासूस अपनी नोटबुक में हर सुराग, सिद्धांत और गलत दिशा को लिख रहा हो। इसे शोधकर्ता "रीज़निंग ट्रेस" (reasoning trace) कहते हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, ये ट्रेस सीखने का आधार हैं। यदि रोबोट कोई गलती करता है, तो हमें ठीक से जानना होगा कि उसके विचारों की लंबी श्रृंखला में वह कहाँ पटरी से उतरा ताकि हम उसे ठीक कर सकें।
लेकिन यहाँ एक पेंच है: ये रीज़निंग ट्रेस अविश्वसनीय रूप से लंबे हो सकते हैं, कभी-कभी सैकड़ों चरणों तक खिंच सकते हैं। यह एक अकेले व्यक्ति से एक 500 पन्नों का रहस्यमय उपन्यास पढ़ने और कथानक में हर एक तार्किक खामी को बताने के लिए कहने जैसा है। यहाँ तक कि सबसे बुद्धिमान इंसान (या सबसे उन्नत AI) भी एक सूक्ष्म त्रुटि को मिस कर सकता है क्योंकि वे थक जाते हैं, विचलित हो जाते हैं, या बस एक ही व्याख्या पर अटक जाते हैं। यही वह समस्या है जिसे यह शोध पत्र संबोधित करता है: हम इन विशाल, जटिल विचार प्रक्रियाओं में गलतियों को विश्वसनीय रूप से कैसे खोज सकते हैं? लेखक एक ऐसा समाधान प्रस्तावित करते हैं जो एक एकल "सुपर-जज" पर निर्भर रहने के बजाय, एक सहमति बनाने के लिए जजों के एक पूरे पैनल का उपयोग करता है, बिल्कुल एक कोर्टरूम जूरी की तरह।
द रीज़निंग जूरी: एक मन बनाम अकेला योद्धा
इस शोध पत्र में, लेखक एक प्रणाली पेश करते हैं जिसे Reasoning Jury कहा जाता है। इसे एक हाई-स्टेक्स गेम शो की तरह समझें जहाँ एक लंबा, जटिल रीज़निंग ट्रेस प्रतियोगी है। आमतौर पर, हम एक सुपर-स्मार्ट AI (एक "फ्रंटियर मॉडल") से पूछेंगे कि शो देखें और कहें, "पास" या "फेल"। लेकिन लेखकों ने पाया कि सबसे उन्नत एकल AI भी उन सैकड़ों चरणों में छिपी सूक्ष्म गलतियों को अक्सर मिस कर देता है। यह घास के ढेर में सुई खोजने के लिए एक व्यक्ति को कहने जैसा है; वे इसे ढूंढ सकते हैं, लेकिन अगर वे गलत समय पर पलक झपक दें, तो वे इसे मिस भी कर सकते हैं।
इसलिए, लेखकों ने कुछ अलग करने का निर्णय लिया: द जूरी (The Jury)।
एक जज के बजाय, उन्होंने कई AI मॉडलों का एक पैनल असेंबल किया। ये मॉडल "ज्यूरर" (jurors) के रूप में कार्य करते हैं। यह खेल इस प्रकार चलता है:
चरण 1: स्वतंत्र निर्णय (Independent Verdicts)
सबसे पहले, प्रत्येक ज्यूरर समस्या और लंबे रीज़निंग ट्रेस को अपने आप में पढ़ता है। वे अभी तक एक-दूसरे से बात नहीं करते हैं। प्रत्येक ज्यूरर उन दोषों की एक सूची लिखता है जो उन्होंने पाए हैं, और उस सटीक चरण की ओर इशारा करता है जहाँ गलती हुई (जैसे कि यह कहना कि, "चरण 14 में, गणित गलत हो गया क्योंकि...")। वे यह भी टैग करते हैं कि गलती कितनी गंभीर है: क्या यह एक छोटी टाइपो (minor) है, एक बड़ी तार्किक त्रुटि (major) है, या एक घातक दोष (fatal) है जो पूरे उत्तर को बर्बाद कर देता है?
चरण 2: विचार-विमर्श (The Deliberation)
यहीं असली जादू होता है। ज्यूरर्स एक वर्चुअल रूम में एक मॉडरेटर (Moderator) के साथ इकट्ठा होते हैं। मॉडरेटर एक सख्त रेफरी की तरह है जो खुद समस्या का उत्तर नहीं जानता; वह केवल ज्यूरर्स को अपना पक्ष रखते हुए सुनता है।
- बहस (The Debate): ज्यूरर्स आपस में बहस करते हैं। एक कह सकता है, "मुझे लगता है कि चरण 14 गलत है," और दूसरा कह सकता है, "नहीं, चरण 14 ठीक है, लेकिन चरण 15 असली अपराधी है!" वे तब तक बहस करते हैं जब तक कि वे एक सहमति पर नहीं पहुँच जाते।
- एकीकरण (The Consolidation): वैकल्पिक रूप से, मॉडरेटर चरण 1 से सभी सूचियों को ले सकता है और उन्हें एक अंतिम, साफ रिपोर्ट में मर्ज कर सकता है, जिसमें डुप्लिकेट हटा दिए जाते हैं और सबसे अच्छे स्पष्टीकरण रखे जाते हैं।
उन्हें क्या मिला: भीड़ की शक्ति
परिणाम आश्चर्यजनक और रोमांचक थे। जब लेखकों ने इस प्रणाली का परीक्षण Hard2Verify नामक एक बेंचमार्क पर किया (जिसमें लंबे रीज़निंग ट्रेस वाले बहुत कठिन गणित के प्रश्न शामिल हैं), तो उन्होंने पाया कि ओपन-वेट मॉडल्स (वे मॉडल जो मुफ्त उपयोग के लिए उपलब्ध हैं और पेवॉल के पीछे बंद नहीं हैं) का एक जूरी वास्तव में सबसे महंगे, "फ्रंटियर" AI मॉडलों को भी पछाड़ (outperform) सकता है।
यहाँ उनकी खोज का विवरण दिया गया है:
- बेहतर सटीकता: एक एकल शीर्ष-स्तरीय AI मॉडल (जैसे Opus-4.6) को इन रीज़निंग एरर्स को खोजने में लगभग 73.7 (0 से 100 के पैमाने पर) का स्कोर मिला। लेकिन तीन सस्ते, ओपन मॉडल्स (विशेष रूप से
gpt-oss-120b) की एक जूरी, जो मिलकर बहस करती है, ने 82.3 का स्कोर प्राप्त किया। यह एक बड़ी छलांग है! केवल तीन ओपन मॉडल्स की जूरी ने भी एकल सर्वश्रेष्ठ मॉडल को महत्वपूर्ण अंतर से पीछे छोड़ दिया। - "लिफ्ट" प्रभाव (The "Lift" Effect): शोध पत्र दिखाता है कि जूरी ने केवल उनके स्कोर का औसत नहीं निकाला; इसने वास्तव में उन्हें बेहतर बनाया। जब ज्यूरर्स ने बहस की, तो उन्होंने उन त्रुटियों को पकड़ा जिन्हें किसी भी एकल ज्यूरर ने मिस कर दिया था। यह दोस्तों के एक समूह द्वारा पहेली सुलझाने जैसा है: एक व्यक्ति एक टुकड़ा देखता है, दूसरा देखता है कि वह कैसे फिट बैठता है, और साथ मिलकर वे अकेले किसी भी व्यक्ति की तुलना में अधिक तेज़ी से और अधिक सटीकता से तस्वीर पूरी करते हैं।
- सस्ता और तेज़: शायद सबसे व्यावहारिक निष्कर्ष लागत है। इन ट्रेसेस को जज करने के लिए एक एकल "सुपर-मॉडल" चलाना महंगा है। लेखकों ने गणना की कि उसी कार्य के लिए एक फ्रंटियर मॉडल का उपयोग करने की तुलना में उनके जूरी सिस्टम का उपयोग करना 6.4 गुना सस्ता था। वास्तव में, जूरी की लागत महंगे मॉडलों को चलाने की लागत का केवल लगभग 8% से 16% थी। यह एक सिंगल इंटर्न की कीमत पर विशेषज्ञ जासूसों की एक टीम पाने जैसा है।
यह क्यों मायने रखता है: रोबोट के दिमाग को ठीक करना
शोध पत्र ने यह भी परीक्षण किया कि क्या यह प्रणाली वास्तव में AI को सीखने में मदद कर सकती है। उन्होंने एक मॉडल लिया जिसने गलतियाँ की थीं, उसे जूरी का विस्तृत फीडबैक दिखाया (न केवल कहाँ गलती हुई, बल्कि क्यों वह गलत थी), और उसे फिर से प्रयास करने के लिए कहा।
- परिणाम: जब मॉडल को जूरी से समृद्ध फीडबैक मिला, तो समस्याओं को दोबारा करने की उसकी सटीकता 71.2% से बढ़कर 76.2% हो गई।
- निष्कर्ष: यह सुझाव देता है कि AI के लिए केवल यह जानने से कि "आप गलत हैं," बहुत अधिक मददगार है कि त्रुटि का विस्तृत, चरण-दर-चरण निदान क्या है। यह एक शिक्षक द्वारा "यह गलत है" कहने और एक शिक्षक द्वारा यह कहने के बीच का अंतर है कि "आपने चरण 14 में इन दो संख्याओं को गलत तरीके से जोड़ा है; यहाँ सही तरीका दिया गया है।"
यह शोध पत्र किन बातों को खारिज करता है
लेखक सावधान थे कि उनके परिणाम केवल एक इत्तेफाक न हों। उन्होंने स्पष्ट रूप से कुछ विचारों को खारिज किया:
- यह केवल अधिक मॉडल्स के बारे में नहीं है: उन्होंने एक "मेजोरिटी वोट" (जहाँ उत्तर वही होता है जो अधिकांश ज्यूरर्स ने कहा) का परीक्षण किया। यह अच्छी तरह से काम नहीं किया क्योंकि ज्यूरर्स शायद ही कभी बिल्कुल समान चरणों पर सहमत होते थे। डेलिब्रेशन (विचार-वि別に/बहस) ही वह मुख्य तत्व था जिसने अंतर पैदा किया।
- यह केवल विविधता के बारे में नहीं है: उन्होंने एक जूरी का परीक्षण किया जो एक ही मॉडल की तीन प्रतियां थी। विभिन्न प्रकार के मॉडल्स के बिना भी, जूरी ने स्कोर में महत्वपूर्ण सुधार किया। यह सुझाव देता है कि स्वतंत्र रूप से सोचने और फिर बहस करने की क्रिया ही मदद करती है, भले ही "दिमाग" समान हों।
- यह हर चीज़ के लिए जादुई समाधान नहीं है: शोध पत्र स्वीकार करता है कि हालांकि जूरी इस बात को खोजने में महान है कि त्रुटि कहाँ है, उन्होंने पूरी तरह से यह साबित नहीं किया है कि जूरी द्वारा दिया गया प्रत्येक स्पष्टीकरण 100% तथ्यात्मक रूप से सही है। हालाँकि, सिस्टम ट्रेनिंग और डीबगिंग के लिए उपयोगी होने के लिए पर्याप्त मजबूत है।
निचोड़
Reasoning Jury यह सिद्ध करता है कि जब AI के जटिल, लंबे विचारों की जाँच करने की बात आती है, तो एक मन के बजाय कई मन बेहतर होते हैं। मॉडल्स को बहस करने और अपने निष्कर्षों को परिष्कृत करने की अनुमति देकर, हम उन त्रुटियों को खोज सकते हैं जिन्हें सबसे स्मार्ट एकल AI भी मिस कर देता है, और वह भी बहुत सारा पैसा बचाते हुए। यह AI तर्क के मूल्यांकन को एक अकेले, महंगे कार्य से एक सहयोगात्मक, लागत प्रभावी प्रक्रिया में बदल देता है, जो भविष्य में स्मार्टर, अधिक विश्वसनीय AI सिस्टमों का मार्ग प्रशस्त करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।