Debate, Deliberate, Decide (D3): A Cost-Aware Adversarial Framework for Reliable and Interpretable LLM Evaluation
यह शोध पत्र डिबेट, डेलिब्रेट, डिसाइड (D3) को प्रस्तुत करता है, जो एक लागत-सचेत (cost-aware) प्रतिकूल मल्टी-एजेंट फ्रेमवर्क है, जो कम पूर्वाग्रह और अनुकूल लागत-सटीकता व्यापार-संबंधों (cost-accuracy trade-offs) के साथ विश्वसनीय, व्याख्या योग्य और अत्याधुनिक LLM मूल्यांकन प्राप्त करने के लिए भूमिका-विशिष्ट एजेंटों के बीच संरचित बहसों और बजटयुक्त पुनरावृत्ति प्रोटोकॉल का उपयोग करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह तय करने की कोशिश कर रहे हैं कि दो छात्रों में से किसने एक कठिन निबंध प्रश्न का बेहतर उत्तर दिया है।
यदि आप उन्हें ग्रेड देने के लिए एक शिक्षक से पूछते हैं, तो वह शिक्षक थका हुआ, पक्षपाती, या बस उसका बुरा दिन हो सकता है। वे उस छात्र को पसंद कर सकते हैं जिसने अधिक शब्द लिखे हों, या जिसे उन्होंने सबसे पहले देखा हो। यही हमारे वर्तमान में AI मॉडलों को टेस्ट करने का तरीका है: हम अक्सर एक एकल "जज" AI पर निर्भर रहते हैं, और यह गलतियाँ करता है।
यह पेपर एक नई प्रणाली पेश करता है जिसे D3 (Debate, Deliberate, Decide - बहस, विचार-विमर्श, निर्णय) कहा जाता है। D3 को एक अकेले शिक्षक के रूप में नहीं, बल्कि एक उच्च-दांव वाले अदालती मुकदमे के रूप में सोचें।
पात्रों का परिचय
एक व्यक्ति द्वारा विजेता तय करने के बजाय, D3 विशिष्ट भूमिकाएं निभाने वाले विशेषज्ञ AI एजेंटों की एक टीम का उपयोग करता है:
- वकील (The Advocates):
कल्पना कीजिए कि वकीलों की दो टीमें हैं। एक टीम को उत्तर A का बचाव करने के लिए काम पर लगाया गया है, और दूसरी को उत्तर B का बचाव करने के लिए। उनका काम तटस्थ होना नहीं है; उनका काम आक्रामक होना है। वे गहराई तक जाते हैं, इस बात के बेहतरीन कारण खोजते हैं कि उनका उत्तर क्यों उत्तम है, और दूसरे उत्तर की कमजोरियों पर हमला करते हैं।
- पेपर का ट्विस्ट: जज को इस बात से पक्षपाती होने से रोकने के लिए कि कौन बोल रहा है, वकीलों की पहचान (अनाम) छिपी रहती है। जज केवल तर्कों को देखता है, बोलने वाले व्यक्ति को नहीं।
जज (The Judge - रेफरी):
यह AI एक सख्त रेफरी की तरह कार्य करता है। वह वकीलों को सुनता है और उन्हें एक चेकलिस्ट पर स्कोर देता है (क्या उत्तर सटीक है? क्या यह प्रासंगिक है? क्या तर्क सुसंगत है?)। यह फीडबैक देता है जैसे, "आपका तर्क यहाँ कमजोर है; इसे ठीक करने का प्रयास करें।"जूरी (The Jury - निर्णय लेने वाले):
बहस समाप्त होने के बाद, जूरी का एक पैनल पूरे ट्रांसक्रिप्ट को पढ़ता है। लेकिन ये केवल साधारण जूरी सदस्य नहीं हैं। उन्हें विशिष्ट पर्सोना (भूमिकाएं) दिए जाते है जैसे कि "एक सेवानिवृत्त नैतिकता प्रोफेसर," "एक तकनीकी उद्यमी," या "एक सामाजिक कार्यकर्ता।"
- क्यों? बिल्कुल वास्तविक जीवन की तरह, एक व्यवसाय के मालिक को लागत की चिंता हो सकती है, जबकि एक सामाजिक कार्यकर्ता निष्पक्षता की चिंता कर सकता है। विभिन्न दृष्टिकोणों के होने से, जूरी उन चीजों को पकड़ लेती है जो एक अकेला व्यक्ति छोड़ सकता है।
मुकदमे चलाने के दो तरीके
पेपर कहता है कि आपको हमेशा लंबे, खिंचे हुए मुकदमे की आवश्यकता नहीं होती है। आप अपने बजट (आपके पास कंप्यूटिंग पावर खर्च करने के लिए कितना पैसा/समय है) के आधार पर चुन सकते हैं कि आप कितनी गहराई में जाना चाहते हैं।
1. "स्पीड ट्रायल" (MORE प्रोटोकॉल)
- यह कैसे काम करता है: आप प्रत्येक पक्ष के लिए तीन वकीलों को काम पर लगाते हैं। वे सभी एक ही समय में (समानांतर में) अपने सर्वश्रेष्ठ तर्क लिखते हैं। जज उन्हें एक बार सुनता है और निर्णय लेता है।
- सबसे अच्छा कब है: जब आपको एक त्वरित उत्तर की आवश्यकता हो और दोनों उत्तर स्पष्ट रूप से अलग हों। यह तेज़ और सस्ता है।
2. "डीप डाइव ट्रायल" (SAMRE प्रोटोकॉल)
- यह कैसे काम करता है: आप प्रत्येक पक्ष के लिए एक वकील को काम पर लगाते हैं। वे कई राउंड के लिए आगे-पीछे बहस करते हैं। जज हर राउंड के बाद फीडबैक देता है, और वकील अपनी गलतियों को सुधारने के लिए अपने तर्कों को परिष्कृत करते हैं।
- "स्टॉप बटन": पेपर में एक स्मार्ट फीचर जोड़ा गया है जिसे बजेटेड स्टॉपिंग (Budgeted Stopping) कहा जाता है। यह स्वचालित रूप से तब रुक जाता है जब वकील कुछ नया कहना बंद कर देते हैं या यदि आपने पर्याप्त पैसा खर्च कर दिया है। आप उन राउंड के लिए भुगतान नहीं करते हैं जो परिणाम को नहीं बदलते हैं।
- सबसे अच्छा कब है: जब दोनों उत्तर बहुत करीब हों, या विषय जटिल हो (जैसे नैतिकता या रचनात्मक लेखन)।
यह क्यों मायने रखता है (परिणाम)
लेखकों ने वास्तविक दुनिया के बेंचमार्क (जैसे MT-Bench और AlignBench) का उपयोग करके इस प्रणाली का अन्य तरीकों के विरुद्ध परीक्षण किया। यहाँ उन्हें क्या पता चला:
- यह अधिक सटीक है: D3 प्रणाली एक एकल AI जज या अन्य बहस प्रणालियों की तुलना में मानव विशेषज्ञों के साथ बहुत अधिक बार सहमत हुई। इसने लगभग 86% बार "सही" उत्तर दिया, जबकि एक एकल जज के लिए यह 72% था।
- यह अधिक निष्पक्ष है: क्योंकि वकील अनाम हैं और जूरी विविध भूमिकाओं वाली है, यह प्रणाली "पोजीशन बायस" (पहले उत्तर को प्राथमिकता देना) या "वर्बोसिटी बायस" (लंबे उत्तर को प्राथमिकता देना) से बचने में बहुत कम सक्षम है।
- यह पैसे बचाता है: हालांकि इसमें एक साधारण जांच की तुलना में अधिक AI "ब्रेन पावर" का उपयोग होता है, लेकिन बजेटेड स्टॉपिंग नियम का अर्थ है कि यह ठीक वहीं रुक जाता है जहाँ इसकी आवश्यकता होती है। कई मामलों में, ट्रायल जल्दी समाप्त हो गया क्योंकि उत्तर स्पष्ट था, जिससे उच्च सटीकता बनाए रखते हुए पैसा बचा।
निष्कर्ष
पेपर का तर्क है कि AI के लिए वास्तव में विश्वसनीय ग्रेड प्राप्त करने के लिए, आपको केवल एक AI से काम देखने के लिए नहीं कहना चाहिए। इसके बजाय, आपको छिपी हुई पहचान, विविध दृष्टिकोण और पर्याप्त साक्ष्य मिलने पर रुकने के स्मार्ट तरीके के साथ एक संरचित बहस आयोजित करनी चाहिए।
यह एक दोस्त से पूछने के और एक मूवी नाइट होस्ट करने के बीच का अंतर है कि "कौन सी फिल्म बेहतर थी?" बनाम एक फिल्म समीक्षक, एक कॉमेडी प्रेमी और एक हॉरर प्रेमी को प्रो और कॉन्स (पक्ष और विपक्ष) पर बहस करने के बाद वोट करने के लिए बुलाना। परिणाम कहीं अधिक भरोसेमंद निर्णय होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।