More Debate, Same Evidence: Structural Limits of Homogeneous Multi-Agent Groundedness
यह शोध पत्र इस धारणा को चुनौती देता है कि समरूप बहु-एजेंट बहस पैनल (homogeneous multi-agent debate panels) स्वाभाविक रूप से निर्णय की गुणवत्ता में सुधार करते हैं, यह प्रदर्शित करते हुए कि ग्राउंडेडनेस सत्यापन (groundedness verification) के छह बेंचमार्क में, ऐसे पैनल सिंगल-एजेंट बेसलाइन की तुलना में असंगत सटीकता लाभ या हानि प्रदान करते हैं, जिसके परिणाम अक्सर विभिन्न मॉडल वेरिएंट्स के उपयोग से भ्रमित होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर पढ़ने और लिखने में इतने कुशल हो रहे हैं कि हम एक-दूसरे का होमवर्क जाँचने के लिए उन्हें इस्तेमाल करने लगे हैं। यह आर्टिफिशियल इंटेलिजेंस (AI) का क्षेत्र है, विशेष रूप से एक ऐसा हिस्सा जहाँ हम "लार्ज लैंग्वेज मॉडल्स" (LLMs) को न्यायाधीश के रूप में उपयोग करते हैं। एक LLM को एक अत्यंत उन्नत, सुशिक्षित छात्र के रूप में सोचें जिसने इंटरनेट पर लगभग सब कुछ पढ़ा है। अब, कल्पना करें कि हम चाहते हैं कि यह छात्र केवल दिए गए तथ्यों के आधार पर यह तय करे कि कोई विशिष्ट कथन सत्य है या नहीं। इसे "ग्राउंडेडनेस वेरिफिकेशन" (groundedness verification) कहा जाता है। यह एक सख्त शिक्षक की तरह है जो पूछता है, "क्या आपने वास्तव में उत्तर पाठ्यपुस्तक में पाया, या आपने इसे बस अपनी कल्पना से बनाया?"
हाल ही में, एक लोकप्रिय विचार उभरा है: एक छात्र को निर्णय लेने के बजाय, क्यों न एक पूरा पैनल रखा जाए? सिद्धांत यह है कि यदि तीन छात्र बैठते हैं, बहस करते हैं और एक-दूसरे के काम की आलोचना करते हैं, तो वे अकेले काम करने वाले एकल छात्र की तुलना में गलतियों को पकड़ लेंगे और सत्य को बेहतर ढंग से खोज लेंगे। यह पुरानी कहावत है, "एक से भले दो," जिसे एक डिजिटल डिबेट टीम के रूप में बढ़ाया गया है। लेकिन क्या यह वास्तव में काम करता है जब वे सभी छात्र बिल्कुल एक ही पाठ्यपुस्तक पढ़ रहे हों और वे सभी एक ही सुपर-ब्रेन के क्लोन हों? यही वह बड़ा सवाल है जिसका यह शोध पत्र उत्तर देने का प्रयास करता है।
शोधकर्ताओं ने इस "डिबेट पैनल" के विचार को परखने का निर्णय लिया। उन्होंने तीन AI न्यायाधीशों की एक टीम बनाई, जो सभी एक ही मॉडल (एक ही मस्तिष्क का क्लोन) द्वारा संचालित थे, जिन्हें समान साक्ष्य दिए गए थे और यह बहस करने के लिए कहा गया था कि कोई दावा सत्य है या असत्य। उनके पास तीन अलग-अलग भूमिकाएँ थीं: एक "संशयवादी" (Skeptic) जो कमियों को ढूँढता था, एक "वकील" (Advocate) जो समर्थन ढूँढता था, और एक "विषय विशेषज्ञ" (Domain Expert) जो विवरणों की जाँच करता था। उन्होंने उन्हें दो दौर तक बात करने दी और फिर अंतिम निर्णय लेने के लिए उनके मतों को संयोजित किया।
परिणाम एक वास्तविकता की जाँच (reality check) की तरह थे। शोध पत्र में पाया गया कि बहस टीम होने से न्यायाधीश हमेशा स्मार्ट नहीं हुए; कभी-कभी वे और भी खराब हो गए, और कभी-कभी इससे कोई बदलाव भी नहीं हुआ। कुछ परीक्षणों में, पैनल ने सटीकता में लगभग 8.5 प्रतिशत अंक सुधार किए, लेकिन अन्य पर यह 4.4 अंक गिर गई। लेखक का सुझाव है कि बहस वास्तव में नए तथ्य नहीं खोज रही थी या छिपे हुए सुराग नहीं ढूँढ रही थी। इसके बजाय, बातचीत के दूसरे दौर ने मुख्य रूप से न्यायाधीशों के "निर्णय की दहलीज" (decision threshold) को बदल दिया। यह ऐसा था जैसे न्यायाधीशों को नया साक्ष्य नहीं मिला, बल्कि वे पहले से मौजूद साक्ष्य के बारे में या तो थोड़े अधिक आश्वस्त हो गए या थोड़े अधिक सशंकित।
यहाँ पेचीदा बात यह है: क्योंकि पैनल ने एकल न्यायाधीश की तुलना में AI मॉडल के थोड़े अलग संस्करण का उपयोग किया था, इसलिए लेखक निश्चित रूप से यह नहीं कह सकते कि क्या बहस ने ही इन परिवर्तनों का कारण बना। उन्हें संदेह है कि अंतर केवल मॉडल और बहस प्रणाली के मिश्रण से आया, न कि केवल बातचीत से।
जब उन्होंने बहस के दौरान बारीकी से देखा, तो उन्होंने पाया कि बहस के दूसरे दौर ने बहुत कम "नई" जानकारी जोड़ी। न्यायाधीश मुख्य रूप से उसी बात को दूसरे शब्दों में कह रहे थे जो वे पहले से ही सोचते थे। इसके अलावा, न्यायाधीशों का अपने उत्तरों पर आत्मविश्वास उनके सही होने की आवृत्ति से मेल नहीं खाता था; एक न्यायाधीश 90% सुनिश्चित होकर भी गलत हो सकता था। शायद सबसे महत्वपूर्ण बात यह थी कि तीनों न्यायाधीशों ने एक साथ एक ही तरह की गलतियाँ कीं। क्योंकि वे सभी एक ही मॉडल के क्लोन थे जो एक ही टेक्स्ट पढ़ रहे थे, यदि एक भ्रमित हुआ, तो अन्य भी ठीक उसी तरह भ्रमित हुए होंगे। यह एक पहेली सुलझाने के लिए तीन जुड़वां भाइयों को एक साथ भेजने जैसा है; यदि वे सभी एक ही हिस्से को पहचानने में चूक जाते हैं, तो एक-दूसरे से बात करने से उन्हें उसे खोजने में मदद नहीं मिलेगी।
शोधकर्ताओं ने इसे ठीक करने के लिए न्यायाधीशों को दिए गए निर्देशों (प्रॉम्प्ट्स) को फिर से लिखने की कोशिश की, इस उम्मीद में कि एक बेहतर "व्यक्तित्व" मदद करेगा। उन्होंने "संशयवादी" के निर्देशों में एक बदलाव पाया जिसने एक विशिष्ट परीक्षण में थोड़ी मदद की, जिससे सटीकता में लगभग 5 अंकों का सुधार हुआ। हालाँकि, यह सुधार छोटा था, सख्त सांख्यिकीय जाँच के तहत पूरी तरह से टिक नहीं सका, और पैनल द्वारा की गई लगभग आधी गलतियों को ठीक नहीं कर सका। सर्वोत्तम निर्देशों के बावजूद, 120 कठिन उदाहरणों में से 49 को अभी भी टीम के हर संस्करण द्वारा गलत उत्तर दिया गया था।
मुख्य निष्कर्ष यह है कि केवल एजेंटों की संख्या बढ़ाने से बेहतर उत्तर की गारंटी नहीं मिलती है यदि वे सभी एक ही मस्तिष्क और एक ही जानकारी साझा करते हैं। शोध पत्र सुझाव देता है कि इन AI न्यायाधीशों को वास्तव में सुधारने के लिए, हमें उन्हें सूचना के विभिन्न स्रोत देने होंगे, विभिन्न मॉडलों का उपयोग करना होगा जो अलग-अलग प्रकार की गलतियाँ करते हैं, या उनके मतदान के नियम बदलने होंगे। जब तक ऐसा नहीं होता, तब तक क्लोनों की एक टीम जो एक घेरे में बहस कर रही है, बिना किसी नए सत्य के केवल शोर मात्र हो सकती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।