LivingArena: Do LLMs Know What Other LLMs Don't? Peer-Probing as Scalable Evaluation
यह शोधपत्र लिविंगएरिना (LivingArena) को प्रस्तुत करता है, जो एक स्वचालित, संदूषण-प्रतिरोधी मूल्यांकन ढांचा है जहाँ एलएलएम (LLMs) प्रतिकूल प्रश्न निर्माण और उत्तर देने के माध्यम से एक-दूसरे की ज्ञान सीमाओं की पुनरावृत्तिपूर्ण जांच करते हैं, जिससे एक स्थिर लीडरबोर्ड प्राप्त होता है जो स्थिर बेंचमार्क और मानवीय प्राथमिकताओं से भिन्न विशिष्ट विफलता मोड और उच्च-स्तरीय जांच क्षमताओं को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए एक ऐसी दुनिया की जहाँ दुनिया के सबसे स्मार्ट कंप्यूटर लगातार यह देखने के लिए टेस्ट दे रहे हैं कि कौन "सबसे अच्छा" है। लंबे समय से, वैज्ञानिक स्थिर परीक्षाओं का उपयोग करते आए हैं—जैसे कि एक विशाल, अपरिवर्तित बहुविकल्पीय प्रश्नोत्तरी जिसे हर कोई देता है। लेकिन एक समस्या है: ये क्विज़ जल्दी ही पुरानी हो जाती हैं। एक बार जब कंप्यूटर उत्तर सीख जाता है, तो वह बस उन्हें याद कर लेता है, और टेस्ट उपयोगी नहीं रह जाता। यह एक धावक की गति मापने के लिए उसे एक ऐसे ट्रेडमिल पर दौड़ाने जैसा है जो कभी तेज़ नहीं होता; अंततः वे सभी मशीन की अधिकतम गति तक पहुँच जाते हैं, और आप यह नहीं बता पाते कि वास्तव में सबसे तेज़ कौन है।
इसे ठीक करने के लिए, शोधकर्ता इन "लार्ज लैंग्वेज मॉडल्स" (LLMs)—उन सुपर-स्मार्ट AI दिमागों के लिए—को टेस्ट करने का एक नया तरीका खोज रहे हैं जो कहानियाँ लिखते हैं, गणित की समस्याओं को हल करते हैं, और कोड लिखते हैं। उन्हें एक निश्चित टेस्ट देने के बजाय, क्या होगा अगर हम कंप्यूटरों को एक-दूसरे को टेस्ट करने दें? यह पेपर एक दिलचस्प सवाल पूछता है: क्या ये AI दिमाग वह जानते हैं जो दूसरे AI दिमाग नहीं जानते? यदि एक AI यह पता लगा सकता है कि दूसरा AI कहाँ कमज़ोर है और ऐसा सवाल पूछ सकता है जो उसे उलझा दे, तो हमें अंततः यह देखने का एक तरीका मिल सकता है कि वास्तव में सबसे स्मार्ट कौन है, बिना इंसानों द्वारा हज़ारों सवाल लिखने या कंप्यूटरों द्वारा टेस्ट बैंक को रटकर चीटिंग करने की चिंता किए।
द लिविंग एरिना: "गॉट चा!" (पकड़ने) का एक कभी न खत्म होने वाला खेल
LivingArena से मिलिए। इसे एक क्लासरूम के रूप में नहीं, बल्कि एक हाई-स्टेक्स, ऑटोमेटेड डिबेट क्लब के रूप में सोचें जहाँ दुनिया के दस सबसे स्मार्ट AI मॉडल एक टूर्नामेंट में लॉक हैं। एक मानव शिक्षक द्वारा वर्कशीट बाँटने के बजाय, AI बारी-बारी से प्रश्नकर्ता (Questioner) और उत्तरदाता (Answerer) बनते हैं।
यह खेल कैसे काम करता है:
- जाल (The Trap): एक AI (प्रश्नकर्ता) को एक पेचीदा सवाल बनाना होगा, सही उत्तर देना होगा, और यह समझाना होगा कि वह उत्तर क्यों सही है।
- सुरक्षा जाँच (The Safety Check): दूसरे AI के सवाल देखने से पहले ही, तीन "जज" AI का एक पैनल यह जाँच करता है कि सवाल बेतुका तो नहीं है, उत्तर वास्तव में सही है, और तर्क सही है या नहीं। यदि प्रश्नकर्ता गलती करता है या जजों को धोखा देने की कोशिश करता है, तो उसे दंडित किया जाता है। यह एक रेफरी द्वारा फाउल के लिए सीटी बजाने जैसा है।
- मुकाबला (The Showdown): यदि सवाल जाँच में पास हो जाता है, तो दूसरा AI (उत्तरदाता) उसे हल करने की कोशिश करता है।
- स्कोर (The Score): यदि उत्तरदाता गलत होता है, तो प्रश्नकर्ता एक अंक जीतता है। यदि उत्तरदाता सही होता है, तो वे एक अंक जीतते हैं।
लक्ष्य केवल स्मार्ट होना नहीं है; बल्कि एक जासूस (Detective) बनना है। सबसे स्मार्ट खिलाड़ी वे नहीं हैं जो सबसे अधिक तथ्य जानते हैं; वे वे हैं जो यह पता लगा सकते हैं कि उनके प्रतिद्वंद्वी को क्या नहीं पता है और फिर उन्हें उस विशिष्ट कमजोरी पर निशाना बनाने वाला सवाल देते हैं।
बड़ी खोज: "मुझे पता है कि तुम कहाँ कमज़ोर हो"
शोधकर्ताओं ने 10 अलग-अलग टॉप-टियर AI मॉडल्स के साथ यह टूर्नामेंट चलाया, जिससे 360 मैच और 3,600 राउंड का खेल हुआ। उन्होंने पाया कि कुछ अद्भुत: AI वास्तव में जानते हैं कि दूसरे क्या नहीं जानते।
जब मॉडल्स ने एक-दूसरे के खिलाफ खेला, तो उन्होंने केवल रैंडम कठिन सवाल नहीं पूछे। वे अपने विरोधियों को "पढ़ना" शुरू कर दिए। यदि एक AI लॉजिक पहेली में लड़खड़ाया, तो अगली बार जब वे खेलते हैं, तो दूसरा AI तुरंत एक और लॉजिक पहेली पूछेगा। वे अनिवार्य रूप से कह रहे थे, "हे, तुम पिछली बार इसमें फेल हुए थे; देखते हैं क्या तुम अब इसे कर सकते हो।"
वे कमजोरियों को स्थानीयकृत (localize weaknesses) कर सकते हैं। उदाहरण के लिए, एक टॉप मॉडल (GPT-5.5) इसमें इतना अच्छा था कि जब उसने पता लगा लिया कि उसका प्रतिद्वंद्वी एक विशिष्ट प्रकार के तर्क (reasoning) में बुरा है, तो उसने उस विषय पर दोबारा ज़ोर दिया, और बाद के राउंड में अपने प्रतिद्वंद्वी के कमजोर बिंदु पर 52% बार प्रहार किया। यह एक शतरंज खिलाड़ी की तरह है जो देखता है कि उसका प्रतिद्वंद्वी हमेशा तब गलती करता है जब बोर्ड पर एक नाइट (घोड़ा) होता है, और फिर तुरंत अपना नाइट वहीं चलता है।
हालाँकि, एक सीमा है। पेपर ने पाया कि एक AI ऐसा सवाल नहीं पूछ सकता जो उसके अपने दिमाग की क्षमता से अधिक कठिन हो। यदि एक AI किसी अवधारणा (concept) को नहीं समझता है, तो वह उसके बारे में पेचीदा सवाल नहीं बना सकता। यह एक ऐसे छात्र जैसा है जो कैलकुलस नहीं जानता, वह अपने शिक्षक को उलझाने के लिए पेचीदा कैलकुलस परीक्षा नहीं लिख सकता। सवाल हमेशा प्रश्नकर्ता के अपने ज्ञान तक सीमित होते हैं।
स्कोरबोर्ड: कौन जीता?
टूर्नामेंट ने एक स्थिर रैंकिंग (जिसे एलो लीडरबोर्ड कहा जाता है) बनाई जिसने मॉडल्स को पाँच अलग-अलग स्तरों में विभाजित किया।
- चैंपियन: GPT-5.5 ने शीर्ष स्थान प्राप्त किया। यह सवालों के जवाब देने में परफेक्ट था (100% सटीकता) और कमजोरियों को खोजने में बहुत आक्रामक था (26.3% हिट रेट)।
- पैसिव प्लेयर्स (Passive Players): कुछ मॉडल्स, जैसे कि Claude परिवार, सवालों के जवाब देने में बहुत अच्छे थे लेकिन सवाल पूछने में बहुत शर्मीले थे। उन्होंने शायद ही कभी अपने विरोधियों को उलझाने की कोशिश की, जिससे उनका समग्र स्कोर बीच में रहा।
- "सेल्फ-हार्म" पेनल्टी: यह इस खेल का एक महत्वपूर्ण हिस्सा था। यदि एक प्रश्नकर्ता ने एक बुरा सवाल पूछा (जिसमें गलत उत्तर या तार्किक दोष था), तो वे एक अंक खो देते थे। इसने AI को ईमानदार और सावधान रहने के लिए मजबूर किया। जो मॉडल्स बहुत आत्मविश्वासी थे या "हैलुसिनेट" करते थे (तथ्यों को मनगढ़ंत बनाते थे), उन्हें भारी दंड मिला। उदाहरण के लिए, GPT-5.2 की "सेल्फ-हार्म" दर बहुत अधिक (42.7%) थी, जिसका अर्थ है कि वह बार-बार बुरे सवाल पूछता रहा और अपने स्वयं के स्कोर को नुकसान पहुँचाता रहा, जिससे वह लीडरबोर्ड में सबसे नीचे आ गया।
यह क्यों मायने रखता है
यह पेपर सुझाव देता है कि पीयर प्रोबिंग (peer probing)—AI को एक-दूसरे का परीक्षण करने देना—पुराने जमाने के टेस्ट की तुलना में "वास्तविक" बुद्धिमत्ता को मापने का एक बेहतर तरीका है।
शोधकर्ताओं ने पाया कि यह नया तरीका उस चीज़ को मापता है जो मनुष्य आमतौर पर पसंद करते हैं उससे अलग है। मानव-वोटिंग एरेना में, वे मॉडल्स जो विनम्र लगते हैं और लंबे, फैंसी जवाब लिखते हैं, अक्सर जीतते हैं। लेकिन LivingArena में, उन फैंसी शैलियों ने मदद नहीं की। इसके बजाय, विजेता वे मॉडल्स थे जो तथ्यात्मक रूप से सटीक थे, जो यह स्वीकार कर सकते थे कि वे कुछ नहीं जानते, और सत्य को खोजने के लिए आक्रामक थे।
अध्ययन निष्कर्ष निकालता है कि हालांकि हम ऐसा टेस्ट नहीं बना सकते जो कमरे में मौजूद सबसे स्मार्ट AI से अधिक कठिन हो, लेकिन हम एक ऐसा सिस्टम बना सकते हैं जो AI के स्मार्ट होने के साथ-साथ कठिन होता जाए। जैसे-जैसे मॉडल्स बेहतर होंगे, वे स्वाभाविक रूप से एक-दूसरे के लिए कठिन से कठिन सवाल बनाएंगे, जिससे एक "जीवित" बेंचमार्क बनेगा जो कभी उबाऊ नहीं होता और कभी संतृप्त (saturated) नहीं होता। यह एक स्व-अपडेट होने वाली दौड़ है जहाँ फिनिश लाइन आगे बढ़ती रहती है, यह सुनिश्चित करती है कि हम हमेशा जान सकें कि वास्तव में सबसे तेज़ धावक कौन है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।