Relay-Bench: Evaluating LLMs on Multi-Domain Reasoning Chains
Relay-Bench एक समग्र, केवल-टेक्स्ट बेंचमार्क है जिसे बहु-डोमेन तर्क श्रृंखलाओं (multi-domain reasoning chains) पर बड़े भाषा मॉडलों का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जो असंतृप्त मिश्रित समस्याएँ प्रस्तुत करता है जिनमें एक ही प्रॉम्प्ट के भीतर कोडिंग, गणित और वेब सर्च जैसे विविध कौशलों को एकीकृत करने की आवश्यकता होती है, जहाँ अग्रणी मॉडल GPT-5.5 (xHigh) 43.3% का स्कोर प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ आपका पसंदीदा स्मार्ट असिस्टेंट केवल एक सामान्य ज्ञान बताने वाला बॉट या कोड लिखने वाला प्रोग्राम नहीं, बल्कि एक वास्तविक मल्टीटास्किंग जादूगर हो। आर्टिफिशियल इंटेलिजेंस के तेजी से विकसित होते क्षेत्र में, शोधकर्ता लगातार "बेंचमार्क" (benchmarks)—जो अनिवार्य रूप से मानकीकृत परीक्षण हैं—बना रहे हैं ताकि यह देखा जा सके कि ये डिजिटल मस्तिष्क वास्तव में कितने स्मार्ट हैं। लंबे समय तक, ये परीक्षण स्कूल के अलग-अलग विषयों की तरह थे: गणित के लिए एक परीक्षा, इतिहास के लिए दूसरी, और कोडिंग के लिए तीसरी। लेकिन वास्तविक जीवन इस तरह काम नहीं करता है। जब आप किसी इंसान को यात्रा की योजना बनाने के लिए कहते हैं, तो वे केवल दूरियों की गणना नहीं करते; वे मौसम देखते हैं, समीक्षाएं पढ़ते हैं, होटल बुक करते हैं, और शायद अपने किसी दोस्त को एक मज़ाकिया ईमेल भी लिखते हैं, वह भी एक ही बार में। यह शोध पत्र AI अनुसंधान के एक विशिष्ट कोने "रीज़निंग चेन्स" (reasoning chains) में उतरता है, जहाँ लक्ष्य यह देखना है कि क्या एक मॉडल बिना किसी गलती के एक साथ कई अलग-अलग प्रकार के कार्यों को संभाल सकता है। सबसे बड़ा सवाल जो हर कोई जानना चाहता है वह यह है: क्या ये AI मॉडल वास्तविक दुनिया की उलझी हुई, जटिल और बहु-चरणीय समस्याओं को संभाल सकते हैं, या जब चीजें बहुत अधिक जटिल हो जाती हैं तो वे भ्रमित होकर हार मान लेते हैं?
यहाँ आता है रिले-बेंच (Relay-Bench), एक नया और अत्यंत चुनौतीपूर्ण परीक्षण जिसे यह देखने के लिए डिज़ाइन किया गया है कि क्या AI मॉडल दिमाग की एक "रिले रेस" दौड़ सकते हैं। एक मॉडल से एक गणित की समस्या हल करने या एक कविता लिखने के बजाय, इस परीक्षण के निर्माता कार्यों की एक पूरी श्रृंखला को आपस में जोड़ देते हैं—जैसे कि एक गणितीय पहेली को हल करना, वेब पर एक विशिष्ट तथ्य ढूँढना, थोड़ा कोड लिखना और एक गुप्त संदेश को डिकोड करना, और यह सब एक ही विशाल प्रॉम्प्ट के भीतर। इसे एक वीडियो गेम लेवल की तरह समझें जहाँ आपको एक गड्ढे के ऊपर से कूदना है, दरवाजा खोलने के लिए एक पहेली सुलझानी है, और फिर एक बॉस से लड़ना है, और यह सब बिना "रीसेट" बटन दबाए करना है। शोधकर्ताओं ने इन जटिल चुनौतियों में से 31 बनाई हैं, जिनमें से कुछ इतनी लंबी और भ्रामक जानकारी से भरी हैं कि एक संख्या खोजने के लिए ऐसा लगता है जैसे कोई उपन्यास पढ़ रहे हों। उन्होंने एक "गुप्त कोड" की परत भी जोड़ी है, जहाँ निर्देशों के प्रत्येक शब्द को एक अजीब तीन-अक्षर वाले कोड से बदल दिया गया है, जिससे AI को समस्याओं को हल करना शुरू करने से पहले संदेश को डिकोड करने के लिए मजबूर होना पड़ता है।
जब उन्होंने उस समय के शीर्ष तीन AI मॉडलों (GPT-5.5, Gemini 3.1 Pro, और Claude Opus 4.7) को इस कठिन परीक्षा से गुजारा, तो परिणाम चौंकाने वाले थे। सबसे स्मार्ट मॉडल, GPT-5.5 भी, केवल लगभग 43.3% उत्तर ही सही दे पाया। यह आधे से भी कम है! अन्य मॉडलों का स्कोर और भी कम रहा, जिसमें एक मॉडल केवल 16.7% ही हासिल कर सका। शोध पत्र सुझाव देता है कि जबकि ये AI मॉडल एकल कार्यों में बहुत अच्छे हो रहे हैं, लेकिन जब उन्हें कई अलग-अलग कौशलों को एक साथ जोड़ने के लिए कहा जाता है, तो वे काफी संघर्ष करते हैं, खासकर तब जब निर्देश भ्रमित करने वाले हों या कार्य बहुत लंबा हो। वास्तव में, यह परीक्षण इतना कठिन था कि कई मॉडल बस हार मान गए या लूप में फंस गए, और दौड़ पूरी करने में असमर्थ रहे।
शोधकर्ताओं ने यह भी पाया कि ये मॉडल कभी-कभी "हैलुसिनेट" (hallucinate) करते हैं, जो कि एक फैंसी तरीका है यह कहने का कि वे उत्तरों के बारे में मनगढ़ंत बातें बनाते हैं जब उन्हें समाधान नहीं पता होता। एक मॉडल, Claude Opus 4.7, बहुत सतर्क था; उसने कई एन्कोडेड (encoded) प्रश्नों का उत्तर देने से पूरी तरह इनकार कर दिया, संभवतः इसलिए क्योंकि उसके सुरक्षा फिल्टर बहुत सख्त थे। दूसरा मॉडल, Gemini 3.1, अधिक अनुमान लगाने की कोशिश करता था लेकिन अंततः अधिक गलत उत्तरों के साथ समाप्त हुआ। यह अध्ययन रेखांकित करता है कि वर्तमान AI मॉडल अभी भी उन सर्वगुण संपन्न विशेषज्ञों से बहुत दूर हैं जिनकी हम आशा करते हैं। वे उन प्रतिभाशाली छात्रों की तरह हैं जो गणित की परीक्षा में तो अव्वल आ सकते हैं, लेकिन अगर आप उनसे गणित हल करने के साथ-साथ एक कविता का अनुवाद करने और रेसिपी खोजने के लिए कहें, तो वे घबरा सकते हैं। लेखक सुझाव देते हैं कि AI मॉडलों को इस तरह के "रिले रेस" परीक्षण को लगातार पास करने के काबिल होने में एक या दो साल लग सकते हैं, और वे चेतावनी देते हैं कि जैसे-जैसे मॉडल अधिक स्मार्ट होंगे, उन्हें तालमेल बिठाने के लिए इन परीक्षणों को और भी कठिन बनाना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।