MTR-Bench: A Comprehensive Benchmark for Multi-Turn Reasoning Evaluation
यह शोध पत्र MTR-Bench प्रस्तुत करता है, जो 40 कार्यों और 3,600 इंस्टेंसों से बना एक व्यापक, पूर्णतः-स्वचालित बेंचमार्क है जिसे लार्ज लैंग्वेज मॉडल्स की मल्टी-टर्न इंटरैक्टिव रीजनिंग क्षमताओं का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जो यह प्रकट करता है कि अत्याधुनिक मॉडल भी ऐसे कार्यों के साथ संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक नए कार इंजन का परीक्षण कर रहे हैं। अब तक, आपने इसे केवल एक सीधी रेखा में और एक बिल्कुल चिकनी हाईवे पर चलाया है। इंजन शानदार चल रहा है! लेकिन आपने अभी तक इसे ऊबड़-खाबड़ कच्ची सड़क पर, ट्रैफिक जाम में, या पार्किंग करने की कोशिश करते समय नहीं चलाया है। आप वास्तव में यह नहीं जान सकते कि क्या यह एक अच्छा इंजन है जब तक कि आप इसे ड्राइविंग की अव्यवस्थित और उतार-चढ़ाव भरी वास्तविकता में न देखें।
यही वह चीज़ है जो यह पेपर, MTR-Bench, आर्टिफिशियल इंटेलिजेंस (AI) के लिए कर रहा है।
समस्या: "एक बार और बस" वाला टेस्ट (The "One-and-Done" Test)
अभी, AI (लार्ज लैंग्वेज मॉडल्स) के लिए अधिकांश परीक्षण उसी सीधी हाईवे की तरह हैं। वे AI से एक सवाल पूछते हैं, और AI एक जवाब देता है।
- टेस्ट: "2 + 2 क्या है?"
- जवाब: "4।"
लेकिन असली ज़िंदगी ऐसी नहीं है। वास्तविक समस्या-समाधान एक बातचीत है। यह "20 सवाल" का खेल है, शतरंज का मुकाबला है, या किसी खोई हुई चीज़ को खोजने की कोशिश है जहाँ आपको पूछना पड़ता है, "क्या यह किचन में है?" "नहीं।" "क्या यह बेडरूम में है?" "नहीं।" "क्या यह बेड के नीचे है?" "हाँ!"
लेखकों का तर्क है कि वर्तमान AI मॉडल "सीधी हाईवे" वाले परीक्षणों में बेहतरीन हैं लेकिन वे तब विफल हो जाते हैं जब खेल में मल्टी-टर्न रीजनिंग (multi-turn reasoning) की आवश्यकता होती—जहाँ आपको पिछले उत्तरों को याद रखना होता है, अपनी रणनीति बदलनी होती है, और पहेली को हल करने तक चलते रहना होता है।
समाधान: MTR-Bench (द "ऑब्स्टेकल कोर्स")
इसे ठीक करने के लिए, शोधकर्ताओं ने AI के लिए एक विशाल, स्वचालित "ऑब्स्टेकल कोर्स" (बाधा दौड़) बनाया है। एक सवाल पूछने के बजाय, उन्होंने एक ऐसा खेल सेट किया है जहाँ AI को बार-बार एक कंप्यूटर रेफरी के खिलाफ खेलना होगा।
यहाँ उनका "ऑब्स्टेकल कोर्स" कैसे काम करता है, इसे चार प्रकार की चुनौतियों में विभाजित किया गया है:
डिटेक्टिव गेम (सूचना टटोलना - Information Probing):
- उपमा: "गेस हू" (Guess Who?) के खेल की कल्पना करें, लेकिन कंप्यूटर जासूसों की एक गुप्त सूची छिपा रहा है। आप पूछ सकते हैं, "क्या इस तीन लोगों के समूह में जासूस हैं?" कंप्यूटर "हाँ" या "नहीं" कहेगा। आपको ठीक से पता लगाने के लिए कि जासूस वास्तव में कौन हैं, स्मार्ट सवाल पूछने होंगे।
- चुनौती: यदि आप बार-बार एक ही सवाल पूछते रहेंगे, तो आप नहीं जीतेंगे। आपको सत्य का पता लगाने के लिए उत्तरों का उपयोग करना होगा।
रूप बदलने वाला पासवर्ड (गतिशील अनुकूलन - Dynamic Adaptation):
- उपमा: एक पासवर्ड का अनुमान लगाने की कल्पना करें। आप "1234" का अनुमान लगाते हैं। यह गलत है। लेकिन यहाँ एक मोड़ है: हर बार जब आप गलत अनुमान लगाते हैं, तो पासवर्ड एक गुप्त गणितीय नियम के आधार पर बदल जाता है। आपको अनुमान लगाना होगा, परिणाम देखना होगा, नियम को समझना होगा और फिर से अनुमान लगाना होगा।
- चुनौती: लक्ष्य लगातार बदल रहा है। आप केवल उत्तर को रट नहीं सकते; आपको बदलते नियमों के अनुसार ढलना होगा।
अंधा भूलभुलैया (स्टेट ऑपरेशन - State Operation):
- उपमा: आप एक भूलभुलैया (maze) में हैं, लेकिन नक्शा छिपा हुआ है। इससे भी बुरा यह है कि आपके कंट्रोलर के बटन बदले हुए हो सकते हैं! आप "ऊपर" दबाते हैं, लेकिन आपका पात्र "नीचे" चला जाता है। आपको बटन दबाने होंगे, देखना होगा कि आप कहाँ जा रहे हैं, और बाहर निकलने का रास्ता खोजने के दौरान भूलभुलैया के छिपे हुए नियमों को समझना होगा।
- चुनौती: आपको खेलते समय ही दुनिया के नियमों को सीखना होगा।
शतरंज का मुकाबला (रणनीतिक गेमिंग - Strategic Gaming):
- उपमा: कंप्यूटर प्रतिद्वंद्वी के खिलाफ शतरंज या चेकर्स का खेल। आप एक चाल चलते हैं, कंप्यूटर एक चाल चलता है, और आपको तीन कदम आगे की योजना बनानी होती है, यह सोचते हुए कि आपका प्रतिद्वंद्वी आगे क्या करेगा।
- चुनौती: आपको दीर्घकालिक योजना की आवश्यकता है, न कि केवल त्वरित प्रतिक्रिया की।
परिणाम: AI अभी भी चलना सीख रहा है
शोधकर्ताओं ने 20 अलग-अलग AI मॉडल्स पर यह टेस्ट चलाया, जिनमें आज के सबसे स्मार्ट मॉडल्स (जैसे o3-mini और R1) भी शामिल हैं। यहाँ उन्हें क्या मिला:
- "स्मार्ट" मॉडल्स अभी भी संघर्ष कर रहे हैं: यहाँ तक कि उन्नत AI मॉडल्स, जो एक बार में जटिल गणितीय समस्याओं को हल कर सकते हैं, वे अक्सर इन इंटरैक्टिव खेलों में फंस जाते हैं। वे भूल जाते हैं कि उन्होंने दो टर्न पहले क्या सीखा था, या वे अवैध चालें चलते हैं (जैसे दीवार के माध्यम से चलने की कोशिश करना)।
- कठिनाई मायने रखती है: जैसे-जैसे खेल कठिन होते गए (अधिक खिलाड़ी, बड़ी भूलभुलैया), AI का प्रदर्शन काफी गिर गया।
- गति बनाम बुद्धिमत्ता: दिलचस्प बात यह है कि जिस मॉडल ने सबसे अधिक सही उत्तर दिए (o3-mini), वह सबसे तेज़ नहीं था। इसने पहेली को हल करने के लिए अधिक टर्न लिए क्योंकि यह अधिक गहराई से सोच रहा था और अपने काम की जाँच कर रहा था। जो मॉडल्स "तेज़" थे, वे अक्सर गलतियाँ करते थे और उन्हें फिर से शुरू करना पड़ता था।
- छोटे मॉडल्स खो गए: छोटे AI मॉडल्स (जिनमें कम "दिमाग की कोशिकाएं" हैं) बुनियादी तौर पर खेल नहीं खेल सके। वे नियमों का पालन नहीं कर सके या बातचीत को याद नहीं रख सके।
मुख्य निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि हम AI का परीक्षण गलत चीजों पर कर रहे हैं। हम उनका परीक्षण इस बात पर कर रहे हैं कि वे तथ्यों को कितनी अच्छी तरह याद रखते हैं या एक गणितीय समस्या को कैसे हल करते हैं। लेकिन वास्तविक दुनिया में हमारी मदद करने के लिए वास्तव में उपयोगी AI बनाने के लिए, हमें उन्हें इंटरैक्टिव रीजनिंग (interactive reasoning) पर परखने की आवश्यकता है—बात करने, सुनने, अनुकूल होने और समय के साथ योजना बनाने की क्षमता।
MTR-Bench वह नया जिम है जहाँ AI वास्तविक दुनिया की बातचीत के लिए प्रशिक्षण ले सकता है, और अभी के परिणाम दिखाते हैं कि आज के "चैंपियंस" को भी वास्तव में खेल खेलने के लिए अभी बहुत काम करना बाकी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।