Evaluating Interactive Reasoning in Large Language Models: A Hierarchical Benchmark with Executable Games
यह शोध पत्र 474 निष्पादन योग्य (executable) खेलों के एक पदानुक्रमित बेंचमार्क को प्रस्तुत करता है जो बड़े भाषा मॉडलों की संवादात्मक तर्क क्षमताओं का मूल्यांकन करने के लिए उन्हें सक्रिय रूप से साक्ष्य प्राप्त करने और विश्वासों को अपडेट करने की आवश्यकता के माध्यम से किया जाता है, जो सीमावर्ती मॉडलों (frontier models) के बीच दक्षता, प्रासंगिक सुदृढ़ता और मेटाकॉग्निटिव अनुकूलन में महत्वपूर्ण प्रदर्शन अंतराल को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्यमय खेल खेल रहे हैं जहाँ आपको एक छिपा हुआ खजाना ढूंढना है। आज के अधिकांश AI परीक्षणों में, गेम मास्टर आपको एक नक्शा देता है जिसमें खजाने का स्थान पहले से ही अंकित होता है और पूछता है, "खजाना कहाँ है?" AI को बस नक्शा पढ़ना होता है और उत्तर देना होता है। यह एक स्थिर परीक्षण (static test) की तरह है: AI को सारी जानकारी एक साथ मिल जाती है और उसे एक बार में ही समाधान करना होता है।
लेकिन वास्तविक दुनिया में, हमें एक साथ पूरा नक्शा नहीं मिलता। हमें प्रश्न पूछने होते हैं, आसपास देखना होता है, और जैसे-जैसे हम आगे बढ़ते हैं, चीजों को जोड़कर समझना होता है।
यह शोध पत्र AI को परखने का एक नया तरीका पेश करता है जिसे इंटरएक्टिव रीजनिंग (Interactive Reasoning) कहा जाता है। AI को पूरा नक्शा देने के बजाय, शोधकर्ताओं ने एक "ब्लैक बॉक्स" गेम बनाया है। AI केवल खेल के नियमों को जानता है। इसे निम्नलिखित कार्य करने होते हैं:
- खेल से विशिष्ट प्रश्न पूछना (जैसे, "क्या चाबी कालीन के नीचे है?")।
- उत्तरों को सुनना।
- जो कुछ भी वह सीखता है, उसके आधार पर अपने विश्वासों को अपडेट करना।
- यह तय करना कि कब उसके पास अंतिम उत्तर का अनुमान लगाने के लिए पर्याप्त जानकारी है।
"गेम बोर्ड"
यह सुनिश्चित करने के लिए कि AI केवल तथ्यों को याद नहीं कर रहा है या अपने सामान्य ज्ञान (जैसे, यह जानना कि "बिल्लियों की पूंछ होती है") का उपयोग नहीं कर रहा है, शोधकर्ताओं ने सरल, अमूर्त बिल्डिंग ब्लॉक्स का उपयोग करके इन खेलों को बनाया:
- सेट्स (Sets) (वस्तुओं के समूह),
- सीक्वेंस (Sequences) (सूचियाँ),
- ट्रीज़ (Trees) (शाखाओं वाली संरचनाएं), और
- ग्राफ (Graphs) (कनेक्शन का नेटवर्क)।
उन्होंने इन ब्लॉक्स का उपयोग करके 474 अलग-अलग खेल बनाए, जिनमें आसान पहेलियों से लेकर बहुत कठिन पहेलियाँ शामिल थीं। यह सुनिश्चित करता है कि परीक्षण AI की तर्क क्षमता को माप रहा है, न कि विकिपीडिया लेखों की उसकी स्मृति को।
"स्ट्रेस टेस्ट" (तनाव परीक्षण)
शोधकर्ता केवल यह देखने तक नहीं रुके कि क्या AI पहेली सुलझा सकता है। उन्होंने यह देखने के लिए दो विशेष "स्ट्रेस टेस्ट" जोड़े कि AI की सोचने की क्षमता वास्तव में कितनी मजबूत है:
1. "डिस्ट्रैक्टर" टेस्ट (संदर्भ संबंधी मजबूती - Contextual Robustness)
कल्पना कीजिए कि आप एक पहेली सुलझा रहे हैं, लेकिन गेम मास्टर अचानक मौसम के बारे में बात करने लगता है, या "लाल चाबी" को "लाल, चमकदार वस्तु" के रूप में वर्णित करता है बजाय सिर्फ एक "लाल चाबी" के।
- परीक्षण: उन्होंने अतिरिक्त, बेकार शब्द जोड़े या चीजों के नाम बदल दिए (जैसे, एक अस्पताल की कहानी में "नोड" को "मरीज" कहना) बिना वास्तविक तर्क को बदले।
- परिणाम: कई AI भ्रमित हो गए। वे "शोर" (noise) को अनदेखा करने और मूल तर्क पर टिके रहने में संघर्ष करते दिखे, जिससे पता चला कि वे चीजों के वास्तविक स्वरूप के बजाय उनके वर्णन से आसानी से विचलित हो जाते हैं।
2. "चेंज ऑफ हार्ट" टेस्ट (मेटाकॉग्निटिव अनुकूलन - Metacognitive Adaptation)
कल्पना कीजिए कि आप एक पहेली सुलझा रहे हैं और आप उत्तर के बारे में 90% आश्वस्त हैं। अचानक, गेम मास्टर कहता है, "रुको, मैंने पहले गलती की थी। चाबी वास्तव में नीली है, लाल नहीं।"
- परीक्षण: AI को अपने पुराने निष्कर्ष को वापस लेना होगा, अपनी सोच को अपडेट करना होगा और नई जानकारी के साथ फिर से शुरुआत करनी होगी।
- परिणाम: यह AI के लिए बहुत कठिन था। जब सबूत बदल गए, तो कई मॉडल्स ने अपने विश्वासों को सही ढंग से अपडेट करने में विफलता दिखाई। वे पुराने (गलत) जानकारी के आधार पर पहेली को हल करने की कोशिश करते रहे, जैसे कोई व्यक्ति जो गलत मोड़ लेने के बाद भी अपनी गलती मानने से इनकार कर देता है।
उन्होंने क्या पाया
शोधकर्ताओं ने आज के सबसे स्मार्ट AI मॉडल्स का परीक्षण किया। यहाँ उनकी खोजें दी गई हैं:
- वे खेल सकते हैं, लेकिन कुशलता से नहीं: कुछ AI ने खेल सुलझा लिया, लेकिन उन्हें बहुत अधिक प्रश्नों (टर्न) की आवश्यकता पड़ी। अन्य तेज़ थे लेकिन गलतियाँ करते थे। सर्वश्रेष्ठ मॉडल सटीक और कुशल दोनों थे।
- तर्क के प्रकार मायने रखते हैं: AI डिडक्टिव (Deductive) तर्क (यदि A सत्य है, तो B सत्य होना चाहिए) में बहुत अच्छे थे। वे इंडक्टिव (Inductive) (पैटर्न का अनुमान लगाना) और अबडक्टिव (Abductive) (सबसे अच्छा स्पष्टीकरण ढूंढना) तर्क में बहुत खराब थे।
- "सेट" की समस्या: वस्तुओं के साधारण "सेट्स" वाले खेल जटिल "ट्रीज़" या "ग्राफ" की तुलना में आश्चर्यजनक रूप से कठिन थे। ऐसा लगता है कि AI क्रमहीन समूहों (unordered groups) को अपने "मन" में ट्रैक करने में संघर्ष करते हैं।
- "नेसेसिटी" (आवश्यकता) का अंतर: यह पहचानने के लिए पूछे जाने पर कि पहेली को सुलझाने के लिए कौन से हिस्से वास्तव में आवश्यक थे (और कौन से केवल अतिरिक्त थे), AI अक्सर गलत हिस्सों को हटा देते थे। वे साक्ष्य का उपयोग कर सकते थे जब वह उनके सामने होता था, लेकिन वे यह नहीं बता सकते थे कि कौन सा साक्ष्य वास्तव में अनिवार्य था।
निष्कर्ष
यह शोध पत्र दिखाता है कि हालांकि आधुनिक AI चरण-दर-चरण पहेलियाँ सुलझाने में बेहतर हो रहा है, लेकिन यह अभी भी लचीलेपन (Flexibility) के लिए संघर्ष करता है। यह तर्क की एक सीधी रेखा का पालन करने में अच्छा है, लेकिन यदि आप दृश्य बदल देते हैं, शोर जोड़ देते हैं, या बीच में किसी गलती को सुधारते हैं, तो AI अक्सर अटक जाता है या भ्रमित हो जाता है। यह एक बहुत ही बुद्धिमान जासूस की तरह है जो मामला सुलझा सकता है यदि सुराग सटीक हों, लेकिन यदि गवाह अपनी कहानी बदल दे, तो वह बिखर जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।