💬 NLP

OdysseyArena: Benchmarking Large Language Models For Long-Horizon, Active and Inductive Interactions

यह शोध पत्र OdysseyArena को प्रस्तुत करता है, जो 120 मानकीकृत कार्यों और अत्यधिक तनाव परीक्षणों से बना एक नवीन बेंचमार्क है जिसे बड़े भाषा मॉडलों की दीर्घकालिक (long-horizon), सक्रिय और आगमनात्मक (inductive) अंतःक्रियाओं को करने की क्षमता का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जो यह प्रकट करता है कि अत्याधुनिक मॉडल भी जटिल वातावरणों में अंतर्निहित संक्रमण नियमों (latent transition laws) को स्वायत्त रूप से खोजने में संघर्ष करते हैं।

मूल लेखक: Hang Yan, Fangzhi Xu, Qiushi Sun, Jinyang Wu, Zixian Huang, Muye Huang, Jingyang Gong, Zichen Ding, Kanzhi Cheng, Yian Wang, Xinyu Che, Zeyi Sun, Jian Zhang, Zhangyue Yin, Haoran Luo, Ben Kao, Qika Li

प्रकाशित 2026-06-05

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hang Yan, Fangzhi Xu, Qiushi Sun, Jinyang Wu, Zixian Huang, Muye Huang, Jingyang Gong, Zichen Ding, Kanzhi Cheng, Yian Wang, Xinyu Che, Zeyi Sun, Jian Zhang, Zhangyue Yin, Haoran Luo, Ben Kao, Qika Lin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट को एक नया, जटिल बोर्ड गेम खेलना सिखा रहे हैं।

पुराना तरीका (निगमनात्मक - Deductive):
वर्तमान में अधिकांश AI परीक्षण वैसे ही हैं जैसे रोबोट को खेल शुरू करने से पहले नियम पुस्तिका (rulebook) दे दी जाए। आप कहते हैं, "यहाँ नियम हैं: यदि आप लाल रंग पर पहुँचते हैं, तो दो स्थान पीछे जाएँ। यदि आप छह फेंकते हैं, तो आगे बढ़ें।" रोबोट बस इन स्पष्ट निर्देशों का पालन करता है। यह आदेशों का पालन करने में अच्छा है, लेकिन यह वास्तव में यह नहीं समझ पाता कि नियम क्यों मौजूद हैं या यदि नियम पुस्तिका गायब हो जाए तो उन्हें कैसे खोजा जाए।

नया तरीका (आगमनात्मक - Inductive):
ODYSSEYARENA पेपर तर्क देता है कि वास्तविक दुनिया की बुद्धिमत्ता नियम पुस्तिका का पालन करने के बारे में नहीं है; यह खेलते समय नियमों को खोजने के बारे में है। कल्पना कीजिए कि आप रोबोट को बोर्ड गेम थमा देते हैं लेकिन उसकी नियम पुस्तिका छिपा देते हैं। रोबोट को मोहरों को हिलाकर देखना होगा, देखना होगा कि क्या होता है, भ्रमित होना होगा, फिर से प्रयास करना होगा, और धीरे-धीरे अपने आप छिपे हुए तर्क (logic) को समझना होगा। इसे "आगमनात्मक तर्क" (inductive reasoning) कहा जाता है।

समस्या

शोधकर्ताओं ने पाया कि आज के सबसे स्मार्ट AI मॉडल भी इसमें बहुत खराब हैं। वे निर्देशों का पालन करने में माहिर हैं (निगमन/deduction), लेकिन जब नियम छिपे हों तो वे अनुभव से सीखने में संघर्ष करते हैं (आगमन/induction)। वे लूप (loops) में फंस जाते हैं, जो सीखा था उसे भूल जाते हैं, या खेल लंबा और जटिल होने पर हार मान लेते हैं।

समाधान: ODYSSEYARENA

इसे परखने के लिए, टीम ने ODYSSEYARENA नामक एक नया "जिम" बनाया। छोटे, सरल कार्यों के बजाय, उन्होंने चार अलग-अलग "खेल" बनाए जो AI को एक जासूस बनने के लिए मजबूर करते हैं। ये खेल लंबे (सैकड़ों चरणों वाले) डिज़ाइन किए गए हैं और इनमें AI को सक्रिय रूप से अन्वेषण (explore) करने की आवश्यकता होती है।

यहाँ चार खेलों को सरल उपमाओं (analogies) के साथ समझाया गया है:

लाइट्स चालू करें (तर्क की पहेली):
- सेटअप: आपके पास लाइट बल्बों की एक दीवार है। कुछ चालू हैं, कुछ बंद। आप एक स्विच फ्लिप कर सकते हैं, लेकिन आपको वायरिंग का पता नहीं है।
- चुनौती: एक स्विच दबाने से एक बल्ब जल सकता है, लेकिन यह गलती से तीन अन्य बल्बों को बंद भी कर सकता है क्योंकि उनके बीच एक छिपा हुआ कनेक्शन है। AI को स्विच दबाने होंगे, परिणामों को देखना होगा, और ट्रायल एंड एरर (trial and error) के माध्यम से गुप्त वायरिंग डायग्राम को समझना होगा।
- रूपक (Metaphor): यह बिना किसी मैनुअल के क्रिसमस लाइट्स के उलझे हुए तार को ठीक करने जैसा है, जहाँ आप अंदाज़ा लगा रहे हैं कि कौन सा बल्ब दूसरे को नियंत्रित करता है।
AI ट्रेडिंग (शेयर बाजार):
- सेटअप: AI एक ट्रेडर है जिसके पास स्टॉक्स का पोर्टफोलियो है। हर दिन, बाजार छिपे हुए "कारकों" (जैसे मौसम या समाचार) के आधार पर चलता है जिन्हें AI सीधे नहीं देख सकता, केवल संकेत देख सकता है।
- चुनौती: AI को स्टॉक की कीमतों और समाचारों को देखना होगा, छिपे हुए गणित को समझना होगा जो उनसे जुड़ा है, और पैसा बनाने के लिए भविष्य की भविष्यवाणी करनी होगी।
- रूपक: यह केवल लोगों के कपड़ों को देखकर मौसम की भविष्यवाणी करने जैसा है, बिना कभी आसमान देखे। आपको "कोट पहने लोगों" और "बारिश" के बीच के पैटर्न को समझना होगा।
ऊर्जा वितरण (पावर ग्रिड):
- सेटअप: AI एक पावर प्लांट मैनेजर है। उसे शहर को चलाने के लिए सूरज, हवा और कोयले से ऊर्जा को संतुलित करना है।
- चुनौती: सूरज और हवा अप्रत्याशित होते हैं और छिपे हुए चक्रों (जैसे मौसम) का पालन करते हैं। यदि AI लगातार तीन दिनों तक गलती करता है, तो पूरा ग्रिड ठप हो जाएगा। उसे रोशनी बनाए रखने के लिए प्रकृति की छिपी हुई लय (rhythms) को सीखना होगा।
- रूपक: यह एक तूफानी रात के दौरान कैंपफायर को पूरी तरह से जलाए रखने जैसा है, जहाँ हवा हर घंटे दिशा बदलती है और आपको उस पैटर्न का अनुमान लगाना होता है।
रेपो सिस्टम (सॉफ्टवेयर फिक्सर):
- सेटअप: AI एक कंप्यूटर प्रोग्रामर है जो सॉफ्टवेयर पैकेज इंस्टॉल करने की कोशिश कर रहा है।
- चुनौती: एक सॉफ्टवेयर इंस्टॉल करने से दूसरे सॉफ्टवेयर में खराबी आ सकती है क्योंकि उनके बीच वर्ज़न का टकराव (version conflicts) हो सकता है। AI को इंस्टॉल करना, टेस्ट करना, खराब करना, ठीक करना और फिर से इंस्टॉल करना होगा, जिससे वह विभिन्न प्रोग्रामों के बीच छिपे हुए निर्भरता (dependencies) के जाल को धीरे-धीरे मैप कर सके।
- रूपक: यह एक घर बनाने जैसा है जहाँ एक नया दरवाज़ा खरीदने से कल आपके द्वारा बनाई गई एक दीवार गिर सकती है। आपको चलते-चलते ब्लूप्रिंट को समझना होगा।

उन्होंने क्या पाया

शोधकर्ताओं ने इन खेलों पर दुनिया के 15 से अधिक सबसे स्मार्ट AI मॉडलों (शीर्ष व्यावसायिक और ओपन-सोर्स सहित) का परीक्षण किया।

परिणाम: सबसे अच्छे मॉडल भी लंबे समय तक चलने वाले कार्यों (long-horizon tasks) में बुरी तरह विफल रहे। वे लूप में फंस गए (एक ही गलती बार-बार करना), जो पहले सीखा था उसे भूल गए, और छिपे हुए नियमों को नहीं समझ सके।
अंतर (Gap): जब शोधकर्ताओं ने मॉडलों को नियम पहले ही दे दिए, तो मॉडल बहुत अच्छा प्रदर्शन करते थे। लेकिन जब उन्हें खुद नियम खोजने थे, तो प्रदर्शन लगभग शून्य हो गया।
निष्कर्ष: वर्तमान AI उस छात्र की तरह है जो किताब रटने में तो उत्कृष्ट है लेकिन बिना किताब के समस्या हल करने के लिए पूछा जाने पर पूरी तरह विफल हो जाता है। वास्तव में स्वायत्त एजेंट (autonomous agents) बनाने के लिए सबसे बड़ी बाधा उन्हें बड़ा या तेज़ बनाना नहीं है; बल्कि उन्हें अपनी गलतियों से सीखना और दुनिया के छिपे हुए पैटर्न को खोजना सिखाना है।

संक्षेप में, ODYSSEYARENA AI को परखने का एक नया तरीका है जो यह पूछना बंद करता है कि "क्या आप आदेशों का पालन कर सकते हैं?" और यह पूछना शुरू करता है कि "क्या आप खुद समझ सकते हैं कि दुनिया कैसे काम करती है?" जवाब, अब तक, है "वास्तव में नहीं।"

तकनीकी सारांश: ODYSSEYARENA

समस्या विवरण

लार्ज लैंग्वेज मॉडल (LLM) एजेंटों के वर्तमान मूल्यांकन मुख्य रूप से एक निगमनात्मक प्रतिमान (deductive paradigm) पर निर्भर करते हैं। इन सेटिंग्स में, एजेंटों को स्पष्ट नियम, स्थिर लक्ष्य और अक्सर स्वर्ण-मानक (gold-standard) निर्देश या विस्तृत API दस्तावेज़ प्रदान किए जाते हैं। हालांकि यह निर्देश-अनुपालन और लघु-क्षितिज योजना (short-horizon planning) के आकलन के लिए प्रभावी है, यह इस आगमनात्मक आवश्यकता (inductive necessity) की उपेक्षा करता है जहाँ एजेंटों को अनुभव से स्वतः ही अंतर्निहित संक्रमण नियमों (latent transition laws) की खोज करनी चाहिए। वास्तविक दुनिया के परिनियोजन (deployment) के लिए एजेंटों को परिवेश की सक्रिय रूप से जांच करने, फीडबैक पर प्रतिक्रिया देने और पूर्व-निर्दिष्ट नियमों के बिना स्व-सुधार के माध्यम से क्रियाओं को पुनरावृत्ति के साथ समायोजित करने की आवश्यकता होती है। इसके अलावा, मौजूदा बेंचमार्क अक्सर इंटरैक्शन क्षितिज को 50 चरणों से कम तक सीमित रखते हैं, जो त्रुटि संचय (error accumulation) की चुनौतियों और हजारों चरणों में रणनीतिक सामंजस्य की आवश्यकता को पकड़ने में विफल रहते हैं। वास्तविक समय के संवादात्मक अनुभव से छिपे हुए नियमों और संक्रमण गतिकी (transition dynamics) को अनुमानित करने की एजेंट की क्षमता का मूल्यांकन करने में एक महत्वपूर्ण अंतर है।

कार्यप्रणाली

इन कमियों को दूर करने के लिए, लेखक ODYSSEYArena पेश करते हैं, जो दीर्घ-क्षितिज (long-horizon), सक्रिय और आगमनात्मक इंटरैक्शन पर एजेंट मूल्यांकन को केंद्रित करने के लिए डिज़ाइन किए गए इंटरैक्टिव वातावरणों का एक समूह है।

सैद्धांतिक ढांचा

लेखक इंटरैक्टिव वातावरण को जनरेटिव स्टेट ट्रांज़िशन फंक्शन के रूप में औपचारिक रूप देते हैं: $(s_{t+1}, r_t) = T(s_t, a_t)$ , जहाँ $s_t$ एक लेटेंट स्टेट है और $a_t$ एक एजेंट एक्शन है। ट्रांज़िशन फंक्शन $T$ अप्रत्यक्ष रूप से पर्यावरण के नियमों को एनकोड करता है। एजेंटों को रणनीतिक इंटरैक्शन के माध्यम से $T$ के कार्यात्मक रूप को प्रेरित (induce) करना होगा। लेखक पर्यावरण की गतिकी को चार ऑर्थोगोनल संरचनात्मक प्रिमिटिव्स (structural primitives) में विभाजित करते हैं:

डिस्क्रीट सिम्बोलिक रूल्स (Discrete Symbolic Rules): $N$ बिट्स पर बूलियन लॉजिक, जिसके लिए लेटेंट कॉज़ल डिपेंडेंसीज की खोज आवश्यक है।
कंटीन्यूअस स्टोकेस्टिक डायनेमिक्स (Continuous Stochastic Dynamics): शोर (noise) द्वारा अस्पष्ट कारकों द्वारा शासित निरंतर स्टेट स्पेस में विकास, जिसके लिए सांख्यिकीय अनुमान की आवश्यकता होती है।
पीरियडिक टेम्पोरल पैटर्न्स (Periodic Temporal Patterns): चक्रीय नियमितताएं जिनके लिए मल्टी-ऑब्जेक्टिव ट्रेड-ऑफ को अनुकूलित करने हेतु लॉन्ग-रेंज टेम्पोरल डिपेंडेंसीज की पहचान आवश्यक है।
रिलेशनल ग्राफ स्ट्रक्चर (Relational Graph Structures): एक छिपे हुए ग्राफ $G$ द्वारा परिभाषित गैर-स्थानीय इंटरैक्शन, जिसके लिए टोपोलॉजिकल बाधाओं पर रिलेशनल रीजनिंग की आवश्यकता होती है।

एनवायरनमेंट इंस्टेंशिएशन (Environment Instantiation)

इन प्रिमिटिव्स को चार विविध वातावरणों में साकार किया गया है (चित्र 2):

टर्न ऑन लाइट्स (Turn On Lights): डिस्क्रीट सिम्बोलिक रूल्स को दर्शाता है। एजेंट एक लक्षित कॉन्फ़िगरेशन तक पहुँचने के लिए परस्पर निर्भर लाइटों को टॉगल करते हैं। छिपे हुए बूलियन कपलिंग्स स्टेट परिवर्तनों को नियंत्रित करते हैं, जिसके लिए लॉजिकल नेटवर्क को समझने के लिए सक्रिय अन्वेषण की आवश्यकता होती है।
AI ट्रेडिंग (AI Trading): कंटीन्यूअस स्टोकेस्टिक डायनेमिक्स को दर्शाता है। एजेंट एक मल्टी-एसेट पोर्टफोलियो का प्रबंधन करते हैं जहाँ मूल्य परिवर्तन लेटेंट मार्केट फैक्टर्स ( $z_t$ ) और एक छिपे हुए डिपेंडेंसी मैट्रिक्स ( $W$ ) द्वारा संचालित होते हैं। सफलता के लिए लॉन्ग-होरिज़न ट्रेडिंग रणनीतियों को निष्पादित करने हेतु सिग्नल को शोर से अलग करना आवश्यक है।
एनर्जी डिस्पैच (Energy Dispatch): पीरियडिक टेम्पोरल पैटर्न्स को दर्शाता है। एजेंट बजट और मांग संबंधी बाधाओं के तहत थर्मल, विंड, सोलर और बैटरी संसाधनों का आवंटन करते हैं। सिस्टम में नवीकरणीय स्रोतों के लिए छिपे हुए, समय-परिवर्तनीय दक्षता चक्र (efficiency cycles) हैं, जिसके लिए एजेंट को सिस्टम पतन से बचने के लिए आवधिक उतार-चढ़ाव का पूर्वानुमान लगाना आवश्यक है।
रेपो सिस्टम (Repo System): रिलेशनल ग्राफ स्ट्रक्चर को दर्शाता है। एजेंट पैकेज इंस्टॉल/अनइंस्टॉल करके एक पायथन प्रोजेक्ट को कॉन्फ़िगर करते हैं। वातावरण में एक छिपा हुआ डिपेंडेंसी ग्राफ है जहाँ क्रियाएं गैर-मोनोटोनिक साइड इफेक्ट्स (जैसे ऑटोमैटिक अपग्रेड/डाउनग्रेड) उत्पन्न करती हैं, जिसके लिए व्यवस्थित निदान और रिलेशनल रीजनिंग की आवश्यकता होती है।

बेंचमार्क प्रोटोकॉल

लेखक दो मानकीकृत बेंचमार्किंग सूट्स स्थापित करते हैं:

ODYSSEYARENA-LITE: कुशल मूल्यांकन के लिए अनुकूलित 120 क्यूरेटेड कार्यों (प्रत्येक वातावरण के लिए 30) का एक मानकीकृत समूह। इंटरैक्शन क्षितिज गणनात्मक रूप से व्यवहार्य (जैसे 120-200 चरण) हैं लेकिन दीर्घ-क्षितिज योजना और सक्रिय इंडक्शन के लिए पर्याप्त हैं।
ODYSSEYARENA-CHALLENGE: प्रति कार्य 1,000+ चरणों वाला एक स्ट्रेस-टेस्ट सूट, जिसे एजेंट की दृढ़ता, तर्क स्थिरता और चरम क्षितिज पर रणनीति बनाए रखने की सीमाओं को परखने के लिए डिज़ाइन किया गया है।

पुनरुत्पादकता (reproducibility) और निष्पक्ष तुलना सुनिश्चित करने के लिए, सभी स्टोकेस्टिक तत्व (जैसे मार्केट फैक्टर्स, एफिशिएंसी कर्व्स) टास्क मेटाडेटा के भीतर निश्चित अनुक्रमों के रूप में पूर्व-निर्धारित हैं, जो रनटाइम रैंडमनेस को हटाते हुए इंडक्टिव चुनौती को बनाए रखते हैं।

मुख्य योगदान

नया मूल्यांकन प्रतिमान: यह पेपर डक्टिव इंस्ट्रक्शन-फॉलोइंग से स्वायत्त खोज (autonomous discovery) की ओर बदलाव का प्रस्ताव करता है, जो लॉन्ग-होरिज़न और सक्रिय इंटरैक्शन के माध्यम से लेटेंट वर्ल्ड डायनेमिक्स के इंडक्शन पर केंद्रित है।
विश्वसनीय और स्केलेबल बेंचमार्क: ODYSSEYARENA का इंस्टेंशिएशन, जो कुशल मूल्यांकन के लिए ODYSSEYARENA-LITE के रूप में और स्ट्रेस-टेस्टिंग के लिए ODYSSEYARENA-CHALLENGE के रूप में उपलब्ध है।
व्यापक मूल्यांकन और अंतर्दृष्टि: 15 से अधिक अग्रणी LLMs (प्रोपराइटरी और ओपन-सोर्स) का एक व्यापक मूल्यांकन जो 'इंडक्टिव बॉटलनेक' को स्वायत्त खोज के लिए एक मौलिक बाधा के रूप में रेखांकित करता है।

प्रयोगात्मक परिणाम

लेखकों ने Gemini 3 Pro Preview, GPT-5, DeepSeek-V3.2, और विभिन्न Llama और Qwen सीरीज़ मॉडल्स सहित 15+ मॉडल्स का मूल्यांकन किया।

प्रदर्शन अंतराल (Performance Gap): फ्रंटियर कमर्शियल मॉडल्स (जैसे Gemini 3 Pro Preview) भी ODYSSEYARENA-LITE पर अधिकतम 44.17% की सफलता दर प्राप्त करते हैं, जो मानव प्रदर्शन (जो Turn On Lights पर 81.67% और Repo System पर 100% तक पहुँचता है) से काफी नीचे है।
इंडक्टिव बनाम डक्टिव: एक महत्वपूर्ण निष्कर्ष डक्टिव और इंडक्टिव क्षमताओं के बीच विषमता है। स्पष्ट नियमों ( "w/ rules" सेटिंग) के साथ दिए जाने पर, मॉडल लगभग पूर्ण सफलता (जैसे Turn On Lights पर 100%) प्राप्त करते हैं। हालाँकि, इन नियमों के बिना, प्रदर्शन तेजी से गिर जाता है, जो पुष्टि करता है कि प्राथमिक बाधा वर्ल्ड डायनेमिक्स की खोज है, न कि कार्य की तर्क जटिलता।
विफलता मोड (Failure Modes): विफलता प्रक्षेपवक्र (Failure trajectories) का विश्लेषण (तालिका 3) बताता है कि सबसे प्रचलित मुद्दे एक्सप्लोरेशन सीमाएं (80.85% विफलताएं) हैं, जहाँ एजेंट व्यवस्थित हाइपोथीसिस टेस्टिंग के बिना लोकल ऑप्टिमा पर अभिसरित (converge) हो जाते हैं, और मेमोरी बाधाएं (57.45%), जहाँ एजेंट लंबी हिस्ट्री से प्रमुख साक्ष्य प्राप्त करने में विफल रहते हैं। प्लानिंग अक्षमता (Planning Inability) दुर्लभ (4.26%) पाई गई।
स्केलिंग सीमाएं (Scaling Limits): जबकि बड़े मॉडल आम तौर पर छोटे मॉडल्स से बेहतर प्रदर्शन करते हैं, पीरियडिक पैटर्न्स (Energy Dispatch) वाले कार्यों में सार्वभौमिक विफलता यह बताती है कि केवल स्केल बढ़ाने से मजबूत वर्ल्ड-स्ट्रक्चर मॉडलिंग के लिए इंडक्टिव बॉटलनेक को पार करना पर्याप्त नहीं है।
लॉन्ग-होरिज़न सैचुरेशन: सफलता दर वक्र अक्सर जल्दी ही स्थिर (plateau) हो जाते हैं, जो यह संकेत देते हैं कि एक सुसंगत आंतरिक वर्ल्ड मॉडल की कमी वाले मॉडल्स के लिए विस्तारित इंटरैक्शन बजट से नगण्य लाभ मिलता है।

महत्व

यह पेपर दावा करता है कि ODYSSEYARENA जटिल वातावरणों में स्वायत्त खोज की दिशा में एक महत्वपूर्ण बाधा (critical bottleneck) की पहचान करता है। परिणाम बताते हैं कि वर्तमान LLMs डक्टिव अनुपालन में उत्कृष्ट हैं लेकिन अनुभव से लेटेंट ट्रांज़िशन लॉ को स्वायत्त रूप से संश्लेषित करने की इंडक्टिव क्षमता की कमी है। यह कार्य तर्क देता है कि एजेंटिक इंटेलिजेंस की ओर भविष्य के शोध को उन आर्किटेक्चरों को प्राथमिकता देनी चाहिए जो कच्चे अनुभव से लेटेंट ट्रांज़िशन लॉ को निकालने में सक्षम हों, जिससे पैसिव रूल-फॉलोइंग और सक्रिय खोज के बीच के अंतर को पाटा जा सके। यह बेंचमार्क इन क्षमताओं के मूल्यांकन और सुधार के लिए एक कठोर ढांचा प्रदान करता है, जो स्थिर, लघु-क्षितिज और डक्टिव मूल्यांकनों की सीमाओं से आगे बढ़ता है।