← नवीनतम पेपर
🤖 AI

OR-Space: A Full-Lifecycle Workspace Benchmark for Industrial Optimization Agents

यह शोध पत्र OR-Space को प्रस्तुत करता है, जो एक पूर्ण-जीवनचक्र कार्यक्षेत्र बेंचमार्क है जिसे मॉडल निर्माण, संशोधन और निरंतर, बहु-कलाकृति (multi-artifact) वातावरण के भीतर आधारित स्पष्टीकरण वाले यथार्थवादी, बहु-चरणीय कार्यों में औद्योगिक अनुकूलन एजेंटों का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जो पारंपरिक वन-शॉट समस्या सूत्रीकरण मूल्यांकनों से आगे बढ़ता है।

मूल लेखक: Chenyu Zhou, Xinyun Lu, Jiangyue Zhao, Jianghao Lin, Dongdong Ge, Yinyu Ye

प्रकाशित 2026-05-28
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Chenyu Zhou, Xinyun Lu, Jiangyue Zhao, Jianghao Lin, Dongdong Ge, Yinyu Ye

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक फैक्ट्री चलाने में मदद करने के लिए एक शानदार नए सहायक को काम पर रख रहे हैं। आप यह देखना चाहते हैं कि क्या वे वास्तव में काम कर सकते हैं, न कि केवल उसके बारे में बातें कर सकते हैं।

लंबे समय से, इन AI सहायकों (जिन्हें "LLM एजेंट्स" कहा जाता है) को टेस्ट करने का तरीका एक पूरी तरह से लिखी गई रेसिपी कार्ड देने जैसा था। कार्ड कहता था: "यह समस्या है, ये सामग्रियां हैं, यह गणित का सूत्र है। अब, इसे हल करने के लिए कोड लिखें।"

यदि AI ने कोड सही ढंग से लिखा, तो हम उसे एक गोल्ड स्टार देते थे। लेकिन वास्तविक दुनिया में, फैक्ट्री मैनेजरों को परफेक्ट रेसिपी कार्ड नहीं मिलते। उन्हें एक बिखरी हुई मेज मिलती है जिसमें स्टिकी नोट्स, स्प्रेडशीट्स, पिछले साल का पुराना कोड और बॉस के ईमेल होते हैं, जिनमें लिखा होता है, "ओह, वैसे, हमें अगले महीने के लिए नियम बदलने की जरूरत है।"

OR-Space एक नया, बहुत कठिन टेस्ट है जिसे यह देखने के लिए डिज़ाइन किया गया है कि क्या AI उस बिखरी हुई, वास्तविक दुनिया की मेज को संभाल सकता है।

AI को टेस्ट करने के तीन तरीके

यह पेपर एक बेंचमार्क पेश करता है जिसे OR-Space (ऑपरेशंस रिसर्च स्पेस) कहा जाता है। एक एकल प्रश्न के बजाय, यह AI को एक पूरा "वर्कस्पेस" (एक डिजिटल फोल्डर जिसमें फाइलें हैं) देता है और उसे वास्तविक फैक्ट्री में होने वाले तीन अलग-अलग प्रकार के काम करने के लिए कहता है:

  1. बिल्ड (द आर्किटेक्ट - निर्माता):

    • परिदृश्य: आप AI को एक बिजनेस मेमो, संख्याओं का एक स्प्रेडशीट और एक खाली कोड फाइल वाला फोल्डर सौंपते हैं।
    • कार्य: AI को मेमो को पढ़ना होगा, यह समझना होगा कि संख्याओं का क्या अर्थ है, और शून्य से फैक्ट्री की समस्या को हल करने के लिए एक बिल्कुल नया कंप्यूटर प्रोग्राम लिखना होगा।
    • चुनौती: मेमो अस्पष्ट हो सकता है, और स्प्रेडशीट के कॉलम अस्त-व्यस्त हो सकते हैं। AI को बिना किसी परफेक्ट गाइड के टेक्स्ट और डेटा के बीच संबंध जोड़ना होगा।

  2. रिविज़ (द फिक्सर - सुधारक):

    • परिदृश्य: फैक्ट्री ने अपना मन बदल लिया है। शायद उनके पास अब अधिक ट्रक हैं, या सुरक्षा के बारे में एक नया नियम है। AI को पुराना प्रोग्राम और नए नियम दिए जाते हैं।
    • कार्य: AI को पुराने कोड को नए नियमों के अनुरूप अपडेट करना होगा ताकि पहले से काम कर रहे हिस्सों में कोई खराबी न आए।
    • चुनौती: यह एक ऐसे घर के नवीनीकरण जैसा है जहाँ लोग अभी भी रह रहे हैं। यदि AI पुराने कोड से कोई वेरिएबल नाम कॉपी करता है जो अब समझ में नहीं आता, तो पूरी चीज़ क्रैश हो जाएगी। पेपर में पाया गया कि कुछ AI पुराने कोड से भ्रमित हो जाते हैं और उसकी गलतियों को कॉपी करने की कोशिश करते हैं, जबकि स्मार्ट AI जानते हैं कि क्या रखना है और क्या फेंक देना है।

  3. एक्सप्लेन (द ट्रांसलेटर - अनुवादक):

    • परिदृश्य: कंप्यूटर ने समस्या को हल कर लिया है, लेकिन फैक्ट्री मैनेजर (जो गणित विशेषज्ञ नहीं है) पूछता है, "आपने उत्तर की ओर के बजाय उत्तरी गोदाम में 5 ट्रक भेजने का निर्णय क्यों लिया?"
    • कार्य: AI को समाधान, कोड और डेटा लॉग को देखना होगा ताकि वह एक सच्चा उत्तर दे सके।
    • चुनौती: AI को केवल एक कहानी नहीं बनानी चाहिए। उसे यह बताना होगा कि किस विशिष्ट स्प्रेडशीट लाइन या कोड के किस विशिष्ट नियम ने उसे वह निर्णय लेने के लिए मजबूर किया। यदि वह अनुमान लगाता है, तो उसके अंक कट जाते हैं।

यह टेस्ट अलग क्यों है ("वर्कस्पेस" बनाम "प्रॉम्प्ट")

लेखकों का तर्क है कि पिछले टेस्ट फ्लैशकार्ड्स की तरह थे। आप AI को एक साफ, अलग समस्या दिखाते हैं, और वह उत्तर देता है।

OR-Space एक वास्तविक ऑफिस की तरह है।

  • फाइलें अलग-अलग हैं: आवश्यकताएं एक वर्ड डॉक्यूमेंट में हैं, संख्याएं एक CSV फाइल में हैं, और कोड एक पायथन फाइल में है। AI को उन सभी को खोलना, पढ़ना और यह समझना होगा कि वे एक दूसरे से कैसे जुड़ते हैं।
  • "ग्राउंडिंग" की समस्या: फ्लैशकार्ड टेस्ट में, AI सही उत्तर दे सकता है क्योंकि वह शब्दों को पहचान लेता है। OR-Space में, यदि AI मेमो में शब्द "क्षमता" (capacity) को स्प्रेडशीट के कॉलम "max_load" से सही ढंग से नहीं जोड़ पाता है, तो वह विफल हो जाता है। पेपर इसे "ग्राउंडिंग" कहता है—शब्दों को वास्तविक डेटा से जोड़ना।

उन्होंने क्या पाया (परिणाम)

शोधकर्ताओं ने 20 अलग-अलग AI मॉडल्स (उपलब्ध सबसे "स्मार्ट" मॉडल) का इस नए टेस्ट पर परीक्षण किया। यहाँ क्या हुआ:

  • यह जितना दिखता है उससे कहीं अधिक कठिन है: यहाँ तक कि बेहतरीन AI भी संघर्ष करते हैं। जबकि कुछ मॉडल्स "फ्लैशकार्ड" वाले वर्जन को हल कर सकते थे, वे अक्सर विफल हो गए जब उन्हें फाइलों के बिखरे हुए फोल्डर को नेविगेट करना पड़ा।
  • पुराना कोड एक दोधारी तलवार है: जब AI को मदद के लिए पुराना कोड दिया गया, तो स्मार्ट AI बेहतर प्रदर्शन करते थे क्योंकि उन्होंने पुराने कोड का उपयोग एक उपयोगी संकेत के रूप में किया। लेकिन कमजोर AI और भी खराब प्रदर्शन करते थे क्योंकि वे पुराने कोड की गलतियों को अंधाधुंध कॉपी करते थे (जैसे कि किसी ऐसे वेरिएबल का उपयोग करने की कोशिश करना जो अब मौजूद ही नहीं था)।
  • "एक्सप्लेन" गैप: कुछ AI कोड लिखने में बहुत अच्छे थे लेकिन समझाने में बहुत खराब। वे गणित तो हल कर सकते थे लेकिन यह नहीं बता पाते थे कि उन्होंने वह चुनाव क्यों किया।
  • "फाइल सिस्टम" पेनल्टी: पेपर में पाया गया कि जब AI को वास्तव में फोल्डर्स को नेविगेट करना और फाइलें पढ़ना पड़ा (जब वे "फाइलसिस्टम" मोड में थे), तो उनका प्रदर्शन तब खराब था जब वही जानकारी एक बड़े टेक्स्ट ब्लॉक के रूप में दी गई थी। यह साबित करता है कि जानकारी को खोजना और व्यवस्थित करना अपने आप में एक कौशल है, न कि केवल फॉर्मेटिंग का मामला।

मुख्य निष्कर्ष

पेपर निष्कर्ष निकालता है कि हम केवल इस बात पर AI को टेस्ट नहीं कर सकते कि वह एक परफेक्ट प्रॉम्प्ट से कितना अच्छा कोड लिखता है। वास्तविक उद्योगों (जैसे लॉजिस्टिक्स, मैन्युफैक्चरिंग या फाइनेंस) में उपयोगी होने के लिए, AI को निम्नलिखित क्षमताओं पर टेस्ट किया जाना चाहिए:

  1. दस्तावेजों के ढेर में से सही जानकारी ढूंढना।
  2. पुराने सिस्टम को बिना तोड़े अपडेट करना।
  3. केवल बनाई गई कहानियों के बजाय, वास्तविक फाइलों से साक्ष्य के साथ अपने निर्णयों को समझाना।

OR-Space इन AI एजेंट्स के लिए नया "ड्राइविंग टेस्ट" है, जो उन्हें पार्किंग लॉट (परफेक्ट प्रॉम्प्ट) से निकालकर व्यस्त शहर की सड़कों (वास्तविक वर्कस्पेस) पर ले जाता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.AI →