OmniaBench: Benchmarking General AI Agents Across Diverse Scenarios
OmniaBench एक व्यापक बेंचमार्क है जिसे वास्तविक दुनिया के संसाधनों से प्राप्त एक पदानुक्रमित वर्गीकरण का लाभ उठाकर विविध ToC, ToB और ToE परिदृश्यों में सामान्य AI एजेंटों का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जो स्पष्ट स्टेट स्पेस के साथ 1,431 निष्पादन योग्य कार्यों का निर्माण करता है, जिससे योजना बनाने (planning), बाधा बनाए रखने (constraint maintenance) और अनुकूलनशील सुधार (adaptive correction) के संबंध में वर्तमान फ्रंटियर मॉडल्स की महत्वपूर्ण सीमाओं का पता चलता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
तकनीकी सारांश: OmniaBench
समस्या विवरण
लार्ज लैंग्वेज मॉडल्स (LLMs) तेजी से स्थिर टेक्स्ट जनरेटर से बदलकर सामान्य एजेंटों के रूप में विकसित हो रहे हैं, जो उपयोगकर्ता के इरादों को समझने, बाहरी टूल्स को बुलाने और बातचीत के माध्यम से जटिल कार्यों को पूरा करने में सक्षम हैं। हालांकि, इन एजेंटों के मूल्यांकन के लिए मौजूदा बेंचमार्क महत्वपूर्ण सीमाओं से ग्रस्त हैं: वे अक्सर संकीर्ण परिदृश्यों, प्रतिबंधित टूल इकोसिस्टम, या अलग-थलग इंटरैक्शन फॉर्मेट पर केंद्रित होते हैं। विविधता की यह कमी मॉडल्स की क्षमताओं को वास्तविक दुनिया के विषम अनुप्रयोग सेटिंग्स में व्यवस्थित रूप से चित्रित करने में कठिनाई पैदा करती है। वर्तमान बेंचमार्क कवरेज और वास्तविक दुनिया के एजेंट उपयोग के मामलों की विविध, मल्टी-टर्न, स्टेटफुल और बाधा-प्रधान प्रकृति के बीच एक महत्वपूर्ण अंतर है।
कार्यप्रणाली
1. वर्गीकरण (Taxonomy) और परिदृश्य निर्माण
Omnia-Bench इस अंतर को संबोधित करने के लिए वास्तविक दुनिया के एप्लिकेशन इकोसिस्टम पर आधारित एक पदानुक्रमित वर्गीकरण (hierarchical taxonomy) का निर्माण करता है। लेखक ऐप स्टोर, प्रोडक्ट रिक्वायरमेंट डॉक्यूमेंट्स (PRDs), उद्योग संसाधनों, वेब रिट्रीवल और मानवीय शोधन से परिदृश्य ज्ञान प्राप्त करते हैं। इसके परिणामस्वरूप तीन प्राथमिक सेटिंग्स में फैला हुआ एक वर्गीकरण प्राप्त होता है:
- ToC (उपभोक्ता): 22 लेवल-1 और 101 लेवल-2 डोमेन।
- ToB (व्यापार): 38 लेवल-1 और 186 लेवल-2 डोमेन।
- ToE (कर्मचारी): 30 लेवल-1 और 67 लेवल-2 डोमेन।
कुल दायरा 90 लेवल-1 और 354 लेवल-2 डोमेन को कवर करता है, जो एकल टूल इकोसिस्टम पर केंद्रित बेंचमार्क की तुलना में काफी व्यापक डोमेन स्पेस प्रदान करता है।
2. वातावरण और कार्य संश्लेषण (Environment and Task Synthesis)
प्रत्येक डोमेन के लिए, टीम एंटिटीज, स्टेट वेरिएबल्स, टूल्स और इनिशियलाइजेशन कॉन्फ़िगरेशन वाले निष्पादन योग्य (executable) वातावरण बनाती है। इन्हें फाइल और कोड ऑपरेशन्स के लिए नियंत्रित सैंडबॉक्स वातावरण के साथ पायथन क्लासेस के रूप में स्थापित किया गया है। विविध इंटरैक्शन रूपों को सुनिश्चित करने के लिए चार पूरक मार्गों के माध्यम से कार्यों का संश्लेषण किया जाता है:
- DAG (डायरेक्टेड एसाइक्लिक ग्राफ): मल्टी-टर्न स्टेटफुल इंटरैक्शन और टूल-चेन निष्पादन पर ध्यान केंद्रित करता है।
- DAG-S: क्वेरी रिफाइनमेंट के माध्यम से DAG-आधारित कार्यों से सिंगल-टर्न कार्यों को व्युत्पन्न करता है।
- Solver: इम्प्लिसिट या एक्सप्लिसिट सॉल्वर-गाइडेड सिंथेसिस का उपयोग करके चयन, शेड्यूलिंग, आवंटन और अनुकूलन परिदृश्यों को लक्षित करता है।
- Program: ब्रांचिंग, इटरेशन, टास्क-प्रोग्राम सिंथेसिस और डिबगिंग से जुड़े जटिल प्रक्रियात्मक तर्क (procedural reasoning) पर ध्यान केंद्रित करता है।
परिणामी डेटासेट में 1,431 कार्य शामिल हैं, जिसमें मूल्यांकन लागत को कम करने और डेटा संदूषण (data contamination) को कम करने के लिए एक क्यूरेटेड "चुनौतीपूर्ण सेट" के रूप में 644 कार्य रखे गए हैं।
3. मूल्यांकन ढांचा (Evaluation Framework)
OmniaBench एक पार्टियली ऑब्जर्वेबल मार्कोव डिसीजन प्रोसेस (POMDP) फॉर्मूलेशन के भीतर एक एकीकृत ट्रजेक्टरी-आधारित मूल्यांकन ढांचे का उपयोग करता है।
- मेट्रिक्स: प्राथमिक मेट्रिक Pass@1 है।
- स्कोरिंग: कार्यों का मूल्यांकन दस-आयामी क्षमता वर्गीकरण (कार्य समझ, सूचना एकत्र करना, योजना बनाना और निर्णय लेना, स्टेट मैनेजमेंट, टूल का उपयोग, कोड और प्रोग्रामेटिक ऑपरेशन्स, डेटा विश्लेषण, ऑफिस और डॉक्यूमेंट हैंडलिंग, इंटरैक्टिव सहयोग, विश्वसनीयता और सुरक्षा) का उपयोग करके किया जाता है।
- सत्यापन: सामान्य कार्यों के लिए रूब्रिक-आधारित मानदंडों का उपयोग किया जाता है, जबकि प्रोग्राम-आधारित कार्यों के लिए ट्रजेक्टरीज और अंतिम ऑब्जर्वेशन्स के आधार पर बाइनरी पास/फेल परिणामों को निर्धारित करने के लिए VerifyCode का उपयोग किया जाता है।
- सिमुलेशन: मल्टी-टर्न इंटरैक्शन में प्रेफरेंस, कम्युनिकेशन स्टाइल और सूचना प्रकटीकरण के माध्यम से कठिनाई को नियंत्रित करने के लिए पर्सोना-ग्राउंडेड यूजर सिम्युलेटर्स का उपयोग किया जाता है।
मुख्य योगदान
यह पेपर चार प्राथमिक योगदानों को रेखांकित करता है:
- OmniaBench बेंचमार्क: एक परिदृश्य-समृद्ध, चुनौतीपूर्ण बेंचमार्क जो व्यापक वर्गीकरण (ToC/ToB/ToE) बनाने के लिए वास्तविक दुनिया के ऐप स्टोर, PRDs और वेब सर्च को एकीकृत करता है और इसे निष्पादन योग्य, मूल्यांकन योग्य एजेंट कार्यों में स्थापित करता है।
- बहु-आयामी क्षमता वर्गीकरण: दस विशिष्ट आयामों में मॉडल क्षमताओं को चित्रित करने वाला एक ढांचा, जो समग्र सफलता दर के परे सूक्ष्म नैदानिक विश्लेषण (fine-grained diagnostic analysis) सक्षम बनाता है।
- कंपोजिशनल एटोमिक डिफिकल्टी फ्रेमवर्क: एक डिज़ाइन जो उपयोगकर्ता इरादे, पर्सोना बाधाओं, वातावरण की स्थिति, टूल निष्पादन, मल्टी-टर्न इंटरैक्शन, त्रुटि सुधार और परिणाम सत्यापन के इर्द-गिर्द कार्यों की चुनौतियों को व्यवस्थित करता है।
- व्यवस्थित मूल्यांकन: क्लोज्ड-सोर्स और ओपन-सोर्स दोनों मॉडल्स का एक व्यापक मूल्यांकन, जो क्षमता सीमाओं, डोमेन विशेषज्ञता और त्रुटि पैटर्न के प्रमाण प्रदान करता है।
परिणाम
बेंचमार्क वर्तमान फ्रंटियर मॉडल्स के लिए पर्याप्त चुनौतियां पेश करता है:
- प्रदर्शन सीमा (Performance Ceiling): परीक्षण किए गए सबसे उन्नत मॉडल्स, Claude-Sonnet-5 और GPT-5.6-Sol ने क्रमशः केवल 58.54% और 57.14% के ओवरऑल Pass@1 स्कोर प्राप्त किए।
- क्षमता भिन्नता (Capability Variance): दस क्षमता आयामों में प्रदर्शन अत्यधिक गैर-समान है। समान समग्र स्कोर वाले मॉडल्स भी उल्लेखनीय रूप से भिन्न शक्तियों (जैसे, टास्क अंडरस्टैंडिंग बनाम स्टेट मैनेजमेंट में) का प्रदर्शन करते हैं।
- डोमेन भिन्नता (Domain Variance): ToB, ToC, और ToE स्प्लिट्स के बीच महत्वपूर्ण प्रदर्शन अंतर मौजूद हैं। उदाहरण के लिए, जबकि कुछ मॉडल्स ToB में उत्कृष्ट हैं, उनका प्रदर्शन ToE में गिर सकता है, जो दर्शाता है कि एक एकल समग्र मेट्रिक व्यावहारिक प्रयोज्यता को पूरी तरह से चित्रित नहीं कर सकता है।
- दक्षता (Efficiency): तुलनीय सफलता दर वाले मॉडल्स अक्सर टूल-यूज़ दक्षता में काफी भिन्न होते हैं। कुछ को रेडंडेंट एक्सप्लोरेशन और घुमावदार इंटरैक्शन की आवश्यकता होती है, जबकि अन्य संक्षिप्त, लक्षित टूल सीक्वेंस के साथ परिणाम प्राप्त करते हैं।
- त्रुटि विश्लेषण (Error Analysis): रीजनिंग-संबंधित विफलताओं के लिए 53.8% त्रुटियां जिम्मेदार हैं, जिसमें प्लानिंग/डीकंपोजिशन (36.7%) और कंस्ट्रेंट उल्लंघन (16.5%) प्रमुख योगदानकर्ता हैं। डायरेक्ट टूल-यूज़ त्रुटियां (जैसे, फॉर्मेटिंग) एक छोटा हिस्सा बनाती हैं, जो सुझाव देती हैं कि बॉटलनेक बेसिक इनवोकेशन के बजाय लॉन्ग-होरिज़न प्लानिंग और एडेप्टिव करेक्शन में हैं।
महत्व
OmniaBench सामान्य एजेंटों की क्षमता सीमाओं को चित्रित करने के लिए एक व्यापक और नैदानिक बेंचमार्क प्रदान करता है। लेखक तर्क देते हैं कि जैसे-जैसे समग्र कार्य सफलता दर में सुधार होता है, एक एकल समग्र स्कोर अपर्याप्त हो जाता है। इसके बजाय, बेंचमार्क विशिष्ट क्षमताओं, डोमेन विशेषज्ञता और विफलता पैटर्न के विश्लेषण के लिए एक व्यवस्थित आधार प्रदान करता है। प्लानिंग, कंस्ट्रेंट मेंटेनेंस और एडेप्टिव करेक्शन में निरंतर सीमाओं को उजागर करके, OmniaBench विविध, वास्तविक दुनिया के परिदृश्यों में काम करने में सक्षम अधिक मजबूत, कुशल और विश्वसनीय जनरल AI एजेंटों के विकास के मार्गदर्शन के लिए एक महत्वपूर्ण उपकरण के रूप में कार्य करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।