💬 NLP

WorkSurface-Bench: Benchmarking Enterprise Agents on Multi-Surface Knowledge Routing

यह शोधपत्र WorkSurface-Bench प्रस्तुत करता है, जो 1,151 ऑडिट करने योग्य कार्यों वाला एक नया बेंचमार्क है जिसे विषम ज्ञान सतहों (दस्तावेजों, तालिकाओं और ग्राफों) में प्रश्नों को रूट करने की एंटरप्राइज एजेंटों की क्षमता का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जिससे यह पता चलता है कि हालांकि एजेंट उच्च रूटिंग सटीकता प्राप्त कर सकते हैं, लेकिन केवल सही सतह का चयन उच्च कार्य पूर्णता दरों के लिए पर्याप्त नहीं है।

मूल लेखक: Hao Liang, Meiyi Qiang, Sizhe Qiu, Linzhuang Sun, Wentao Zhang

प्रकाशित 2026-07-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hao Liang, Meiyi Qiang, Sizhe Qiu, Linzhuang Sun, Wentao Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक व्यस्त कार्यालय चलाने में मदद के लिए एक बहुत ही बुद्धिमान रोबोट सहायक को काम पर रख रहे हैं। आप उससे एक जटिल प्रश्न पूछते हैं, जैसे, "पिछले महीने हमने शिपिंग पर कितना खर्च किया था, और कौन सी फाइलें देरी का कारण बन रही हैं?" इस उत्तर को देने के लिए, रोबोट केवल अनुमान नहीं लगा सकता; उसे जानकारी ढूँढनी होगी। लेकिन यहाँ एक पेच है, कार्यालय में तीन बहुत अलग प्रकार की सूचना वाली अलमारियाँ हैं। एक लाइब्रेरी (Library) है जो लिखित रिपोर्ट और PDF (दस्तावेजों) से भरी है, एक स्प्रेडशीट रूम (Spreadsheet Room) है जिसमें संख्याओं और गणनाओं की पंक्तियाँ और कॉलम भरे हुए हैं (तालिकाएं), और एक मैप रूम (Map Room) है जो यह दिखाता है कि प्रत्येक फ़ाइल दूसरी फ़ाइल से कैसे जुड़ी है (ग्राफ)।

लंबे समय तक, रोबोटों का परीक्षण करने वाले वैज्ञानिकों ने ज्यादातर यह पूछा, "क्या आपको सही उत्तर मिला?" यदि रोबोट ने गलत कमरे में देखा, गलत किताब चुनी, या गणित गलत किया, तो परीक्षण केवल यह कहता था: "फेल (असफल)"। लेकिन यह हमें यह नहीं बताता था कि क्यों वह असफल हुआ। क्या रोबोट को यह नहीं पता था कि उसे मैप रूम में जाने की आवश्यकता है? या क्या वह मैप रूम में गया, सही मैप ढूँढा, लेकिन उसे पढ़ते समय भ्रमित हो गया? यह शोध पत्र उस कमी को भरने के लिए आया है। यह रोबोटों का परीक्षण करने का एक नया तरीका पेश करता है जो सही कमरा चुनने के कार्य को कमरे के अंदर पहेली सुलझाने के कार्य से अलग करता है। यह पूछता है: क्या रोबट वास्तव में खोजने से पहले ही यह पता लगा सकता है कि उसे किस प्रकार के ज्ञान की आवश्यकता है?

नया खेल: वर्कसरफेस-बेंच (WorkSurface-Bench)

शोधकर्ताओं ने वर्कसरफेस-बेंच नामक एक नया परीक्षण मैदान बनाया। इसे एक विशाल, वास्तविक कार्यालय सिमुलेशन के रूप में सोचें जिसमें 1,151 अलग-अलग कार्य हैं। उन्होंने पांच अलग-अलग "पर्सोना" (जैसे कि एक लॉजिस्टिक्स मैनेजर या एक वित्तीय विश्लेषक) स्थापित किए और उन्हें तीन अलग-अलग सतहों तक पहुँच दी: एक दस्तावेज़ लाइब्रेरी, एक टेबल डेटाबेस, और एक फ़ाइल-संबंध ग्राफ।

यहाँ मुख्य नवाचार यह है कि वे रोबोटों को कैसे ग्रेड देते हैं। केवल अंतिम उत्तर पर पास या फेल देने के बजाय, वे दो अलग-अलग चीजों को स्कोर करते हैं:

रूट (Route): क्या रोबोट ने सही "सतह" (लाइब्रेरी, स्प्रेडशीट, या मैप) चुनी?
उत्तर (Answer): क्या उसने उन्हें चुनने के बाद वास्तव में समस्या को सही ढंग से हल किया?

उन्होंने हर उत्तर के लिए एक "गोल्ड स्टैंडर्ड" (स्वर्ण मानक) बनाया। यदि किसी कार्य के लिए गणितीय गणना की आवश्यकता थी, तो उन्होंने सही उत्तर प्राप्त करने के लिए वास्तविक कोड चलाया। यदि इसमें दस्तावेज़ पढ़ने की आवश्यकता थी, तो उन्होंने स्रोत में सटीक शब्दों की जाँच की। यदि इसमें फ़ाइल कनेक्शन की आवश्यकता थी, तो उन्होंने वास्तविक पथ का पता लगाया। इसका मतलब है कि "सही" उत्तर किसी अन्य AI का अनुमान नहीं है; यह एक सत्यापित तथ्य है।

बड़ी हैरानी: कहाँ देखना है, यह जानना पर्याप्त नहीं है

टीम ने छह अलग-अलग परिदृश्यों में चार सबसे स्मार्ट उपलब्ध AI मॉडल का परीक्षण किया (जिसमें GPT-4o-mini, DeepSeek-V4-Pro, Gemini-3.1-Pro, और GPT-5.5 शामिल हैं)। वे यह देखना चाहते थे कि क्या रोबोट को ठीक-ठीक बताने से कि उसे किस कमरे में जाना है, उसका काम आसान बनाने से उसकी गलतियाँ सुधरती हैं या नहीं।

यहाँ उन्हें जो मिला, वह थोड़ा चौंकाने वाला है: यह जानना कि कहाँ देखना है, यह गारंटी नहीं देता कि आप उत्तर ढूँढ लेंगे।

जब शोधकर्ताओं ने रोबोटों को केवल सही सतहों का उपयोग करने के लिए मजबूर किया (एक "गोल्ड-कंस्ट्रेंड" सेटिंग), तो रोबोट सही सतह चुनने में लगभग उत्तम हो गए। उनका "रूट" स्कोर बढ़कर 98.7% से 99.8% के बीच हो गया। वे जानते थे कि कहाँ जाना है।

हालाँकि, उनका "उत्तर" स्कोर—वास्तविक समाधान की शुद्धता—केवल 56.1% से 75.3% के बीच पहुँचा।

इसका अर्थ यह है कि भले ही रोबोट सही कमरे में खड़ा था और उसके हाथ में सही मैप था, फिर भी वह एक चौथाई से अधिक बार गलत उत्तर दे रहा था। हो सकता है कि उसने सही फ़ाइल ढूँढ ली हो लेकिन संख्याओं को गलत पढ़ लिया हो, या उसने स्प्रेडशीट और दस्तावेज़ से जानकारी को गलत तरीके से जोड़ा हो। यह शोध पत्र दिखाता है कि "सही उपकरण चुनना" और "उपकरण का सही उपयोग करना" दो पूरी तरह से अलग कौशल हैं, और एक में अच्छा होने का मतलब यह नहीं है कि आप दूसरे में भी अच्छे होंगे।

संकेत बनाम प्रतिबंध

शोधकर्ताओं ने "संकेत देने" बनाम "विकर्षण हटाने" का एक मजेदार खेल भी खेला।

संकेत (The Hint): उन्होंने रोबतों को बताया, "आपको स्प्रेडशीट और मैप देखने की आवश्यकता है।" इसने रोबोटों को सही सतहों को बेहतर ढंग से चुनने में मदद की, और कुछ मॉडलों के लिए, इसने उनके अंतिम उत्तरों में भी थोड़ा सुधार किया।
प्रतिबंध (The Restriction): इसके बाद उन्होंने उन सभी उपकरणों को हटा दिया जिनकी रोबोटों को आवश्यकता नहीं थी। इससे रोबोट बहुत तेज़ और अधिक कुशल हो गए, और उन्होंने सही सतहों को और भी बेहतर तरीके से चुना। लेकिन, आश्चर्यजनक रूप से, इससे अंतिम उत्तर हमेशा बेहतर नहीं हुआ। वास्तव में, कुछ मॉडलों के लिए, अतिरिक्त उपकरणों को हटाने से वे वास्तव में थोड़े खराब हो गए, संभवतः इसलिए क्योंकि उन्होंने किसी अन्य उपकरण के साथ अपने काम को दोबारा जांचने (double-check) की क्षमता खो दी थी।

भविष्य के लिए इसका क्या अर्थ है

शोध पत्र निष्कर्ष निकालता है कि हम अब केवल AI एजेंट के अंतिम स्कोर को नहीं देख सकते। यदि कोई AI किसी प्रश्न का गलत उत्तर देता है, तो हमें यह जानने की आवश्यकता है कि वह इसलिए विफल हुआ क्योंकि उसे यह नहीं पता था कि क्या खोजना है, या इसलिए कि उसने सही स्थान पर जाकर भी वहां मिली जानकारी को प्रोसेस (संसाधित) करने में गलती की।

शोधकर्ताओं ने रोबोटों के 27,624 अलग-अलग प्रयासों में इसे मापा, और वे इन नंबरों के बारे में बहुत आश्वस्त हैं क्योंकि उन्होंने मानव परीक्षकों और सख्त नियमों के साथ परिणामों का ऑडिट किया है। उन्होंने पाया कि जबकि सर्वश्रेष्ठ रोबोट रूटिंग (98%+) में बहुत अच्छे हो रहे हैं, वे अभी भी टुकड़ों को सही ढंग से जोड़ने (लगभग 56-75%) के अंतिम चरण में संघर्ष कर रहे हैं।

संक्षेप में, स्मार्ट ऑफिस रोबोटों का भविष्य केवल उन्हें कार्यालय के बेहतर नक्शे देने के बारे में नहीं है; बल्कि यह उन्हें वहां पहुँचने के बाद संकेतों को पढ़ना और गणित करना सिखाने के बारे में है। यह शोध पत्र एक नया, विस्तृत स्कोरबोर्ड प्रदान करता है ताकि डेवलपर्स यह ट्रैक कर सकें कि उनके रोबोट वास्तव में कहाँ लड़खड़ा रहे हैं, ताकि वे पूरे सिस्टम के बेहतर होने की उम्मीद करने के बजाय, सीधे उस विशिष्ट हिस्से को ठीक कर सकें जो काम नहीं कर रहा है।

तकनीकी सारांश: WorkSurface-Bench

समस्या विवरण (Problem Statement)

एंटरप्राइज एजेंट अक्सर ऐसे प्रश्नों का सामना करते हैं जिनमें विषम ज्ञान रूपों (heterogeneous knowledge forms) तक एक साथ पहुँच की आवश्यकता होती है: दस्तावेजों में नैरेटिव तथ्य (narrative facts), तालिकाओं में गणनाएँ (calculations in tables), और डिपेंडेंसी ग्राफ में फ़ाइल संबंध (file relationships in dependency graphs)। मौजूदा बेंचमार्क आमतौर पर रिट्रीवल (RAG) या टूल उपयोग का अलग-अलग मूल्यांकन करते हैं, जो एजेंट की सही ज्ञान प्रतिनिधित्व को चुनने की क्षमता (surface routing) और उस प्रतिनिधित्व का सही ढंग से उपयोग करने की क्षमता के बीच अंतर करने में विफल रहते हैं। फलस्वरूप, एंड-टू-एंड सटीकता स्कोर इन विशिष्ट क्षमताओं को मिला देते हैं, जिससे यह निदान करना कठिन हो जाता है कि विफलता गलत स्रोत चुनने, अपूर्ण साक्ष्य प्राप्त करने, या उत्तर को गलत तरीके से संश्लेषित (synthesize) करने के कारण हुई है।

कार्यप्रणाली (Methodology)

लेखक WorkSurface-Bench पेश करते हैं, जो सरफेस रूटिंग को उत्तर निर्माण (answer generation) से अलग करने के लिए डिज़ाइन किया गया एक बेंचमार्क है। इसकी कार्यप्रणाली में तीन मुख्य घटक शामिल हैं:

1. बेंचमार्क निर्माण (Benchmark Construction)

यह बेंचमार्क Workspace-Bench-Lite कॉर्पस से लिया गया है, जिसे तीन कैनोनिकल, रूट करने योग्य सतहों (surfaces) पर प्रोजेक्ट किया गया है:

दस्तावेज़ (RAG): 493 कैनोनिकल UTF-8 मार्कडाउन दस्तावेज़।
तालिका (Table): सामान्यीकृत CSV/XLSX शीट्स से उत्पन्न 207 DuckDB व्यूज़।
ग्राफ (Graph): फ़ाइल वंश (lineage) और निर्भरता (जैसे, फ़ाइल-डिपेंड्स-ऑन-फ़ाइल) का प्रतिनिधित्व करने वाले 1,438 किनारे (edges)।
मेटाडेटा (Metadata): SOPs को रूट करने योग्य सतह के बजाय कार्य मेटाडेटा के रूप में रखा गया है।

डेटासेट पाँच पर्सोना-स्कोप वाले वर्कस्पेस में 1,151 परमाणु कार्यों (atomic tasks) से बना है। कार्यों को आवश्यक सतहों के आधार पर वर्गीकृत किया गया है: rag_only, table_only, graph_only, और cross_surface (तीनों के संयोजन की आवश्यकता वाले कार्य)।

2. सत्यापन योग्य गोल्ड स्टैंडर्ड (Verifiable Gold Standard)

ऑडिटेबिलिटी सुनिश्चित करने के लिए, संदर्भ उत्तर मॉडलों द्वारा उत्पन्न नहीं किए जाते बल्कि नियतात्मक निष्पादन (deterministic execution) से प्राप्त किए जाते हैं:

टेबल उत्तर: DuckDB क्वेरीज़ के माध्यम से निष्पादित।
दस्तावेज़ उत्तर: स्रोत फ़ाइलों में वर्बेटम स्पैन (verbatim spans) के विरुद्ध सत्यापित।
एक कठोर स्क्रीनिंग पाइपलाइन जिसमें नियतात्मक जाँच, LLM-सहायता प्राप्त प्रस्ताव (GPT-5.5), और स्वतंत्र मानव/LLM ऑडिट (DeepSeek, Gemini) शामिल हैं, यह सुनिश्चित करती है कि अंतिम सेट में कोई प्रोटोकॉल त्रुटि नहीं है और यह उत्तरदायित्व (answerability) तथा सतह की आवश्यकता के सख्त मानदंडों को पास करता है।

3. स्कोरिंग प्रोटोकॉल (Scoring Protocol)

मूल्यांकन ढांचा प्रत्येक कार्य के लिए चार अलग-अलग मेट्रिक्स को स्कोर करता है:

Route F1: चयनित सतह सेट की शुद्धता (precision) और रिकॉल (recall) को गोल्ड-आवश्यक सेट के विरुद्ध मापता है।
Evidence (साक्ष्य): ट्रेस में वास्तव में एक्सेस किए गए आवश्यक आर्टिफ़ेक्ट्स (फ़ाइलें, व्यूज़, नोड्स) के अंश को मापता है।
Answer (उत्तर): उत्तर के प्रकार के आधार पर सटीक मिलान (exact match), सापेक्ष त्रुटि सहनशीलता (relative error tolerance), या सेट F1 का उपयोग करके अंतिम शुद्धता का मूल्यांकन करता है।
Efficiency (दक्षता): एक निरंतर स्कोर जो कार्य-विशिष्ट बजट के सापेक्ष टोकन उपयोग को दंडित करता है।

इन मेट्रिक्स को निम्नलिखित भार (weights) के साथ एक एकल स्कोर में एकत्रित किया जाता है: उत्तर (35%), साक्ष्य (30%), रूट (25%), और दक्षता (10%)।

प्रयोगात्मक सेटअप (Experimental Setup)

लेखकों ने छह एजेंट सेटिंग्स के तहत चार बैकबोन मॉडल्स (GPT-4o-mini, DeepSeek-V4-Pro, Gemini-3.1-Pro, और GPT-5.5) का मूल्यांकन किया:

No-tool: क्लोज्ड-बुक बेसलाइन।
Always-RAG: एक एकल दस्तावेज़ खोज को मजबूर करता है।
Naive-router: शुरुआत में ठीक एक सतह का चयन करता है।
ReAct-all: तीनों सतहों को उजागर करता है, जिससे मुक्त इंटरलीविंग (free interleaving) संभव होती है।
Gold-constrained: एजेंट को आवश्यक सतहें दी जाती हैं लेकिन उसे उनके भीतर टूल्स चुनने होते हैं।
Gold-hint/all: एजेंट को आवश्यक सतहें दी जाती हैं लेकिन सभी टूल्स उपलब्ध रहते हैं।

मुख्य परिणाम (Key Results)

प्रयोगों से, जो 27,624 रिटेन ट्रेजेक्टरीज को कवर करते हैं, कई महत्वपूर्ण निष्कर्ष प्राप्त होते हैं:

रूटिंग $\neq$ उत्तर देना (Routing $\neq$ Answering): रूटिंग सफलता और उत्तर सटीकता के बीच केवल एक मध्यम सहसंबंध ( $\rho = 0.62$ ) है। भले ही एजेंट Gold-constrained (सही सतहों का उपयोग करने के लिए मजबूर) हों, और लगभग पूर्ण Route F1 (98.7–99.8%) प्राप्त कर रहे हों, फिर भी उनकी Answer सटीकता काफी कम (56.1–75.3%) रहती है।
पोस्ट-रूटिंग बाधाएं (Post-Routing Bottlenecks): उच्च रूटिंग स्कोर सही निष्पादन की गारंटी नहीं देते हैं। Gold-constrained सेटिंग्स के तहत, एजेंट अभी भी साक्ष्य प्राप्ति (Evidence scores: 66.7–78.5%) और डाउनस्ट्रीम गणना/संश्लेषण में विफल रहते हैं।
हिंट्स बनाम प्रतिबंधों का प्रभाव (Impact of Hints vs. Restrictions):
- सतह संकेत प्रदान करने से (S4 $\to$ S6) चार में से तीन मॉडलों के लिए Answer सटीकता में सुधार होता है, लेकिन रूटिंग पर इसका प्रभाव परिवर्तनशील रहता है।
- अप्रासंगिक टूल्स को हटाने से (S6 $\to$ S5) Route F1 और Efficiency में महत्वपूर्ण सुधार होता है, लेकिन यह समान रूप से Answer सटीकता में सुधार नहीं करता है; कुछ मामलों में, यह प्रदर्शन को कम भी कर देता है।
सतह-विशिष्ट प्रदर्शन (Surface-Specific Performance): प्रदर्शन कार्य के प्रकार के अनुसार भिन्न होता है। जबकि Table-only कार्य आम तौर पर उच्चतम स्कोर (91.0% तक) देते हैं, Cross-surface कार्य सबसे चुनौतीपूर्ण बने हुए हैं, जहाँ स्कोर मॉडल के सर्वश्रेष्ठ सिंगल-सरफेस प्रदर्शन से 13.0–45.7 अंक नीचे गिर जाता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि WorkSurface-Bench पहला वर्कस्पेस बेंचमार्क है जो Answer मेट्रिक से अलग सतह रूटिंग को स्कोर करता है। इसकी प्राथमिक महत्ता निम्नलिखित में निहित है:

नैदानिक स्पष्टता (Diagnostic Clarity): मेट्रिक्स को अलग करके, यह बेंचमार्क शोधकर्ताओं को यह पहचानने की अनुमति देता है कि क्या एजेंट चयन, रिट्रीवल, या संश्लेषण में विफल हो रहा है, बजाय इसके कि सभी विफलताओं को एक मोनोलिथिक "इंटेलिजेंस" स्कोर के रूप में जिम्मेदार ठहराया जाए।
क्षमताओं का पृथक्करण (Decoupling Abilities): इसके परिणाम दर्शाते हैं कि कहाँ देखना है (रूटिंग) जानना, यह जानकारी को कैसे उपयोग करना है (उत्तर देना) से एक अलग क्षमता है।
मूल्यांकन की कठोरता (Evaluation Rigor): निष्पादन योग्य, ऑडिट योग्य गोल्ड उत्तरों (SQL, स्पैन, एनोटेशन) का उपयोग मॉडल-जनित संदर्भों पर निर्भरता को समाप्त करता है, जो एंटरप्राइज एजेंट मूल्यांकन के लिए अधिक विश्वसनीय ग्राउंड ट्रुथ प्रदान करता है।

लेखक निष्कर्ष निकालते हैं कि भविष्य के एजेंट मूल्यांकनों को सतह चयन को अलग से रिपोर्ट करना चाहिए और स्पष्ट रूप से परीक्षण करना चाहिए कि क्या सिस्टम रिट्रीव किए गए साक्ष्य को सही उत्तरों में बदलने में सक्षम हैं, न कि केवल एंड-टू-एंड सटीकता पर निर्भर रहना चाहिए।