ExtractBench: A Benchmark for Schema-Guided Enterprise Document Extraction
यह शोध पत्र ExtractBench को प्रस्तुत करता है, जो 370 दस्तावेजों और 67 प्रकारों में स्कीमा-निर्देशित एंटरप्राइज डॉक्यूमेंट एक्सट्रैक्शन के मूल्यांकन के लिए एक व्यापक बेंचमार्क है, जो यह प्रकट करता है कि LlamaExtract Agentic Plus कोडिंग एजेंटों की तुलना में काफी कम लागत पर अत्याधुनिक सटीकता और ग्राउंडिंग प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे एक जासूस हैं, लेकिन आपका अपराध स्थल कोई अपराध स्थल नहीं, बल्कि कागजी कार्रवाई का एक बिखरा हुआ ढेर है। कुछ कागज साफ और टाइप किए हुए हैं, कुछ हाथ से लिखे हुए और मुड़े हुए रसीदें हैं, और कुछ इतने लंबे हैं कि वे पूरी बुकशेल्फ़ पर फैले हुए हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, एक विशेष प्रकार का रोबोट है जिसे "एजेंट" कहा जाता है, जिसे इन दस्तावेजों को पढ़ना सिखाया जा रहा है। इसका काम विशिष्ट सुराग ढूंढना है—जैसे कि तारीख, डॉलर की राशि, या कोई नाम—और उन्हें एक व्यवस्थित सूची में लिखना जिसे "स्कीमा" (schema) कहा जाता है। स्कीमा को एक सख्त रेसिपी की तरह समझें: रोबोट को इसे बिल्कुल वैसे ही मानना होगा, चाहे सामग्री (दस्तावेज) कितनी भी अस्त-व्यस्त क्यों न हो।
लेकिन पेचीदा बात यह है कि सिर्फ इसलिए कि रोबोट ने सही नंबर लिख दिए, इसका मतलब यह नहीं है कि उसने वास्तव में उन्हें देखा है। हो सकता है कि उसने अनुमान लगाया हो, या शायद वह सुरागों का एक पूरा पन्ना देखना ही भूल गया हो। व्यवसायों के लिए, यह एक बड़ी बात है। यदि एक रोबोट को हजारों बीमा दावों या बैंक विवरणों को पढ़ने के लिए कहा जाता है, तो उसे न केवल सटीक होना चाहिए, बल्कि उसे उस सटीक स्थान की ओर भी इशारा करने में सक्षम होना चाहिए जहाँ उसने उत्तर पाया था। यदि वह गलत होता है, तो एक इंसान को जल्दी से सबूतों की जांच करने में सक्षम होना चाहिए। यह "स्कीमा-गाइडेड एक्सट्रैक्शन" (schema-guided extraction) की चुनौती है: एक रोबोट को एक रेसिपी का पूरी तरह से पालन करने के लिए तैयार करना, भले ही सामग्री बिखरी हुई, लंबी या क्रेयॉन से लिखी हुई क्यों न हो।
यहाँ आता है ExtractBench, एक नया, अत्यंत कठिन परीक्षण जिसे यह देखने के लिए डिज़ाइन किया गया है कि कौन से एआई रोबोट वास्तव में वास्तविक दुनिया के लिए तैयार हैं। इस अध्ययन के पीछे के शोधकर्ताओं ने केवल यह नहीं जानना चाहते थे कि क्या रोबोट पढ़ सकते हैं; वे यह जानना चाहते थे कि क्या वे सब कुछ सही ढंग से पढ़ सकते हैं, अपना काम दिखा सकते हैं, और बिना बहुत अधिक खर्च किए ऐसा कर सकते हैं। उन्होंने 370 अलग-अलग प्रकार के दस्तावेजों वाला एक विशाल "परीक्षा हॉल" बनाया—जिसमें छोटी रसीदों से लेकर 50-पेज की सरकारी रिपोर्ट तक शामिल थे—जो वित्त, ऊर्जा और स्वास्थ्य सेवा जैसे 8 विभिन्न उद्योगों को कवर करते हैं। उन्होंने ऐसे दस्तावेज भी शामिल किए जो स्कैन किए गए थे, हस्तलिखित थे, या जिनमें अजीबोगरीब टेबल थे जो कई पृष्ठों तक फैले हुए थे।
बड़ी हैरानी की बात? सबसे "स्मार्ट" दिखने वाले रोबोट हमेशा नहीं जीते। अध्ययन में पाया गया कि जबकि कुछ शक्तिशाली एआई मॉडल छोटे, साफ दस्तावेजों को पढ़ने में माहिर हैं, वे अक्सर थक जाते हैं और लंबे दस्तावेजों को बीच में ही पढ़ना छोड़ देते हैं, जिससे डेटा के बड़े हिस्से छूट जाते हैं। दूसरी ओर, कुछ रोबोट जो समस्या को हल करने के लिए अपना खुद का कोड लिखते हैं, वे बहुत सटीक होते हैं लेकिन उन्हें चलाने में बहुत पैसा खर्च होता है। शोधकर्ताओं ने LlamaExtract Agentic Plus नामक एक सिस्टम के साथ एक "स्वीट स्पॉट" (सही संतुलन) की खोज की। इसने महंगे कोड-लिखने वाले रोबोटों जितनी ही बार सही उत्तर दिए, लेकिन इसने बहुत कम कीमत पर ऐसा किया।
हालाँकि, अध्ययन ने एक बड़ी कमी भी उजागर की। यहाँ तक कि बेहतरीन रोबोट भी "ग्राउंडिंग" (grounding) के साथ संघर्ष करते हैं—अर्थात, पृष्ठ पर उस सटीक शब्द की ओर इशारा करने की क्षमता जिसने उन्हें उत्तर दिया। जबकि कुछ सिस्टम आपको बता सकते थे कि उत्तर किस पेज पर था, आधे से भी कम सिस्टम सटीक शब्द की ओर इशारा कर सके। यह पेपर सुझाव देता है कि जबकि हम सही नंबर प्राप्त करने में बेहतर हो रहे हैं, रोबोट को विश्वसनीय रूप से अपना होमवर्क दिखाना सिखाना अभी भी एक प्रगतिशील कार्य है। संक्षेप में, ExtractBench साबित करता है कि एंटरप्राइज कार्य के लिए, आपको केवल एक स्मार्ट रोबोट की आवश्यकता नहीं है; आपको एक ऐसे रोबोट की आवश्यकता है जो गहन हो, अपने सुरागों के बारे में ईमानदार हो, और बजट को भी न बिगाड़े।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।