STRUCTSENSE: A Task-Agnostic Agentic Framework for Structured Information Extraction with Human-In-The-Loop Evaluation and Benchmarking
यह शोधपत्र स्ट्रक्टसेंस (StructSense) को प्रस्तुत करता है, जो एक मॉड्यूलर, कार्य-अज्ञेय (task-agnostic), ओपन-सोर्स फ्रेमवर्क है जो विविध वैज्ञानिक डोमेन में सुदृढ़, सामान्यीकरण योग्य संरचित सूचना निष्कर्षण प्राप्त करने के लिए ऑन्टोलॉजी-निर्देशित प्रतीकात्मक ज्ञान, एजेंटिक स्व-मूल्यांकन और मानव-इन-द-लूप सत्यापन को संयोजित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक लाइब्रेरियन हैं जो एक ऐसे पुस्तकालय को व्यवस्थित करने की कोशिश कर रहे हैं जो इतनी तेज़ी से बढ़ रहा है कि हर कुछ वर्षों में इसका आकार दोगुना हो जाता है। हर दिन, हज़ारों नई किताबें (वैज्ञानिक शोध पत्र) आती हैं, जो जटिल शब्दावली, भ्रमित करने वाले रेखाचित्रों और छिपे हुए तथ्यों से भरी होती हैं। उन सभी को पढ़ना और उनमें से महत्वपूर्ण हिस्सों को मैन्युअल रूप से निकालना असंभव है।
यहाँ आता है StructSense। इसे केवल एक रोबोट के रूप में न सोचें, बल्कि विशेषज्ञों की एक जासूसों की टीम के रूप में देखें जो इन किताबों को पढ़ने, तथ्यों को खोजने और उन्हें एक व्यवस्थित, खोजने योग्य डेटाबेस में व्यवस्थित करने के लिए मिलकर काम करती है।
यह टीम कैसे काम करती है, इसे सरल भागों में यहाँ समझाया गया है:
1. जासूसों की टीम (एजेंट्स)
एक बड़े मस्तिष्क के बजाय जो सब कुछ करने की कोशिश करता है, StructSense एक "मल्टी-एजेंट" सिस्टम का उपयोग करता है। कल्पना कीजिए कि एक जासूसों की टोली है जहाँ हर किसी का एक विशिष्ट कार्य है:
- द एक्सट्रैक्टर (द स्कैवेंजर - जानकारी निकालने वाला): यह जासूस बिखरे हुए टेक्स्ट को पढ़ता है और कच्ची जानकारी निकालता है। लेकिन वे केवल अनुमान नहीं लगाते; वे जीन, बीमारियों या मस्तिष्क के क्षेत्रों जैसी चीज़ों को खोजने के लिए विशेष आवर्धक लेंसों (विभिन्न AI मॉडल) के टूलकिट का उपयोग करते हैं। यदि एक मॉडल कुछ मिस कर देता है, तो दूसरा उसे पकड़ सकता है। वे टुकड़ों में काम करते हैं, जैसे किताब को पन्ना-दर-पन्ना पढ़ना।
- द एलाइनर (द ट्रांसलेटर - तालमेल बिठाने वाला): एक बार जब एक्सट्रैक्टर "कॉर्टेक्स" (cortex) जैसा शब्द खोज लेता है, तो एलाइनर पूछता है, "किस प्रकार का कॉर्टेक्स?" मस्तिष्क के पेपर में, यह मस्तिष्क की बाहरी परत है। लेकिन एक पौधे के पेपर में, यह तने की बाहरी परत है। एलाइनर यह सुनिश्चित करने के लिए एक विशाल, आधिकारिक शब्दकोश (जिसे ऑन्टोलॉजी कहा जाता है) की जाँच करता है कि शब्द का सही, मानकीकृत अर्थ निकाला गया है।
- द जज (द क्रिटिक - निर्णायक): यह जासूस एक्सट्रैक्टर और एलाइनर के काम की समीक्षा करता है। वे इस बात पर विश्वास का स्कोर 0 से 1 के बीच देते हैं कि जानकारी कितनी सही है। वे यह समझाने के लिए एक नोट भी लिखते है कि उन्होंने वह स्कोर क्यों दिया, ताकि हमें उनके तर्क का पता चल सके।
- द फीडबैक एजेंट (द ह्यूमन एडिटर - मानव संपादक): सबसे अच्छा AI भी गलतियाँ कर सकता है। यह एजेंट एक मानव विशेषज्ञ को हस्तक्षेप करने की अनुमति देता है। यदि AI कुछ गलत करता है, तो मानव उसे सुधार सकता है, और सिस्टम परिणाम को अंतिम रूप देने से पहले उस इनपुट से सीखता है।
2. "प्रूफ ऑफ वर्क" (प्रोवेनेंस - स्रोत की प्रामाणिकता)
AI की सबसे बड़ी समस्याओं में से एक यह है कि वह कभी-कभी "हैलुसिनेट" (भ्रमित होना) करता है—वह ऐसे तथ्य बनाता है जो सुनने में वास्तविक लगते हैं लेकिन वास्तव में नहीं होते। StructSense इसे एक फॉरेंसिक अन्वेषक की तरह काम करके हल करता है।
प्रत्येक तथ्य जिसे सिस्टम निकालता है, उसके साथ एक "रसीद" आती है। यह रिकॉर्ड करता है कि मूल पेपर का कौन सा वाक्य उस तथ्य से आया था और किस विशिष्ट टूल ने उसे खोजा। यदि सिस्टम उस सटीक स्थान की ओर इशारा नहीं कर सकता जहाँ से उसे तथ्य मिला, तो वह उस तथ्य को हटा देता है। यह सुनिश्चित करता है कि कुछ भी मनगढ़ंत न हो।
3. "लोकल लाइब्रेरी" (कॉन्सेप्ट मैपिंग)
एलाइनर को अपना काम करने में मदद करने के लिए, सिस्टम एक स्थानीय खोज इंजन का उपयोग करता है। कल्पना कीजिए कि आपके पास परिभाषाओं का एक विशाल पुस्तकालय है। जब सिस्टम एक शब्द पाता है, तो वह केवल अनुमान नहीं लगाता; वह सही मिलान खोजने के लिए इस स्थानीय पुस्तकालय की खोज करता है। पेपर ने पाया कि यह खोज इंजन बहुत प्रभावी था, भले ही खोज शब्द कठिन हों या उनके कई अर्थ हों।
4. उन्होंने कैसा प्रदर्शन किया? (परिणाम)
लेखकों ने इस टीम का परीक्षण तीन अलग-अलग प्रकार के "मामलों" पर किया:
- केस 1: फॉर्म्स (स्कीमा एक्सट्रैक्शन - संरचना निकालना): उन्होंने सिस्टम को बिखरे हुए PDF फॉर्म (जैसे मूड प्रश्नावली) को साफ, डिजिटल डेटा में बदलने के लिए कहा।
- परिणाम: सिस्टम लगभग पूर्ण था, जिसने 91% से 100% डेटा को सही ढंग से निकाला। यह एक ऐसे रोबोट की तरह था जो हाथ से भरे फॉर्म को पढ़ सकता है और बिना किसी टाइपो के उसे स्प्रेडशीट में टाइप कर सकता है।
- केस 2: द ट्रेजर हंट (रिसोर्स एक्सट्रैक्शन - संसाधन खोजना): उन्होंने सिस्टम को वैज्ञानिक शोध पत्रों में उल्लेखित विशिष्ट उपकरणों, डेटासेट और मॉडलों को खोजने के लिए कहा।
- परिणाम: यह बहुत सफल रहा, जिसने 86% से 93% संसाधनों को सही ढंग से पहचाना।
- केस 3: द वर्ड सर्च (नेम्ड एंटिटी रिकग्निशन - नाम पहचानना): उन्होंने सिस्टम को न्यूरोसाइंस पेपर में विशिष्ट वैज्ञानिक शब्दों (जैसे "मस्तिष्क क्षेत्र" या "जीन") को खोजने और लेबल करने के लिए कहा।
- परिणाम: यह सबसे कठिन कार्य था क्योंकि विज्ञान की भाषा बहुत जटिल है। सिस्टम ने 58% से 75% लेबल सही किए। हालाँकि, इसने 1,000 से 3,600 अतिरिक्त महत्वपूर्ण शब्द भी खोज निकाले जिन्हें मानक परीक्षणों ने छोड़ दिया था, जो दर्शाता है कि यह उन चीजों को देख सकता है जो अन्य नहीं देख पाते।
निष्कर्ष
StructSense एक नया, ओपन-सोर्स फ्रेमवर्क है जो वैज्ञानिकों को वैज्ञानिक शोध पत्रों के अराजक प्रवाह को व्यवस्थित, विश्वसनीय डेटा में बदलने में मदद करता है। यह यह करता है:
- एक सामान्य विशेषज्ञ के बजाय विशेषज्ञ AI एजेंटों की एक टीम का उपयोग करके।
- झूठ (हैलुसिनेशन) को रोकने के लिए मूल टेक्स्ट के साथ अपने काम की जाँच करके।
- शब्दों का अर्थ सभी के लिए समान सुनिश्चित करने के लिए आधिकारिक शब्दकोशों का उपयोग करके।
- गलतियों को ठीक करने के लिए मनुष्यों को हस्तक्षेप करने की अनुमति देकर।
पेपर दिखाता है कि यह दृष्टिकोण बिना किसी नए विषय के लिए पुन: प्रशिक्षित हुए, विभिन्न प्रकार के विज्ञान (जैसे न्यूरोसाइंस और सामान्य जीव विज्ञान) में अच्छी तरह काम करता है। यह एक ऐसा उपकरण है जिसे शोधकर्ताओं को नए ज्ञान के विस्फोट के साथ तालमेल बनाए रखने में मदद करने के लिए डिज़ाइन किया गया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।