HERMES: a multi-agent framework for structured knowledge extraction from ultra-long documents in geoscience
HERMES एक स्केलेबल मल्टी-एजेंट फ्रेमवर्क है जो एक समन्वयकारी लार्ज लैंग्वेज मॉडल का लाभ उठाकर अति-दीर्घ, असंरचित भू-विज्ञान दस्तावेजों से संरचित, FAIR-उन्मुख ज्ञान निकालता है, जिसने 55-खंडों वाले 'ट्रीटाइज ऑन इनवर्टेब्रेट पैलियोन्टोलॉजी' को उच्च सटीकता और मैनुअल तरीकों की तुलना में छह गुना दक्षता लाभ के साथ एक व्यापक डेटाबेस में सफलतापूर्वक परिवर्तित किया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
विज्ञान की दुनिया की कल्पना एक विशाल, प्राचीन पुस्तकालय के रूप में करें जहाँ सबसे महत्वपूर्ण कहानियाँ चमकदार नई टैबलेटों में नहीं, बल्कि भारी किताबों के धूल भरे, ऊंचे ढेरों में रखी हैं। ये किताबें हमारे ग्रह के बारे में खोजों से भरी हैं—जैसे जीवाश्म कहाँ रहते थे, चट्टानें कैसे बनीं, और लाखों साल पहले पृथ्वी का चुंबकीय क्षेत्र कैसा दिखता था। समस्या यह है कि ये कहानियाँ इस तरह लिखी गई हैं जिन्हें कंप्यूटर पढ़ नहीं सकते। वे लंबे पैराग्राफों, अव्यवस्थित तालिकाओं और छोटे कैप्शन वाली तस्वीरों में फंसी हुई हैं। यह एक खजाने के नक्शे जैसा है जो एक गुप्त कोड में लिखा गया है जिसे केवल कुछ मानव विशेषज्ञ ही समझ सकते हैं। इस समस्या को हल करने के लिए, वैज्ञानिक आर्टिफिशियल इंटेलिजेंस (AI) द्वारा संचालित "डिजिटल लाइब्रेरियन" बना रहे हैं। ये केवल साधारण सर्च इंजन नहीं हैं; ये स्मार्ट सिस्टम हैं जो एक किताब को पढ़ सकते हैं, एक तालिका और एक कहानी के बीच अंतर समझ सकते हैं, और एक नया, खोजने योग्य डेटाबेस बनाने के लिए विशिष्ट तथ्य निकाल सकते हैं। बड़ा सवाल यह है: क्या एक कंप्यूटर इन विशाल, जटिल किताबों को बिना भ्रमित हुए, विवरण छोड़े बिना, या अपनी ओर से कुछ मनगढ़ंत बनाए बिना पढ़ने के लिए पर्याप्त स्मार्ट हो सकता है?
यहाँ HERMES आता है, डिजिटल जासूसों की एक नई टीम जिसे इसी चुनौती से निपटने के लिए डिज़ाइन किया गया है। HERMES को एक एकल रोबोट के रूप में नहीं, बल्कि एक विशाल पहेली पर काम करने वाली एक सुव्यवस्थित निर्माण टीम के रूप में सोचें। एक अकेला कर्मचारी एक 500 पन्नों की किताब को एक साथ पढ़ने के बजाय, HERMES विशेषज्ञों की एक टीम को समन्वय करने के लिए एक "मैनेजर" AI का उपयोग करता है। एक विशेषज्ञ पन्नों को स्कैन करता है और चित्रों को टेक्स्ट में बदलता है; दूसरा जीवाश्म प्रजातियों जैसे विशिष्ट नामों की तलाश करता है; तीसरा संख्याओं की जाँच करता है ताकि यह सुनिश्चित हो सके कि वे सही हैं; और चौथा एक जासूस की तरह काम करता है, यह नोट करता है कि प्रत्येक तथ्य किताब में वास्तव में कहाँ पाया गया ताकि इंसान काम की दोबारा जाँच कर सकें। इस प्रणाली का परीक्षण ट्रेटाइज ऑन इनवर्टेब्रेट पैलियोन्टोलॉजी (Treatise on Invertebrate Paleontology) पर किया गया था, जो प्राचीन समुद्री जीवों के बारे में हजारों पन्नों वाली 55 किताबों की एक दिग्गज श्रृंखला है। परिणाम प्रभावशाली थे: HERMES ने सफलतापूर्वक 32,277 जीवाश्म नाम और उनके बारे में लगभग 452,000 विवरण निकाले, जिससे एक विशाल, व्यवस्थित डेटाबेस बना जिसे पहले हाथ से बनाना असंभव था। टीम ने पाया कि यह AI टीम मनुष्यों की टीम की तुलना में लगभग छह गुना तेज़ी से काम करती थी, जबकि सटीकता भी उच्च बनी रही। इससे भी बेहतर बात यह है कि यह सिस्टम केवल जीवाश्मों तक ही सीमित नहीं था; जब शोधकर्ताओं ने इसे पृथ्वी के चुंबकीय क्षेत्रों और चट्टानों के रसायन विज्ञान के बारे में विभिन्न प्रकार की किताबें दीं, तो इसने खुद को ढाला और वहां भी अच्छा प्रदर्शन किया, जो यह सुझाव देता है कि यह "टीम ऑफ एजेंट्स" वाला दृष्टिकोण विज्ञान के कई अन्य क्षेत्रों में ज्ञान को अनलॉक करने में मदद कर सकता है।
पेपर बताता है कि जबकि आधुनिक AI लंबे टेक्स्ट को पढ़ने में बेहतर हो रहा है, यह अक्सर बहुत लंबे दस्तावेजों के "मध्य" भाग के साथ संघर्ष करता है, जिससे शुरुआत और अंत के बीच छिपे महत्वपूर्ण सुराग छूट जाते हैं। यह यह साबित करने में भी संघर्ष करता है कि उसे अपनी जानकारी कहाँ से मिली, जो विज्ञान के लिए अत्यंत महत्वपूर्ण है। HERMES इस काम को विभाजित करके इसका समाधान करता है। "ऑर्केस्ट्रेटर" (मैनेजर) उपयोगकर्ता के अनुरोध को पढ़ता है और टीम को निर्देशित करता है। "पार्सर" किताब को डिजिटाइज़ करता है, स्कैन को टेक्स्ट और आकृतियों में बदलता है। "एंटिटी रिकग्निज़र" उन विशिष्ट चीजों को ढूंढता है जिन्हें हम खोज रहे हैं, जैसे कि किसी डायनासोर का नाम। "एनोटेटर" उन नामों से जुड़े विवरणों को पकड़ता है, लेकिन वह "रिट्रीवल-ऑगमेंटेड जनरेशन" नामक एक स्मार्ट तकनीक का उपयोग करता है ताकि वह केवल उन विशिष्ट पृष्ठों को देखे जो उस विवरण के लिए प्रासंगिक हैं, जिससे गलत अनुमान लगाने या तथ्य गढ़ने की संभावना खत्म हो जाती है। फिर, एक "वैलिडेटर" सख्त नियमों (जैसे कि यह सुनिश्चित करना कि जीवाश्म का नाम सही वर्तनी में है) के विरुद्ध काम की जाँच करता है, और एक "ट्रेसर" मूल PDF में उस सटीक स्थान को चिह्नित करता है जहाँ से तथ्य आया है।
जब शोधकर्ताओं ने इसका परीक्षण ट्रेटाइज के 55 खंडों पर किया, तो सिस्टम ने 3-2,277 जीवाश्म संस्थाओं और 451,878 गुणों वाला एक डेटाबेस तैयार किया। जिन मानव विशेषज्ञों की टीम ने काम की समीक्षा की, उन्होंने पाया कि AI उल्लेखनीय रूप से सटीक था, जिसका औसत स्कोर सही जीवाश्म खोजने के लिए लगभग 0.90 और विवरणों को सही ढंग से प्राप्त करने के लिए 0.91 था। यह दक्षता में एक बड़ी छलांग है; जबकि चार मनुष्यों की एक टीम को केवल एक खंड को मैन्युअल रूप से संसाधित करने में 45 दिन लगे, HERMES ने टीम को पूरी श्रृंखला को कुल 53 मानव-दिवसों (person-days) में पूरा करने में मदद की। लेखक बताते हैं कि इस स्वचालित सहायता के बिना, वे संभवतः पूरी श्रृंखला को व्यवस्थित करने का प्रयास भी नहीं करते।
पेपर यह भी सुझाव देता है कि यह विधि लचीली है। जब उन्होंने HERMES को पुराचुंबकीय (paleomagnetism - पृथ्वी के चुंबकीय इतिहास का अध्ययन) और भू-रसायन विज्ञान (geochemistry - चट्टानों का रसायन विज्ञान) की पुस्तकों पर आज़माया, तो इसे शुरू से फिर से प्रशिक्षित करने की आवश्यकता नहीं पड़ी। उन्होंने बस "वैलिडेटर" द्वारा उपयोग किए जाने वाले नियमों को बदल दिया, और सिस्टम ने नए प्रकार के डेटा को अच्छी तरह से संभाला। हालाँकि, लेखक सावधानीपूर्वक यह भी बताते हैं कि सिस्टम पूर्ण नहीं है। यदि टेक्स्ट पन्नों के बीच भ्रमित करने वाले तरीके से विभाजित है, या यदि मूल पुस्तक एक धुंधली फोटोकॉपी से स्कैन की गई थी, जिससे कंप्यूटर एक अक्षर को गलत पढ़ लेता है (जैसे "Beraunia" को "Bcraunia" में बदलना), तो यह कभी-कभी विवरण मिस कर देता है। वे इस बात पर भी जोर देते हैं कि भले ही AI भारी काम करता है, लेकिन अंतिम परिणामों को सत्यापित करने के लिए मानव विशेषज्ञों की अभी भी आवश्यकता है, विशेष रूप से किताबों के सबसे कठिन हिस्सों के लिए। पेपर निष्कर्ष निकालता है कि यह मल्टी-एजेंट दृष्टिकोण पुराने, अव्यवस्थित वैज्ञानिक अभिलेखागारों को स्वच्छ, उपयोगी डेटा में बदलने का एक व्यावहारिक तरीका प्रदान करता है, लेकिन यह तब सबसे अच्छा काम करता है जब मनुष्य और मशीनें मिलकर काम करते हैं, जहाँ AI डेटा निकालने का मुख्य कार्य करता है और मनुष्य अंतिम गुणवत्ता जाँच करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।