Optimizing Data Extraction from Materials Science Literature: A Study of Tools Using Large Language Models
यह अध्ययन पदार्थ विज्ञान के प्रकाशनों से बैंडगैप डेटा निकालने में पांच एआई (AI) उपकरणों की प्रभावशीलता का मूल्यांकन करता है, जिसमें यह पाया गया है कि हालांकि पूर्ण स्वचालन चुनौतीपूर्ण बना हुआ है, ये उपकरण सटीकता को महत्वपूर्ण रूप से बढ़ाते हैं और असंरचित साहित्य तथा संरचित डेटाबेस के बीच के अंतर को पाटने के लिए अप्रासंगिक शोध पत्रों को कुशलतापूर्वक फ़िल्टर करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
सामग्री विज्ञान (materials science) के विशाल परिदृश्य में, शोधकर्ता नई बैटरी, तेज़ कंप्यूटर चिप्स या मज़बूत निर्माण सामग्री बनाने के लिए परमाणुओं के सही संयोजन की खोज में लगातार लगे रहते हैं। इन संयोजनों को खोजने के लिए, उन्हें डेटा की आवश्यकता होती है: विशिष्ट संख्याएँ जो यह बताती हैं कि कोई सामग्री कैसे व्यवहार करती है, जैसे कि बिजली प्रवाहित होने के लिए आवश्यक ऊर्जा। यह जानकारी, जिसे "बैंडगैप" (bandgap) कहा जाता है, यह समझने की कुंजी है कि कोई सामग्री सुचालक (conductor) है या कुचालक (insulator)। हालाँकि, यह महत्वपूर्ण डेटा व्यवस्थित स्प्रेडशीट में सलीके से नहीं रखा गया है। इसके बजाय, यह लाखों वैज्ञानिक शोध पत्रों के भीतर गहराई में दबा हुआ है, जो जटिल वाक्यों में लिखा गया है, विभिन्न अनुभागों में बिखरा हुआ है, और अक्सर तालिकाओं या चित्रों के अंदर छिपा होता है। दशकों से, वैज्ञानिकों को इन शोध पत्रों को एक-एक करके पढ़ना पड़ता था, मैन्युअल रूप से इन संख्याओं को ढूँढना पड़ता था और उन्हें डेटाबेस में टाइप करना पड़ता था। यह प्रक्रिया धीमी, उबाऊ और मानवीय त्रुटियों के प्रति संवेदनशील है, जिससे मौजूद ज्ञान और वास्तव में खोज के लिए उपयोगी ज्ञान के बीच एक बड़ा अंतर पैदा हो जाता है।
इस अंतर को पाटने के लिए, शोधकर्ताओं की एक टीम ने यह परीक्षण करने का निर्णय लिया कि क्या आधुनिक आर्टिफिशियल इंटेलिजेंस (AI) यह भारी काम कर सकता है। वे 'लार्ज लैंग्वेज मॉडल्स' (Large Language Models) की ओर मुड़े, जो शक्तिशाली कंप्यूटर प्रोग्राम हैं जिन्हें विशाल मात्रा में टेक्स्ट पर प्रशिक्षित किया गया है और जो मानव भाषा को समझ और उत्पन्न कर सकते हैं। विचार सरल था: यदि एक मशीन एक वाक्य को पढ़ सकती है और उसका अर्थ समझ सकती है, तो उसे उस वाक्य के भीतर छिपी एक विशिष्ट संख्या को खोजने और उसे स्वचालित रूप से निकालने में सक्षम होना चाहिए। शोधकर्ताओं ने सामग्री विज्ञान के क्षेत्र से 200 यादृच्छिक (random) वैज्ञानिक शोध पत्र एकत्र किए और पाँच अलग-अलग AI उपकरणों से डिजिटल लाइब्रेरियन की तरह कार्य करने को कहा, ताकि वे टेक्स्ट में खोज सकें और बैंडगैप मान (bandgap value) के प्रत्येक उल्लेख को ढूँढ सकें। उन्होंने इन मशीनों के परिणामों की तुलना विशेषज्ञों द्वारा सावधानीपूर्वक निकाले गए डेटा के सेट से की, जिससे वे देख सकें कि AI ने वास्तव में कैसा प्रदर्शन किया।
अध्ययन से पता चला कि हालांकि ये AI उपकरण अभी पूरी तरह से मानव शोधकर्ताओं की जगह लेने के लिए तैयार नहीं हैं, लेकिन वे पहले की तुलना में कहीं अधिक सक्षम हैं, विशेष रूप से एक विशिष्ट कार्य में: यह जानना कि कब रुकना है। शोधकर्ताओं ने पाया कि ये उपकरण उन शोध पत्रों की पहचान करने में उल्लेखनीय रूप से अच्छे थे जिनमें वे खोजा जा रहा डेटा मौजूद नहीं था। वास्तव में, अधिकांश उपकरणों ने उन 94 से 99 प्रतिशत शोध पत्रों को सही ढंग से अनदेखा कर दिया जिनमें कोई प्रासंगिक जानकारी नहीं थी। यह "नल प्रिसिजन" (null precision) एक महत्वपूर्ण विशेषता है क्योंकि इसका अर्थ है कि एक मानव शोधकर्ता इन उपकरणों का उपयोग हजारों अप्रासंगिक दस्तावेजों को फ़िल्टर करने के लिए कर सकता है, जिससे केवल उन शोध पत्रों की एक छोटी, प्रबंधनीय सूची बच जाएगी जिनमें वास्तव में डेटा मौजूद है। यह अपने आप में बहुत समय बचा सकता है, भले ही अंतिम संख्याओं को सत्यापित करने के लिए उपकरणों को अभी भी मानवीय सहायता की आवश्यकता हो।
हालाँकि, जब सही संख्याओं को खोजने और रिकॉर्ड करने की बात आई, तो इन उपकरणों को महत्वपूर्ण चुनौतियों का सामना करना पड़ा। सबसे अच्छा प्रदर्शन करने वाले उपकरण ने केवल उन बैंडगैप मानों का लगभग 20 प्रतिशत ही खोज पाया जिन्हें मानव विशेषज्ञों ने खोजा था। जबकि जो संख्याएँ उसे मिलीं वे अक्सर सही थीं, लेकिन उसने डेटा के बड़े हिस्से को छोड़ दिया। शोधकर्ताओं ने पाया कि कठिनाई गणित में नहीं, बल्कि भाषा में थी। वैज्ञानिक शोध पत्र अक्सर सामग्रियों का वर्णन ऐसे तरीकों से करते हैं जो कंप्यूटर के लिए पालन करना कठिन होता है। किसी सामग्री को एक वाक्य में पूरे नाम से और अगले वाक्य में संक्षिप्त रूप में संदर्भित किया जा सकता है, या मान को सामग्री के नाम से कई अनुच्छेदों के अन्य टेक्स्ट द्वारा अलग किया जा सकता है। AI उपकरण इस दूरस्थ जानकारी को जोड़ने में संघर्ष करते हैं, और अक्सर यह समझने में विफल रहते हैं कि एक सर्वनाम जैसे "यह" (it) का संदर्भ पहले उल्लेखित विशिष्ट सामग्री से है।
अध्ययन ने यह भी रेखांकित किया कि दस्तावेज़ का प्रारूप (format) उम्मीद से कहीं अधिक मायने रखता है। शोधकर्ताओं ने एक ही शोध पत्र के दो संस्करणों पर उपकरणों का परीक्षण किया: लेखकों द्वारा अपलोड किए गए मूल ड्राफ्ट और जर्नल्स द्वारा प्रकाशित अंतिम, पेशेवर रूप से तैयार किए गए संस्करण। उन्होंने पाया कि उपकरण इस आधार पर अलग-अलग प्रदर्शन करते थे कि वे कौन सा संस्करण पढ़ रहे हैं। अंतिम प्रकाशित संस्करण, अपने जटिल लेआउट और अतिरिक्त जानकारी के साथ, कभी-कभी AI को भ्रमित कर देते थे, जिससे सरल ड्राफ्ट संस्करणों की तुलना में अलग परिणाम मिलते थे। यह सुझाव देता है कि एक दस्तावेज़ को दृश्य रूप से कैसे प्रस्तुत किया जाता है, यह इस बात को बदल सकता है कि कंप्यूटर उसकी सामग्री को कैसे समझता है, जो कि इन उपकरणों पर भरोसा करने वाले किसी भी व्यक्ति के लिए एक सूक्ष्म लेकिन महत्वपूर्ण विवरण है।
परीक्षण किए गए पाँच उपकरणों में से, शोधकर्ताओं ने पाया कि सबसे सफल दृष्टिकोण में "प्रॉम्प्ट इंजीनियरिंग" (prompt engineering) नामक एक विधि शामिल थी, जहाँ मानव उपयोगकर्ता AI को मार्गदर्शन देने के लिए सावधानीपूर्वक निर्देश तैयार करता है, और एक अन्य विधि जो दस्तावेज़ को छोटे टुकड़ों में विभाजित करती है ताकि AI को प्रासंगिक अनुभागों पर ध्यान केंद्रित करने में मदद मिल सके। दिलचस्प बात यह है कि जो उपकरण पुराने, नियम-आधारित (rule-based) सिस्टम पर निर्भर थे, वे नए, अधिक लचीले AI मॉडल की तुलना में खराब प्रदर्शन करते थे। नए मॉडल टेक्स्ट के माध्यम से तर्क करने में बेहतर थे, भले ही वे अभी भी बहुत सारा डेटा छोड़ देते थे। शोधकर्ताओं ने नोट किया कि सबसे बड़ी विफलताएं तब हुईं जब AI ने ऐसी जानकारी का अनुमान लगाने की कोशिश की जो वहां मौजूद नहीं थी, जिसे "हैलुसिनेशन" (hallucination) कहा जाता है, या जब वह माप के तहत विशिष्ट स्थितियों को पकड़ने में विफल रहा, जैसे कि तापमान या सामग्री का प्रकार।
अंततः, अध्ययन यह निष्कर्ष निकालता है कि हम अभी उस बिंदु पर नहीं हैं जहाँ एक मशीन स्वचालित रूप से सामग्री विज्ञान के डेटा का एक आदर्श डेटाबेस बना सके। उपकरण वर्तमान में अकेले उपयोग किए जाने के लिए बहुत अधूरे हैं। हालाँकि, वे एक अत्यधिक प्रभावी पहले फिल्टर के रूप में कार्य करने के लिए पर्याप्त शक्तिशाली हैं। इन AI उपकरणों का उपयोग हजारों शोध पत्रों को जल्दी से स्कैन करने और अप्रासंगिक वाले पत्रों को हटाने के लिए करके, शोधकर्ता अपना मानवीय ध्यान उन कुछ शोध पत्रों पर केंद्रित कर सकते हैं जिनमें वास्तव में उन्हें आवश्यक डेटा मिलता है। शोधकर्ताओं का सुझाव है कि आगे का रास्ता मशीनों की गति को मानव विशेषज्ञों के विवेक के साथ जोड़ने में निहित है, शायद कई उपकरणों को एक साथ उपयोग करके या AI को वैज्ञानिक लेखन के संदर्भ को बेहतर ढंग से समझने के लिए सिखाकर। जबकि एक पूरी तरह से स्वचालित वैज्ञानिक डेटाबेस का सपना अभी दूर है, यह कार्य दिखाता है कि हमारे पास सही उपकरण हैं जिससे हम इस प्रक्रिया को काफी तेज़ और अधिक कुशल बनाना शुरू कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।