Benchmarking Resource-Efficient LLMs for Research Topic Ontology Generation in the Biomedical Field
यह शोध पत्र प्रदर्शित करता है कि एक नए पेश किए गए बायोमेडिकल डेटासेट (MeSH-Rel-4K) पर छोटे, ओपन-सोर्स लार्ज लैंग्वेज मॉडल्स को फाइन-ट्यून करना प्रॉम्प्टिंग रणनीतियों की तुलना में काफी बेहतर प्रदर्शन करता है, जिससे F1-स्कोर में 34.1 प्रतिशत अंकों की वृद्धि होती है और स्वचालित बायोमेडिकल ऑन्टोलॉजी जनरेशन के लिए एक संसाधन-कुशल समाधान मिलता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
विज्ञान की दुनिया की कल्पना एक विशाल, अराजक पुस्तकालय के रूप में करें जहाँ लाखों किताबें, लेख और खोजें लगातार जोड़ी जा रही हैं। बिना किसी लाइब्रेरियन के उन्हें व्यवस्थित करने के लिए, एक विशिष्ट विषय को खोजना समुद्र तट पर रेत के एक अकेले कण को खोजने जैसा होगा। यहीं पर "नॉलेज ऑर्गनाइजेशन सिस्टम्स" (ज्ञान संगठन प्रणाली) काम आते हैं। इन्हें पुस्तकालय के मास्टर फाइलिंग कैबिनेट या विचारों के एक विशाल, डिजिटल फैमिली ट्री के रूप में समझें। वे संबंधित अवधारणाओं को एक साथ समूहबद्ध करते हैं, यह दिखाते हुए कि कौन से विचार दूसरों के जनक (व्यापक/broader) हैं और कौन से उनके बच्चे (संकीर्ण/narrower) हैं। दशकों तक, केवल मनुष्य ही इन फाइलिंग सिस्टम को बनाने में सक्षम थे, जो मैन्युअल रूप से शोध पत्रों को पढ़ते थे और तय करते थे कि हर नए विचार को कहाँ फिट होना चाहिए। लेकिन विज्ञान इतनी तेज़ी से आगे बढ़ रहा है कि केवल मानवीय हाथों के लिए यह पर्याप्त नहीं है; हर दिन नए विषय उभर रहे हैं, और फाइलिंग कैबिनेट काम पूरा होने से पहले ही पुराने पड़ रहे हैं। हाल ही में, 'लार्ज लैंग्वेज मॉडेल्स' (LLMs) नामक स्मार्ट कंप्यूटर प्रोग्राम आए हैं, जो सुपर-फास्ट लाइब्रेरियन के रूप में कार्य करने का वादा करते हैं। लेकिन यहाँ बड़ा सवाल यह है: क्या ये डिजिटल मस्तिष्क, विशेष रूप से छोटे और अधिक ऊर्जा-कुशल मॉडल, वैज्ञानिक विचारों के बीच के जटिल संबंधों को समझने के लिए पर्याप्त सक्षम हैं ताकि वे अपने आप इन फाइलिंग सिस्टम का निर्माण कर सकें?
यह शोध पत्र ठीक इसी प्रश्न की गहराई में जाता है, विशेष रूप से बायोमेडिकल क्षेत्र को देखते हुए, जहाँ संबंधों को सही ढंग से समझना अत्यंत महत्वपूर्ण है। शोधकर्ता यह देखना चाहते थे कि क्या वे पाँच अलग-अलग "छोटे" LLMs (वे मॉडल जिनमें 9 बिलियन पैरामीटर्स तक होते हैं, जो AI की दुनिया में बहुत छोटा माना जाता है) को विशेषज्ञ लाइब्रेरियन के रूप में कार्य करने के लिए प्रशिक्षित कर सकते हैं। उनका परीक्षण करने के लिए, उन्होंने MeSH-Rel-4K नामक एक विशेष प्रशिक्षण सेट बनाया, जिसमें चिकित्सा विषयों के 4,000 जोड़े शामिल हैं। उन्होंने मॉडलों से इन जोड़ों को चार श्रेणियों में वर्गीकृत करने के लिए कहा: "व्यापक" (जैसे "जानवर" "कुत्तों" से अधिक व्यापक है), "संकीर्ण" (इसका उल्टा), "समान-के-रूप-में" (एक ही चीज़ के दो नाम), या "अन्य" (पूरी तरह से असंबंधित)।
टीम ने मॉडलों से यह काम करवाने के लिए तीन अलग-अलग तरीके आजमाए। पहला, उन्होंने मॉडलों से केवल अनुमान लगाने को कहा (स्टैंडर्ड प्रॉम्प्टिंग)। दूसरा, उन्होंने "चेन-ऑफ-थॉट" (Chain-of-Thought) नामक एक तकनीक का उपयोग किया, जहाँ उन्होंने मॉडलों को ज़ोर से सोचने और उत्तर देने से पहले अपने तर्क को समझाने के लिए कहा, ठीक वैसे ही जैसे किसी छात्र को गणित के टेस्ट में अपना काम दिखाने के लिए कहा जाता है। अंत में, उन्होंने मॉडलों को "फाइन-ट्यून" (fine-tuned) किया, जो एक सामान्य-उद्देश्य वाले छात्र को चिकित्सा फाइलिंग नियमों पर विशेष क्रैश कोर्स देने जैसा है, जिसका उपयोग उन्होंने अपने बनाए गए 4,000 उदाहरणों के माध्यम से किया।
परिणाम स्पष्ट रूप से "क्रैश कोर्स" की जीत थे। हालाँकि "सोच-समझकर उत्तर देने" (thinking out loud) की विधि ने थोड़ी मदद की, लेकिन यह मॉडलों के भ्रम को दूर करने के लिए पर्याप्त नहीं था। असली जादू "फाइन-ट्यूनिंग" से हुआ। जब मॉडलों को विशेष रूप से चिकित्सा डेटा पर प्रशिक्षित किया गया, तो उनका प्रदर्शन आसमान छू गया। सबसे अच्छा मॉडल, 9-बिलियन-पैरामीटर वाला gemma-2-9b-it, 91.6% का F1-स्कोर (सटीकता का एक माप) प्राप्त करने में सफल रहा। इससे भी अधिक प्रभावशाली सबसे छोटा मॉडल, Llama-3.2-3B-Instruct था। प्रशिक्षण से पहले, यह केवल 25.7% के F1-स्कोर के साथ संघर्ष कर रहा था, लेकिन फाइन-ट्यूनिंग के बाद, यह 86.2% पर पहुँच गया। यह 60.5 प्रतिशत अंक की भारी वृद्धि है, जो यह सिद्ध करता है कि आपको इस काम के लिए किसी विशाल, संसाधन-खपत करने वाले AI की आवश्यकता नहीं है; आपको बस एक छोटे मॉडल को सही नियम सिखाने की आवश्यकता है।
हालाँकि, यह शोध पत्र इस बात पर भी प्रकाश डालता है कि ये डिजिटल लाइब्रेरियन कहाँ लड़खड़ा जाते हैं। बेहतरीन मॉडल भी कभी-कभी "समान-के-रूप-में" (same-as) और "पदानुक्रमित" (hierarchical) संबंधों के बीच भ्रमित हो जाते हैं। उदाहरण के लिए, यदि दो शब्द बहुत समान हैं, तो मॉडल कभी-कभी गलती से सोचते हैं कि एक दूसरे का जनक है, या इसके विपरीत। शोधकर्ताओं ने पाया कि यह भ्रम सबसे अधिक तब होता है जब शब्द एक-दूसरे के बहुत समान दिखते हैं। इन छोटी त्रुटियों के बावजूद, अध्ययन यह निष्कर्ष निकालता है कि छोटे मॉडलों को फाइन-ट्यून करना बायोमेडिकल ऑन्टोलॉजी (ontologies) के निर्माण को स्वचालित करने का एक अत्यधिक प्रभावी तरीका है, जो मानव द्वारा हाथ से किए जाने का इंतज़ार किए बिना ज्ञान के पुस्तकालय को व्यवस्थित रखने का एक तेज़ और सटीक तरीका प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।