← नवीनतम पेपर
📄 other

A Biomedical Benchmark and Modular RAG Framework for Text2Cypher

यह शोध पत्र bio2C प्रस्तुत करता है, जो 2,500 क्यूरेटेड नेचुरल लैंग्वेज-साइफर (natural language-Cypher) जोड़ों का एक FAIR-अनुपालन बेंचमार्क है, और एक मॉड्यूलर रिट्रीवल-ऑगमेंटेड जनरेशन (Retrieval-Augmented Generation) फ्रेमवर्क पेश करता है जो स्कीमा-आधारित प्रॉम्प्टिंग के बजाय रिट्रीव किए गए उदाहरणों का लाभ उठाकर बायोमेडिकल नॉलेज ग्राफ्स के लिए Text2Cypher की सटीकता में महत्वपूर्ण सुधार करता है।

मूल लेखक: Emanuele Cavalleri, Nada Bou Kanaan, Marco Mesiti

प्रकाशित 2026-07-27
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Emanuele Cavalleri, Nada Bou Kanaan, Marco Mesiti

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक विशाल, हलचल भरी लाइब्रेरी की कल्पना करें जहाँ हर किताब, लेखक और पात्र अदृश्य धागों से जुड़ा हुआ है। यह सिर्फ कोई साधारण लाइब्रेरी नहीं है; यह जीवन की लाइब्रेरी है, जिसमें हमारे जीन, बीमारियों और दवाओं के रहस्य समाहित हैं। वैज्ञानिक इसे "बायोमेडिकल नॉलेज ग्राफ" कहते हैं। यह एक विशाल, जीवित मानचित्र की तरह है जहाँ एक "जीन" नोड एक "बीमारी" नोड से जुड़ा हो सकता है, जो फिर एक "दवा" नोड से जुड़ा होता है। समस्या यह है कि इस लाइब्रेरी में कोई ऐसा मिलनसार लाइब्रेरियन नहीं है जो आपकी भाषा बोलता हो। "इस विशिष्ट बीमारी के लिए कौन सी दवाएं मददगार हो सकती हैं?" जैसा सवाल पूछने के लिए, आपको एक गुप्त, कोड जैसी भाषा बोलनी पड़ती है जिसे "साइफर" (Cypher) कहा जाता है। यह वैसा ही है जैसे आप केवल यह कहने के बजाय कि "मुझे पेपरोनी पिज्जा चाहिए," एक कंप्यूटर प्रोग्राम लिखकर पिज्जा ऑर्डर करने की कोशिश कर रहे हों। अधिकांश डॉक्टर और शोधकर्ता यह कोड नहीं जानते, इसलिए वे लाइब्रेरी के खजानों को आसानी से नहीं खोज पाते।

यहाँ इस कहानी के नायक आते हैं: लार्ज लैंग्वेज मॉडल्स (LLMs)। आप इन्हें उन सुपर-स्मार्ट एआई चैटबॉट्स के रूप में जानते होंगे जो कहानियाँ लिख सकते हैं या सामान्य ज्ञान के उत्तर दे सकते हैं। वैज्ञानिकों ने इन एआई को अनुवादक के रूप में काम करने के लिए प्रशिक्षित करने की कोशिश की है, ताकि वे हमारे साधारण अंग्रेजी के सवालों को उस गुप्त साइफर कोड में बदल सकें जिसे लाइब्रेरी समझती है। इसे "टेक्स्ट2साइफर" (Text2Cypher) कहा जाता है। लेकिन पेच यह है कि चिकित्सा जगत में एआई को यह सिखाना एक टूटे हुए निर्देश मैनुअल का उपयोग करके कुत्ते को शतरंज खेलना सिखाने जैसा रहा है। हमारे पास पर्याप्त अच्छे उदाहरण नहीं थे, और जिन परीक्षणों का उपयोग हम एआई के काम की जांच करने के लिए करते थे, वे या तो बहुत सरल थे या कंप्यूटर द्वारा बनाए गए थे, जो वास्तविक चिकित्सा प्रश्नों की जटिल और उलझी हुई वास्तविकता को समझने में विफल रहे। एक अच्छे मानचित्र और निष्पक्ष परीक्षण के बिना, हम यह सुनिश्चित नहीं कर सकते थे कि एआई वास्तव में सीख रहा है या केवल अनुमान लगा रहा है।

यह शोध पत्र इस समस्या को ठीक करने के लिए एक बिल्कुल नया, उच्च-गुणवत्ता वाला मानचित्र और एक कठोर परीक्षण क्षेत्र पेश करता है। शोधकर्ताओं ने bio2C बनाया है, जो प्राकृतिक भाषा के प्रश्नों और उनके सही साइफर उत्तरों के 2,500 सावधानीपूर्वक तैयार किए गए जोड़ों का एक बेंचमार्क है। कंप्यूटर द्वारा जनरेट किए गए टेम्पलेट्स पर निर्भर पिछले प्रयासों के विपरीत, ये प्रश्न इस तरह लिखे गए हैं कि वे दर्शा सकें कि वास्तविक वैज्ञानिक वास्तव में कैसे सोचते हैं, जिसमें जीन, बीमारियों और जैविक प्रक्रियाओं से जुड़ी सरल खोजों से लेकर जटिल, बहु-चरणीय जांच तक सब कुछ शामिल है। उन्होंने इन प्रश्नों को कठिनाई के पांच स्तरों में व्यवस्थित किया, जो एक एकल आइटम खोजने से लेकर ग्राफ के माध्यम से तीन-चरणीय पथ पर नेविगेट करने और उन्नत गणना करने तक विस्तृत हैं।

यह देखने के लिए कि विभिन्न एआई रणनीतियाँ कितनी अच्छी तरह काम करती हैं, टीम ने विभिन्न "प्रॉम्प्टिंग" तकनीकों का परीक्षण करने के लिए एक मॉड्यूलर फ्रेमवर्क बनाया। उन्होंने तीन मुख्य दृष्टिकोणों की तुलना की:

  1. स्कीमा-ओनली (Schema-only): लाइब्रेरी की संरचना का एक ब्लूप्रिंट देना लेकिन कोई उदाहरण न देना।
  2. रिट्रीवल-ऑगमेंटेड जनरेशन (RAG): एआई को bio2C संग्रह से प्रश्नों और उत्तरों के कुछ समान उदाहरण देना ताकि वह उनसे सीख सके।
  3. हाइब्रिड (Hybrid): ब्लूप्रिंट को उदाहरणों के साथ जोड़ना, और कभी-कभी एआई को उन उदाहरण क्वेरीज़ के परिणाम भी दिखाना।

उन्होंने विभिन्न "प्रॉम्प्टिंग" तकनीकों का परीक्षण करने के लिए एक मॉड्यूलर फ्रेमवर्क बनाया। उन्होंने तीन मुख्य दृष्टिकोणों की तुलना की:

  1. स्कीमा-ओनली: लाइब्रेरी की संरचना का एक ब्लूप्रिंट देना लेकिन कोई उदाहरण न देना।
  2. रिट्रीवल-ऑगमेंटेड जनरेशन (RAG): एआई को bio2C संग्रह से मिलते-जुलते प्रश्नों और उत्तरों के कुछ उदाहरण देना ताकि वह उनसे सीख सके।
  3. हाइब्रिड: ब्लूप्रिंट को उदाहरणों के साथ मिलाना, और कभी-कभी एआई को उन उदाहरण क्वेरीज़ के परिणाम भी दिखाना।

उन्होंने शक्तिशाली, प्रोप्रायटरी एआई मॉडल (जैसे GPT-4) और ओपन-सोर्स मॉडल (जैसे LLaMA) दोनों का उपयोग करके, अतिरिक्त प्रशिक्षण (फाइन-ट्यूनिंग) के साथ और उसके बिना, इन विधियों का परीक्षण किया।

परिणाम स्पष्ट और आश्चर्यजनक थे। शोध में पाया गया कि केवल एआई को डेटाबेस की संरचना का ब्लूप्रिंट दिखाना पर्याप्त नहीं था। इसके बजाय, सबसे प्रभावी रणनीति प्रतिनिधि उदाहरणों को प्राप्त करना (retrieving representative examples) थी। जब एआई को प्रश्नों और उत्तरों के समान, वास्तविक दुनिया के उदाहरण दिखाए गए (RAG), तो इसने संरचनात्मक ब्लूप्रिंट होने की तुलना में काफी बेहतर प्रदर्शन किया। वास्तव में, सबसे अच्छा प्रदर्शन करने वाले कॉन्फ़िगरेशन के लिए, इस दृष्टिकोण ने मानक स्कीमा-आधारित विधियों की तुलना में उत्पन्न क्वेरीज़ की सटीकता में 31.6 प्रतिशत अंक का सुधार किया।

दिलचस्प रूप से, शोध पत्र सुझाव देता है कि उन मॉडलों के लिए जिन्हें फाइन-ट्यून किया गया था (जो विशेष रूप से bio2C डेटा पर प्रशिक्षित थे), समान उदाहरण देखना इतना सहायक था कि उन्हें अपने शिखर प्रदर्शन के लिए संरचनात्मक ब्लूप्रिंट की आवश्यकता भी नहीं पड़ी। हालांकि, उन मॉडलों के लिए जिन्हें फाइन-ट्यून नहीं किया गया था, ब्लूप्रिंट और उदाहरणों का संयोजन (S+RAG) सबसे अच्छा काम करता है। अध्ययन ने यह भी खुलासा किया कि यह तरीका जटिल, बहु-चरणीय प्रश्नों (जैसे 3-हॉप क्वेरीज़) के लिए विशेष रूप से अच्छा काम करता है, जहाँ उदाहरण एआई को डेटाबेस के स्थिर विवरण की तुलना में समस्या के "आकार" को बेहतर ढंग से समझने में मदद करते हैं।

शोधकर्ताओं ने अपने सिस्टम का परीक्षण एक अलग, छोटे डेटासेट पर और एक स्वतंत्र जीवविज्ञानी द्वारा लिखे गए प्रश्नों के साथ भी किया, जिन्होंने उनके प्रशिक्षण डेटा को कभी नहीं देखा था। सिस्टम ने अच्छा प्रदर्शन किया, जिससे पता चलता है कि ये सुधार केवल टेस्ट प्रश्नों को याद करने की एक चाल नहीं हैं, बल्कि वास्तव में एआई को वास्तविक दुनिया में जटिल बायोमेडिकल डेटा को नेविगेट करने में मदद करते हैं। शोध पत्र निष्कर्ष निकालता है कि उदाहरणों की एक विशाल संख्या होने के बजाय एक उच्च-गुणवत्ता वाला, विविध और मानव-क्यूरेटेड बेंचमार्क होना अधिक महत्वपूर्ण है, और एआई को सही प्रकार के उदाहरण दिखाना मानवीय जिज्ञासा को मशीन-पठनीय उत्तरों में बदलने की उसकी क्षमता को अनलॉक करने की कुंजी है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 📄 other →