Evaluating Advanced Prompting on Gemini Flash for Multi-Hop Biomedical QA
यह शोध पत्र प्रदर्शित करता है कि कुशल जेमिनी 2.0 फ्लैश मॉडल पर परिष्कृत, बहु-घटक प्रॉम्प्ट इंजीनियरिंग का उपयोग करने से इसकी मल्टी-हॉप बायोमेडिकल रीजनिंग क्षमताओं में महत्वपूर्ण वृद्धि होती है, जिससे 0.720 का कॉन्सेप्ट लेवल स्कोर प्राप्त होता है जो अगली पीढ़ी के मॉडलों के समकक्ष है और बेसलाइन दृष्टिकोणों से कहीं अधिक बेहतर है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन कभी-कभी शाब्दिक अर्थ निकालने वाले रोबोट को एक जटिल चिकित्सा रहस्य सुलझाना सिखाने की कोशिश कर रहे हैं। यह रहस्य केवल एक तथ्य खोजने के बारे में नहीं है (जैसे "फ्रांस की राजधानी क्या है?"); यह विभिन्न चिकित्सा सूचनाओं के टुकड़ों के बीच संबंध स्थापित करके एक निदान (diagnosis) तक पहुँचने के बारे में है। यही MedHopQA चुनौती है: एक उच्च-दांव वाली परीक्षा जहाँ AI को "मल्टी-हॉप रीजनिंग" (multi-hop reasoning), या सूचना के विभिन्न हिस्सों के बीच संबंध जोड़ने की आवश्यकता होती है।
इस शोध पत्र के लेखक यह देखना चाहते थे कि क्या वे Google के Gemini Flash AI मॉडल (विशेष रूप से 2.0 और 2.5 संस्करणों) को इन रहस्यों को बेहतर ढंग से हल करने के लिए प्रेरित कर सकते हैं, और इसके लिए उन्होंने उन्हें अधिक किताबें पढ़ने देने के बजाय, यह बदला कि वे प्रश्न कैसे पूछते हैं।
यहाँ उनके प्रयोग की कहानी सरल शब्दों में दी गई है:
प्रयोग: निर्देशों को सजाना
AI मॉडल को एक प्रतिभाशाली छात्र के रूप में समझें जो परीक्षा देने के लिए तैयार है। शोधकर्ताओं ने छात्र को निर्देश देने के तीन अलग-अलग तरीके आजमाए:
- "उबाऊ" निर्देश (बेसलाइन): उन्होंने छात्र को केवल प्रश्न और उत्तर लिखने के बारे में एक सख्त नियम दिया। यह ऐसा था जैसे कहना, "यह एक गणित का सवाल है। उत्तर को एक बॉक्स में लिखें।"
- "सुपर-कोच" निर्देश (जटिल प्रॉम्प्ट): उन्होंने निर्देशों को चार विशेष सामग्रियों के साथ सजाया:
- भूमिका निभाना (Role-Playing): उन्होंने AI को बताया, "एक विश्व स्तरीय मेडिकल डिटेक्टिव होने का नाटक करें।"
- चरण-दर-चरण उदाहरण (Chain-of-Thought): उन्होंने AI को उत्तर देने से पहले समस्या पर विस्तार से विचार करने के उदाहरण दिखाए, जैसे एक शिक्षक व्हाइटबोर्ड पर अपना काम दिखाते हुए समझाता है।
- सख्त स्वरूपण नियम (Strict Formatting Rules): उन्होंने अंतिम उत्तर कैसा दिखना चाहिए, इसके लिए बहुत विशिष्ट नियम दिए।
- "धमकी" (The "Threat"): यह अजीब हिस्सा था। उन्होंने एक असामान्य निर्देश शामिल किया जो एक शारीरिक धमकी जैसा लग रहा था (उदाहरण के लिए, यह संकेत देना कि यदि नियमों का पालन नहीं किया गया तो बुरे परिणाम होंगे)। यह अजीब लगता है, लेकिन इसे इसलिए डिज़ाइन किया गया था ताकि AI नियमों पर अत्यधिक ध्यान दे।
परिणाम: "सुपर-कोच" का जादू
परिणाम आश्चर्यजनक और स्पष्ट थे:
- "उबाऊ" निर्देश विफल रहे: AI का स्कोर 0.565 रहा। यह ठीक था, लेकिन बहुत अच्छा नहीं।
- "सुपर-कोच" निर्देश सफल रहे: जब उन्होंने भूमिका निभाने, उदाहरणों और "धमकी" को जोड़ा, तो स्कोर उछलकर 0.720 हो गया। यह एक विशाल सुधार है।
- "धमकी" मायने रखती थी: जब उन्होंने सुपर-कोच निर्देशों से "धमकी" वाला हिस्सा हटाया, तो स्कोर थोड़ा गिर गया। इससे पता चलता है कि डरावने निर्देश ने वास्तव में AI को नियमों का अधिक सावधानी से पालन करने के लिए प्रेरित किया।
- पुराना बनाम नया AI: शोधकर्ताओं ने अपने "सुपर-कोच" निर्देशों का परीक्षण नए, अधिक शक्तिशाली Gemini 2.5 मॉडल पर किया। आश्चर्यजनक रूप से, पुराने Gemini 2.0 मॉडल ने नए वाले के समान ही प्रदर्शन किया। ऐसा लगता है कि इस विशिष्ट प्रकार के जटिल निर्देश के लिए, पुराना मॉडल पहले से ही पूरी तरह से अनुकूलित था।
मुख्य निष्कर्ष
इस शोध पत्र का मुख्य सबक यह है कि आप प्रश्न कैसे पूछते हैं, यह इस बात से अधिक महत्वपूर्ण है कि आप AI के किस संस्करण का उपयोग करते हैं।
इसे इस तरह समझें: आपके पास एक रेस कार (AI) है। आप उसे एक ऊबड़-खाबड़, भ्रमित करने वाले कच्चे रास्ते (एक बुरा प्रॉम्प्ट) पर रख सकते हैं, और वह दुर्घटनाग्रस्त हो जाएगी। या, आप उसे एक पूरी तरह से पक्की, स्पष्ट रूप से चिह्नित ट्रैक पर रख सकते हैं जहाँ एक कुशल ड्राइवर स्पष्ट कमांड दे रहा हो, और वह दौड़ जीत जाएगी।
लेखकों ने पाया कि भूमिका निभाने, चरण-दर-चरण उदाहरणों और यहाँ तक कि अनुपालन सुनिश्चित करने के लिए थोड़ी सी "भय" को शामिल करके अपने "कमांड्स" (प्रॉम्प्ट्स) को सावधानीपूर्वक इंजीनियर करने से, उन्होंने AI की पूर्ण तर्क शक्ति को अनलॉक कर दिया। उन्हें AI को नए तथ्य सिखाने या उसका मस्तिष्क बदलने की आवश्यकता नहीं थी; उन्हें बस उसकी भाषा को बेहतर ढंग से बोलने की आवश्यकता थी।
संक्षेप में: एक स्मार्ट AI जिसे सरल प्रश्न मिलता है, उसे औसत दर्जे का उत्तर मिलता है। एक स्मार्ट AI जिसे जटिल, रचनात्मक और थोड़ा तीव्र निर्देशों का सेट मिलता है, उसे शानदार उत्तर मिलता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।