From Voting to Agent Collaboration: Answer-Type-Aware LLM Pipelines for BioASQ 14b
यह शोध पत्र BioASQ 14b टास्क B के लिए एक प्रश्न-प्रकार-जागरूक (question-type-aware) लार्ज लैंग्वेज मॉडल फ्रेमवर्क प्रस्तुत करता है जो प्रतिस्पर्धी प्रदर्शन प्राप्त करने और बैच 4 के फैक्टॉइड सबटास्क में प्रथम स्थान प्राप्त करने के लिए अनुकूलित इन्फरेंस रणनीतियों—जैसे कि हाँ/नहीं वाले प्रश्नों के लिए स्निपेट शफलिंग, फैक्टॉइड्स के लिए चेन-ऑफ-थॉट, और सूचियों के लिए मल्टी-एजेंट सहयोग—का उपयोग करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप विशेषज्ञ जासूसों की एक टीम हैं जो एक विशाल चिकित्सा रहस्य को सुलझाने की कोशिश कर रहे हैं। सुराग (वैज्ञानिक लेख) हजारों पृष्ठों में बिखरे हुए हैं, कभी-कभी वे एक-दूसरे के विरोधाभासी होते हैं, और बहुत ही विशिष्ट, पेचीदा भाषा में लिखे जाते हैं। आपका लक्ष्य तीन विशिष्ट प्रकार के प्रश्नों के उत्तर देना है: "क्या यह सच है?" (हाँ/नहीं), "विशिष्ट नाम क्या है?" (तथ्य/Factoid), या "शामिल सभी नामों की सूची बनाएं" (सूची/List)।
यह शोध पत्र एक नई जासूसी टीम ku_dmis का वर्णन करता है जिसने यह देखने के लिए एक प्रतियोगिता (BioASQ 14b) में भाग लिया कि वे AI का उपयोग करके इन पहेलियों को कितनी अच्छी तरह हल कर सकते हैं। एक "एक ही आकार के सभी के लिए उपयुक्त" (one-size-fits-all) जासूस के बजाय, उन्होंने एक विशेष टीम बनाई जहाँ अलग-अलग AI मॉडल प्रश्न के प्रकार के आधार पर विभिन्न प्रकार के विशेषज्ञों के रूप में कार्य करते हैं।
यहाँ उनका सिस्टम कैसे काम करता है, जिसे सरल उपमाओं (analogies) में विभाजित किया गया है:
1. "हाँ/नहीं" वाले जासूस: शफल और वोट (The Shuffle and Vote)
समस्या: कभी-कभी, यदि आप सुरागों की सूची को अलग क्रम में पढ़ते हैं, तो एक जासूस भ्रमित हो सकता है और अपना निर्णय बदल सकता है। यदि सुराग अव्यवस्थित या विरोधाभासी हैं, तो एक अकेला AI केवल इसलिए गलत अनुमान लगा सकता है क्योंकि साक्ष्य को एक अजीब क्रम में प्रस्तुत किया गया था।
समाधान: टीम "शफल एंड वोट" रणनीति का उपयोग करती है।
- द शफल (The Shuffle): वे सुरागों के एक ही सेट को लेते हैं और उन्हें यादृच्छिक रूप से पुनर्व्यवस्थित करते हैं, जैसे ताश के पत्तों को फेंटना (shuffle करना)।
- द वोट (The Vote): वे चार अलग-अलग AI जासूसों को इन शफल्ड डेक को पढ़ने और "हाँ" या "नहीं" का उत्तर देने के लिए कहते हैं।
- द टाई-ब्रेकर (The Tie-Breaker): यदि चारों सहमत हैं, तो बहुत अच्छा! यदि वे असहमत हैं, तो एक विशेष "सुपरवाइजर" जासूस हस्तक्षेप करता है। यह सुपरवाइजर सुरागों को "पक्ष में-हाँ," "पक्ष में-नहीं," और "शायद" के ढेर में व्यवस्थित करता है ताकि एक अंतिम, शांत निर्णय लिया जा सके।
- परिणाम: इसने उनके "हाँ/नहीं" उत्तरों को बहुत स्थिर और सटीक बनाया, जिससे वे बहुत कम बार अपना निर्णय बदलते थे, भले ही सुराग अव्यवस्थित क्यों न हों।
2. "तथ्य" (Factoid) वाले जासूस: उदाहरणों का पुस्तकालय (The Library of Examples)
समस्या: ये प्रश्न एक विशिष्ट नाम पूछते हैं, जैसे "सबसे सामान्य जीन कौन सा है?" AI को सटीक सही नाम खोजने की आवश्यकता है। यदि वह कहता है "जीन X" लेकिन आधिकारिक उत्तर "जीन X-अल्फा" है, तो उसे गलत माना जा सकता है।
समाधान: वे "दिखाएं, केवल बताएं नहीं" (Show, Don't Just Tell) दृष्टिकोण का उपयोग करते हैं।
- द लाइब्रेरी (The Library): उत्तर देने से पहले, सिस्टम पिछले हल किए गए मामलों के एक पुस्तकालय में उन उदाहरणों को खोजता है जो वर्तमान प्रश्न के बहुत समान दिखते हैं।
- द गाइड (The Guide): यह सिस्टम उन उदाहरणों को AI को दिखाता है, यह कहते हुए, "देखो, जब हमने पहले इस तरह का प्रश्न देखा था, तो हमने सटीक रूप से उत्तर कैसे पाया था और इसे कैसे लिखा था।"
- द कंसेंसस (The Consensus): ठीक हाँ/नहीं वाले प्रश्नों की तरह, वे कई AI मॉडलों का उपयोग करते हैं। यदि चार में से तीन मॉडल एक विशिष्ट नाम पर सहमत होते हैं, तो वे उसे रखते हैं।
- परिणाम: इसने उन्हें सही नाम अधिक बार खोजने में मदद की, विशेष रूप से प्रतियोगिता के अंतिम दौर में जहाँ उन्होंने इस विशिष्ट प्रकार के प्रश्न के लिए प्रथम स्थान प्राप्त किया।
3. "सूची" (List) वाले जासूस: असेंबली लाइन (The Assembly Line)
समस्या: ये प्रश्न वस्तुओं की एक पूरी सूची मांगते हैं (जैसे, "उन सभी दवाओं की सूची बनाएं जो इस प्रोटीन के साथ परस्पर क्रिया करती हैं")। AI को इसमें कठिनाई होती है: वह कुछ वस्तुओं को छोड़ सकता है (कम रिकॉल) या ऐसी फर्जी चीजें बना सकता है जो सुनने में वास्तविक लगती हैं लेकिन वे मौजूद नहीं हैं (hallucinations)।
समाधान: उन्होंने एक चार-सदस्यीय असेंबली लाइन बनाई जहाँ प्रत्येक व्यक्ति का एक विशिष्ट कार्य है:
- एजेंट 1 (द स्कैवेंजर - द खोजकर्ता): सभी सुरागों को पढ़ता है और संभावित नामों का एक बड़ा ढेर निकालता है, बिना इस बात की चिंता किए कि वे अभी कितने सटीक हैं।
- एजेंट 2 (द रीज़नर - तर्क करने वाला): वह ढेर और मूल सुरागों को देखता है ताकि एक ड्राफ्ट सूची तैयार की जा सके।
- एजेंट 3 (द ऑडिटर - परीक्षक): वह ड्राफ्ट सूची की जाँच करता है। "क्या यह नाम वास्तव में सुरागों में है? क्या यह कोई डुप्लिकेट है? क्या यह फर्जी है?" वे खराब चीजों को हटा देते हैं।
- एजेंट 4 (द सुपरवाइजर - पर्यवेक्षक): वह बॉस है जो काम की समीक्षा करता है। यदि ऑडिटर को कोई समस्या मिलती है, तो सुपरवाजर उसे ठीक करने के लिए वापस सुरागों के पास जाता है।
- परिणाम: इस टीम वर्क ने उन्हें अधिक सही आइटम खोजने में मदद की और साथ ही फर्जी चीजों से भी बचाते हुए, जैसे-जैसे प्रतियोगिता आगे बढ़ी, उनके स्कोर में काफी सुधार हुआ।
मुख्य विचार (The Big Picture)
इस शोध पत्र का मुख्य विचार यह है कि विभिन्न प्रश्नों के लिए अलग-अलग सोचने की शैलियों की आवश्यकता होती है।
- सरल "हाँ/नहीं" प्रश्नों के लिए, उन्होंने भ्रम से बचने के लिए मतदान (voting) का उपयोग किया।
- विशिष्ट "नाम" वाले प्रश्नों के लिए, उन्होंने सही प्रारूप सीखने के लिए उदाहरणों (examples) का उपयोग किया।
- जटिल "सूची" वाले प्रश्नों के लिए, उन्होंने काम की जाँच और दोहराव करने के लिए विशेषज्ञों की एक टीम का उपयोग किया।
AI को एक एकल रोबोट के बजाय विशेषज्ञों की एक लचीली टीम के रूप में मानकर, वे चिकित्सा अनुसंधान की अव्यवस्थित और विरोधाभासी प्रकृति को पहले की तुलना में बहुत बेहतर तरीके से संभाल सके। आधिकारिक प्रतियोगिता में, उनका सिस्टम बहुत अच्छा प्रदर्शन करता रहा, विशेष रूप से सही विशिष्ट नाम (Factoid प्रश्न) खोजने में, जहाँ उन्होंने अंतिम चरण में उत्कृष्ट प्रदर्शन किया।
महत्वपूर्ण नोट: यह शोध पत्र पूरी तरह से दिए गए टेक्स्ट से सही उत्तर प्राप्त करने के तरीके पर केंद्रित है। यह दावा नहीं करता है कि यह प्रणाली रोगियों का निदान कर सकती है, दवाएं लिख सकती है, या अस्पताल में डॉक्टरों की जगह ले सकती है; यह सख्ती से लिखित वैज्ञानिक साक्ष्यों के आधार पर प्रश्नों के उत्तर देने के लिए एक उपकरण है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।