A System 1 Decision Model for Medical Multiple-Choice Questions Built on Frozen Language Models
यह शोध पत्र चिकित्सा बहुविकल्पीय प्रश्नों के लिए एक तेज़, लागत प्रभावी सिस्टम 1 निर्णय मॉडल प्रस्तुत करता है जो केवल फ्रोजन लैंग्वेज मॉडल्स के ऊपर हल्के प्रोजेक्शन हेड्स को प्रशिक्षित करके MedMCQA पर 46% तक सटीकता प्राप्त करता है, जो एक मजबूत बेसलाइन स्थापित करता है और साथ ही यह स्वीकार करता है कि यह Med-PaLM 2 जैसे अधिक जटिल सिस्टमों के प्रदर्शन से नीचे बना हुआ है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखक ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस के विशाल परिदृश्य में, शोधकर्ता अक्सर इस बात के बीच अंतर करते हैं कि एक मशीन कैसे सोच सकती है। एक है धीमी और विचारशील प्रक्रिया जहाँ सिस्टम चरण-दर-चरण तर्क देता है, साक्ष्यों को तौलता है और बोलने से पहले एक तर्क का निर्माण करता है। दूसरा है एक तेज़, स्वचालित प्रतिक्रिया, जहाँ सिस्टम एक सहज अहसास या त्वरित पैटर्न मिलान के आधार पर तत्काल निर्णय लेता है। यह दूसरा प्रकार का चिंतन, जिसे अक्सर "सिस्टम 1" कहा जाता है, यही है जो मनुष्यों को भीड़ में एक चेहरा पहचानने या बिना किसी सचेत गणना के गिरते हुए कप को पकड़ने की अनुमति देता है। कंप्यूटरों के लिए, इस तरह की गति प्राप्त करने का अर्थ आमतौर पर कार्य को सरल बनाना होता है: एक लंबी व्याख्या उत्पन्न करने के बजाय, मशीन केवल एक प्रश्न और संभावित उत्तरों की एक सूची को देखती है, फिर उस विकल्प को चुनती है जो प्रश्न के सबसे समान महसूस होता है। वैज्ञानिकों के लिए चुनौती यह देखना है कि क्या यह तेज़, सहज दृष्टिकोण जटिल, उच्च-दांव वाले ज्ञान को संभाल सकता है, जैसे कि चिकित्सा का विशाल और जटिल क्षेत्र, जहाँ एक गलत अनुमान के गंभीर परिणाम हो सकते हैं।
एक शोधकर्ता ने चिकित्सा संबंधी बहुविकल्पीय प्रश्नों पर इस तेज़-सोचने वाले दृष्टिकोण की सीमाओं का परीक्षण करने का निर्णय लिया। उन्होंने एक ऐसा सिस्टम बनाया जिसे बिना कोई टेक्स्ट या तर्क के चरण उत्पन्न किए, एक ही बार (सिंगल पास) में परीक्षा के प्रश्नों का उत्तर देने के लिए डिज़ाइन किया गया था। उनके प्रयोग का मुख्य हिस्सा श्रम का एक चतुर विभाजन था। उन्होंने शक्तिशाली, मौजूदा भाषा मॉडलों (बड़े कंप्यूटर प्रोग्राम जिन्हें टेक्स्ट की भारी मात्रा पर प्रशिक्षित किया गया था) को लिया और उन्हें 'फ्रीज' कर दिया, जिसका अर्थ था कि उन्होंने इन मॉडलों के आंतरिक ज्ञान को बिल्कुल भी नहीं बदला। इसके बजाय, उन्होंने इन फ्रीज किए गए मॉडलों को ज्ञान के स्थिर पुस्तकालयों के रूप में उपयोग किया, जिससे वे केवल शब्दों को गणितीय स्थान में बिंदुओं में बदलने के काम आए। इस जमी हुई नींव पर, उन्होंने दो छोटे, विशिष्ट घटकों को प्रशिक्षित किया। एक घटक ने एक चिकित्सा प्रश्न को एक बिंदु में अनुवाद करना सीखा, और दूसरे ने प्रत्येक संभावित उत्तर विकल्प को एक बिंदु में अनुवाद करना सीखा। सिस्टम का कार्य तब सरल था: उस उत्तर बिंदु को खोजना जो इस गणितीय स्थान में प्रश्न बिंदु के सबसे करीब स्थित था। यदि उत्तर करीब था, तो सिस्टम उसे चुन लेता; यदि नहीं, तो वह आगे बढ़ जाता।
उन्होंने इस पद्धति का परीक्षण भारतीय चिकित्सा प्रवेश परीक्षाओं से लिए गए 190,000 से अधिक प्रश्नों के डेटासेट पर किया, जिसमें चिकित्सा के इक्कीस विभिन्न विषय शामिल थे। उन्होंने एक बुनियादी सेटअप के साथ शुरुआत की जहाँ सिस्टम निर्णय लेने के लिए प्रश्न के अंतिम शब्द और उत्तर को देखता था। इस प्रारंभिक अवस्था में, सिस्टम केवल रैंडम अनुमान से थोड़ा बेहतर प्रदर्शन कर रहा था, जो हर तीन में से लगभग एक प्रश्न सही कर रहा था। यह परिणाम अपेक्षित था, क्योंकि एक भाषा मॉडल का कच्चा आउटपुट स्वाभाविक रूप से पूरे वाक्य को एक एकल बिंदु में सारांशित करने के लिए डिज़ाइन नहीं किया गया है। हालाँकि, उन्होंने पाया कि जिस तरह से वे मॉडल को टेक्स्ट प्रोसेस करने के लिए कहते थे, उससे बहुत बड़ा अंतर पड़ता था। केवल एक प्रॉम्प्ट के माध्यम से प्रश्नों और उत्तरों को लपेटकर, जिसमें मॉडल से केवल एक शब्द में अर्थ का सारांश निकालने के लिए कहा गया था, उन्होंने मॉडल को जानकारी को अधिक प्रभावी ढंग से संकुचित करने के लिए मजबूर किया। इस छोटे से बदलाव ने, और इन सूक्ष्म घटकों को प्रशिक्षित करने के तरीके में मामूली समायोजन के साथ, सिस्टम के प्रदर्शन को काफी ऊँचा उछाल दिया।
इन सुधारों के साथ, सिस्टम प्रश्नों को बहुत बेहतर समझने लगा। जब इसे लगभग 4,000 प्रश्नों के सेट पर परखा गया जिन्हें उसने पहले कभी नहीं देखा था, तो सिस्टम के सबसे अच्छे संस्करण ने, जो एक बड़े भाषा मॉडल पर आधारित था, 46.0% प्रश्नों को सही ढंग से उत्तर दिया। यह शुरुआती 33% की तुलना में एक महत्वपूर्ण सुधार था और शुद्ध संयोग से अपेक्षित 25% की सटीकता से कहीं अधिक था। उन्होंने पुष्टि की कि सिस्टम वास्तव में प्रश्नों को पढ़ रहा था और न कि केवल यह याद रख रहा था कि प्रशिक्षण डेटा में कौन से उत्तर सबसे अधिक दिखाई देते हैं। जब उन्होंने प्रश्नों को इस तरह से उलझा दिया कि उत्तर पूरी तरह से अलग प्रश्नों के हो गए, तो सिस्टम का प्रदर्शन वापस रैंडम अनुमान के स्तर पर गिर गया, जिससे यह सिद्ध हुआ कि वह वास्तव में विशिष्ट प्रश्न को विशिष्ट उत्तर से जोड़ रहा था।
इन लाभों के बावजूद, अध्ययन ने इस तेज़-सोचने वाले दृष्टिकोण की सीमाओं को भी रेखांकित किया। सिस्टम उन प्रश्नों के साथ काफी संघर्ष करता था जो पूछते थे कि क्या नहीं सत्य है, या जिनमें "अपवाद" (except) या "न्यूनतम" (least) जैसे शब्द शामिल थे। इन मामलों में, सिस्टम की सटीकता बड़े अंतर से गिर गई, जिससे पता चलता कि उसका समानता मापने का तरीका सकारात्मक कथनों के लिए सबसे अच्छा काम करता है और वहां विफल हो जाता है जहाँ तर्क के लिए निषेध (negation) की आवश्यकता होती है। इसके अलावा, जबकि सिस्टम तेज़ और कुशल था, जिसे प्रशिक्षित करने में केवल कुछ मिनट और चलाने में कुछ सेकंड लगते थे, यह आज उपलब्ध सबसे उन्नत चिकित्सा AI सिस्टम से बहुत पीछे था। वे शीर्ष-स्तरीय सिस्टम, जो धीमा, विचारशील तर्क का उपयोग करते हैं और पूर्ण व्याख्याएँ उत्पन्न करते हैं, 70% से ऊपर की सटीकता दर प्राप्त करते हैं। उन्होंने निष्कर्ष निकाला कि उनका तेज़, सिंगल-पास मॉडल यह समझने के लिए एक मूल्यवान, कम लागत वाला बेसलाइन है कि मशीनें त्वरित निर्णय कैसे ले सकती हैं, लेकिन यह अभी भी परिष्कृत चिकित्सा नैदानिक उपकरणों का प्रतिस्पर्धी नहीं है।
इस कार्य ने यह भी प्रकट किया कि अंतर्निहित भाषा मॉडल का आकार मायने रखता था, लेकिन केवल तभी जब सिस्टम को टेक्स्ट को प्रोसेस करना सिखाया गया हो। एक छोटा मॉडल और एक मध्यम आकार का मॉडल बुनियादी पद्धति का उपयोग करते समय लगभग समान प्रदर्शन करते थे, लेकिन एक बार जब "एक-शब्द सारांश" तकनीक लागू की गई, तो बड़ा मॉडल आगे निकल गया। यह सुझाव देता है कि बड़े मॉडलों में इस तरह के कार्य के लिए अधिक क्षमता होती है, बशर्ते कि उन्हें सही प्रकार की जानकारी निकालने के लिए निर्देशित किया जाए। उन्होंने नोट किया कि उनका तरीका चलाने में अविश्वसनीय रूप से सस्ता है, जिसमें सबसे बड़े जेनेरेटिव मॉडलों की तुलना में बहुत कम कंप्यूटिंग पावर की आवश्यकता होती है। वे अपने कार्य को एक अंतिम समाधान के रूप में नहीं, बल्कि एक स्पष्ट प्रदर्शन के रूप में देखते हैं कि एक फ्रीज किए गए, तेज़-सोचने वाले सिस्टम अकेले कितनी दूर तक जा सकता है, और अगले कदम—जैसे कि मुख्य मॉडल को थोड़ा सीखने की अनुमति देना या नकारात्मक प्रश्नों को संभालने के लिए एक चरण जोड़ना—कहाँ ले जा सकते हैं। यह अध्ययन चिकित्सा आर्टिफिशियल इंटेलिजेंस में गति और गहराई के बीच के व्यापार-बंद (trade-off) का एक ठोस माप है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।