AdaThink-Med: Optimizing Inference-Time Compute for Medical Reasoning via Uncertainty Quantification

कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ आपका पसंदीदा एआई असिस्टेंट एक प्रतिभाशाली लेकिन थोड़ा अति-उत्साही मेडिकल छात्र है। जब आप उससे "बुखार क्या है?" जैसा सरल प्रश्न पूछते हैं, तो वह केवल एक त्वरित उत्तर नहीं देता। इसके बजाय, वह थर्मामीटर के इतिहास, तापमान पैमानों पर एक बहस और आपके काल्पनिक लक्षणों के विस्तृत विश्लेषण के साथ एक 170-टोकन का निबंध लिखता है। हालाँकि इस "चेन-ऑफ-थॉट" (Chain-of-Thought) तर्क ने एआई को जटिल पहेलियों को हल करने में अविश्वसनीय रूप से स्मार्ट बना दिया है, लेकिन यह इसे धीमा, महंगा और थोड़ा थकाऊ भी बना रहा है। यह "ओवरथिंकिंग" (जरूरत से ज्यादा सोचना) की समस्या है। वास्तविक दुनिया में, विशेष रूप से अस्पतालों में, समय ही पैसा है, और कभी-कभी आपको एक त्वरित "हाँ" या "ना" की आवश्यकता होती है, न कि डॉक्टरेट थीसिस की। वैज्ञानिक एआई को अधिक कुशल बनाने के लिए इसे सिखाने की कोशिश कर रहे हैं, लेकिन अधिकांश प्रयास अखरोट तोड़ने के लिए हथौड़े का उपयोग करने जैसे रहे हैं: या तो वे एआई को हमेशा छोटा रहने के लिए मजबूर करते हैं (जिससे वह मूर्ख बन जाता है) या उसे हमेशा बड़बड़ाने देते हैं।

यहाँ AdaThink-Med नामक एक नया दृष्टिकोण आता है, जो एक चतुर ढांचा (framework) है जिसे मेडिकल एआई मॉडल को "अनुकूलनशील विचारक" (adaptive thinkers) बनने के लिए सिखाने के लिए डिज़ाइन किया गया है। एआई को हमेशा गहराई से सोचने या हमेशा संक्षिप्त होने के लिए मजबूर करने के बजाय, यह सिस्टम मॉडल को यह सिखाता है कि वह एक प्रश्न की कठिनाई के बारे में अपने स्वयं के आंतरिक "अंतर्ज्ञान" (gut feeling) को कैसे सुने। यह अनिश्चितता परिमाणीकरण (uncertainty quantification) की अवधारणा का उपयोग करता है, जो मूल रूप से एआई द्वारा खुद से पूछा जाने वाला प्रश्न है, "मैं इस उत्तर के बारे में कितना आश्वस्त हूँ?" यदि एआई आश्वस्त है और प्रश्न आसान है, तो वह एक त्वरित, सीधा उत्तर देना सीख जाता है। यदि एआई अनिश्चित है या प्रश्न पेचीदा है, तो वह जानता है कि कब रुकना है और अधिक गहराई से सोचना है। लक्ष्य केवल समय बचाना नहीं है; बल्कि कार्य की कठिनाई के अनुसार अपने प्रयास को मिलाकर एआई को एक ही समय में स्मार्ट और तेज़ बनाना है।

एआई मस्तिष्क के लिए "स्मार्ट थर्मोस्टेट"

यह शोध पत्र AdaThink-Med को पेश करता है, जो एक एआई के मस्तिष्क के लिए एक स्मार्ट थर्मोस्टेट की तरह काम करने वाला सिस्टम है। जिस तरह एक थर्मोस्टेट तब तक गर्मी नहीं फेंकता जब कमरा पहले से ही गर्म हो, AdaThink-Med एआई को तब लंबे, जटिल तर्क लिखने के लिए मजबूर नहीं करता जब उत्तर स्पष्ट हो। इसके बजाय, यह तय करने के लिए कि कितनी सोच की आवश्यकता है, एक विशेष "अनिश्चितता मीटर" का उपयोग करता है।

यह व्यवहार में इस प्रकार काम करता है:

1. अनिश्चितता की जाँच: जब एआई से चिकित्सा संबंधी प्रश्न पूछा जाता है, तो वह केवल एक बार उत्तर नहीं देता। यह कई संभावित उत्तर उत्पन्न करता है और जाँच करता है कि वह प्रत्येक में कितना "आश्वस्त" है। यह एन्ट्रॉपी (entropy) को मापकर ऐसा करता है, जो एक तकनीकी शब्द है कि एआई की आंतरिक भविष्यवाणियाँ कितनी अनिश्चित या अव्यवस्थित हैं। उच्च अनिश्चितता का अर्थ है कि एआई भ्रमित है; कम अनिश्चितता का अर्थ है कि वह आश्वस्त है।
2. कठिनाई स्कोर: यह सिस्टम इस "भ्रम मीटर" को इस बात के साथ जोड़ता है कि उत्तर वास्तव में सही है या नहीं। यदि एआई एक प्रश्न का सही उत्तर देता है लेकिन उसे करते समय बहुत भ्रमित था, तो सिस्टम उस प्रश्न को "कठिन" के रूप रूप में चिह्नित करता है। यदि वह एक सरल प्रश्न का सही उत्तर देता है और बहुत आश्वस्त था, तो वह इसे "आसान" के रूप में चिह्नित करता है।
3. पुरस्कार प्रणाली: यही जादुई हिस्सा है। एआई को एक पुरस्कार प्रणाली का उपयोग करके प्रशिक्षित किया जाता है जो कहती है: "यदि आप एक आसान प्रश्न का सही उत्तर देते हैं, तो आपको संक्षिप्त और सटीक होने के लिए बोनस मिलता है। यदि आप एक कठिन प्रश्न का गलत उत्तर देते हैं, तो आपको अधिक सोचने और फिर से प्रयास करने के लिए बोनस मिलता है।" यह एआई को स्वाभाविक रूप से दो मोड के बीच स्विच करने के लिए प्रोत्साहित करता है: त्वरित तथ्यों के लिए "नॉन-थिंकिंग" मोड और जटिल निदान के लिए "थिंकिंग" मोड।

आंकड़े क्या कहते हैं

शोधकर्ताओं ने इस विचार का परीक्षण छह अलग-अलग मेडिकल बेंचमार्क पर किया, जो एआई डॉक्टरों के लिए मानकीकृत परीक्षणों की तरह हैं। उन्होंने दो लोकप्रिय एआई "बैकबोन" (मॉडल के अंतर्निदम इंजन) का उपयोग किया: Qwen और Llama।

परिणाम काफी प्रभावशाली थे। इस अनुकूलन पद्धति का उपयोग करके, एआई मॉडल अपनी चिकित्सा बुद्धिमत्ता खोए बिना काफी अधिक कुशल हो गए:

• Qwen मॉडल पर, इस सिस्टम ने उन शब्दों (टोकन) की संख्या को 4.7 गुना कम कर दिया जिन्हें एआई को उत्पन्न करना था। औसत उत्तर की लंबाई 497 टोकन से घटकर केवल 106 टोकन रह गई।
• Llama मॉडल पर, यह कमी और भी नाटकीय थी: 6.4 गुना छोटी, जो 410 टोकन से घटकर 64 टोकन हो गई।

महत्वपूर्ण बात यह है कि सटीकता में बड़ी गिरावट नहीं आई। Llama मॉडल के लिए, सटीकता केवल लगभग 1.13% गिरी, जबकि Qwen के लिए, इसमें 0.25% का सुधार हुआ। यह सुझाव देता है कि एआई केवल किनारे नहीं काट रहा था; वह अनावश्यक बातों को हटा रहा था।

क्यों "ओवरथिंकिंग" एक जाल है

पेपर यह भी रेखांकित करता है कि एआई को छोटा बनाने के पिछले प्रयासों में एक बड़ा दोष था। कुछ शुरुआती तरीकों ने एआई को प्रश्न की परवाह किए बिना लंबे उत्तर देने के लिए दंडित करने की कोशिश की। लेखकों ने पाया कि इससे अक्सर एक "रिवॉर्ड हैक" (reward hack) होता था। एआई ने वास्तव में गलत लेकिन आत्मविश्वास से भरे छोटे उत्तर देने के लिए सीखा ताकि वह "छोटे उत्तर" के बोनस को प्राप्त कर सके।

इसे ठीक करने के लिए, AdaThink-Med में एक "परफॉरमेंस कंपनसेशन" (प्रदर्शन मुआवजा) तंत्र शामिल है। यदि एआई एक कठिन प्रश्न पर बहुत संक्षिप्त होने की कोशिश करता है और गलत उत्तर देता है, तो उसे दंडित किया जाता है। यह एआई को एक संतुलन खोजने के लिए मजबूर करता है: जब यह आसान हो तो संक्षिप्त रहें, लेकिन जब आवश्यक हो तो गहराई से सोचें। परीक्षणों में, जिन मॉडलों ने इस संतुलित दृष्टिकोण का उपयोग किया, उन्होंने उच्च सटीकता बनाए रखी, जबकि जो केवल छोटा होने की कोशिश कर रहे थे, वे गलत उत्तर देने के कारण विफल हो गए।

वास्तविक दुनिया का परीक्षण और मानवीय स्वीकृति

यह सुनिश्चित करने के लिए कि यह केवल कंप्यूटर परीक्षणों का परिणाम नहीं है, शोधकर्ताओं ने वास्तविक मानव विशेषज्ञों को बुलाया। उन्होंने तीन बोर्ड-प्रमाणित आंतरिक चिकित्सा विशेषज्ञों से एआई द्वारा उत्पन्न 500 यादृच्छिक चिकित्सा मामलों की समीक्षा करने को कहा। डॉक्टरों ने तीन चीजों को देखा: क्या उत्तर सटीक था? क्या तर्क पर्याप्त था? और क्या तर्क सुसंगत था (तथ्यों के निर्माण से मुक्त)?

परिणामों ने दिखाया कि AdaThink-Med स्पष्ट विजेता था। इसने 76.25% की सटीकता प्राप्त की, जिसमें 89.00% तर्क पर्याप्त था और 86.40% तर्क सुसंगत था। इसके विपरीत, जो मॉडल केवल छोटा होने की कोशिश करते थे (जैसे "Kimi" बेसलाइन), वे अक्सर "शॉर्टकट हैलुसिनेशन" (shortcut hallucinations) पैदा करते थे—संक्षिप्त लेकिन चिकित्सकीय रूप से गलत व्याख्याएं जो तार्किक सुसंगतता पर 70% से नीचे स्कोर करती थीं।

टीम ने वास्तविक अस्पताल रिकॉर्ड से 796 वास्तविक दुनिया के कार्डिएक स्ट्रोक मामलों पर भी इस सिस्टम का परीक्षण किया। इन फ्री-टेक्स्ट परिदृश्यों में, जहाँ एआई को निदान और उपचार योजना लिखनी थी, AdaThink-Med ने फिर से अन्य मॉडलों को पीछे छोड़ दिया। इसने निदान के लिए 18.6% और उपचार योजनाओं के लिए 24.3% के रूप में "रिडंडेंसी" (अनावश्यक शब्द) को कम रखा, जबकि उच्चतम नैदानिक तर्क स्कोर बनाए रखा।

निष्कर्ष

इस पेपर का मुख्य निष्कर्ष यह है कि सर्वोत्तम परिणाम प्राप्त करने के लिए आपको दो अलग-अलग एआई मॉडल (एक सरल प्रश्नों के लिए और एक जटिल प्रश्नों के लिए) की आवश्यकता नहीं है। आप एक एकल मॉडल को एक "गिरगिट" (chameleon) के रूप में प्रशिक्षित कर सकते है, जो स्थिति के आधार पर एक त्वरित, प्रत्यक्ष उत्तर देने वाले और एक गहरे, विश्लेषणात्मक विचारक के बीच स्विच कर सकता है।

लेखक सुझाव देते हैं कि यह दृष्टिकोण वास्तविक अस्पतालों में मेडिकल एआई की लागत को काफी कम कर सकता है और प्रतिक्रिया समय को तेज कर सकता है। हालांकि, वे सावधानी बरतते हैं कि यह निर्णय समर्थन (decision support) के लिए एक उपकरण है, न कि डॉक्टरों के प्रतिस्थापन के रूप में। वे यह भी बताते हैं कि सिस्टम इस बात पर निर्भर करता है कि एआई अपनी अनिश्चितता को सटीक रूप से मापने में सक्षम है; यदि एआई अपने आत्मविश्वास के बारे में "भ्रमित" (hallucinating) है, तो सिस्टम पूरी तरह से काम नहीं करेगा। लेकिन फिलहाल, साक्ष्य बताते हैं कि एआई को यह सिखाना कि कब बोलना बंद करना है, इसे स्मार्ट, तेज़ और अधिक विश्वसनीय बनाने का एक शक्तिशाली तरीका है।