💬 NLP

TriageRA-CCF: Source-Side Clinical Confidence and Coverage Signals for Adaptive Rank Budgeting in Medical LLMs

यह शोध पत्र TriageRA-CCF का प्रस्ताव करता है, जो एक सोर्स-साइड टीचर फ्रेमवर्क है जो मेडिकल LLMs के लिए LoRA रैंक बजट को गतिशील रूप से आवंटित करने हेतु कॉन्फिडेंस (confidence), क्लिनिकल कवरेज (clinical coverage) और काउंटरफैक्चुअल सिग्नल्स (counterfactual signals) का उपयोग करता है, जिससे विभिन्न मॉडल बैकबोन पर स्टैटिक और मौजूदा एडेप्टिव बेसलाइन्स की तुलना में मामूली लेकिन निरंतर सटीकता सुधार प्राप्त होता है।

मूल लेखक: Shucan Ji, Yining Huang, Hongliang Guo

प्रकाशित 2026-06-30

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shucan Ji, Yining Huang, Hongliang Guo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ TriageRA-CCF पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

बड़ी तस्वीर: क्यों "एक ही तरीका सबके लिए" सही नहीं है

कल्पना कीजिए कि आप मेडिकल परीक्षा के प्रश्नों का एक ढेर चेक कर रहे हैं।

प्रश्न A आसान है: "स्टॉप साइन (Stop sign) का रंग क्या है?" आपको उत्तर तुरंत पता है। आपको ज़्यादा सोचने की ज़रूरत नहीं है; बस उसे लिख दें।
प्रश्न B कठिन है: "एक मरीज़ में लक्षणों का एक दुर्लभ संयोजन है जो केवल एक विशिष्ट क्षेत्र में दिखाई देता है।" आपको गहराई से छानबीन करने, किताबों को बार-बार देखने और सही उत्तर पाने के लिए सावधानी से सोचने की आवश्यकता है।

समस्या: अधिकांश वर्तमान AI मॉडल (Large Language Models) हर प्रश्न के साथ एक जैसा व्यवहार करते हैं। वे आसान 'स्टॉप साइन' वाले प्रश्न के लिए भी उतना ही "दिमागी बल" (कंप्यूटेशनल प्रयास) लगाते जितना वे उस दुर्लभ मेडिकल रहस्य के लिए लगाते हैं। यह अक्षम है। यह अखरोट तोड़ने के लिए हथौड़े का उपयोग करने जैसा है, या घर बनाने के लिए एक छोटे पेचकश (screwdriver) का उपयोग करने जैसा।

लक्ष्य: लेखक एक ऐसा AI बनाना चाहते थे जो इन प्रश्नों का "ट्राइएज" (छंटनी/वर्गीकरण) कर सके। इसे आसान प्रश्नों के लिए एक छोटा बजट और कठिन प्रश्नों के लिए एक बड़ा बजट उपयोग करना चाहिए, और साथ ही कुशल भी रहना चाहिए।

समाधान: TriageRA-CCF

पेपर में TriageRA-CCF नामक एक विधि प्रस्तावित की गई है। इसे AI की दिमागी शक्ति के लिए एक स्मार्ट "ट्रैफिक पुलिस" के रूप में समझें।

हर प्रश्न को समान संसाधन देने के बजाय, AI मौके पर ही निर्णय लेता है: "क्या मुझे इस सवाल को हल करने के लिए 2 गियर, 4 गियर या 8 गियर की आवश्यकता है?"

बिना नकल किए (उत्तर देखने से पहले) यह निर्णय लेने के लिए, AI एक शिक्षक (Teacher) का उपयोग करता है जो ट्रेनिंग डेटा से तीन विशिष्ट संकेतों को देखता है:

1. आत्मविश्वास (The "Gut Feeling" Signal - अंतर्ज्ञान का संकेत)

उदाहरण: कल्पना कीजिए कि आप एक परीक्षा दे रहे हैं। यदि आप एक प्रश्न देखते हैं और आपका मन कहता है, "मैं 100% सुनिश्चित हूँ," तो शायद आपको उस पर ज़्यादा समय बिताने की ज़रूरत नहीं है। यदि आप पसीने से तर-बतर हैं और अनिश्चित हैं, तो आपको अधिक समय चाहिए।
यह कैसे काम करता है: AI जाँचता है कि बेस मॉडल कितना आश्वस्त है। यदि मॉडल बहुत आत्मविश्वासी है, तो वह छोटा बजट उपयोग करता है। यदि मॉडल भ्रमित (कम आत्मविश्वास) है, तो वह बड़े बजट पर स्विच हो जाता है।

2. क्लिनिकल कवरेज (The "Rare Book" Signal - "दुर्लभ पुस्तक" का संकेत)

उदाहरण: कल्पना कीजिए कि एक लाइब्रेरी है। कुछ किताबें (मेडिकल विषय) शेल्फ पर हज़ारों बार मिलती हैं (जैसे सामान्य सर्दी-जुकाम)। अन्य किताबें पीछे छिपी होती हैं, जिनकी केवल एक प्रति होती है (दुर्लभ बीमारियाँ)।
यह कैसे काम करता है: AI प्रश्न के "मेटाडेटा" (टैग्स) को देखता है। यदि प्रश्न किसी बहुत ही दुर्लभ मेडिकल विषय के बारे में है जिसे AI ने अपने प्रशिक्षण के दौरान बहुत कम देखा है, तो वह मान लेता है, "यह कठिन है क्योंकि मैंने इसका पर्याप्त अभ्यास नहीं किया है।" वह उस कमी की भरपाई के लिए उस प्रश्न को मध्यम या बड़ा बजट देता है।

3. काउंटरफैक्टुअल क्लोज-मिस (The "So Close, Yet So Far" Signal - "इतना करीब, फिर भी दूर" का संकेत)

उदाहरण: कल्पना कीजिए कि आप डार्ट्स (darts) खेल रहे हैं। आपने बुल्सआई (bullseye) को मिस कर दिया, लेकिन आपका डार्ट उसके ठीक बगल में लगा। आप इतने करीब थे कि एक छोटा सा बदलाव इसे एक परफेक्ट हिट बना सकता था।
यह कैसे काम करता है: AI उन प्रश्नों को देखता है जहाँ उसने उत्तर गलत दिया, लेकिन सही उत्तर उसकी लिस्ट में सबसे ऊपर के बहुत करीब था। वह सोचता है, "मैं इसे लगभग सही करने ही वाला था। यदि मैं थोड़ी अतिरिक्त ऊर्जा खर्च करूँ, तो शायद मैं इस गलती को सुधार सकूँ।" यह इन "क्लोज मिस" (करीब छूटे हुए) के लिए बड़ा बजट देता है ताकि उन्हें ठीक किया जा सके।

व्यवहार में यह कैसे काम करता है

सिस्टम एक एकल "अडेप्टर" (उपकरणों का एक सेट) का उपयोग करता है लेकिन यह तय करता है कि प्रत्येक विशिष्ट प्रश्न के लिए उन कितने उपकरणों का उपयोग करना है।

आसान प्रश्न: 2 टूल्स (Low Rank) का उपयोग करता है। तेज़ और सस्ता।
कठिन प्रश्न: 8 टूल्स (High Rank) का उपयोग करता है। धीमा लेकिन अधिक सटीक।

लेखकों ने मेडिकल परीक्षा के प्रश्नों का उपयोग करके दो लोकप्रिय AI मॉडलों (Qwen और Llama) पर इसका परीक्षण किया।

परिणाम: छोटा लेकिन स्मार्ट जीत

लेखकों ने पाया कि:

यह काम करता है: समग्र रूप से मेडिकल प्रश्नों के उत्तर देने में AI, उन मॉडलों की तुलना में थोड़ा बेहतर हो गया जो हर चीज़ के लिए समान शक्ति का उपयोग करते हैं।
यह कोई जादू नहीं है: सुधार बहुत बड़ा नहीं था (औसतन लगभग 0.2 अंक)। इसने हर एक प्रश्न को पूरी तरह से ठीक नहीं किया।
यह हमेशा एक जैसा नहीं होता: कभी-कभी "कॉन्फिडेंस" (आत्मविश्वास) वाला संकेत सबसे अच्छा काम करता था; अन्य समय, "रेयर टॉपिक" (दुर्लभ विषय) वाला संकेत सबसे अच्छा काम करता था। तीनों का संयोजन आम तौर पर सबसे स्थिर था, लेकिन कोई भी एक संयोजन हर एक टेस्ट के लिए एकदम सही नहीं था।

महत्वपूर्ण सीमाएँ (जो पेपर में बताई गई हैं)

डॉक्टर नहीं है: लेखक बहुत स्पष्ट हैं: यह बहुविकल्पीय परीक्षा के प्रश्नों के उत्तर देने के लिए है। यह वास्तविक रोगियों का निदान करने या चिकित्सा सलाह देने के लिए उपकरण नहीं है।
मामूली लाभ: सुधार छोटे हैं। पेपर यह दावा नहीं करता है कि यह एक क्रांतिकारी सफलता है जो चिकित्सा जगत की सभी समस्याओं को हल कर देगी, बल्कि यह AI को अधिक कुशल बनाने की दिशा में एक कदम है—जहाँ ऊर्जा की आवश्यकता है, वहाँ उसका उपयोग करना।
डेटा पर निर्भरता: "शिक्षक" उस डेटा पर निर्भर करता है जिस पर उसे प्रशिक्षित किया गया है। यदि प्रशिक्षण डेटा में कुछ प्रकार की दुर्लभ बीमारियों की कमी है, तो सिस्टम को यह नहीं पता चलेगा कि उन्हें अतिरिक्त ध्यान देना है।

सारांश

TriageRA-CCF एक AI के लिए एक स्मार्ट "स्टडी बडी" (पढ़ाई में मदद करने वाला साथी) की तरह है। हर फ्लैशकार्ड को एक ही तीव्रता के साथ पढ़ने के बजाय, यह कार्ड को देखता है, अपने आत्मविश्वास की जाँच करता है, देखता है कि विषय दुर्लभ है या नहीं, और निर्णय लेता है: "मैं इसे जल्दी से निपटा लूँगा, लेकिन मैं उस कठिन वाले पर वास्तव में ध्यान केंद्रित करूँगा।" यह AI को बिना किसी विशाल, महंगे कंप्यूटर के, मेडिकल परीक्षाओं में थोड़ा स्मार्ट और अधिक कुशल बनाता है।

तकनीकी सारांश: TriageRA-CCF

समस्या विवरण (Problem Statement)
मेडिकल लार्ज लैंग्वेज मॉडल्स (LLMs) को अक्सर LoRA जैसे पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग (PEFT) तरीकों का उपयोग करके अनुकूलित किया जाता है, जो आमतौर पर सभी इनपुट प्रश्नों के लिए एक निश्चित लो-रैंक बजट (fixed low-rank budget) का उपयोग करते हैं। लेखक तर्क देते हैं कि यह निश्चित-क्षमता वाला अनुमान मेडिकल मल्टीपल-चॉइस क्वेश्चन आंसरिंग (MCQA) के लिए उपयुक्त नहीं है। मेडिकल प्रश्न कठिनाई, क्लिनिकल कवरेज और बेस मॉडल की अंतर्निहित धारणा (inherent confidence) के मामले में काफी भिन्न होते हैं। कुछ प्रश्न सरल रिकॉल आइटम होते हैं जहाँ बेस मॉडल का मार्जिन पहले से ही उच्च होता है, जिससे आक्रामक एडेप्टर अपडेट अनावश्यक या हानिकारक हो सकते हैं। इसके विपरीत, अस्पष्ट, कम प्रतिनिधित्व वाले, या "क्लोज-मिस" (close-miss) प्रश्नों के लिए अधिक अनुकूलन क्षमता की आवश्यकता हो सकती है। मुख्य चुनौती बिना अस्थिर रूटिंग निर्णयों में गिरे या कंप्यूटेशनल संसाधनों को बर्बाद किए, प्रति इनपुट गतिशील रूप से लो-रैंक अपडेट क्षमता को आवंटित करने की है।

कार्यप्रणाली: TriageRA-CCF (Methodology: TriageRA-CCF)
यह शोध पत्र TriageRA-CCF का प्रस्ताव करता है, जो एक एकल साझा LoRA बेसिस के भीतर एक एडेप्टिव रैंक बजटिंग विधि है। विशेषज्ञों का एक बैंक सीखने के बजाय, मॉडल $A$ और $B$ मैट्रिसेस का एक सेट सीखता है, जहाँ सक्रिय रैंक चैनल एक डायगोनल मास्क $m(x)$ के माध्यम से प्रति इनपुट $x$ गेटेड (gated) होते हैं। एक बजट राउटर एक संग्रहीत रैंक-16 बेसिस से एक सक्रिय रैंक $k(x) \in \{2, 4, 8\}$ चुनता है।

मुख्य नवाचार एक सोर्स-साइड टीचर (source-side teacher) है जो बजट राउटर को तीन संकेतों (signals) का उपयोग करके सुपरवाइज करता है, जो विशेष रूप से सोर्स ट्रेनिंग डेटा से प्राप्त किए गए हैं (बिना टारगेट बेंचमार्क लेबल तक पहुँच के):

कॉन्फिडेंस (Confidence): यह फ्रोजन बेस मॉडल की नेक्स्ट-टोकन प्रोबेबिलिटीज से प्राप्त होता है। बड़े मार्जिन और कम एंट्रॉपी उच्च आत्मविश्वास (कम बजट) का संकेत देते हैं, जबकि कम मार्जिन और उच्च एंट्रॉपी अनिश्चितता (उच्च बजट) का सुझाव देते हैं।
क्लिनिकल कवरेज (Clinical Coverage): यह मोटे मेटाडेटा सेल्स (जैसे विशेषज्ञता/पेशा क्रॉस क्लिनिकल ऑपरेशन टैग के साथ) की घटनाओं की गणना करता है। दुर्लभ सेल्स को सोर्स डिस्ट्रीब्यूशन में कम प्रतिनिधित्व को संबोधित करने के लिए मध्यम-से-उच्च बजट दिया जाता है।
काउंटरफैक्चुअल क्लोज-मिस प्रॉक्सी (Counterfactual Close-Miss Proxy): यह उन मामलों की पहचान करता है जहाँ बेस मॉडल का प्रेडिक्शन गलत है लेकिन गोल्ड ऑप्शन (सही विकल्प) टॉप रैंकिंग के करीब है। इन "क्लोज मिस" को ऐसे उम्मीदवारों के रूप में चिह्नित किया जाता है जहाँ अतिरिक्त एडेप्टर क्षमता उत्तर को सुधारने की संभावना रखती है।

ये संकेत एक टीचर लेबल $z(x) \in \{0, 1, 2\}$ (रैंक 2, 4, 8 के अनुरूप) और एक वेट $w(x)$ उत्पन्न करते हैं। राउटर को इस टीचर के विरुद्ध एक स्ट्रैथ-थ्रू एस्टीमेटर (straight-through estimator) का उपयोग करके एक वेटेड क्रॉस-एंट्रॉपी लॉस के साथ प्रशिक्षित किया जाता है, साथ ही बजट लागत (हमेशा सबसे बड़े रैंक को चुनने से रोकने के लिए), एंट्रॉपी (डिस्ट्रीब्यूशन को शार्प करने के लिए), और रैंक बैलेंस (विशिष्ट चैनलों पर अत्यधिक निर्भरता को रोकने के लिए) के लिए रेगुलराइजेशन टर्म्स का भी उपयोग किया जाता है।

प्रमुख योगदान (Key Contributions)

फॉर्मूलेशन: लेखक मेडिकल PEFT को इनपुट-कंडीशनड एक्टिव-रैंक बजटिंग के रूप में फ्रेम करते हैं, जिससे प्रत्येक प्रश्न अपनी LoRA क्षमता का उपयोग स्वयं निर्धारित कर सकता है।
सोर्स-साइड टीचर: CCF (Confidence, Coverage, Counterfactual) बजट टीचर का परिचय, जो अनुकूलन चरण के दौरान टारगेट-डोमेन लेबल की आवश्यकता के बिना, केवल सोर्स-साइड साक्ष्य का उपयोग करके राउटर को निर्देशित करता है।
कार्यान्वयन: विशिष्ट रेगुलराइजेशन रणनीतियों के साथ स्ट्रैथ-थ्रू एडेप्टिव रैंक-बजेटेड LoRA का एक व्यावहारिक कार्यान्वयन।
अनुभवजन्य मूल्यांकन (Empirical Evaluation): Qwen3-8B और Llama3.1-8B बैकबोन पर CMB को सोर्स के रूप में और कई शिफ्टेड बेंचमार्क (CMExam, MedQA, MedMCQA) के लिए मूल्यांकन प्रोटोकॉल।

परिणाम (Results)
एक मैचड CMB-सोर्स ट्रेनिंग प्रोटोकॉल के तहत, TriageRA-CCF दोनों बैकबोन पर तुलनात्मक बाहरी PEFT बेसलाइन्स (LoRA, DoRA, और MoELoRA) के बीच सर्वश्रेष्ठ औसत सटीकता (average accuracy) प्राप्त करता है:

Qwen3-8B: 68.79% औसत सटीकता, जो सबसे मजबूत बेसलाइन (LoRA r24/a48) से +0.21 पॉइंट्स बेहतर है।
Llama3.1-8B: 58.51% औसत सटीकता, जो सबसे मजबूत बेसलाइन (MoELoRA) से +0.16 पॉइंट्स बेहतर है।

इन सुधारों को बेंचमार्क के आधार पर मामूली और गैर-समान (modest and non-uniform) बताया गया है। उदाहरण के लिए, Qwen3-8B CMExam और MedQA पर सुधार दिखाता है, जबकि Llama3.1-8B CMB और MedQA पर सुधार दिखाता है। कंपोनेंट एब्लेशन अध्ययन से पता चलता है कि हालांकि कॉन्फिडेंस, कवरेज और काउंटरफैक्चुअल सिग्नल व्यक्तिगत रूप से उपयोगी सुपरविजन प्रदान करते हैं, लेकिन उनका संयोजन हर बैकबोन या डेटासेट पर मोनोटोनिकली बेस्ट (monotonically best) नहीं है। उदाहरण के लिए, Qwen3-8B पर, एक "केवल कॉन्फिडेंस" टीचर ने उच्चतम औसत सटीकता प्राप्त की, जबकि Llama3.1-8B पर, "कॉन्फिडेंस + कवरेज" बेहतर था।

महत्ता और दावे (Significance and Claims)
यह शोध पत्र दावा करता है कि मेडिकल PEFT को न केवल यह निर्धारित करना चाहिए कि क्या पैरामीटर्स सीखने हैं, बल्कि यह भी कि प्रत्येक इनपुट को कितनी लो-रैंक अपडेट क्षमता की आवश्यकता है। TriageRA-CCF की महत्ता इसकी क्षमता में निहित है कि यह जटिल बाहरी वेरीफायर या टारगेट-डोमेन लेबल के बजाय सरल, सोर्स-साइड साक्ष्य का उपयोग करके एडैप्टिव बजटिंग को मजबूत फिक्स्ड-रैंक और मिक्सचर-ऑफ-एक्सपर्ट्स बेसलाइन्स के साथ प्रतिस्पर्धी बनाती है।

लेखक अपने निष्कर्षों के संबंध में एक विनम्र लहजा (modest tone) बनाए रखते हैं:

वे स्पष्ट रूप से कहते हैं कि सुधार छोटे हैं और इन्हें सिंगल-रन परिणामों से सांख्यिकीय महत्व (statistical significance) के दावों के बिना सावधानी से समझा जाना चाहिए।
वे इस बात पर जोर देते हैं कि यह विधि सार्वभौमिक सुधार की गारंटी नहीं देती है; सोर्स-साइड अनिश्चितता संकेत उपयोगी हैं लेकिन सार्वभौमिक गारंटी नहीं हैं।
दृष्टिकोण को रूढ़िवादी (conservative) बनाया गया है, जो बड़े बाहरी वेरीफायर या नए एक्सपर्ट बैंकों को जोड़ने के बजाय, एडैप्टिव पॉलिसी को स्थिर करने के लिए सोर्स-साइड इंडक्टिव बायस (inductive biases) पर भरोसा करता है।
सीमाओं को स्वीकार किया गया है, जिसमें कमजोर क्लिनिकल मेटाडेटा का उपयोग, बड़े या गैर-परीक्षा कॉर्पोरा पर स्ट्रेस-टेस्टिंग की कमी, और यह तथ्य शामिल है कि एक्टिव रैंक एक क्षमता डायग्नोस्टिक है न कि प्रत्यक्ष लेटेंसी माप।