तकनीकी सारांश: LLM एजेंटों के साथ नैदानिक स्कोरिंग प्रणालियों का स्वचालित निर्माण

समस्या विवरण

आधुनिक नैदानिक अभ्यास संक्षिप्त, साक्ष्य-आधारित स्कोरिंग प्रणालियों (जैसे, CURB-65, SOFA) पर निर्भर करता है जो कुछ सीमित संख्या में व्याख्या योग्य निर्णय नियमों से बनी होती हैं। ये प्रणालियाँ बेडसाइड (बिस्तर के पास) निष्पादन के लिए डिज़ाइन की गई हैं, जिनमें स्मृति-अनुकूलता (memorability), ऑडिटेबिलिटी और बिना किसी कंप्यूटेशनल सहायता के संचालन की आवश्यकता होती है। हालाँकि, कई उच्च-प्रदर्शन वाले मशीन लर्निंग (ML) मॉडल नियमित नैदानिक उपयोग में विफल हो जाते हैं क्योंकि वे इन वर्कफ़्लो बाधाओं के साथ संरेखित नहीं होते हैं। वे अक्सर असंगत रूप से उपलब्ध इनपुट पर निर्भर करते हैं, जटिल प्रीप्रोसेसिंग की आवश्यकता होती है, या निरंतर-भार (continuous-weight) गणना उत्पन्न करते हैं जिन्हें मैन्युअल रूप से निष्पादित करना कठिन होता है।

मौजूदा स्वचालित विधियाँ नैदानिक स्कोर सीखने में आमतौर पर एक "जनरेशन-सिलेक्शन गैप" (निर्माण-चयन अंतराल) का सामना करती हैं। RiskSLIM या Optimal Checklists जैसे दृष्टिकोण एक निश्चित, पूर्व-निर्मित फीचर मैट्रिक्स पर अनुकूलन करते हैं। वे कच्चे चरों (raw variables) से नैदानिक रूप से सार्थक व्युत्पन्न नियम (जैसे, शारीरिक अनुपात, टेम्पोरल रुझान, या उथले तार्किक संयोजन) को स्वचालित रूप से खोजने में सक्षम नहीं हैं। फलस्वरूप, हाइपोथीसिस स्पेस (परिकल्पना स्थान) के निर्माण का बोझ मैन्युअल फीचर इंजीनियरिंग पर पड़ता है, जो उस संयोजी नियम स्थान (combinatorial rule space) की कवरेज को सीमित करता है जिसे नैदानिक दिशानिर्देश नियमित रूप से विचार में रखते हैं।

मुख्य चुनौती एक सीमित मॉडल क्लास (यूनिट-वेटेड, अनऑर्डर्ड चेकलिस्ट) के भीतर नियम निर्माण और चेकलिस्ट अनुकूलता को संयुक्त रूप से अनुकूलित करना है, जबकि एक विशाल असतत खोज स्थान (discrete search space) के माध्यम से नेविगेट करना है जो व्यापक सूचीकरण (exhaustive enumeration) या मानक ग्रेडिएंट-आधारित अनुकूलन के लिए अगम्य है।

कार्यप्रणाली: AgentScore

लेखक AgentScore पेश करते हैं, जो एक ढांचा है जो बड़े भाषा मॉडल (LLMs) और असतत अनुकूलन (discrete optimization) के बीच के अंतर को पाटकर स्वचालित रूप से तैनात करने योग्य नैदानिक स्कोरिंग सिस्टम का निर्माण करता है। यह प्रणाली LLMs को स्वायत्त निर्णय लेने वाले के रूप में नहीं, बल्कि एक नियत, डेटा-आधारित सत्यापन लूप के भीतर संरचित अर्थ संबंधी प्रस्ताव तंत्र (structured semantic proposal mechanism) के रूप में मानती है।

1. नियम भाषा और बाधाएं

AgentScore एक प्रतिबंधित, नैदानिक रूप से प्रेरित नियम भाषा $\mathcal{R}$ के भीतर कार्य करता है जो निम्नलिखित का समर्थन करता है:

• संख्यात्मक सीमाएँ और रेंज: मानक कटपॉइंट्स (जैसे, $HR > 100$)।
• वर्गीकृत और बाइनरी उपस्थिति नियम: निदान या कोमोरबिडिटी (सह-रुग्णता)।
• शारीरिक अनुपात और कंट्रास्ट: व्युत्पन्न सूचकांक (जैसे, $HR/BP$)।
• गणना-आधारित नियम: M-of-N मानदंड (जैसे, SIRS मानदंड)।
• उथले तार्किक संयोजन: स्मृति-अनुकूलता बनाए रखने के लिए सीमित गहराई वाले AND/OR ऑपरेशन।
• टेम्पोरल और वितरण संबंधी नियम: लॉन्गिट्यूडिनल डेटा से प्राप्त रुझान, डेल्टा और क्वांटाइल-आधारित थ्रेशोल्ड।

लक्ष्य मॉडल एक यूनिट-वेटेड N-of-M चेकलिस्ट है: नियमों का एक विरल सेट $S$ जहाँ स्कोर संतुष्ट नियमों की संख्या है ($S(\tilde{x}) = \sum r_j(\tilde{x})$), और एक निर्णय तब लिया जाता है जब स्कोर एक थ्रेशोल्ड $\tau$ से अधिक हो जाता है।

2. AgentScore पाइपलाइन

सीखने की प्रक्रिया समस्या को तीन चरणों में विभाजित करती है (चित्र 2):

• नियम प्रस्ताव (LLM एजेंट): एक LLM एक डेटासेट विवरण और एक टूल इंटरफेस के माध्यम से प्रदान किए गए समग्र सांख्यिकी के आधार पर संभावित नियमों का प्रस्ताव देता है। महत्वपूर्ण रूप से, LLM कभी भी कच्चे रोगी-स्तरीय रिकॉर्ड को नहीं देखता, जिससे गोपनीयता जोखिम और मतिभ्रम (hallucination) कम हो जाता है। यह व्याकरण का पालन करते हुए संरचित JSON नियम उत्पन्न करता है।
• नियतात्मक सत्यापन और फ़िल्टरिंग (Deterministic Validation & Filtering):
  • सांख्यिकीय स्क्रीनिंग: प्रस्तावित नियमों का मूल्यांकन होल्ड-आउट डेटा पर किया जाता है। एक नियम तभी रखा जाता है जब वह न्यूनतम विभेदन (discrimination) थ्रेशोल्ड (जैसे, AUROC $\ge 0.60$) को पूरा करता है और वर्तमान पूल के विरुद्ध जैकार्ड समानता (Jaccard similarity) पर रिडंडेंसी (अतिरेक) जांच पास करता है।
  • नैदानिक सुसंगतता जाँच: दूसरा LLM एजेंट एक "स्व-जाँच" के रूप में कार्य करता है ताकि उन नियमों को खारिज किया जा सके जो सांख्यिकीय रूप से वैध तो हैं लेकिन नैदानिक रूप से निरर्थक या अर्थ संबंधी रूप से असंगत हैं।
• स्कोर असेंबली (LLM एजेंट): तीसरा एजेंट अंतिम चेकलिस्ट बनाने के लिए रिटेन किए गए नियमों के एक संक्षिप्त उपसमूह का चयन करता है। इस एजेंट को केवल सांख्यिकीय रूप से समान प्रॉक्सी के बजाय अर्थ संबंधी विविध संयोजनों (जैसे, श्वसन, हृदय और गुर्दे के डोमेन को कवर करना) को प्रस्तावित करने के लिए निर्देशित किया जाता है।
• पुनरावृत्त परिशोधन (Iterative Refinement): असेंबली एजेंट विभेदन और कवरेज मेट्रिक्स पर फीडबैक प्राप्त करके चेकलिस्ट को पुन: परिष्कृत कर सकता है, जब तक कि एक स्टॉपिंग क्राइटेरियन (रोकने का मानदंड) पूरा न हो जाए। अंतिम निर्णय थ्रेशोल्ड $\tau$ को स्वचालित रूप से अनुकूलित किया जाता है (जैसे, यूडेन के J सांख्यिकी को अधिकतम करना)।

3. अनुकूलन उद्देश्य

प्रणाली एक कठिन बाधा के अधीन अनुभवजन्य नैदानिक उपयोगिता (जैसे, AUROC, नेट बेनिफिट) को अधिकतम करने का प्रयास करती है:
$$\max_{S \subseteq \mathcal{R}} U(S(\tilde{x}), y; D_{val}) \quad \text{s.t.} \quad |S| \le m, \text{Depth}(r) \le d$$
यह एक NP-hard, नॉन-डिफरेंशिएबल कॉम्बिनेटरियल समस्या है। AgentScore इसे LLM का उपयोग करके नियम स्थान के अर्थ संबंधी ढांचे (semantic structure) के माध्यम से नेविगेट करके संबोधित करता है, जिससे एक विरल परिदृश्य में उच्च-उपयोगिता वाले नियम खोजने की "कोल्ड स्टार्ट" समस्या कम हो जाती है, जबकि नियत उपकरण सांख्यिकीय वैधता और तैनात करने योग्यता सुनिश्चित करते हैं।

मुख्य योगदान

1. वैचारिक: यह शोध पत्र नैदानिक चेकलिस्ट लर्निंग को केवल निश्चित विशेषताओं पर चयन के बजाय नियम निर्माण और उपसमूह चयन पर एक संयुक्त कॉम्बिनेटरियल अनुकूलन समस्या के रूप में औपचारिक रूप देता है। यह स्पष्ट रूप से बेडसाइड संज्ञानात्मक और परिचालन संबंधी बाधाओं (स्मृति-अनुकूलता, ऑडिटेबिलिटी, अंकगणित-मुक्त उपयोग) को हाइपोथीसिस क्लास में एनकोड करता है।
2. एल्गोरिद्मिक: AgentScore एक ऐसा ढांचा पेश करता है जहाँ LLMs एक प्रतिबंधित व्याकरण के भीतर अर्थ संबंधी संरचित उम्मीदवारों का प्रस्ताव देते हैं, जबकि नियत उपकरण व्याकरण वैधता, सांख्यिकीय स्क्रीनिंग और रिडंडेंसी नियंत्रण को लागू करते हैं। यह पृथक्करण सुनिश्चित करता है कि अंतिम स्कोर दोनों रूप से व्याख्या योग्य और अनुभवजन्य रूप से समर्थित हो।
3. अनुभवजन्य: विधि का मूल्यांकन आठ नैदानिक भविष्यवाणी कार्यों (MIMIC-IV, eICU) और दो बाहरी सत्यापन कार्यों पर किया गया है।

प्रयोगात्मक परिणाम

• भविष्यवाणी प्रदर्शन: आठ कार्यों में, AgentScore मौजूदा स्कोर-जेनरेशन बेसलाइन्स (RiskSLIM, FasterRisk, Optimal Checklists, AutoScore) से काफी बेहतर प्रदर्शन करता है और सख्त संरचनात्मक बाधाओं (यूनिट वेट्स, कम नियम संख्या) के बावजूद लचीले व्याख्या योग्य मॉडलों (लॉजिस्टिक्स रिग्रेशन, डिसीजन ट्री) के बराबर या उनसे बेहतर प्रदर्शन करता है।
• दिशानिर्देश प्रतिस्पर्धात्मकता: बाहरी सत्यापन सेटिंग्स (PhysioNet 2012 ICU मृत्यु दर और UK/Canadian Cystic Fibrosis कोहॉर्ट्स) में, AgentScore ने स्थापित नैदानिक दिशानिर्देशों (SOFA, SAPS-I, CF ट्रांसप्लांट दिशानिर्देश) की तुलना में उच्च विभेदन (AUROC) प्राप्त किया, जबकि यह मैन्युअल निष्पादन के लिए उपयुक्त बना रहा।
• तैनाती क्षमता (Deployability): 18 कार्यरत चिकित्सकों द्वारा एक संरचित समीक्षा ने गाइडलाइन-शैली के तर्क (85%), बेडसाइड अनुप्रयोग में आसानी (71%), और तैनाती प्राथमिकता (81%) के संबंध में एजेंट स्कोर-जनरेटेड चेकलिस्ट के प्रति एक पूर्णांक-भारित (integer-weighted) बेसलाइन्स (FasterRisk) की तुलना में महत्वपूर्ण प्राथमिकता दिखाई।
• एब्लेशन अध्ययन: बाधित प्रस्ताव-सत्यापन लूप को हटाने (इसे अनकन्स्ट्रेंड LLM जेनरेशन से बदलने) से प्रदर्शन में महत्वपूर्ण गिरावट (Cohen's $d \approx 2.8$) आई, जिससे नियत सत्यापन लूप की आवश्यकता की पुष्टि हुई।

महत्व और दावे

यह शोध पत्र तर्क देता है कि नैदानिक ML अपनाने के बीच का अंतर अपर्याप्त भविष्य कहनेवाला शक्ति के कारण नहीं है, बल्कि मॉडल क्लास को अनुकूलित करने के कारण है जो गाइडलाइन तैनाती के साथ असंगत है। AgentScore प्रदर्शित करता है कि प्रतिबंधित अर्थ संबंधी अनुकूलन—जहाँ हाइपोथीसिस क्लास डिज़ाइन, तैनात करने योग्यता और सत्यापन को प्रथम-श्रेणी के मॉडलिंग चिंताओं के रूप में माना जाता है—ऐसे मॉडल दे सकता है जो अत्यधिक सटीक और सीधे बेडसाइड पर निष्पादनीय दोनों हैं।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण नैदानिक दिशानिर्देशों को प्रतिस्थापित नहीं करता है, बल्कि उम्मीदवार स्कोरिंग सिस्टम के निर्माण के लिए एक मार्ग प्रदान करता है जो दिशानिर्देश-शैली के उपयोग के साथ संरेखित हैं और भावी सत्यापन के लिए उपयुक्त हैं। यह ढांचा नैदानिक ML अपनाने की प्रमुख बाधाओं को संबोधित करता है, जिसमें डेटा गवर्नेंस (LLMs को कच्चे डेटा एक्सेस से अलग करके) और नियम खोज में "जनरेशन-सिलेक्शन गैप" शामिल है।

सीमाएं: लेखक नोट करते हैं कि AgentScore लचीले ब्लैक-बॉक्स मॉडल की तुलना में कम अभिव्यंजक है और उन भविष्य कहनेले संबंध को मिस कर सकता है जो अर्थ संबंधी रूप से LLM के लिए सुलभ नहीं हैं। यह औपचारिक अनुकूलन गारंटी के बजाय तैनात करने योग्यता को प्राथमिकता देता है और स्वाभाविक रूप से निष्पक्षता बाधाओं को लागू नहीं करता है, जिसके लिए बाहरी ऑडिट की आवश्यकता होती है। स्कोरिंग सिस्टम अनुसंधान आर्टिफैक्ट्स हैं जिनका उद्देश्य सत्यापन है, तत्काल नैदानिक तैनाती नहीं।