ConfTriage: A Calibration-Aware LLM Triage Framework for Pulmonary Nodule Malignancy with Selective Specialist Deferral

कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन आप किसी अपराध स्थल को नहीं, बल्कि इंसान के फेफड़े के अंदर एक छोटे, धुंधले बादल को देख रहे हैं। यह पल्मोनरी नोड्यूल (pulmonary nodule) का पता लगाने की दुनिया है, जहाँ डॉक्टर इन छोटे उभारों को खोजने के लिए विशेष सीटी स्कैन का उपयोग करते हैं। इनमें से अधिकांश उभार हानिरहित होते हैं, जैसे त्वचा पर हानिरहित तिल, लेकिन कुछ खतरनाक हो सकते हैं, जैसे कि एक टिक-टिक करता हुआ टाइम बम। समस्या यह है कि इन बादलों की संख्या इतनी अधिक है कि मानव डॉक्टर अभिभूत हो जाते हैं, हजारों छवियों को देखते हुए और यह तय करने की कोशिश करते हैं कि किन पर तत्काल ध्यान देने की आवश्यकता है और किन्हें अनदेखा किया जा सकता है।

लंबे समय तक, वैज्ञानिकों ने सुपर-स्मार्ट कंप्यूटर प्रोग्राम (जिन्हें "स्पेशलिस्ट एआई" कहा जाता है) बनाने की कोशिश की जो इन बादलों की कच्ची तस्वीरों को देख सकें और सुरक्षित और खतरनाक के बीच अंतर बता सकें। ये प्रोग्राम एक मास्टर डिटेक्टिव की तरह हैं जिसने लाखों अपराध स्थल की तस्वीरों का अध्ययन किया है; वे बहुत अच्छे हैं, लेकिन वे बहुत चयनात्मक भी हैं। उन्हें विशेष रूप से तस्वीरों पर प्रशिक्षित करने की आवश्यकता होती है, उन्हें मनुष्यों को समझाना कठिन है, और वे यह नहीं बता सकते कि उन्हें क्यों लगता है कि कुछ संदिग्ध है।

यहाँ "जनरलिस्ट एआई" (Generalist AI), या लार्ज लैंग्वेज मॉडल (LLM) का प्रवेश होता है। इन्हें अंतिम ट्रिविया मास्टर के रूप में सोचें। इन्होंने इंटरनेट पर लिखी लगभग हर चीज़ को पढ़ा है, जिसमें मेडिकल पाठ्यपुस्तकें और डॉक्टरों के नोट्स शामिल हैं। वे शब्दों और कहानियों को समझने में अद्भुत हैं, लेकिन वे आमतौर पर एक्स-रे के कच्चे पिक्सेल को देखने के लिए प्रशिक्षित नहीं होते हैं। बड़ा सवाल यह है कि क्या एक शब्द-कुशल एआई, जिसने फेफड़े के नोड्यूल की एक भी तस्वीर नहीं देखी है, केवल डॉक्टर के लिखित विवरण को पढ़कर इस रहस्य को सुलझा सकता है? और यदि वह ऐसा करता है, तो क्या हम इसकी सटीकता पर इतना भरोसा कर सकते हैं कि इसे पहला निर्णय लेने दें, या हमें इसके काम की दोबारा जांच करनी होगी?

यह शोध पत्र ठीक इन्हीं सवालों के जवाब देने के लिए एक चतुर नया सिस्टम पेश करता है जिसे ConfTriage (कॉन्फिडेंस ट्राइएज के लिए संक्षिप्त) कहा जाता है। शोधकर्ता यह देखना चाहते थे कि क्या एक जनरलिस्ट एआई फेफड़ों के नोड्यूल्स के लिए एक स्मार्ट "गेटकीपर" के रूप में कार्य कर सकता है, जो आसान मामलों को कठिन मामलों से अलग कर सके ताकि मानव डॉक्टर और विशेष इमेज-एआई को केवल कठिन चीजों से ही जूझना पड़े।

उन्होंने इसे कैसे किया और उन्हें क्या मिला, यहाँ दिया गया है:

"लैंग्वेज-ओनली" का आश्चर्य
टीम ने पाँच अलग-अलग शीर्ष स्तर के एआई मॉडलों (OpenAI, Google और अन्य कंपनियों से) का उपयोग करके एक विशाल प्रयोग आयोजित किया। उन्होंने इन मॉडलों को सात अलग-अलग तरीकों से एक फेफड़े के नोड्यूल का मामला दिया:

1. केवल संख्याओं की एक सूची (जैसे "आकार: 5mm, आकृति: गोल")।
2. नोड्यूल का वर्णन करने वाली एक प्राकृतिक भाषा की कहानी (जैसे "कटे हुए किनारों वाला एक छोटा, गोल नोड्यूल")।
3. केवल छवि से कुछ बुनियादी आँकड़े (जैसे "औसत चमक" या "बनावट के पैटर्न")।
4. उपरोक्त का विभिन्न संयोजन।

परिणाम एक बहुत बड़ा आश्चर्य थे। जब एआई ने केवल इमेज स्टैटिस्टिक्स (तस्वीर से प्राप्त कच्चे नंबरों) का उपयोग करके खतरे के स्तर का अनुमान लगाने की कोशिश की, तो यह अनिवार्य रूप से रैंडम अंदाजे लगा रहा था, जो एक सिक्के के उछाल (coin flip) से बेहतर नहीं था। यह ऐसा था जैसे एआई एक धुंधली फोटो देख रहा हो और पिक्सेल गिनकर आसमान का रंग बताने की कोशिश कर रहा हो।

हालाँकि, जब एआई को नोड्यूल का नेचुरल लैंग्वेज डिस्क्रिप्शन दिया गया—ठीक वैसे ही जैसे एक रेडियोलॉजिस्ट रिपोर्ट में लिखता है—तो वह एक स्टार डिटेक्टिव बन गया। एआई अविश्वसनीय सटीकता के साथ खतरनाक नोड्यूल्स की पहचान कर सका, जो 0.907 के स्कोर तक पहुँच गया (एक ऐसे पैमाने पर जहाँ 1.0 पूर्ण है)। यह सुझाव देता है कि इन नोड्यूल्स के निदान का "सीक्रेट सॉस" कच्चे पिक्सेल में नहीं, बल्कि उन विशिष्ट शब्दों में छिपा है जिनका उपयोग डॉक्टर वर्णन करने के लिए करते हैं। एआई ने, लाखों मेडिकल टेक्स्ट को पढ़ने के कारण, पहले से ही जान लिया था कि "स्पिकुलेटेड" (कटे हुए/नुकीले) या "लोबुलेटेड" (उभरे हुए/बंपी) जैसे शब्द रेड फ्लैग हैं।

"ConfTriage" रणनीति
यह जानते हुए कि एआई विवरण पढ़ने में अच्छा है, टीम ने ConfTriage नामक एक सुरक्षा प्रणाली बनाई। वे जानते थे कि यहाँ तक कि स्मार्ट एआई भी अत्यधिक आत्मविश्वासी हो सकते हैं। कभी-कभी एक एआई कह सकता है, "मुझे 99% यकीन है कि यह सुरक्षित है!" जबकि वह वास्तव में गलत हो सकता है। इसे ठीक करने के लिए, उन्होंने एक "कैलिब्रेशन" चरण जोड़ा।

कैलिब्रेशन को एक संगीत वाद्ययंत्र को ट्यून करने जैसा समझें। एआई का कच्चा आत्मविश्वास थोड़ा बेसुरा है। शोधकर्ताओं ने एआई के कॉन्फिडेंस स्कोर को एडजस्ट करने के लिए एक गणितीय ट्रिक (जिसे प्लैट स्केलिंग कहा जाता है) का उपयोग किया ताकि वे वास्तविकता से मेल खा सकें। यदि एआई कहता है कि वह 80% सुनिश्चित है, तो उसे 80% बार सही होना चाहिए।

एक बार जब एआई ट्यून हो गया, तो उन्होंने एक नियम निर्धारित किया:

• यदि एआई बहुत आश्वस्त है (या तो बहुत आश्वस्त है कि यह सुरक्षित है या बहुत आश्वस्त है कि यह खतरनाक है), तो वह निर्णय लेता है।
• यदि एआई अनिश्चित है (बीच में झूल रहा है), तो वह मामले को तुरंत एक "स्पेशलिस्ट बैकस्टॉप" को भेज देता है। यह बैकस्टॉप एक पारंपरिक, इमेज-ट्रेंड एआई (जिसे Certain-Net कहा जाता है) है जो तस्वीरों को देखने में बहुत अच्छा है लेकिन इसके लिए बहुत प्रशिक्षण की आवश्यकता होती है।

परिणाम: एक परफेक्ट टीम-अप
यह टीम-अप शानदार रहा। ConfTriage सिस्टम केवल टेक्स्ट पढ़ने वाले जनरलिस्ट एआई का उपयोग करके सभी मामलों के 76.5% को हल करने में सक्षम था। इसे इन मामलों के लिए एक भी इमेज देखने की आवश्यकता नहीं पड़ी। इसने शेष 23.5% "भ्रमित करने वाले" मामलों को विशेषज्ञ इमेज-एआई को भेजा।

अंतिम सिस्टम ने 88.22% का F1 स्कोर और 0.92 का AUC हासिल किया। इसका मतलब है कि यह अत्यधिक सटीक था, लेकिन इससे भी महत्वपूर्ण बात यह है कि यह कुशल था। इसने भारी-भरफ इमेज-प्रोसेसिंग पावर को उन मामलों के लिए बचा लिया जिन्हें वास्तव में इसकी आवश्यकता थी।

उन्होंने क्या खारिज किया
यह शोध पत्र स्पष्ट रूप से बताता है कि क्या काम नहीं करता है। उन्होंने स्पष्ट रूप से दिखाया कि जनरलिस्ट एआई में कच्चे इमेज स्टैटिस्टिक्स (जैसे पिक्सेल ब्राइटनेस के हिस्टोग्राम) फीड करना इस कार्य के लिए बेकार है। एआई बस उनका अर्थ नहीं निकाल सका। उन्होंने यह भी दिखाया कि हालांकि कुछ एआई मॉडल दूसरों की तुलना में बेहतर हैं, लेकिन "लैंग्वेज-ओनली" दृष्टिकोण लगभग सभी मॉडलों में अच्छी तरह से काम करता है, जिससे पता चलता है कि यह किसी विशिष्ट कंपनी के मॉडल का इत्तेफाक नहीं है।

वे कितने आश्वस्त हैं?
लेखक अपने निष्कर्षों को लेकर काफी आश्वस्त हैं क्योंकि उन्होंने केवल अनुमान नहीं लगाया; उन्होंने गणित के साथ इसे सिद्ध किया। उन्होंने अपने सिस्टम का समर्थन करने के लिए दो गणितीय प्रमेय (theorems) विकसित किए।

• एक प्रमेय यह सिद्ध करता है कि उनका संयुक्त सिस्टम (AI + स्पेशलिस्ट) एक गारंटीकृत त्रुटि दर (error rate) रखता है जो एक निश्चित सीमा से अधिक नहीं होगी, भले ही डेटा कम हो।
• दूसरा प्रमेय दिखाता है कि यदि एआई का कॉन्फिडेंस अच्छी तरह से कैलिब्रेटेड (सही ढंग से ट्यून) है, तो सिस्टम सैद्धांतिक रूप से पूर्ण निर्णय लेने वाले के लगभग बराबर होता है।

उन्होंने 955 फेफड़ों के नोड्यूल्स के एक सार्वजनिक डेटासेट पर इसका परीक्षण किया, जिसमें एक कठोर पद्धति का उपयोग किया गया जहाँ उन्होंने मानव रेडियोलॉजिस्ट के सर्वसम्मति के विरुद्ध एआई के काम की जाँच की। उन्होंने "करप्शन टेस्ट" भी चलाए, जहाँ उन्होंने शब्दों को बदल दिया या विवरणों का अर्थ बदल दिया, और एआई का प्रदर्शन गिर गया, जिससे यह साबित हुआ कि वह वास्तव में चिकित्सा अर्थ को समझ रहा था न कि केवल रैंडम शब्दों को याद कर रहा था।

निष्कर्ष
ConfTriage चिकित्सा में एआई के उपयोग के एक नए तरीके का सुझाव देता है। एक विशाल, महंगी कंप्यूटर मशीन बनाने के बजाय जो सब कुछ करने की कोशिश करती है, हम एक स्मार्ट, भाषा-कुशल एआई का उपयोग कर सकते हैं जो डॉक्टर के नोट्स पढ़कर आसान मामलों को संभाल सके। यह एक कुशल ट्राइएज नर्स की तरह कार्य करता है, जो मरीजों को छाँटता है और जटिल मामलों के लिए केवल विशेषज्ञ सर्जन (इमेज-एआई) को बुलाता है। यह समय बचाता है, लागत कम करता है, और यह स्वीकार करके सिस्टम को सुरक्षित रखता है कि उसे उत्तर नहीं पता है। हालांकि यह अध्ययन सार्वजनिक डेटा पर किया गया था और इसके लिए अस्पतालों में वास्तविक दुनिया के परीक्षण की आवश्यकता है, यह एक आशाजनक रोडमैप प्रदान करता है कि कैसे जनरल एआई और स्पेशलिस्ट एआई डॉक्टरों को जीवन बचाने में मदद करने के लिए मिलकर काम कर सकते हैं।