When Verification Passes the Wrong Calculator: A Human-Adjudicated Study of a Guarded Local LLM Pipeline

आधुनिक चिकित्सा की दुनिया में, डॉक्टर अक्सर कच्चे रोगी डेटा को स्पष्ट उत्तरों में बदलने के लिए विशिष्ट उपकरणों पर भरोसा करते हैं। ये उपकरण, जिन्हें क्लिनिकल कैलकुलेटर (clinical calculators) कहा जाता है, विशिष्ट संख्याओं—जैसे कि किसी व्यक्ति का वजन, आयु, या रक्त परीक्षण के परिणाम—को लेते हैं और एक निश्चित नियमों के समूह को लागू करके एक स्कोर या श्रेणी उत्पन्न करते हैं जो उपचार के मार्गदर्शन में मदद करती है। वर्षों से, ये उपकरण ऐसे कंप्यूटरों द्वारा संचालित होते रहे हैं जो सख्त, अपरिवดับ निर्देशों का पालन करते हैं, जिससे यह सुनिश्चित होता है कि गणित हमेशा सटीक रहे। हाल ही में, एक नए प्रकार के कंप्यूटर प्रोग्राम का उदय हुआ है: लार्ज लैंग्वेज मॉडल्स (large language models)। ये ऐसे सिस्टम हैं जिन्हें विशाल मात्रा में टेक्स्ट पर प्रशिक्षित किया गया है जो एक रोगी की कहानी को पढ़ सकते हैं, संदर्भ को समझ सकते हैं, और आपके लिए सही कैलकुलेटर चुनने और गणित करने का प्रयास कर सकते हैं। यह आशा है कि ये सिस्टम बुद्धिमान सहायकों के रूप में कार्य कर सकते हैं, जो एक अव्यवस्थित चिकित्सा विवरण और एक सटीक संख्यात्मक परिणाम के बीच के अंतर को पाट सकते हैं। हालाँकि, एक महत्वपूर्ण प्रश्न बना हुआ है: यदि एक कंप्यूटर प्रोग्राम कहता है कि उसने गणित सही ढंग से किया है, तो क्या इसका मतलब यह है कि उसने वास्तव में काम के लिए सही उपकरण का चयन किया था?

साउथ फ्लोरिडा विश्वविद्यालय के शोधकर्ताओं की एक टीम ने इस सटीक प्रश्न का परीक्षण करने के लिए एक विशिष्ट प्रकार के कंप्यूटर सिस्टम का उपयोग करके एक प्रयोग किया, जिसे विशेष रूप से अतिरिक्त सावधानी बरतने के लिए डिज़ाइन किया गया है। उन्होंने एक ऐसा पाइपलाइन बनाया जो एक गार्ड किए गए द्वारपाल (guarded gatekeeper) की तरह कार्य करता है। जब एक रोगी का मामला प्रस्तुत किया जाता है, तो सिस्टम पहले यह निर्णय लेता है कि किस कैलकुलेटर का उपयोग करना है। इसके बाद यह टेक्स्ट से आवश्यक संख्याएँ निकालता है, एक कठोर, त्रुटिहीन कंप्यूटर प्रोग्राम का उपयोग करके गणना करता है, और अंत में अपने काम की जाँच करता है कि क्या वह उत्तर को एक अलग तरीके से प्रस्तुत करके देख सकता है कि क्या संख्याएँ अभी भी मेल खाती हैं। शोधकर्ता जानना चाहते थे कि क्या यह आंतरिक स्थिरता की जाँच पर्याप्त थी ताकि सुरक्षा सुनिश्चित की जा सके। उनके अध्ययन में, जिसमें एक हजार से अधिक रिकॉर्ड और वास्तविक दुनिया की मेडिकल केस रिपोर्टों का एक अलग सेट शामिल था, एक आश्चर्यजनक और संभावित रूप से खतरनाक खामी का पता चला। सिस्टम सभी आंतरिक जाँचों को पास कर सकता था और एक गणितीय रूप से सुसंगत उत्तर उत्पन्न कर सकता था, भले ही उसने रोगी की स्थिति के लिए पूरी तरह से गलत कैलकुलेटर का चयन किया हो।

शोधकर्ताओं ने अपने सिस्टम, जिसे उन्होंने CIBB-Guard कहा, का मूल्यांकन सीधे कंप्यूटर से प्रश्न पूछने के एक मानक तरीके के विरुद्ध किया। एक बड़े परीक्षण में, जिसमें एक हजार से अधिक रिकॉर्ड शामिल थे, जिनमें से अधिकांश कृत्रिम या कंप्यूटर-जनित थे, गार्ड किए गए सिस्टम ने काफी बेहतर प्रदर्शन किया। इसने लगभग साठ प्रतिशत मामलों में सही उत्तर दिया, जबकि प्रत्यक्ष दृष्टिकोण केवल दस प्रतिशत में सफल रहा। यह सुधार सिस्टम की नियम चुनने, डेटा निकालने और गणित को सत्यापित करने की क्षमता से आया। हालाँकि, असली परीक्षा तब हुई जब शोधकर्ताओं ने उन मामलों को देखा जहाँ बिल्कुल भी कैलकुलेटर का उपयोग नहीं किया जाना चाहिए था। उन्होंने सतहत्तर (77) अज्ञात (de-identified) मेडिकल केस रिपोर्ट्स लीं और मानव विशेषज्ञों से उन्हें परीक्षण किए जा रहे कैलकुलेटर के लिए पात्र या अपात्र के रूप में वर्गीकृत करवाया। उन मामलों में जहाँ कैलकुलेटर लागू नहीं होते थे, गार्ड किए गए सिस्टम ने तैंतीस में से इक्कीस मामलों में उत्तर देने से मना करने का सही निर्णय लिया। लेकिन शेष बारह मामलों में, सिस्टम ने आत्मविश्वास के साथ एक उत्तर प्रदान किया, और वह उत्तर अपने स्वयं के आंतरिक सत्यापन चेक में पास हो गया।

यहीं मुख्य खोज निहित है। उन बारह अनुपयुक्त मामलों में, सिस्टम ने एक ऐसा कैलकुलेटर चुना जो रोगी की कहानी के अनुकूल नहीं था, फिर भी इसने जो गणित किया वह आंतरिक रूप से सुसंगत था। सिस्टम ने संख्याओं को एक वैकल्पिक रूप में प्रस्तुत करके अपने काम की जाँच की, और दोनों संस्करण सहमत थे। इस सहमति ने पुष्टि की कि कंप्यूटर ने चुनी गई नियमावली को सही ढंग से निष्पादित किया था, लेकिन इसने यह पुष्टि नहीं की कि चुनी गई नियमावली उपयोग के लिए सही थी। वास्तव में, लगभग सभी गलत उत्तरों में, आंतरिक जाँच सफलतापूर्वक पास हो गई। अध्ययन से पता चला कि सिस्टम का अपना सुरक्षा जाल, जिसे गणना संबंधी त्रुटियों को पकड़ने के लिए डिज़ाइन किया गया था, गलत उपकरण चुनने की त्रुटि के प्रति अंधा था। जब सिस्टम का परीक्षण उन मामलों पर किया गया जहाँ कैलकुलेटर वास्तव में उपयुक्त था, तो यह केवल तैंतालीस में से चार सही उत्तर देने में सक्षम रहा, जो प्रत्यक्ष दृष्टिकोण से सांख्यिकीय रूप से भिन्न नहीं था, जो यह दर्शाता है कि सिस्टम अभी भी रोगी की कहानी को सही नियम के साथ मिलाने के जटिल कार्य के साथ संघर्ष करता है।

शोधकर्ता इस बात पर जोर देते हैं कि उनके निष्कर्षों का अर्थ यह नहीं है कि सिस्टम बेकार है, बल्कि यह कि यह अधूरा है। अध्ययन ने एक कंप्यूटर मॉडल के एकल, फ्रीज किए गए संस्करण और बारह कैलकुलेटरों की एक विशिष्ट लाइब्रेरी का उपयोग किया। परिणाम बताते हैं कि जबकि सिस्टम गणित के निष्पादन की सटीकता में सुधार कर सकता है और यादृच्छिक त्रुटियों को कम कर सकता है, यह अभी तक यह निर्धारित नहीं कर सकता कि किसी विशिष्ट रोगी के लिए कैलकुलेटर लागू है या नहीं, जिसके लिए मानवीय निरीक्षण की आवश्यकता होती है। यह तथ्य कि सिस्टम ने गलत उत्तरों पर अपने आंतरिक चेक पास किए, यह सुझाव देता है कि केवल गणितीय निरंतरता पर भरोसा करना नैदानिक सुरक्षा सुनिश्चित करने के लिए पर्याप्त नहीं है। लेखक निष्कर्ष निकालते हैं कि इससे पहले कि ऐसे सिस्टम का उपयोग अस्पताल में किया जा सके, यह सत्यापित करने के लिए एक अलग, स्वतंत्र जाँच होनी चाहिए कि चुना गया कैलकुलेटर वास्तव में मामले के लिए उपयुक्त है, न कि केवल यह जाँचना कि गणित सही बैठता है या नहीं। यह कार्य एक चेतावनी के रूप में कार्य करता है कि एक कंप्यूटर संदर्भ के बारे में पूरी तरह से गलत होते हुए भी पूरी तरह से सुसंगत हो सकता है, और चिकित्सा में, सही उपकरण प्राप्त करना गणित को सही ढंग से करने जितना ही महत्वपूर्ण है।