Clinical Reasoning Graphs: Structured Evaluation of LLM Diagnostic Reasoning Reveals Competence Without Consistency
यह शोध पत्र NEJM मामलों पर लार्ज लैंग्वेज मॉडल्स (LLMs) का मूल्यांकन करने के लिए क्लिनिकल रीजनिंग ग्राफ्स प्रस्तुत करता है और यह पाता है कि हालांकि LLMs नैदानिक सक्षमता प्रदर्शित करते हैं, लेकिन उनमें नैदानिक रूप से समान मामलों में सुसंगत, स्कीमा-स्तरीय तर्क पैटर्न की कमी है, जो अंतिम-उत्तर सटीकता से परे प्रक्रिया-स्तरीय मूल्यांकन की आवश्यकता को रेखांकित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि क्या कोई छात्र वास्तव में एक विषय सीख रहा है या वह केवल विशिष्ट परीक्षा प्रश्नों के उत्तरों को रट रहा है।
यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs)—उन AI चैटबॉट्स की जिन्हें हम आज उपयोग करते हैं—की एक गहरी जांच की तरह है, यह देखने के लिए कि क्या वे वास्तव में एक डॉक्टर की तरह "सोच" रहे हैं या केवल सही उत्तर तक पहुँचने के लिए पैटर्न-मैचिंग कर रहे हैं।
यहाँ उस कहानी का विवरण है जो उन्होंने पाया, जिसे सरल रूप में समझाया गया है:
1. सेटअप: "मेडिकल मिस्ट्री" टेस्ट
शोधकर्ताओं ने न्यू इंग्लैंड जर्नल ऑफ मेडिसिन से 50 वास्तविक, जटिल चिकित्सा मामलों (इन्हें उच्च-दांव वाले मेडिकल रहस्यों के रूप में सोचें) को लिया। उन्होंने पांच अलग-अलग शीर्ष-स्तरीय AI मॉडल्स को उन्हें हल करने के लिए कहा।
उन्होंने केवल अंतिम उत्तर (जैसे, "मरीज को निमोनिया है") को नहीं देखा। उन्होंने उस संपूर्ण विचार प्रक्रिया को देखा जो AI ने वहां तक पहुँचने के लिए लिखी थी। इसे "रीज़निंग ट्रेस" (reasoning trace) कहा जाता है।
2. समस्या: "ब्लैक बॉक्स" थिंकिंग
आमतौर पर, एक AI का तर्क केवल टेक्स्ट की एक दीवार होता है। दो अलग-अलग AI स्पष्टीकरणों की तुलना करना कठिन है कि क्या वे एक ही तर्क का उपयोग कर रहे हैं।
- उपमा: कल्पना कीजिए कि दो छात्र इस बात पर निबंध लिख रहे हैं कि कार क्यों खराब हुई। एक कहता है, "इंजन गर्म है, इसलिए रेडिएटर विफल हो गया।" दूसरा कहता है, "कार गर्म है, इसलिए इंजन विफल हो गया।" वे एक ही निष्कर्ष पर पहुँचे, लेकिन उनका तर्क अलग है। यदि आप केवल निबंधों को पढ़ते हैं, तो यह बताना कठिन है कि क्या वे एक ही "मानसिक ब्लूप्रिंट" का उपयोग कर रहे हैं।
3. समाधान: विचारों को "नक्शों" में बदलना
इसे ठीक करने के लिए, शोधकर्ताओं ने क्लिनिकल रीजनिंग ग्राफ्स (Clinical Reasoning Graphs) का आविष्कार किया।
- रूपक: उन्होंने उस अव्यवित टेक्स्ट को एक फ्लोचार्ट या रोडमैप में बदल दिया।
- नक्शा:
- नोड्स (बिंदु): ये "लक्षणों", "संभावित बीमारियों", "सुरागों" और "साक्ष्यों" जैसी चीजों का प्रतिनिधित्व करते हैं।
- एजेस (रेखाएं): ये कनेक्शन हैं, जैसे "यह लक्षण इस बीमारी का समर्थन करता है" या "यह सुराग उस बीमारी को खारिज करता है।"
उन्होंने एक विशिष्ट सेट के नियमों (एक ऑन्टोलॉजी) का निर्माण किया ताकि यह सुनिश्चित हो सके कि प्रत्येक AI का नक्शा एक ही भाषा में बनाया गया है। उन्होंने सफलतापूर्वक 750 अलग-अलग AI निबंधों को 750 संरचित मानचित्रों में बदल दिया।
4. बड़ा सवाल: क्या AI के पास "मानसिक ब्लूप्रिंट" होते हैं?
मानव डॉक्टरों में, विशेषज्ञ एक चीज़ का उपयोग करते हैं जिसे डायग्नोस्टिक स्कीमा (Diagnostic Schema) कहा जाता है।
- उपमा: जब एक मानव डॉक्टर सीने में दर्द और एक विशिष्ट हृदय लय (heart rhythm) देखता है, तो वे तुरंत अपने मस्तिष्क में एक पूर्व-निर्मित "चेस्ट पेन ब्लूप्रिंट" निकाल लेते हैं। वे जानते हैं कि किन सुरागों को देखना है और उन्हें कैसे खारिज करना है। यदि वे एक अलग मरीज को देखते हैं जिनमें समान लक्षण हैं, तो वे उसी ब्लूप्रिंट का उपयोग करते हैं।
शोधकर्ताओं ने पूछा: क्या AI ऐसा करता है?
यदि एक AI एक ही प्रकार की किडनी की बीमारी वाले दो मरीजों को देखता है, तो क्या वह दो बहुत मिलते-जुलते नक्शे बनाता है? या क्या वह दो पूरी तरह से अलग नक्शे बनाता है जो बस एक ही उत्तर तक पहुँचते हैं?
5. निष्कर्ष: सक्षमता बिना निरंतरता के
परिणाम आश्चर्यजनक और उन लोगों के लिए थोड़े परेशान करने वाले थे जो AI के "तर्क" पर भरोसा करते हैं।
- परिणाम: AI मॉडल सही उत्तर प्राप्त करने में अच्छे थे (सक्षमता/Competence)। लेकिन, जब उन्होंने नक्शों को देखा, तो मॉडल एक सुसंगत ब्लूप्रिंट का उपयोग नहीं कर रहे थे।
- रूपक: कल्पना कीजिए कि दो छात्र गणित की परीक्षा दे रहे हैं। दोनों ही "42" उत्तर सही प्राप्त करते हैं।
- छात्र A हर बार मानक सूत्र का उपयोग करता है।
- छात्र B हर एक समस्या के लिए एक अलग, अजीब ट्रिक का उपयोग करता है, भले ही समस्याएं बिल्कुल एक जैसी हों।
- अध्ययन: AI मॉडल छात्र B की तरह थे। समान चिकित्सा मामलों का सामना करने पर, वे पूरी तरह से अलग नक्शे बनाते थे। नक्शे बिल्कुल भी एक जैसे नहीं दिखते थे, भले ही अंतिम निदान एक ही था।
मुख्य निष्कर्ष: AI सही उत्तर पाने के लिए पर्याप्त "स्मार्ट" है, लेकिन यह मानव विशेषज्ञों की तरह स्थिर, दोहराने योग्य तरीके से "सोच" नहीं रहा है। यह अनिवार्य रूप से हर मामले के लिए पहिये का पुन: आविष्कार कर रहा है।
6. "सटीकता का जाल" (The Accuracy Trap)
पेपर ने पाया कि सही होना यह नहीं दर्शाता कि आप लगातार सोच रहे हैं।
- उपमा: यदि आप लगातार 10 बार सही उत्तर का अनुमान लगाते हैं, तो आप बुद्धिमान दिखते हैं। लेकिन यदि आपने हर बार एक अलग, यादृच्छिक (random) अनुमान लगाने की रणनीति का उपयोग किया है, तो आप वास्तव में सामग्री सीख नहीं रहे हैं।
- अध्ययन ने दिखाया कि जब दो AIओं ने निदान गलत भी किया, तब भी उनके तर्क के नक्शे उतने ही समान (या असमान) थे जितने कि जब वे सही थे। यह साबित करता है कि उनकी "संरचना" उनकी वास्तविकता में सही होने से अलग चीज़ है।
7. क्या "कड़ी मेहनत से सोचने" से मदद मिली?
शोधकर्ताओं ने "स्ट्रक्चर्ड रिफ्लेक्शन" नामक एक ट्रिक आजमाई, जहाँ उन्होंने AI को कहा: "रुको, अपने पहले उत्तर के बारे में सोचो, अपने ही तर्क के विरुद्ध बहस करो, और फिर से निर्णय लो।"
- परिणाम: इसने AI को अधिक विस्तृत नक्शे और अधिक विशिष्ट सुराग लिखने के लिए प्रेरित किया। हालांकि, इसने नक्शों को विभिन्न मामलों के बीच अधिक सुसंगत नहीं बनाया। AI अभी भी हर नए मरीज के लिए एक अलग "ब्लूप्रिंट" का उपयोग करता रहा।
निचोड़ (The Bottom Line)
पेपर यह निष्कर्ष निकालता है कि हम केवल इसलिए AI के "तर्क" पर भरोसा नहीं कर सकते क्योंकि वह तार्किक दिखता है या क्योंकि वह सही उत्तर प्राप्त करता है।
- चेतावनी: भले ही AI की व्याख्या एक डॉक्टर की विचार प्रक्रिया की तरह दिखती हो, इसका मतलब यह नहीं है कि उसके पास एक स्थिर, पुन: प्रयोज्य (reusable) सोचने का तरीका है। यह केवल एक बहुत अच्छा पैटर्न मैचर हो सकता है जो संयोग से सही हो जाता है।
- अच्छी खबर: इन विचारों को "नक्शों" (ग्राफ) में बदलकर, हम अब वास्तव में इस असंगति को देख और माप सकते हैं। हम यह मान लेना बंद कर सकते हैं कि AI इंसान की तरह सोच रहा है और हम सटीक रूप से यह मापना शुरू कर सकते हैं कि वह कैसे सोचता है।
संक्षेप में: AI एक शानदार तात्कालिक सुधारक (improviser) है जो हर बार सही अंत प्राप्त करता है, लेकिन वह कभी भी एक ही स्क्रिप्ट का दो बार उपयोग नहीं करता।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।