Compositional Reasoning Depth Predicts Clinical AI Failure: Empirical Evidence Consistent with Transformer Compositionality Limits in Electronic Health Record Question Answering
यह शोध पत्र यह प्रदर्शित करता है कि इलेक्ट्रॉनिक स्वास्थ्य अभिलेखों से नैदानिक प्रश्नों का उत्तर देने के लिए आवश्यक अनुमानित चरणों की संख्या (हॉप काउंट) लार्ज लैंग्वेज मॉडल की विफलता का एक सुदृढ़, सिद्धांत-प्रेरित भविष्यवक्ता है, जो तर्क की गहराई बढ़ने के साथ कई आर्किटेक्चर में सटीकता में निरंतर एकदिष्ट गिरावट (monotonic decline) प्रदर्शित करती है, एक ऐसा रुझान जो विस्तारित सोच (extended thinking) के साथ भी बना रहता है और जिसे कॉन्टेक्स्ट ट्रंकेशन (context truncation) के कारण नहीं माना जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, अच्छी तरह से पढ़ा-लिखा इंटर्न (प्रशिक्षु) काम पर रख रहे हैं ताकि वह आपको एक मरीज की मेडिकल फाइल (कागजों का एक ढेर जिसे इलेक्ट्रॉनिक हेल्थ रिकॉर्ड या EHR कहा जाता है) पढ़ने और उससे जुड़े सवालों के जवाब देने में मदद कर सके।
यह कागज उस इंटर्न के प्रदर्शन का एक रिपोर्ट कार्ड है। शोधकर्ताओं ने एक चौंकाने वाला पैटर्न पाया: इंटर्न को उत्तर खोजने के लिए जितने अधिक कदम उठाने पड़ते हैं, उसके विफल होने की संभावना उतनी ही अधिक होती है।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) के साथ विवरण दिया गया है:
1. "हॉप" (Hop) काउंट: कितने कदम?
शोधकर्ताओं ने एक तरीका बनाया जिससे यह मापा जा सके कि कोई प्रश्न कितना कठिन है, इसके लिए उन्होंने "हॉप्स" (कदमों) को गिना:
- हॉप 1 (आसान खोज - The Easy Fetch): प्रश्न एक विशिष्ट तथ्य के बारे में पूछता है, जैसे "मरीज का ब्लड प्रेशर क्या है?" इंटर्न बस एक लाइन देखता है और उसे पढ़ लेता है।
- हॉप 2 (सरल तुलना - The Simple Comparison): प्रश्न पूछता है, "क्या आगमन के समय ब्लड प्रेशर अधिक था?" इंटर्न को संख्या भी ढूंढनी होगी और उसकी एक मानक (standard) से तुलना भी करनी होगी।
- हॉप 3 (जासूसी कार्य - The Detective Work): प्रश्न पूछता है, "उनकी उम्र और पारिवारिक इतिहास के आधार पर, क्या उन्हें मैमोग्राम करवाना चाहिए?" इंटर्न को उम्र ढूंढनी होगी, पारिवारिक इतिहास ढूंढना होगा, चिकित्सा नियमों को देखना होगा और उन्हें आपस में जोड़ना होगा।
- हॉप 4 (मास्टर शेफ - The Master Chef): प्रश्न पूछता है कि सभी विशेषज्ञ मुलाकातों का सारांश दें और किसी भी अनसुलझे मुद्दों को चिह्नित करें। इंटर्न को कई अलग-अलग सेक्शन पढ़ने होंगे, हफ्तों पहले के विवरणों को याद रखना होगा और एक पूरी नई कहानी को संश्लेषित (synthesize) करना होगा।
2. मुख्य खोज: विफलता की "सीढ़ी" (The "Step-Ladder" of Failure)
परीक्षण में तीन अलग-अलग "सुपर-इंटर्न" (Anthropic और OpenAI जैसी कंपनियों के AI मॉडल) का परीक्षण किया गया। उन्होंने एक सुसंगत नियम पाया: जैसे-जैसे कदमों की संख्या बढ़ती है, सटीकता पत्थर की तरह गिरती जाती है।
- हॉप 1: वे लगभग 30-38% उत्तर सही दे पाए। (परफेक्ट नहीं, लेकिन ठीक-ठाक)।
- हॉप 4: उनकी सटीकता गिरकर लगभग 15-23% रह गई।
यह एक ऐसे छात्र की तरह है जो एक गणित के सवाल को आसानी से हल कर सकता है, लेकिन जब उससे एक ऐसा शब्द-समस्या (word problem) पूछी जाती है जिसमें पांच अलग-अलग गणितीय अवधारणाओं को जोड़ना पड़ता है, तो वह पूरी तरह बिखर जाता है। जितनी जटिल श्रृंखला होगी, AI उतना ही भटक जाएगा।
3. "सोचने के समय" का प्रयोग (The "Thinking Time" Experiment)
शोधकर्ताओं ने सोचा: क्या होगा यदि हम इंटर्न को "ज़ोर से सोचने" या उत्तर देने से पहले विचार-मंथन करने के लिए अधिक समय दें? इसे "चेन ऑफ थॉट" (Chain of Thought) या "विस्तारित सोच" (Extended Thinking) कहा जाता है।
- परिणाम: इससे वास्तव में कोई मदद नहीं मिली। भले ही AI को अपने तर्क के चरणों को लिखने के लिए मजबूर किया गया या उसे "सोचने वाले टोकन" (मानसिक ऊर्जा) का एक बड़ा बजट दिया गया, कठिन सवाल आने पर सटीकता फिर भी गिर गई।
- उपमा: कल्पना कीजिए कि आप एक भ्रमित छात्र को अपने विचारों को लिखने के लिए एक व्हाइटबोर्ड दे रहे हैं। यदि समस्या उनके मस्तिष्क की संरचना के लिए बहुत जटिल है, तो लिखना जादू की तरह समाधान पेश नहीं कर देगा। वे फिर भी अटक जाएंगे।
4. ऐसा क्यों होता है? ("मस्तिष्क" की सीमा)
यह पेपर सुझाव देता है कि ऐसा इसलिए नहीं है कि AI आलसी है या उसने फाइल नहीं पढ़ी। यह उन "ट्रांसफॉर्मर्स" (Transformers) की एक मौलिक सीमा है जिनके आधार पर ये AI "मस्तिष्क" बने हैं।
- उपमा: AI के ध्यान (attention span) को एक टॉर्च की तरह समझें। यह एक स्थान पर बहुत चमक सकता है (हॉप 1)। लेकिन यदि इसे एक पैटर्न देखने के लिए अंधेरे कमरे में चार अलग-अलग स्थानों को जोड़ना पड़ता है (हॉप 4), तो टॉर्च को एक साथ उन सभी बीमों पर ध्यान केंद्रित करने के लिए डिज़ाइन नहीं किया गया है। "प्रकाश" बिंदुओं को जोड़ने के लिए बहुत अधिक बिखर जाता है।
5. "सुरक्षा" का मोड़ (The "Safety" Twist)
दिलचस्प बात यह है कि जब AI कठिन सवालों पर अटक गया, तो उसका व्यवहार बदल गया:
- पहले: वह कभी-कभी बेतुके अनुमान लगाता था और तथ्य बना लेता था (Hallucination/भ्रम)।
- बाद में (सोचने के साथ): उसने अनुमान लगाना बंद कर दिया। इसके बजाय, वह अक्सर कहता था, "मुझे नहीं पता" या उत्तर देने से मना कर देता था (Omission/लोप)।
- यह क्यों मायने रखता है: अस्पताल में, एक सिस्टम के लिए यह कहना अधिक सुरक्षित है कि "मुझे नहीं पता" (ताकि एक मानव डॉक्टर हस्तक्षेप कर सके) बजाय इसके कि वह आत्मविश्वास के साथ कोई गलत निदान बना ले। "सोचने" वाले मोड ने AI को उसकी उलझन के प्रति अधिक ईमानदार बनाया, भले ही इसने उसे अधिक स्मार्ट नहीं बनाया।
6. किस कारण से विफलता नहीं हुई?
शोधकर्ताओं ने यह जांचा कि क्या AI इसलिए विफल हो रहा था क्योंकि मेडिकल फाइल बहुत लंबी थी या अधूरी थी।
- परीक्षण: उन्होंने जांचा कि क्या उत्तर वास्तव में फाइल के उन हिस्सों में छिपे थे जिन्हें AI देख सकता था। उन्होंने पाया कि कठिन सवालों के लिए भी उत्तर वहाँ मौजूद थे।
- निष्कर्ष: समस्या जानकारी की कमी नहीं थी; बल्कि AI की उस जानकारी को जोड़ने की अक्षमता थी जो उसके पास थी।
सारांश
यह पेपर हमें बताता है कि वर्तमान AI उपकरण एकल तथ्यों को खोजने में बहुत अच्छे हैं लेकिन जटिल चिकित्सा पहेली को सुलझाने के लिए कई बिंदुओं को जोड़ने में उन्हें काफी संघर्ष करना पड़ता है। उन्हें अधिक समय देना या उनसे "कड़ी मेहनत" करने के लिए कहना इस संरचनात्मक कमजोरी को ठीक नहीं करता है।
मुख्य सीख: यदि आप मेडिकल रिकॉर्ड पढ़ने के लिए AI का उपयोग कर रहे हैं, तो आपको यह जानना आवश्यक है कि सरल प्रश्नों की तुलना में जटिल, बहु-चरणीय (multi-step) प्रश्नों पर इसके गलती करने की संभावना बहुत अधिक है। आप केवल एक "औसत" स्कोर को देखकर संतुष्ट नहीं हो सकते; आपको यह देखना होगा कि प्रश्न कितने कठिन थे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।