Comparison of the Diagnostic Reliability of ChatGPT in Letournel–Judet Acetabulum Fracture Classification Based on Judet Radiographs According to Orthopaedic Residents
यह अध्ययन प्रदर्शित करता है कि ChatGPT-4o लेटुरनेल-जुडेट (Letournel–Judet) एसिटाबुलर फ्रैक्चर को वर्गीकृत करने के लिए मौलिक रूप से अपर्याप्त नैदानिक विश्वसनीयता और विशेषज्ञ मानकों के साथ नगण्य सहमति प्रदर्शित करता है, जो ऑर्थोपेडिक रेजिडेंट्स की तुलना में काफी खराब प्रदर्शन करता है और इस प्रकार पेल्विक ट्रॉमा के लिए एक व्यवहार्य निर्णय-सहायता उपकरण के रूप में विफल होता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही जटिल, 3D पहेली है जो किसी व्यक्ति के कूल्हे के अंदर टूटी हुई हड्डी से बनी है। इसे ठीक करने के लिए, डॉक्टरों को यह पता लगाने की ज़रूरत है कि टुकड़े वास्तव में कैसे अलग हुए। वे इस टूट-फूट का वर्णन करने के लिए "लेतौर्नल-जुडेट वर्गीकरण" (Letournel–Judet classification) नामक एक विशेष मानचित्र का उपयोग करते हैं। यह मानचित्र कठिन है; इसके लिए तीन अलग-अलग सपाट एक्स-रे चित्रों को देखने (जैसे किसी इमारत को सामने, बगल और पीछे से देखना) और फिर पूरे ढांचे को समझने के लिए उन्हें मानसिक रूप से जोड़ने की आवश्यकता होती है।
इस अध्ययन ने एक सरल प्रश्न पूछा: क्या एक सुपर-स्मार्ट कंप्यूटर चैटबॉट (ChatGPT-4o) इस काम को एक प्रशिक्षण ले रहे डॉक्टर के समान अच्छी तरह से कर सकता है?
यहाँ बताया गया है कि क्या हुआ, सरल उपमाओं (analogies) का उपयोग करते हुए:
सेटअप: परीक्षण
शोधकर्ताओं ने टूटे हुए कूल्हे के सॉकेट वाले 184 रोगियों के एक्स-रे लिए। उन्होंने तीन समूहों के साथ एक "परीक्षण" तैयार किया:
- विशेषज्ञ (The Expert): एक अनुभवी ट्रॉमा सर्जन जिसने अंतिम 3D CT स्कैन और वास्तविक सर्जरी के परिणाम देखे थे। यह व्यक्ति "उत्तर कुंजी" (Answer Key) है।
- छात्र (The Students): दो ऑर्थोपेडिक रेजिडेंट्स (प्रशिक्षण के अंतिम वर्ष के डॉक्टर)। उन्होंने केवल सपाट एक्स-रे देखे, बिल्कुल उसी तरह जैसे कंप्यूटर ने देखे।
- AI: ChatGPT-4o। शोधकर्ताओं ने AI को वही एक्स-रे दिए और टूट-फूट के प्रकार को समझने में मदद के लिए प्रश्नों की एक विशिष्ट सूची (चेकलिस्ट) दी।
परिणाम: एक बड़ा अंतर
परिणाम शोधकर्ताओं के लिए एक बड़ा झटका थे।
- छात्र (रेजिडेंट्स): वे उत्कृष्ट थे। उन्होंने 88% से 91% बार सही निदान किया। वे विशेषज्ञ के साथ लगभग पूरी तरह से सहमत थे।
- AI (ChatGPT): इसे बहुत संघर्ष करना पड़ा। यह केवल 17.9% बार सही अंतिम निदान कर पाया। इसका मतलब है कि यह लगभग 10 में से 8 मामलों में गलत था।
उपमा (The Analogy):
कल्पना कीजिए कि एक खेल है जहाँ आपको तीन धुंधली तस्वीरों को देखकर एक विशिष्ट कार दुर्घटना की पहचान करनी है।
- रेजिडेंट्स अनुभवी मैकेनिकों की तरह हैं जिन्होंने तस्वीरों को देखा और कहा, "यह एक पिछला टक्कर (rear-end collision) है जिसमें फ्रेम मुड़ गया है।" वे लगभग हर बार सही थे।
- AI उस छात्र की तरह था जिसने तस्वीरों को देखा और कहा, "यह एक ऐसी कार है जो खाई में गिर गई," या "वह एक कार है जो पेड़ से टकराई है," भले ही वह स्पष्ट रूप से ऐसा नहीं था। वह बेतरतीब ढंग से अनुमान लगा रहा था।
AI कहाँ अटका
अध्ययन में पाया गया कि AI पूरी तरह से अंधा नहीं था।
- अच्छी बात: AI सरल, अलग चीजों को पहचानने में काफी अच्छा था। यह सही ढंग से पहचान सकता था कि कूल्हे के हड्डी का एक विशिष्ट हिस्सा (इलियाक विंग) टूटा हुआ है, लगभग 82% बार। यह एक ऐसे छात्र की तरह था जो सही ढंग से बता सकता है कि "यह एक टूटा हुआ पहिया है" लेकिन पूरे कार को समझने में विफल रहता है।
- बुरी बात: AI कठिन काम में बुरी तरह विफल रहा: टुकड़ों को एक साथ जोड़ना। यह नहीं समझ सका कि कूल्हे के अगले और पिछले हिस्से आपस में कैसे जुड़े हुए हैं। यह अक्सर एक साधारण टूट-फूट को "दोनों-स्तंभ" (both-column) फ्रैक्चर (एक बहुत ही जटिल टूट-फूट) समझ लेता था, यानी यह एक साधारण खरोंच को देखकर उसे एक बड़ी आपदा बता देता था।
शोधकर्ताओं ने नोट किया कि AI "भ्रम" (hallucinations) का शिकार होता प्रतीत हुआ। यह एक्स-रे पर एक छाया को देखता और आत्मविश्वास से कहता, "यह फ्रैक्चर का एक विशिष्ट संकेत है," भले ही वहां कुछ भी न हो।
निष्कर्ष: अभी इसका उपयोग न करें
इस शोध पत्र का मुख्य संदेश स्पष्ट है: टूटे हुए कूल्हे का निदान करने के लिए इस AI का उपयोग न करें।
लेखक कहते हैं कि हालांकि AI सरल कार्यों (जैसे उंगली की हड्डी टूटना पहचानने) के लिए बहुत अच्छा है, लेकिन यह वर्तमान में कूल्हे के सॉकेट फ्रैक्चर के लिए आवश्यक जटिल, बहु-चरणीय सोच के लिए मौलिक रूप से अपर्याप्त है। यह विभिन्न एक्स-रे दृश्यों को सही निदान बनाने के लिए सफलतापूर्वक संयोजित नहीं कर सकता है।
संक्षेप में: यदि आप ये एक्स-रे एक मानव रेजिडेंट को देते, तो वे संभवतः सही उत्तर प्राप्त कर लेते। यदि आप ये एक्स-रे इस विशिष्ट AI को देते, तो यह संभवतः गलत उत्तर देता, जिससे गलत सर्जरी हो सकती है। शोधकर्ता कहते हैं कि जब तक AI बहुत अधिक स्मार्ट नहीं हो जाता, हमें इस विशिष्ट कार्य के लिए मानव डॉक्टरों पर ही भरोसा करना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।