Right Diagnoses, Decorative Reasoning:A Perturbation Audit of Medical Chain-of-Thought
यह शोध पत्र एक मेडिकल परटर्बेशन ऑडिट फ्रेमवर्क पेश करता है जो 14 LLMs में एक उच्च "चेन-डिकपलिंग रेट" को उजागर करता है, जो यह प्रदर्शित करता है कि उनकी चेन-ऑफ-थॉट तर्क अक्सर चिकित्सा निदान को चलाने वाले वास्तविक तर्क के वफादार साक्ष्य के बजाय केवल सजावटी दस्तावेजीकरण के रूप में कार्य करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
चिकित्सा देखभाल की उच्च-दांव वाली दुनिया में, डॉक्टर निदान तक पहुँचने के लिए एक विशिष्ट प्रकार की विचार प्रक्रिया पर भरोसा करते हैं। वे लक्षणों को एकत्र करते हैं, साक्ष्यों का वजन करते हैं, और एक निष्कर्ष तक पहुँचने के लिए एक तार्किक पथ पर चलते हैं। जब आर्टिफिशियल इंटेलिजेंस प्रणालियों ने चिकित्सा संबंधी प्रश्नों के उत्तर देना शुरू किया, तो उन्होंने "चेन-ऑफ-थॉट" (विचारों की श्रृंखला) नामक एक समान पद्धति को अपनाया। सीधे उत्तर पर कूदने के बजाय, ये कंप्यूटर प्रोग्राम पहले चरण-दर-चरण स्पष्टीकरण उत्पन्न करते हैं, जो इस तरह की नकल करता है जैसे कोई मानव डॉक्टर तर्क करता है। यह विशेषता इसलिए महत्वपूर्ण है क्योंकि यह चिकित्सा पेशेवरों को मशीन के सुझाव के पीछे के तर्क का निरीक्षण करने की अनुमति देती है, जिससे यह सुनिश्चित होता है कि एक आत्मविश्वासी उत्तर के पीछे कोई खतरनाक गलती छिपी हुई न हो। उम्मीद यह रही है कि यदि कंप्यूटर अपने तर्क को लिखता है, तो वह पाठ इस बात का वास्तविक रिकॉर्ड होगा कि वह निर्णय तक कैसे पहुँचा, जो उसके मन में एक पारदर्शी खिड़की के रूप में कार्य करेगा।
हालाँकि, आइइंडहोवन यूनिवर्सिटी ऑफ टेक्नोलॉजी और डाना-फ़ार्बर कैंसर इंस्टीट्यूट के शोधकर्ताओं का एक नया अध्ययन इस धारणा को चुनौती देता है। उन्होंने एक मौलिक प्रश्न पूछा: क्या लिखित स्पष्टीकरण वास्तव में उत्तर को संचालित करता है, या यह केवल एक कहानी है जो मशीन बाद में खुद को सुनाती है? यह पता लगाने के लिए, टीम ने तर्क प्रक्रिया को एक वैज्ञानिक प्रयोग की तरह माना। उन्होंने चौदह अलग-अलग मेडिकल एआई मॉडल्स को लिया और उनका कड़ाई से ऑडिट किया। शोधकर्ताओं ने व्यवस्थित रूप से उन प्रश्नों को बदल दिया जो मॉडल्स से पूछे गए थे—जैसे किसी स्थिति को "एक्यूट" (तीव्र) से "क्रोनिक" (दीर्घकालिक) में बदलना, रोगी की आयु बदलना, या एक नकारात्मक कथन को सकारात्मक में बदलना। ये परिवर्तन चिकित्सकीय रूप से महत्वपूर्ण थे, ऐसे विवरण जिन्हें एक वास्तविक डॉक्टर तुरंत पहचान लेगा। यदि एआई का तर्क वास्तव में वफादार होता, तो नया विवरण नए डेटा को प्रतिबिंबित करने के लिए बदल जाना चाहिए था, और अंतिम उत्तर भी बदल जाना चाहिए था यदि चिकित्सा तथ्य इसकी मांग करते।
शोधकर्ताओं ने जो खोजा वह एक चौंकाने वाला विच्छेद था। सभी मॉडल्स ने इस तरह व्यवहार किया जैसे वे किए गए परिवर्तनों को अनदेखा कर रहे हों। जब प्रश्न को इस तरह बदला गया जिससे निदान बदल जाना चाहिए था, तो लिखित तर्क अक्सर बिल्कुल वैसा ही रहा, मूल तथ्यों को दोहराता रहा जैसे कुछ हुआ ही न हो। लगभग 73 प्रतिशत मामलों में, मॉडल के स्पष्टीकरण ने संपादन को दर्ज नहीं किया, और अंतिम उत्तर भी नहीं बदला, भले ही इनपुट मौलिक रूप रूप से बदल दिया गया था। ऐसा लग रहा था जैसे मशीन ने पहले ही एक उत्तर तय कर लिया था और वह बस उसके अनुरूप एक पटकथा लिख रही थी, चाहे वास्तविक साक्ष्य कुछ भी हों। उन्होंने तर्क प्रक्रिया को ही दूषित करके इसका परीक्षण किया—चरणों को हटाकर या वाक्यों को पुनर्व्यवस्थित करके—और पाया कि मॉडल्स की सटीकता में शायद ही कोई बदलाव आया। अंतिम उत्तर सही इसलिए नहीं था क्योंकि तर्क सुसंगत था, बल्कि इसलिए था क्योंकि तर्क वास्तव में काम नहीं कर रहा था।
शोधकर्ताओं ने पुष्टि की कि यह पढ़ने की कोई साधारण त्रुटि नहीं थी। वे दो बोर्ड-प्रमाणित क्लीनिशियनों को बदले हुए प्रश्नों और मॉडल्स की प्रतिक्रियाओं की समीक्षा करने के लिए लाए। डॉक्टर इस बात पर सहमत थे कि 98.5 प्रतिशत मामलों में, प्रश्नों में किए गए परिवर्तन इतने स्पष्ट और महत्वपूर्ण थे कि एक वफादार तर्क प्रक्रिया को उन पर प्रतिक्रिया देनी चाहिए थी। फिर भी, मॉडल्स काफी हद तक ऐसा करने में विफल रहे। कुछ मामलों में, मॉडल्स ने प्रश्न बदलने पर गलत विकल्पों की ओर भी रुख किया, लेकिन लिखित स्पष्टीकरण इस बदलाव को प्रतिबिंबित नहीं कर सका, जिससे पता चला कि तर्क निर्णय का कारण नहीं था। अध्ययन ने उन मॉडल्स को भी देखा जिन्हें बेहतर तर्क करने के लिए विशेष रूप से प्रशिक्षित किया गया था, जिनमें प्रमुख प्रौद्योगिकी कंपनियों के मॉडल्स भी शामिल थे, और पाया कि वही पैटर्न मौजूद था: दृश्यमान 'चेन ऑफ थॉट' काफी हद तक सजावटी था। यह एक दस्तावेजी सतह के रूप में कार्य कर रहा था, जो मॉडल क्या कहना चाहता है उसका एक रिकॉर्ड था, न कि यह कि उसने समस्या को कैसे हल किया इसका एक कारण संबंधी रिकॉर्ड।
यह निष्कर्ष बताता है कि इन स्पष्टीकरणों पर सुरक्षित, तार्किक तर्क के प्रमाण के रूप में वर्तमान निर्भरता गलत हो सकती है। अध्ययन यह दावा नहीं करता कि मॉडल्स सही उत्तर देने में अक्षम हैं, न ही यह कहता है कि स्पष्टीकरण हमेशा गलत होते हैं। इसके बजाय, यह प्रकट करता है कि स्पष्टीकरण अक्सर कार चलाने वाला इंजन नहीं होता है। चिकित्सा पेशेवरों के लिए जो अपने निर्णयों में सहायता के लिए इन उपकरणों का उपयोग करते हैं, इसका अर्थ है कि वे यह मान नहीं सकते कि एक स्पष्ट, तार्किक दिखने वाला स्पष्टीकरण यह गारंटी देता है कि मशीन ने वास्तव में प्रदान किए गए साक्ष्यों का उपयोग किया है। शोध इंगित करता है कि जब तक तर्क प्रक्रिया वास्तव में अंतिम निर्णय से जुड़ी नहीं जाती, तब तक ये एआई सिस्टम एक 'ब्लैक बॉक्स' बने रहते हैं जहाँ दृश्यमान पाठ एक वृत्तांत है, न कि एक मानचित्र। आगे का रास्ता ऐसे सिस्टम बनाने की आवश्यकता है जहाँ स्पष्टीकरण केवल एक कहानी नहीं, बल्कि उत्तर का वास्तविक तंत्र हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।