The strength of clinical evidence is recoverable from language model representations but not from their stated grades
यद्यपि लार्ज लैंग्वेज मॉडल्स अपने आंतरिक निरूपण (इंटरनल रिप्रेजेंटेशन) के भीतर नैदानिक साक्ष्य की शक्ति का एक पुनर्प्राप्त करने योग्य संकेत समाहित करते हैं, फिर भी वे इस जानकारी को स्पष्ट रूप से बताने में लगातार विफल रहते हैं, जिससे उनके घोषित साक्ष्य ग्रेड, उस अंतर्निहित संकेत की उपस्थिति के बावजूद, अविश्वसनीय हो जाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास बहुत बुद्धिमान, विद्वान पुस्तकालयाध्यक्षों (AI मॉडल्स) का एक समूह है। उनका काम आपको केवल यह बताना नहीं है कि कोई चिकित्सा तथ्य क्या है, बल्कि यह भी बताना है कि हम उस तथ्य के बारे में कितने आश्वस्त हैं। क्या यह हजारों अध्ययनों द्वारा समर्थित एक पत्थर की लकीर जैसा सच है, या यह केवल एक डॉक्टर का एक अनुमान है?
इस शोध पत्र ने एक सरल प्रश्न पूछा: क्या ये पुस्तकालयाध्यक्ष वास्तव में जानते हैं कि वे कितने आश्वस्त हैं, भले ही वे इसे ज़ोर से न बोलें?
यहाँ शोधकर्ताओं द्वारा खोजा गया विवरण है, जिसे सरल अवधारणाओं में विभाजित किया गया है:
1. पुस्तकालयाध्यक्ष के भीतर का "गुप्त रेडियो"
शोधकर्ताओं ने पाया कि उनके द्वारा परीक्षण किए गए प्रत्येक AI मॉडल के मस्तिष्क (इसके आंतरिक कंप्यूटर कोड) के भीतर एक "गुप्त रेडियो" सिग्नल है। यदि आप इस रेडियो को ट्यून करना जानते हैं, तो आप सुन सकते हैं कि किसी भी दावे के लिए साक्ष्य कितना मजबूत है।
- चुनौती: पुस्तकालयाध्यक्ष इस भाषा को बोलने में बहुत खराब हैं। जब आप उनसे सीधे पूछते हैं, "इस साक्ष्य की मजबूती कितनी है?" तो वे अंदाज़ा लगाने लगते हैं। वे एक कमजोर अनुमान के लिए "उच्च विश्वास" और एक ठोस तथ्य के लिए "कम विश्वास" कह सकते हैं।
- उपमा: एक मौसम विज्ञता की कल्पना करें जिसके पास उसके सिर के अंदर एक उच्च-तकनीकी रडार है जो जानता है कि तूफान कब आने वाला है। लेकिन जब वह रेडियो पर आपसे बात करता है, तो वह बस बिना किसी पैटर्न के "शायद धूप निकलेगी, शायद बारिश होगी" का अनुमान लगाता है। सच्चाई उसके अंदर है, लेकिन वह उसे कह नहीं रहा है।
2. बड़ा होना बेहतर नहीं है (आश्चर्यजनक रूप से)
आमतौर पर, हम सोचते हैं कि बड़े, महंगे AI मॉडल अधिक स्मार्ट होते हैं। शोधकर्ता उम्मीद कर रहे थे कि सबसे बड़े मॉडल्स के पास सबसे स्पष्ट "गुप्त रेडियो" सिग्नल होगा।
- निष्कर्ष: इसके विपरीत हुआ। सबसे छोटे मॉडल्स वास्तव में इस सिग्नल के मामले में सबसे अच्छे थे। बड़े मॉडल्स और वे जिन्हें "तर्क करने" (reasoning) के लिए विशेष रूप से प्रशिक्षित किया गया था, वे वास्तव में इस सिग्नल के मामले में बदतर थे।
- उपमा: यह एक छोटे, सरल वॉकी-टॉकी के मुकाबले एक विशाल, उच्च-तकनीकी सैटेलाइट फोन जैसा है जिसका सिग्नल बहुत स्पष्ट है, बनाम एक ऐसा फोन जो इतना जटिल है कि उसका सिग्नल पूरी तरह से उलझ जाता है। मशीन जितनी जटिल होगी, उसके आंतरिक विश्वास को "पढ़ना" उतना ही कठिन होगा।
3. सिग्नल ज्यादातर सिर्फ "शब्दों का चुनाव" है
शोधकर्ताओं ने गहराई से जांच की कि यह "गुप्त रेडियो" वास्तव में क्या सुन रहा था। उन्होंने पाया कि सिग्नल "साक्ष्य" की कोई गहरी, दार्शनिक समझ नहीं थी।
- निष्कर्ष: AI मुख्य रूप से वाक्य में उपयोग किए गए शब्दों को पकड़ रहा था। कुछ वाक्यांश (जैसे "अध्ययन दिखाते हैं" या "विशेषज्ञ की राय") झंडों की तरह काम करते हैं जो AI को बताते हैं, "हे, यह एक मजबूत दावा है" या "हे, यह एक कमजोर दावा है।"
- उपमा: यह एक कुत्ते की तरह है जो जानता है कि "टहलना" शब्द का मतलब "बाहर जाना" है और "नहलाना" का मतलब "अंदर रहना" है। कुत्ता टहलने या नहलाने की अवधारणा के बारे में नहीं सोच रहा है; वह बस विशिष्ट शब्दों की आवाज़ पर प्रतिक्रिया दे रहा है। AI शब्दों की शब्दावली पर प्रतिक्रिया दे रहा है, न कि उन शब्दों के पीछे के गहरे सत्य पर।
4. "सत्य" बनाम "साक्ष्य" का भ्रम
वास्तविक दुनिया में, एक दावा "मजबूत रूप से समर्थित" हो सकता है, लेकिन फिर भी बाद में गलत साबित हो सकता है (जैसे कि एक चिकित्सा पद्धति जो वर्षों तक लोकप्रिय रही लेकिन बाद में गलत साबित हुई)।
- निष्कर्ष: शोधकर्ताओं ने "यह सत्य है या नहीं?" और "यह कितना समर्थित है?" को अलग करने के लिए एक विशेष परीक्षण बनाया। उन्होंने पाया कि AI का "यह कितना समर्थित है" वाला आंतरिक सिग्नल, उसके "क्या यह सत्य है?" वाले सिग्नल से वास्तव में अलग है।
- उपमा: एक अदालत के बारे में सोचें। "साक्ष्य सिग्नल" गवाही की गुणवत्ता में जूरी के विश्वास की तरह है। "सत्य सिग्नल" वास्तविक निर्णय है कि "दोषी" या "निर्दोष"। AI आपको बता सकता है कि गवाही कच्ची (कम साक्ष्य) थी, भले ही प्रतिवादी ने वास्तव में अपराध किया हो (सत्य)। ये दो अलग चीजें हैं, और AI उन्हें अपने मस्तिष्क में अलग रखता है।
5. व्यावहारिक निष्कर्ष
चूंकि AI आपको नहीं बताएगा कि इसके साक्ष्य कितने मजबूत हैं, इसलिए आप इसके बोले गए शब्दों पर भरोसा नहीं कर सकते। हालांकि, क्योंकि सिग्नल मशीन के अंदर मौजूद है, इसलिए एक अलग, सरल कंप्यूटर प्रोग्राम AI के मस्तिष्क को "सुन" सकता है और कमजोर दावों को चिह्नित कर सकता है ताकि मनुष्य उनकी जांच कर सकें।
- चेतावनी: आप AI पर अपना होमवर्क खुद ग्रेड करने के लिए भरोसा नहीं कर सकते। लेकिन आप एक सरल उपकरण बना सकते हैं जो AI के "आंतरिक नोट्स" को पढ़ता है ताकि डॉक्टर या रोगी तक पहुँचने से पहले गलतियों को पकड़ा जा सके।
सारांश
यह शोध पत्र निष्कर्ष निकालता है कि वर्तमान चिकित्सा AI मॉडल मौन विशेषज्ञों की तरह हैं। वे एक ठोस तथ्य और एक कमजोर अनुमान के बीच के अंतर को जानते हैं, लेकिन वे इसे ज़ोर से बोलने से इनकार करते हैं। वे भी ज्यादातर साक्ष्य की गहरी तर्कशक्ति के बजाय विशिष्ट शब्दों पर प्रतिक्रिया दे रहे हैं। जब तक हम उन्हें बोलना नहीं सिखाते या उनके "मौन विचारों" को पढ़ने के उपकरण नहीं बनाते, हमें उनके द्वारा दावा किए गए आत्मविश्वास के स्तरों पर भरोसा नहीं करना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।