Memorization in Large Language Models in Medicine: Prevalence, Characteristics, and Implications
यह अध्ययन चिकित्सा लार्ज लैंग्वेज मॉडल्स (LLMs) में रटने (memorization) की व्यापकता, विशेषताओं और निहितार्थों की व्यवस्थित रूप से जांच करता है, जो यह प्रकट करता है कि यह सामान्य डोमेन की तुलना में काफी अधिक सामान्य है, वास्तविक दुनिया के नैदानिक डेटा पर निरंतर प्री-ट्रेनिंग और फाइन-ट्यूनिंग जैसे विभिन्न अनुकूलन परिदृश्यों में बना रहता है, और गोपनीयता एवं सामान्यीकरण के संबंध में गंभीर जोखिम उत्पन्न करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को डॉक्टर बनने के लिए सिखा रहे हैं। आप उसे केवल एक पाठ्यपुस्तक नहीं देते; बल्कि आप उसे मेडिकल जर्नल्स, रोगी के नोट्स और परीक्षा के प्रश्नों के लाखों पन्ने खिलाते हैं। इसी तरह "लार्ज लैंग्वेज मॉडल्स" (LLMs) चिकित्सा सीखते हैं। एक LLM को एक विशाल, उत्सुक छात्र की तरह समझें जो लाइब्रेरी में सब कुछ पढ़ रहा है। आमतौर पर, हम उम्मीद करते हैं कि यह छात्र अवधारणाओं को सीखे—जैसे यह समझना कि बुखार का मतलब संक्रमण है, या कोई विशिष्ट दवा किसी विशिष्ट बीमारी का इलाज करती है। लेकिन इन रोबोटों के सीखने के तरीके में एक पेचीदा पहलू भी है: कभी-कभी, वास्तव में पाठ को समझने के बजाय, वे पन्ने पर लिखे सटीक शब्दों को याद कर लेते हैं, जैसे कोई तोता बिना अर्थ समझे वाक्य दोहराता है। इसे "मेमोराइजेशन" (याद करना) कहा जाता है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह एक दोधारी तलवार है। एक तरफ, तथ्यों को याद रखना अच्छा है; दूसरी ओर, यदि रोबोट किसी मरीज की निजी डायरी का कोई अंश या किसी विशिष्ट परीक्षा प्रश्न का उत्तर कुंजी (answer key) याद कर लेता है, तो वह अनजाने में राज उगल सकता है या नई स्थिति का सामना करने पर खुद से सोचने में विफल हो सकता है। वैज्ञानिक इसके बारे में चिंतित रहे हैं, लेकिन उन्हें तब तक ठीक से पता नहीं था कि चिकित्सा रोबोटों के लिए यह कितना बुरा था।
येल और अन्य संस्थानों के शोधकर्ताओं की एक टीम ने चिकित्सा AI में इस "पैरट प्रॉब्लम" (तोता समस्या) की जांच करने का निर्णय लिया। वे यह देखना चाहते थे कि ये मॉडल कितनी बार वही चीजें कॉपी-पेस्ट करते हैं जो उन्होंने पहले देखी हैं, वे किस तरह की चीजों को कॉपी करते हैं, और क्या यह नकल करना मददगार है या खतरनाक। उन्होंने इन मॉडलों को प्रशिक्षित करने के तीन अलग-अलग तरीकों का परीक्षण किया: चिकित्सा पुस्तकों के विशाल ढेर को पढ़ना (कंटीन्यूड प्रीट्रेनिंग), विशिष्ट परीक्षाओं के लिए अध्ययन करना (बेंचमार्क पर फाइन-ट्यूनिंग), और वास्तविक, अव्यवस्थित अस्पताल के रिकॉर्ड से सीखना (क्लिनिकल डेटा पर फाइन-ट्यूनिंग)।
परिणाम आश्चर्यजनक और थोड़े डरावने थे। शोधकर्ताओं ने पाया कि मेडिकल AI मॉडल सामान्य AI मॉडलों की तुलना में कहीं अधिक याद करते हैं। वास्तव में, जब इन मॉडलों को मेडिकल डेटा पर प्रशिक्षित किया गया, तो वे पहले देखे गए टेक्स्ट के बड़े हिस्सों को 10% से 20% और कभी-कभी उससे भी अधिक की दर से दोहरा रहे थे। इसे समझने के लिए, यदि आप एक सामान्य AI को एक वाक्य पूरा करने के लिए कहें, तो वह गलती से अपने प्रशिक्षण से एक वाक्यांश 1% बार दोहरा सकता है; मेडिकल मॉडलों ने इसे 10 से 20 गुना अधिक बार किया।
अध्ययन ने इस मेमोराइजेशन को तीन अलग-अलग स्वादों में विभाजित किया, जैसे लंचबॉक्स में अलग-अलग प्रकार के स्नैक्स हों:
- अच्छी चीज़ (लाभदायक): कभी-कभी मॉडल एक क्लिनिकल गाइडलाइन या ड्रग इंटरेक्शन को पूरी तरह से याद रखता है। यह मददगार है क्योंकि इससे AI सटीक सलाह देने में सक्षम होता है।
- बोरिंग चीज़ (गैर-सूचनात्मक): अक्सर, मॉडल बस वही उबाऊ डिस्क्लेमर या टेम्पलेट वाक्यांश दोहराता है, जैसे "यह एक शैक्षिक उपकरण है, न कि एक चिकित्सा उपकरण।" यह उसे सोचने में मदद नहीं करता; यह बस ऐसा दिखता है जैसे वह बात कर रहा है।
- खतरनाक चीज़ (हानिकारक): यह डरावना हिस्सा है। मॉडलों को संवेदनशील रोगी जानकारी को याद करते और दोहराते हुए पाया गया। एक अस्पताल प्रणाली के 13,000 से अधिक वास्तविक रोगी रिकॉर्ड का उपयोग करते हुए एक परीक्षण में, AI ने निजी स्वास्थ्य जानकारी (PHI) के 3,192 उदाहरणों को पुन: प्रस्तुत किया। इसमें नाम, तारीखें, विशिष्ट निदान और यहाँ तक कि पारिवारिक संबंध भी शामिल थे। इससे भी बदतर यह कि शोधकर्ताओं ने पाया कि रिकॉर्ड से निजी डेटा को हटाने के लिए उपयोग किए जाने वाले मानक उपकरण अक्सर इन रहस्यों को पकड़ने में चूक गए, जिसका अर्थ है कि AI उन चीजों को याद कर रहा था जिन्हें इंसानों ने छिपा हुआ समझा था।
सबसे दिलचस्प खोजों में से एक यह थी कि यह स्मृति कितनी "चिपचिपी" (sticky) है। शोधकर्ताओं ने पाया कि एक बार जब मॉडल ने अपने प्रारंभिक "पढ़ने" के चरण के दौरान कुछ याद कर लिया, तो जब बाद में उन्हें नए कार्यों के लिए सिखाया गया, तो वे उसे भूल नहीं पाए। प्रशिक्षण के दौरान मेमोराइज की गई 87% तक की सामग्री नए कामों के लिए फाइन-ट्यूनिंग के बाद भी बनी रही। यह वैसा ही है जैसे यदि किसी छात्र ने एक किताब का अध्याय याद कर लिया, और एक पूरा नया विषय पढ़ने के बाद भी, वह उस पहले अध्याय को सुनाने से खुद को रोक नहीं पाता।
टीम ने यह भी देखा कि मेमोराइजेशन केवल मॉडल को बहुत लंबे समय तक प्रशिक्षित करने (ओवरफिटिंग) का परिणाम नहीं है। उन्होंने मॉडलों को समय के साथ सीखते हुए देखा और पाया कि "कॉपी करने" की प्रक्रिया प्रशिक्षण प्रक्रिया के बहुत शुरुआती चरण में ही शुरू हो गई थी, जबकि मॉडल वास्तव में अपने काम में बेहतर हो रहा था। यह सुझाव देता है कि ये मॉडल वर्तमान में जिस तरह से बनाए जा रहे हैं—उन्हें बस अधिक से अधिक मेडिकल टेक्स्ट देना बिना किसी विशेष सुरक्षा उपायों के—वह स्वाभाविक रूप से इस उच्च स्तर के मेमोराइजेशन की ओर ले जाता है।
पेपर निष्कर्ष निकालता है कि हालांकि ये मेडिकल AI मॉडल बीमारियों के निदान में बेहतर हो रहे हैं (प्रशिक्षण के बाद उनकी सटीकता काफी बढ़ गई), हम गोपनीयता के जोखिमों को नजरअंदाज नहीं कर सकते। शोधकर्ता सुझाव देते हैं कि हमें इन मॉडलों को बनाने और परीक्षण करने के तरीके को बदलने की आवश्यकता है। हमें केवल यह नहीं पूछना चाहिए, "क्या निदान सही है?" हमें यह भी पूछना चाहिए, "क्या इसने अभी-अभी किसी मरीज का रहस्य कॉपी किया है?" वे ऐसे नए तरीकों के उपयोग की सिफारिश करते हैं जो मॉडलों को संवेदनशील डेटा को याद करने से रोकें और उन्हें केवल पढ़े गए को दोहराने के बजाय समस्याओं के माध्यम से वास्तव में तर्क करने के लिए प्रोत्साहित करें। अध्ययन यह नहीं कहता कि मेडिकल AI टूटा हुआ है, लेकिन यह एक तेज़ अलार्म बजाता है कि हमें इस बारे में बहुत अधिक सावधान रहने की आवश्यकता है कि ये डिजिटल डॉक्टर क्या याद रख रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।