Tracing Pharmacological Knowledge In Large Language Models
यह अध्ययन यह प्रदर्शित करने के लिए कॉज़ल इंटरवेंशन (causal intervention) और लीनियर प्रोबिंग (linear probing) तकनीकों का उपयोग करता है कि लामा-आधारित (Llama-based) मॉडलों में औषधीय ज्ञान विशिष्ट अंतिम टोकन के बजाय शुरुआती परतों और कई टोकनों के माध्यम से वितरित निरूपणों (distributed representations) के रूप में संचित होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट लाइब्रेरियन है जिसका नाम LLM (लार्ज लैंग्वेज मॉडल) है। इस रोबोट ने अस्तित्व में मौजूद लगभग हर मेडिकल टेक्स्टबुक, रिसर्च पेपर और ड्रग मैनुअल को पढ़ा है। यह "ब्लड प्रेशर कम करने वाली दवाएं कौन सी हैं?" या "यह दवा किस श्रेणी (class) में आती है?" जैसे सवालों के जवाब देने में अविश्वसनीय रूप से कुशल है।
लेकिन रहस्य यह है: रोबोट वास्तव में यह "जानता" कैसे है?
क्या इसके दिमाग के अंदर एक छोटा सा फाइलिंग कैबिनेट है जहाँ "ब्लड प्रेशर की दवाओं" की एक सूची रखी है? या क्या यह ज्ञान हर जगह बिखरा हुआ है, जैसे कि एक पहेली जिसके टुकड़े आपस में मिले हुए हों?
यह शोध पत्र एक टीम ऑफ डिटेक्टिव्स (शोधकर्ताओं) के बारे में है जिन्होंने रोबोट के दिमाग को खोलकर यह देखने का फैसला किया कि यह चिकित्सा संबंधी ज्ञान को कैसे संग्रहीत करता है। उन्होंने इस रहस्य को सुलझाने के लिए दो मुख्य उपकरणों का उपयोग किया: एक्टिवेशन पैचिंग (Activation Patching) और लीनियर प्रोबिंग (Linear Probing)।
यहाँ उन्होंने जो पाया उसका विवरण सरल भाषा में दिया गया है:
1. डिटेक्टिव टूल: "एक्टिवेशन पैचिंग" (द स्वैप टेस्ट)
कल्पना कीजिए कि आप एक नाटक देख रहे हैं। आप जानना चाहते हैं कि मुख्य पात्र के बड़े भाषण के लिए कौन सा अभिनेता जिम्मेदार है।
- टेस्ट: शोधकर्ताओं ने रोबट को एक दवा के बारे में सवाल का जवाब देते हुए देखा। फिर, उन्होंने एक अलग सवाल (जहाँ जवाब गलत था) के मस्तिष्क की गतिविधि के साथ, विशिष्ट क्षणों पर रोबोट की मस्तिष्क गतिविधि को "स्वैप" (बदल) दिया।
- परिणाम: यदि स्वैप के बाद रोबोट ने अचानक गलत उत्तर दिया, तो इसका मतलब है कि मस्तिष्क का वह विशिष्ट क्षण उत्तर जानने के लिए महत्वपूर्ण था।
उन्होंने क्या पाया:
- यह जल्दी होता है: सबसे महत्वपूर्ण "सोचने" की प्रक्रिया रोबोट के मस्तिष्क के शुरुआती कुछ परतों (प्रोसेसिंग के शुरुआती चरणों) में होती है, न कि बिल्कुल अंत में।
- यह आखिरी शब्द नहीं है: आप सोच सकते हैं कि रोबोट दवा के नाम का आखिरी शब्द पढ़ते समय उत्तर निकाल लेता है। लेकिन शोधकर्ताओं ने पाया कि दवा के बीच के शब्द वास्तव में सबसे अधिक काम कर रहे थे! यह ऐसा है जैसे रोबोट "Aspirin" की पूरी अवधारणा को "Asp..." और "...rin" पढ़ते समय ही समझ जाता है, न कि केवल तभी जब वह शब्द पूरा कर लेता है।
2. डिटेक्टिव टूल: "लीनियर प्रोबिंग" (द स्नैपशॉट टेस्ट)
कल्पना कीजिए कि आप एक वाक्य पढ़ते समय हर एक कदम पर रोबोट के मस्तिष्क की फोटो ले रहे हैं। आप देखना चाहते हैं कि "ड्रग क्लास" (दवा की श्रेणी) की जानकारी केवल एक फोटो में दिखाई देती है, या आपको चित्र देखने के लिए कई फोटो को मिलाने की आवश्यकता है।
- टेस्ट: उन्होंने एक समय में एक शब्द (टोकन) के आधार पर मस्तिष्क की गतिविधि को देखकर दवा की श्रेणी का अनुमान लगाने की कोशिश की। फिर, उन्होंने दवा के सभी शब्दों के औसत को मिलाकर देखने की कोशिश की।
- परिणाम:
- एक शब्द? रोबोट का मस्तिष्क केवल स्टैटिक शोर (static noise) जैसा लग रहा था। आप एक अकेले शब्द से दवा की श्रेणी नहीं बता सकते थे।
- सभी शब्द मिलकर? अचानक, पैटर्न एकदम स्पष्ट हो गया! जानकारी वितरित (distributed) थी। यह किसी एक विशिष्ट "फाइलिंग कैबिनेट" में संग्रहीत नहीं थी; यह पूरे शब्दों के समूह में फैली हुई थी, जैसे कि एक कमरे में फैली हुई खुशबू, जो किसी एक कोने में बैठने के बजाय पूरे कमरे में व्याप्त होती है।
3. बड़ा आश्चर्य: ज्ञान शुरुआत से ही वहां मौजूद था
शोधकर्ताओं ने वाक्य को प्रोसेस करना शुरू करने से पहले ही (प्रारंभिक "एम्बेडिंग" चरण में) रोबोट के मस्तिष्क की जांच की।
- निष्कर्ष: दवा समूहों के बारे में जानकारी पहले से ही वहां थी, इससे पहले कि रोबोट ने वाक्य पढ़ना शुरू किया! यह ऐसा है जैसे रोबोट की कच्ची सामग्री वास्तविक सोच शुरू होने से पहले ही "ब्लड प्रेशर" और "दर्द निवारक" की बाल्टियों में पहले से ही छाँट दी गई थी।
मुख्य निष्कर्ष (द "आहा!" मोमेंट)
इस अध्ययन से पहले, लोग सोचते थे कि रोबोट चिकित्सा तथ्यों को वैसे ही स्टोर कर सकता है जैसे एक इंसान फोन नंबर स्टोर करता है: एक विशिष्ट स्थान पर, जिसे याद किया जा सके।
यह पेपर इसे गलत साबित करता है।
इसके बजाय, रोबोट फार्माकोलॉजिकल ज्ञान को एक सिम्फनी (Symphony) की तरह संग्रहीत करता है:
- कोई भी एकल वाद्य यंत्र (शब्द) पूरा गाना नहीं रखता।
- संगीत (अर्थ) तभी उभरता है जब सभी वाद्य यंत्र एक साथ बजते हैं।
- कंडक्टर (मस्तिष्क की शुरुआती परतें) तुरंत सुर सेट कर देता है, और धुन को गाने के अंत में नहीं, बल्कि गाने के बीच में बनाया जाता है।
यह क्यों मायने रखता है?
यदि हम चाहते हैं कि रोबट डॉक्टरों को दवा प्रिस्क्राइब करने में मदद करने के लिए भरोसेमंद हों, तो हमें यह जानना होगा कि वे कैसे सोचते हैं।
- यदि ज्ञान बिखरा हुआ है और ज़मीन से ऊपर की ओर बनाया गया है, तो हम किसी एक लाइन को मिटाकर किसी गलत तथ्य को "डिलीट" नहीं कर सकते।
- लेकिन अब जब हम जानते हैं कि यह ज्ञान कहाँ (शुरुआती परतें) और कैसे (शब्दों के पूरे समूह में वितरित) रहता है, तो वैज्ञानिक बेहतर, सुरक्षित और अधिक पारदर्शी मेडिकल AI बना सकते हैं। हम पूरे सिस्टम को तोड़े बिना उसके "दिमाग" को ठीक कर सकते हैं।
संक्षेप में: रोबोट के पास कोई चीट शीट नहीं है। उसके पास चिकित्सा की एक जटिल, वितरित समझ है जो शब्दों को देखते ही शुरू हो जाती है, जो वाक्य के बीच तक विकसित होती है, और शब्दों के पूरे समूह में फैली होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।