Surrogate modeling for interpreting black-box LLMs in medical predictions
यह शोध पत्र एक सरोगेट मॉडलिंग फ्रेमवर्क प्रस्तावित करता है जो चिकित्सा भविष्यवाणियों में ब्लैक-बॉक्स लार्ज लैंग्वेज मॉडल्स के अंतर्निहित ज्ञान का अनुमान लगाने और उसका मात्रात्मक रूप से व्याख्या करने के लिए व्यापक प्रॉम्पटिंग का उपयोग करता है, जो सुरक्षित मॉडल परिनियोजन का समर्थन करने के लिए स्थापित चिकित्सा ज्ञान के विरोधाभासों और वैज्ञानिक रूप से खंडित नस्लीय पूर्वाग्रहों की निरंतरता, दोनों को सफलतापूर्वक प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट, सर्वज्ञ रोबोट डॉक्टर है। इस रोबोट ने अस्तित्व में मौजूद लगभग हर मेडिकल टेक्स्टबुक, जर्नल और पेशेंट रिकॉर्ड को पढ़ लिया है। यह भविष्यवाणी कर सकता है कि आपको हृदय रोग होने की संभावना है या यह गणना कर सकता है कि आपकी किडनी कितनी अच्छी तरह काम कर रही है।
लेकिन एक पेच है: यह रोबोट एक "ब्लैक बॉक्स" है।
आप उससे पूछते हैं, "मेरा जोखिम क्या है?" और वह एक उत्तर देता है। लेकिन यदि आप पूछते हैं, "आपने ऐसा क्यों कहा? कौन से कारक सबसे महत्वपूर्ण थे? क्या आपने कोई गलती की?" तो वह बस आपको घूरता रहता है। वह अपने स्वयं के सोचने के तरीके को समझा नहीं सकता क्योंकि उसका ज्ञान अरबों जटिल गणितीय कनेक्शनों के भीतर छिपा हुआ है जिसे कोई भी इंसान पूरी तरह से ट्रैक नहीं कर सकता।
यह पेपर इस ब्लैक बॉक्स के अंदर झांकने के लिए एक चतुर तरकीब पेश करता है बिना उसे तोड़े। वे इसे "सरोगेट मॉडलिंग" (Surrogate Modeling) कहते हैं।
यह कैसे काम करता है, इसके लिए एक सरल उपमा (analogy) का उपयोग करते हैं:
उपमा: "शैडो पपेट" (परछाई वाले कठपुतली) का खेल
कल्पना कीजिए कि रोबोट डॉक्टर एक मोटा, अपारदर्शी पर्दा रखे हुए एक मास्टर कठपुतली संचालक (puppeteer) है। आप कठपुतली संचालक और डोरियों (आंतरिक कोड) को नहीं देख सकते, लेकिन आप मंच पर कठपुतलियों (उत्तरों) को हिलते हुए देख सकते हैं।
शोधकर्ता यह समझना चाहते थे कि कठपुतली संचालक अपनी डोरियों को कैसे हिला रहा था। इसलिए, उन्होंने पर्दे को काटने की कोशिश नहीं की। इसके बजाय, उन्होंने दूसरी तरफ एक शैडो पपेट शो (परछाई वाला खेल) आयोजित किया।
- सिमुलेशन (द शैडो प्ले): उन्होंने एक विशाल, नकली दुनिया बनाई जिसमें 20,000 अलग-अलग "नकली मरीज" थे। उन्होंने इन नकली मरीजों को हर संभव गुणों का संयोजन दिया: युवा और वृद्ध, लंबे और छोटे, स्वस्थ और बीमार, विभिन्न नस्लें और विभिन्न जीवनशैली।
- पूछताछ (रोबोट से पूछना): उन्होंने रोबोट डॉक्टर से उन सभी 20,000 नकली मरीजों के स्वास्थ्य परिणामों की भविष्यवाणी करने के लिए कहा।
- द शैडो (द सरोगेट मॉडल): उन्होंने रोबोट के उत्तरों को लिया और रोबोट की सोच का एक "साया" या "परछाई" बनाने के लिए सरल गणित (जैसे कि एक बुनियादी बीजगणितीय समीकरण) का उपयोग किया।
यह "साया" स्वयं रोबोट नहीं है, लेकिन यह रोबोट के व्यवहार की इतनी बारीकी से नकल करता है कि यह एक दर्पण की तरह कार्य करता है। क्योंकि यह साया सरल गणित से बना है, हम अंततः निर्देशों को पढ़ सकते हैं।
उन्हें क्या पता चला?
इस "साये" को देखकर, शोधकर्ताओं ने कुछ आश्चर्यजनक चीजें खोजीं कि रोबोट वास्तव में क्या "जानता" है:
1. रोबोट कभी-कभी भ्रमित होता है
वास्तविक दुनिया में, हम जानते हैं कि कमर के आसपास अतिरिक्त वजन (उच्च कमर-से-कूल्हे का अनुपात) हृदय के लिए बुरा होता है।
- साये ने खुलासा किया: दो रोबोटों ने इस बात से सहमति जताई। लेकिन एक रोबोट (Gemini) ने वास्तव में सोचा कि उच्च कमर-से-कूल्हे का अनुपात आपके हृदय के लिए अच्छा है! एक अन्य रोबोट (GPT-4) ने सोचा कि यूरिक एसिड (रक्त में एक रसायन) का उच्च स्तर अच्छा था, जबकि अन्य रोबोटों ने इसे बुरा माना।
- सबक: यहाँ तक कि सुपर-स्मार्ट रोबोट भी "भ्रम" (hallucinations) या विरोधाभासी ज्ञान रख सकते हैं। साया मॉडल एक रेड फ्लैग (चेतावनी संकेत) की तरह कार्य करता है, जो एक चेतावनी संकेत लहराता है कि, "हे, यह रोबोट अपने खुद के नियम बना रहा है!"
2. रोबोट पुराने, हानिकारक पूर्वाग्रह (Biases) ढो रहा है
द दशकों से, डॉक्टरों ने किडनी के कार्य का अनुमान लगाने के लिए सूत्रों का उपयोग किया जिसमें "नस्ल समायोजन" शामिल था। उन्होंने माना था कि अश्वेत लोगों की किडनी श्वेत लोगों की तुलना में अधिक मजबूत होती है। विज्ञान ने अब यह सिद्ध कर दिया है कि यह गलत और नस्लवादी है; नस्ल एक सामाजिक निर्माण है, जैविक नहीं।
- साये ने खुलासा किया: जब शोधकर्ताओं ने रोबदों से किडनी के कार्य का अनुमान लगाने के लिए कहा, तो "सायों" ने दिखाया कि कुछ रोबोट (जैसे GPT-4 और Claude) अभी भी उसी पुराने, नस्लवादी गणित का उपयोग कर रहे थे। वे स्वचालित रूप से अश्वेत रोगियों को उच्च किडनी स्कोर दे रहे थे, भले ही डेटा कुछ और कहता हो।
- सबक: रोबोटों ने केवल टेक्स्टबुक्स से नहीं सीखा; उन्होंने इंटरनेट से मिले पक्षपाती डेटा से भी सीखा। साया मॉडल ने सटीक रूप से मात्रा निर्धारित की कि वहां कितना पूर्वाग्रह था, जिससे पता चला कि कुछ रोबोट उन पुराने, खंडित सूत्रों की तुलना में भी अधिक पक्षपाती थे।
यह क्यों मायने रखता है?
इस रोबोट डॉक्टर को एक नई कार के इंजन के रूप में सोचें। आप ऐसी कार नहीं चलाना चाहेंगे जिसका इंजन रहस्यमय हो और जो बिना किसी कारण के कभी भी खुद तेज हो जाता हो। आपको यह जानने की आवश्यकता है कि ब्रेक काम कर रहे हैं या नहीं और स्टीयरिंग सुरक्षित है या नहीं।
- सुरक्षा: यह "साया मॉडल" एक सुरक्षा निरीक्षक है। यह डॉक्टरों और रोगियों को AI पर भरोसा करने में मदद करता है, यह साबित करके कि AI क्या जानता है और अधिक महत्वपूर्ण रूप से, वह क्या नहीं जानता या वह कहाँ गलत है।
- गति: रोबोट से सीधे पूछना धीमा है और कभी-कभी यह एक ही सवाल के अलग-अलग जवाब देता है (जैसे मूड स्विंग्स)। साया मॉडल त्वरित है और हर बार एक ही उत्तर देता है।
- निष्पक्षता: यह छिपे हुए पूर्वाग्रहों को उजागर करता है ताकि हम उन्हें ठीक कर सकें इससे पहले कि रोबोट वास्तविक रोगियों का इलाज करना शुरू करे।
मुख्य निष्कर्ष
यह पेपर केवल यह नहीं कहता है कि "AI स्मार्ट है।" यह कहता है, "AI स्मार्ट है, लेकिन यह एक ब्लैक बॉक्स भी है जो झूठ बोल सकता है या पक्षपाती हो सकता है।"
एक सरल "साया" संस्करण बनाकर, शोधकर्ताओं ने हमें उस अंधेरे बॉक्स में रोशनी डालने के लिए एक टॉर्च दी है। उन्होंने हमें दिखाया कि हालांकि ये मॉडल शक्तिशाली हैं, हमें लगातार उनके "सायों" की जांच करने की आवश्यकता है ताकि यह सुनिश्चित हो सके कि वे पुरानी गलतियों या खतरनाक पूर्वाग्रहों को हमारे अस्पतालों में न ले जाएं। यह यह सुनिश्चित करने के लिए एक उपकरण है कि रोबोट डॉक्टर न केवल स्मार्ट है, बल्कि सुरक्षित और निष्पक्ष भी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।