Optimizing Large Language Models for Causality Assessment in Pharmacovigilance: Developing a Performance Metric as Objective for Bayesian Hyperparameter Optimization
यह अध्ययन प्रदर्शित करता है कि जबकि फार्माकोविजिलेंस में लार्ज लैंग्वेज मॉडल्स के लिए कोई सार्वभौमिक तापमान इष्टतम (temperature optimum) मौजूद नहीं है, एक नवीन एंट्रॉपी-वेटेड एग्रीमेंट और कोसाइन सिमिलरिटी स्कोर (EWACS) मीट्रिक विकसित करने से बेयसियन हाइपरपैरामीटर अनुकूलन (Bayesian hyperparameter optimization) नैरानजो कॉज़ैलिटी असेसमेंट्स के लिए, विशेष रूप से संदिग्ध मामलों के लिए, एलएलएम-विशेषज्ञ सहमति में महत्वपूर्ण सुधार करने में सक्षम होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्य सुलझाने वाले जासूस हैं: क्या किसी विशिष्ट दवा ने रोगी को बीमार किया?
वास्तविक दुनिया में, यह काम मानव सुरक्षा विशेषज्ञों द्वारा किया जाता है। वे हजारों बिखरी हुई रिपोर्टों (जिन्हें "इंडिविजुअल केस सेफ्टी रिपोर्ट्स" या ICSR कहा जाता है) को पढ़ते हैं और एक सख्त चेकलिस्ट का उपयोग करते हैं जिसे नारानजो एल्गोरिदम (Naranjo Algorithm) कहा जाता है, ताकि यह तय किया जा सके कि क्या दवा ही असली अपराधी है। यह एक धीमा और थका देने वाला काम है।
यहाँ लार्ज लैंग्वेज मॉडल्स (LLMs) आते हैं—सुपर-स्मार्ट AI चैटबॉट्स। शोधकर्ताओं को उम्मीद थी कि ये AI इस जासूसी काम को स्वचालित रूप से कर सकेंगे। लेकिन एक समस्या थी: AI अक्सर गलत होता था, विशेष रूप से चेकलिस्ट के उन कठिन हिस्सों पर जहाँ मानवीय निर्णय की आवश्यकता होती है।
यह शोध पत्र इस बारे में है कि कैसे शोधकर्ताओं ने AI के "दिमाग की सेटिंग्स" को ठीक करने की कोशिश की ताकि वह एक बेहतर जासूस बन सके। यहाँ उनके द्वारा की गई खोजों की कहानी है, जिसे सरल भाषा में समझाया गया है।
1. समस्या: AI का "रचनात्मकता डायल" (Creativity Dial)
AI को एक परीक्षा देने वाले छात्र के रूप में सोचें। शोधकर्ता AI की सेटिंग्स में "टेम्परेचर" (Temperature) नामक एक डायल को घुमा सकते थे।
- लो टेम्परेचर (0): AI बहुत सख्त, तार्किक और उबाऊ होता है। वह हमेशा एक ही उत्तर देता है।
- हाई टेम्परेचर (2): AI जंगली, रचनात्मक और अप्रत्याशित होता है। वह कई अलग-अलग उत्तर देने की कोशिश कर सकता है।
शोधकर्ता जानना चाहते थे: क्या कोई "गोल्डिलॉक्स" सेटिंग (न बहुत कम, न बहुत अधिक) है जो AI को मानव विशेषज्ञों के साथ सबसे अधिक सहमत बनाती है?
2. चुनौती: "अच्छे" उत्तरों को मापना
एक आदर्श डायल सेटिंग खोजने के लिए, उन्हें AI को ग्रेड देने के लिए एक तरीके की आवश्यकता थी। लेकिन ग्रेडिंग करना कठिन है क्योंकि:
- कभी-कभी AI अंतिम स्कोर तो सही देता है लेकिन उसका कारण अजीब होता है।
- कभी-कभी AI कारण तो सही बताता है लेकिन स्कोर गलत हो जाता है।
- अधिकांश समय, मानव विशेषज्ञ आसान सवालों पर एकमत होते हैं, इसलिए AI को बस उनकी नकल करने की आवश्यकता होती है।
शोधकर्ताओं ने AI को ग्रेड देने के लिए चार अलग-अलग "रिपोर्ट कार्ड" (मेट्रिक्स) बनाए। वे एक ऐसा तरीका चाहते थे जो एक कंप्यूटर एल्गोरिदम (बेयसियन ऑप्टिमाइज़ेशन) से बात कर सके, ताकि वह तापमान के डायल को तब तक अपने आप घुमा सके जब तक कि उसे सबसे अच्छी सेटिंग न मिल जाए।
3. बड़ी खोज: "एक आकार सभी के लिए फिट" जैसा कुछ नहीं है
हजारों परीक्षण चलाने के बाद, उन्हें एक चौंकाने वाला सच पता चला: हर मामले के लिए कोई एक "परफेक्ट" टेम्परेचर नहीं है।
- उपमा: कल्पना कीजिए कि आप रेडियो का सही वॉल्यूम ढूंढने की कोशिश कर रहे हैं। यदि आप जैज़ स्टेशन सुन रहे हैं, तो आप वॉल्यूम तेज़ रखना चाहेंगे। यदि आप समाचार प्रसारण सुन रहे हैं, तो आप इसे धीमा रखना चाहेंगे।
- परिणाम: AI का प्रदर्शन टेम्परेचर डायल पर निर्भर नहीं था। इसके बजाय, यह पूरी तरह से इस पर निर्भर था कि रोगी की रिपोर्ट में क्या लिखा था।
- यदि रिपोर्ट स्पष्ट और विस्तृत थी, तो टेम्परेचर चाहे जो भी हो, AI सही परिणाम देता था।
- यदि रिपोर्ट अस्पष्ट थी या उसमें जानकारी की कमी थी, तो AI संघर्ष करता था, सेटिंग चाहे कैसी भी हो।
4. ट्विस्ट: "केस-दर-केस" AI को ठीक करना
भले ही हर मामले के लिए कोई सार्वभौमिक "सर्वश्रेष्ठ सेटिंग" नहीं थी, लेकिन शोधकर्ताओं ने एक चतुर समाधान खोज निकाला। उन्होंने महसूस किया कि विभिन्न मामलों को अलग-अलग सेटिंग्स की आवश्यकता होती है।
- रणनीति: पूरे दिन के लिए एक ही टेम्परेचर चुनने के बजाय, उन्होंने कंप्यूटर को यह चुनने दिया कि उस विशिष्ट मामले की जटिलता के आधार पर प्रत्येक व्यक्तिगत मामले के लिए कौन सा टेम्परेचर सही रहेगा।
- परिणाम: यह "कस्टम ट्यूनिंग" एक बड़ी सफलता रही।
- पहले: AI केवल 45% बार अंतिम निर्णय पर मनुष्यों से सहमत होता था।
- बाद में: कस्टम ट्यूनिंग के साथ, सहमति बढ़कर 72% हो गई।
- जादुई मोड़: सबसे बड़ा सुधार "संदिग्ध" (Doubtful) मामलों में हुआ (वे उलझे हुए, कठिन-से-सुलझाने वाले रहस्य)। AI ने अनुमान लगाना बंद कर दिया और उन विशिष्ट कठिन रिपोर्टों के लिए मानव विशेषज्ञ की तरह सोचना शुरू कर दिया।
5. "रिपोर्ट कार्ड" का विजेता
चार अलग-अलग तरीकों में से, EWACS नामक एक विधि सबसे अच्छा काम करती थी।
- क्यों? यह आसान सवालों (जहाँ सभी सहमत होते हैं) को अनदेखा करने और अपनी ऊर्जा उन कठिन सवालों पर केंद्रित करने में स्मार्ट थी जहाँ AI आमतौर पर विफल हो जाता है। यह एक ऐसे शिक्षक की तरह था जो सरल शब्दों की वर्तनी जांचने के बजाय पूरी तरह से जटिल निबंधों पर ध्यान केंद्रित करता है।
6. अंतिम निष्कर्ष
- AI बेहतर हो रहा है: नया AI मॉडल (GPT-5.2) अपनी सेटिंग्स को बदलने से पहले ही पहले के विशिष्ट मेडिकल AI की तुलना में इस काम में बेहतर था।
- डेटा ही कुंजी है: AI के उत्तर की गुणवत्ता इस बात पर निर्भर करती है कि रोगी की रिपोर्ट में कितनी जानकारी है, न कि AI की सेटिंग्स पर।
- समाधान: आपको पूरी दुनिया के लिए एक आदर्श सेटिंग खोजने की आवश्यकता नहीं है। आपको बस कंप्यूटर को प्रत्येक विशिष्ट मामले के लिए सही सेटिंग चुनने देना है। इस सरल ट्रिक ने एक औसत दर्जे के AI जासूस को एक बहुत अधिक विश्वसनीय जासूस में बदल दिया।
संक्षेप में: शोधकर्ताओं को AI को परफेक्ट बनाने के लिए कोई जादुई स्विच नहीं मिला। इसके बजाय, उन्होंने AI को यह सिखाया कि वह अपने "मूड" (टेम्परेचर) को उस विशिष्ट रहस्य के अनुसार कैसे समायोजित करे जिसे वह सुलझा रहा है, जिससे वह दवा के दुष्प्रभावों को पहचानने में बहुत अधिक स्मार्ट बन गया।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।