A statistical framework for evaluating the repeatability and reproducibility of large language models
यह शोध पत्र एक नियामक-सूचित सांख्यिकीय ढांचे को प्रस्तुत करता है जो बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) की अर्थपूर्ण और आंतरिक पुनरावृत्ति (रिपीटेबिलिटी) एवं पुनरुत्पादकता (रिप्रोड्यूसिबिलिटी) को परिमाणित करता है, यह प्रदर्शित करते हुए कि ये मीट्रिक्स प्रॉम्प्टिंग रणनीतियों और मॉडल विन्यासों के आधार पर महत्वपूर्ण रूप से भिन्न होते हैं, अक्सर नैदानिक सटीकता से स्वतंत्र होते हैं, और बायोमेडिकल अनुप्रयोगों में एलएलएम (LLM) विश्वसनीयता के व्यवस्थित मूल्यांकन के लिए आवश्यक हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने मरीजों का निदान करने में मदद करने के लिए एक प्रतिभाशाली, अति-बुद्धिमान रोबोट डॉक्टर को काम पर रखा है। आप उससे पूछते हैं, "इस व्यक्ति को क्या हुआ है?" और वह आपको एक सटीक उत्तर देता है। आप राहत महसूस करते हैं। लेकिन फिर, आप ठीक पाँच मिनट बाद वही सवाल दोबारा पूछते हैं, और वह आपको एक अलग उत्तर देता है। फिर आप तीसरी बार पूछते हैं, और वह आपको तीसरा उत्तर देता है।
तीनों उत्तर तर्कसंगत लग सकते हैं, लेकिन वे एक जैसे नहीं हैं। यदि आप एक वास्तविक डॉक्टर होते, तो आप भ्रमित हो जाते। यदि आप एक मरीज होते, तो आप चिंतित होते। यह शोध पत्र एक "कंसिस्टेंसी मीटर" (निरंतरता मापने का यंत्र) बनाने के बारे में है, जो यह मापता है कि वह रोबोट डॉक्टर कितना डगमगाता है।
यहाँ सरल उपमाओं (analogies) का उपयोग करके शोध पत्र का विवरण दिया गया है:
1. समस्या: "सिक्का उछालने वाला" डॉक्टर
लार्ज लैंग्वेज मॉडल्स (LLMs) जैसे ChatGPT लिखने और तर्क करने में अद्भुत हैं। लेकिन वे एक जादूगर की तरह काम करते हैं जो ताश के पत्तों के डेक से कार्ड निकालता है। भले ही आप बिल्कुल वही सवाल पूछें, मॉडल केवल उत्तर को "याद" नहीं करता; वह संभावनाओं के आधार पर अगले शब्द का "अनुमान" लगाता है।
- उपमा: कल्पना कीजिए कि आप अपने एक दोस्त से पूछते हैं, "फ्रांस की राजधानी क्या है?" वह कहता है "पेरिस।" आप तुरंत दोबारा पूछते हैं। वह कहता है "पेरिस।" आप तीसरी बार पूछते हैं। वह कहता है "पेरिस।" यह कंसिस्टेंट (सुसंगत) है।
- अब, एक अलग दोस्त की कल्पना करें जो थोड़ा नशे में है। आप उससे पूछते हैं, "राजधानी क्या है?" वह कहता है "पेरिस।" आप दोबारा पूछते हैं। वह कहता है "ल्यों (Lyon)।" आप फिर पूछते हैं। वह कहता है "मार्सिले (Marseille)।" वह पहली बार में सही हो सकता है, लेकिन वह अविश्वसनीय है क्योंकि वह आपको दो बार एक ही उत्तर नहीं दे सकता।
चिकित्सा में, यह खतरनाक है। यदि कोई मॉडल आज एक मरीज का निदान "फ्लू" के रूप में करता है और कल उन्हीं लक्षणों के लिए "निमोनिया" बताता है, तो डॉक्टर उस पर भरोसा नहीं कर सकते।
2. समाधान: एक नया "कंसिस्टेंसी स्कोरकार्ड"
लेखकों ने दो चीजों को मापने के लिए एक सांख्यिकीय ढांचा तैयार किया है: रिपीटेबिलिटी (Repeatability - पुनरावृत्ति) और रिप्रोड्यूसिबिलिटी (Reproducibility - पुनरुत्पादकता)।
A. रिपीटेबिलिटी (एक ही स्थिति का परीक्षण)
- अवधारणा: यदि आप उसी मॉडल से उसी सवाल को उसी सेटिंग के साथ पूछते हैं, तो क्या वह एक ही उत्तर देता है?
- उपमा: यह एक ही हवा और एक ही बंदूक के साथ लक्ष्य पर 10 बार लगातार तोप का गोला दागने जैसा है।
- उच्च रिपीटेबिलिटी: सभी 10 शॉट बुल्सआई (केंद्र) पर लगते हैं।
- कम रिपीटेबिलिटी: शॉट पूरे मैदान में इधर-उधर बिखर जाते हैं।
- शोध पत्र का मोड़: वे इसे दो तरीकों से मापते हैं:
- सिमेंटिक (अर्थ): क्या रोबोट ने पहले "यह फ्लू है" कहा और फिर "यह एक वायरल संक्रमण है"? शब्द अलग हैं, लेकिन अर्थ एक ही है। यह अच्छा है!
- इंटरनल (मस्तिष्क का आत्मविश्वास): क्या रोबट को पता था कि यह फ्लू है? या वह सिर्फ अनुमान लगा रहा था? शोध पत्र यह जांचने के लिए रोबोट की "ब्रेन वेव्स" (संभावना वितरण) की जांच करता है कि क्या वह आश्वस्त था या भ्रमित, भले ही अंतिम शब्द समान दिख रहे हों।
B. रिप्रोड्यूसिबिलिटी (अलग स्थितियों का परीक्षण)
- अवधारणा: यदि आप सवाल को थोड़े अलग तरीके से पूछते हैं (जैसे, "निदान क्या है?" बनाम "कारण क्या है?"), तो क्या मॉडल अभी भी उसी निष्कर्ष पर पहुँचता है?
- उपमा: कल्पना कीजिए कि आप एक जासूस से पूछते हैं, "कुकी किसने चुराई?" और फिर आप पूछते हैं, "कुकी किसने खाई?"
- उच्च रिप्रोड्यूसिबिलिटी: जासूस दोनों बार कहता है, "वह कुत्ता था।"
- कम रिप्रोड्यूसिबिलिटी: जासूस पहली बार कहता है, "वह कुत्ता था," लेकिन दूसरी बार कहता है, "वह बिल्ली थी।"
- यह क्यों मायने रखता है: वास्तविक जीवन में, डॉक्टर सवाल अलग-अलग तरीके से पूछते हैं। एक अच्छा AI इतना मजबूत होना चाहिए कि वह अलग-अलग शब्दावली को संभाल सके और फिर भी सही उत्तर तक पहुँच सके।
3. प्रयोग: रोबोटों का परीक्षण
शोधकर्ताओं ने दो प्रकार की मेडिकल पहेलियों का उपयोग करके तीन अलग-अलग AI मॉडलों का परीक्षण किया:
- USMLE प्रश्न: ये मानकीकृत पाठ्यपुस्तक परीक्षाओं की तरह हैं। इनके उत्तर स्पष्ट होते हैं।
- वास्तविक रोगी मामले: ये "अनडिग्नोज्ड डिजीज नेटवर्क" से लिए गए वास्तविक, उलझे हुए जीवन के किस्से हैं। लक्षण भ्रमित करने वाले हैं और डेटा अधूरा है।
उन्होंने यह देखने के लिए कि मॉडल कितना डगमगाता है, प्रत्येक प्रश्न को 100 बार पूछा।
4. आश्चर्यजनक परिणाम
यहाँ उन्होंने क्या पाया, जिसे सरल भाषा में अनुवादित किया गया है:
- "प्रॉम्प्ट" (सवाल पूछने का तरीका) मॉडल से अधिक महत्वपूर्ण है: इससे कोई फर्क नहीं पड़ता कि उन्होंने किस AI मॉडल का उपयोग किया (बड़ा महंगा मॉडल या छोटा मुफ्त वाला)। सबसे महत्वपूर्ण बात यह थी कि उन्होंने सवाल कैसे पूछा।
- उपमा: यह एक छात्र से "बस उत्तर का अनुमान लगाओ" बनाम "तर्क का उपयोग करके अपना काम चरण-दर-चरण दिखाओ" पूछने जैसा है। "अपना काम दिखाओ" (विशेष रूप से, बेयसियन रीजनिंग, जो नए सुराग मिलने पर अपने अनुमान को अपडेट करने जैसा है) ने AI को बहुत अधिक सुसंगत बना दिया।
- सही होना, सुसंगत होने का अर्थ नहीं है: एक AI एक एकल रन में 100% सही निदान प्राप्त कर सकता है, लेकिन यदि आप इसे 10 बार पूछते हैं, तो यह 10 अलग-अलग (लेकिन सभी सही दिखने वाले) उत्तर दे सकता है।
- सबक: सटीकता (सही होना) और निरंतरता (एक ही उत्तर देना) दो अलग चीजें हैं। आपको दोनों की आवश्यकता है।
- AI के लिए वास्तविक जीवन परीक्षाओं की तुलना में आसान है: आश्चर्यजनक रूप से, AI पाठ्यपुस्तक के प्रश्नों की तुलना में वास्तविक दुनिया के रोगी मामलों के साथ अधिक सुसंगत था। लेखक सोचते हैं कि वास्तविक मामलों में विस्तृत कहानियाँ AI को विशिष्ट विवरणों पर ध्यान केंद्रित करने के लिए मजबूर करती हैं, जिससे उसके विकल्प सीमित हो जाते हैं, जबकि परीक्षा के प्रश्न उसे बहुत अधिक भटकने की जगह देते हैं।
5. यह क्यों मायने रखता है
इस शोध पत्र से पहले, हम मुख्य रूप से केवल यह देखते थे: "क्या AI ने सही उत्तर दिया?"
अब, हम यह भी देख सकते हैं: "क्या AI ने हर बार सही उत्तर दिया, और क्या वह इसके बारे में आश्वस्त था?"
यह ढांचा AI डॉक्टरों के लिए एक गुणवत्ता नियंत्रण चेकलिस्ट की तरह है। यह नियामकों (जैसे FDA) और अस्पतालों को यह तय करने में मदद करता है: "क्या यह AI मरीज के जीवन के साथ भरोसा करने के लिए पर्याप्त स्थिर है, या यह बहुत अधिक डगमगाता है?"
संक्षेप में: यह शोध पत्र हमें सिखाता है कि स्वास्थ्य सेवा में एक सच्चा साथी बनने के लिए, AI को न केवल स्मार्ट होना चाहिए; उसे स्थिर (steady) भी होना चाहिए। और सवाल पूछने का तरीका ही उसे स्थिर रखने की कुंजी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।