Calibrated Abstention and Clinical Deferral in Small Language Models via RLVR and GRPO
यह शोध पत्र प्रदर्शित करता है कि कैलिब्रेटेड एब्स्टेंशन (calibrated abstention) को लागू करने के लिए RLVR और GRPO के साथ एक स्मॉल लैंग्वेज मॉडल (Gemma 2B) को प्रशिक्षित करना, कच्चे बेंचमार्क सटीकता (raw benchmark accuracy) में समझौते के बावजूद, अस्पष्ट मामलों के लिए डिफ़रल दर (deferral rate) को दोगुना करके नैदानिक सुरक्षा (clinical safety) में महत्वपूर्ण सुधार करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ शोध पत्र का हिंदी अनुवाद दिया गया है:
मुख्य विचार: एक स्मार्ट रोबोट को यह सिखाना कि "मुझे नहीं पता"
कल्पना कीजिए कि आपके पास एक बहुत ही स्मार्ट, तेज़ बोलने वाला रोबोट सहायक (एक "स्मॉल लैंग्वेज मॉडल" या SLM) है जिसका नाम Gemma है। इसने लाखों मेडिकल किताबें पढ़ी हैं और यह अविश्वसनीय रूप से आत्मविश्वासी लग सकता है। हालाँकि, इसमें एक खतरनाक आदत है: जब इसे वास्तव में उत्तर नहीं पता होता, तो यह फिर भी एक तर्कसंगत दिखने वाला उत्तर बना देता है। चिकित्सा जगत में, यह एक छात्र की तरह है जो अंतिम परीक्षा में अंदाज़ा लगाता है और भाग्य से सही उत्तर पा लेता है, लेकिन फिर आत्मविश्वास के साथ मरीज को गलत सलाह देता है।
यह शोध पत्र Gemma को एक नई सुपरपावर सिखाने के बारे में है: कैलिब्रेटेड एब्स्टेंशन (Calibrated Abstention)। यह एक फैंसी तरीका है यह कहने का कि "कब रुकना है और मदद मांगनी है।" शोधकर्ताओं चाहते थे कि Gemma एक "आत्मविश्वासी अनुमान लगाने वाले" से बदलकर एक "सतर्क पेशेवर" बन जाए जो अपनी सीमाओं को जानता हो।
समस्या: "खतरनाक आत्मविश्वास" का जाल
शोध पत्र का तर्क है कि वर्तमान AI मॉडल सत्य होने के बजाय प्रवाहपूर्ण (fluent) होने के लिए प्रशिक्षित किए जाते हैं। वे एक ऐसे छात्र की तरह हैं जो निबंध लिखने में तो बहुत अच्छा है लेकिन गणित में बहुत खराब है; वे गणित की समस्या के बारे में एक सुंदर पैराग्राफ लिख सकते हैं, भले ही गणित गलत हो।
एक अस्पताल में, यदि AI कहता है, "आपका पैर टूट गया है," 100% आत्मविश्वास के साथ, जबकि वास्तव में आपको केवल एक नील (bruise) आया है, तो यह एक आपदा है। शोध पत्र इसे "डेंजरस कॉन्फिडेंस" (खतरनाक आत्मविश्वास) का जाल कहता है। लक्ष्य Gemma को बीमारियों का निदान करने में अधिक स्मार्ट बनाना नहीं था; बल्कि इसे सुरक्षित बनाना था ताकि यह कहना सीख सके, "मुझे इस पर किसी मानव डॉक्टर की आवश्यकता है।"
समाधान: एक सख्त प्रशिक्षण शिविर (RLVR और GRPO)
इसे ठीक करने के लिए, शोधकर्ताओं ने केवल Gemma को "विनम्र" बनने के लिए नहीं कहा। उन्होंने इसे दो विशिष्ट उपकरणों का उपयोग करके एक कठोर प्रशिक्षण शिविर के माध्यम से प्रशिक्षित किया:
"SOFA" चेकलिस्ट (सत्यापन योग्य पुरस्कार):
कल्पना कीजिए कि एक पायलट जिसे उड़ान भरने से पहले एक भौतिक चेकलिस्ट की जाँच करनी होती है। शोधकर्ताओं ने Gemma को भी ऐसा ही करने के लिए मजबूर किया। निदान देने से पहले, उसे एक विशिष्ट मेडिकल फॉर्म भरना था जिसे SOFA स्कोर (हृदय गति और ऑक्सीजन स्तर जैसे महत्वपूर्ण संकेतों की एक सूची) कहा जाता है।- नियम: यदि रोगी का डेटा गायब था (जैसे, रक्त परीक्षण के परिणाम नहीं थे), तो Gemma को फॉर्म पर "N/P" (उपलब्ध नहीं) लिखना ही था।
- पुरस्कार प्रणाली: यदि Gemma गायब आंकड़ों का अनुमान लगाने की कोशिश करता, तो उसे भारी दंड मिलता। यदि वह डेटा की कमी को सही ढंग से पहचानता और मदद मांगता, तो उसे पुरस्कार मिलता। इसे RLVR (वेरिफिएबल रिवॉर्ड्स से सुदृढीकरण सीखना) कहा जाता है। यह एक ऐसे शिक्षक की तरह है जो आपको केवल तभी गोल्ड स्टार देता है जब आप अपना काम दिखाते हैं और स्वीकार करते हैं कि आपके पास आंकड़े नहीं हैं, बजाय इसके कि आप बस अंदाज़ा लगाएं।
"कैक्टस सिग्नल" (रूटिंग प्रोटोकॉल):
चेकलिस्ट भरने के बाद, Gemma को अपना उत्तर समाप्त करने के लिए दो "स्टॉप साइन" में से एक चुनना था:<|local_ok|>: "मेरे पास सारी जानकारी है, मैं आश्वस्त हूँ, और मैं उत्तर दे सकता हूँ।"<|escalate|>: "मेरे पास डेटा की कमी है या मैं भ्रमित हूँ। कृपया कार्यभार संभालने के लिए एक मानव डॉक्टर भेजें।"
यह कैक्टस सिग्नल है। यह AI को स्पष्ट रूप से यह बताने के लिए मजबूर करता है कि वह सुरक्षित महसूस कर रहा है या असुरक्षित।
"ग्रुप रेस" (GRPO):
आमतौर पर, AI को प्रशिक्षित करने के लिए एक बहुत बड़े, महंगे "क्रिटिक" कंप्यूटर की आवश्यकता होती है जो उत्तरों को ग्रेड दे सके। चूंकि शोधकर्ता उन छोटे, सस्ते कंप्यूटरों का उपयोग कर रहे थे (जैसे कि एक मानक लैपटॉप या क्लाउड सर्वर में पाए जाते हैं), उन्होंने GRPO नामक एक ट्रिक का उपयोग किया।- उपमा: एक छात्र को ग्रेड देने के लिए एक शिक्षक के बजाय, AI एक साथ चार अलग-अलग उत्तर उत्पन्न करता है। फिर यह उनकी आपस में तुलना करता है। यदि तीन उत्तर खराब हैं और एक थोड़ा बेहतर है, तो उस "बेहतर" वाले को पुरस्कार मिलता है। यह मॉडल को बिना किसी विशाल, महंगे सुपरकंप्यूटर की आवश्यकता के सुरक्षित होना सीखने की अनुमति देता है।
परिणाम: "सेफ्टी टैक्स" (सुरक्षा कर)
शोधकर्ताओं ने नए, प्रशिक्षित Gemma (जिसे Gemma-Sync कहा जाता है) का परीक्षण पुराने, अप्रशिक्षित संस्करण के विरुद्ध 200 कठिन चिकित्सा प्रश्नों के सेट पर किया।
- बुरी खबर (एलाइनमेंट टैक्स): प्रशिक्षित Gemma कुल मिलाकर कम प्रश्नों को सही कर पाया। इसकी सटीकता 44% से गिरकर 35.5% हो गई।
- क्यों? क्योंकि पुराना Gemma जंगली अंदाज़े लगाता था और कभी-कभी भाग्यशाली भी हो जाता था। नया Gemma रुकने और सोचने के लिए मजबूर था। यदि वह सुनिश्चित नहीं था, तो वह अंदाज़ा नहीं लगाता था। उसने सही उत्तर तक पहुँचने के लिए "अंदाज़ा लगाने की क्षमता" खो दी।
- अच्छी खबर (सेफ्टी गेन): प्रशिक्षित Gemma पहले की तुलना में 129% अधिक बार "मुझे नहीं पता" (मानव को सौंपना) कहने लगा।
- समझौता: शोध पत्र का तर्क है कि यह एक अच्छा सौदा है। एक ऐसे रोबोट के साथ होना जो 35% सटीक है लेकिन जानता है कि कब रुकना है, उस रोबोट की तुलना में बेहतर है जो 44% सटीक है लेकिन 65% समय खतरनाक सलाह देते हुए पूर्ण आत्मविश्वास दिखाता है।
"डीप डाइव" उदाहरण
शोध पत्र एक विशिष्ट उदाहरण देता है जो अंतर को दर्शाता है:
- परिदृश्य: एक मरीज को लिवर की बीमारी और भ्रम है, लेकिन मेडिकल नोट्स में एक महत्वपूर्ण रक्त परीक्षण (प्लेटलेट काउंट) गायब है।
- पुराना Gemma: तुरंत "लिवर फेलियर" का अनुमान लगाता है और एक आत्मविश्वासी उत्तर देता है। यह गलत है क्योंकि इसने गायब डेटा को अनदेखा कर दिया।
- नया Gemma: चेकलिस्ट भरने की कोशिश करता है, गायब रक्त परीक्षण को देखता है, "N/P" लिखता है, और यह महसूस करता है कि वह सुनिश्चित नहीं हो सकता, और
<|escalate|>सिग्नल को ट्रिगर करता है। यह अंदाज़ा लगाने से इनकार कर देता है।
एक कमी: यह थोड़ा धीमा है
शोध पत्र में एक कमी का भी उल्लेख किया गया है। क्योंकि नए Gemma को रुकना, सोचना, लंबी चेकलिस्ट भरनी और फिर यह तय करना पड़ता है कि उत्तर देना है या मदद मांगनी है, इसलिए इसे उत्तर देने में अधिक समय लगता है।
- "स्ट्रक्चर्ड रैंबलिंग" (संरचित बड़बड़ाहट): कभी-कभी, रोबोट अपनी चेकलिस्ट लिखने में इतना केंद्रित हो जाता है कि वह खत्म करने के बाद भी बोलना जारी रखता है, जिससे समय बर्बाद होता है। शोध पत्र इसे "स्ट्रक्चर्ड रैंबलिंग" कहता है। एक प्रश्न का उत्तर देने में इसे लगभग 153 सेकंड लगे, जो आपातकालीन कक्ष (ER) के लिए बहुत धीमा है।
निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि चिकित्सा जैसे उच्च-जोखिम वाले कार्यों के लिए, कच्ची गति या सटीकता से अधिक सुरक्षा महत्वपूर्ण है।
Gemma को अपनी अज्ञानता को पहचानने और मानव सहायता मांगने के लिए प्रशिक्षित करके, शोधकर्ताओं ने एक अधिक विश्वसनीय प्रणाली बनाई है। उन्होंने साबित किया कि आप एक सुरक्षित AI प्राप्त करने के लिए थोड़ी सी "अंदाज़ा लगाने की क्षमता" का त्याग कर सकते हैं, जिससे एक आत्मविश्वासी अनुमान लगाने वाले को एक विनम्र, सतर्क सहायक में बदला जा सके। कम सटीकता का "टैक्स" वास्तव में एक सुरक्षित AI के लिए प्रवेश शुल्क है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।