Bridging the Detection-to-Abstention Gap in Reasoning Models under Insufficient Information
यह शोध पत्र जज-देन-सॉल्व (JTS) प्रस्तुत करता है, जो एक रीजनिंग-कंट्रोल फ्रेमवर्क है जो मॉडल्स को समाधान उत्पन्न करने से पहले उत्तरदायित्व के प्रति स्पष्ट रूप से प्रतिबद्ध होने के लिए प्रशिक्षित करता है, जिससे "डिटेक्शन-टू-एब्स्टेंशन गैप" को प्रभावी ढंग से कम किया जाता है जहाँ मॉडल्स अपर्याप्त जानकारी को पहचान तो लेते हैं लेकिन परहेज करने में विफल रहते हैं, और अंततः उच्च-जोखिम वाले क्षेत्रों में सुरक्षा और दक्षता में सुधार करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
समस्या: "आत्मविश्वास से भरी तुक्का लगाने" की फँसावट
कल्पना कीजिए कि आप एक चतुर जासूस (AI मॉडल) हैं जिन्हें एक रहस्य सुलझाने के लिए काम पर रखा गया है। आपको एक सुराग दिया जाता है: "संदिग्ध ने एक कीचड़ भरा पदचिह्न और आधा खाया हुआ सेब छोड़ा है।"
एक सामान्य जासूस सोच सकता है, "हम्म, कीचड़ भरे पदचिह्न बारिश का संकेत देते हैं। शायद संदिग्ध बाहर था। मैं अंदाज़ा लगाता हूँ कि वह एक माली होगा।" वह एक पूरी रिपोर्ट भी लिख सकता है कि वह एक माली क्यों है, भले ही सुराग इतने अस्पष्ट हों कि निश्चित होना असंभव हो।
वर्तमान "रीज़निंग मॉडल्स" (उन्नत AI) बिल्कुल यही करते हैं जब उन्हें अधूरी जानकारी वाले सवालों का सामना करना पड़ता है।
- ग्लिच (खराबी): AI अक्सर जानता है कि कुछ जानकारी गायब है। अपनी "सोचने की प्रक्रिया" में, वह कह सकता है, "रुको, मुझे नहीं पता कि पिज्जा के कुल कितने स्लाइस थे।"
- विफलता: जानकारी की कमी को स्वीकार करने के बाद भी, वह रुकता नहीं है। वह आगे सोचता रहता है, "लेकिन चलिए मान लेते हैं कि 12 स्लाइस थे," और फिर आत्मविश्वास के साथ एक गलत उत्तर दे देता है।
लेखक इसे "डिटेक्शन-टू-एब्स्टेंशन गैप" (Detection-to-Abstention Gap) कहते हैं।
- डिटेक्शन (पहचानना): AI पहेली में खाली जगह को देख लेता है।
- एब्स्टेंशन (परहेज करना): AI का यह कहना कि, "मैं इसे हल नहीं कर सकता।"
- द गैप (अंतराल): AI खाली जगह को देखता तो है, लेकिन फिर भी उसे अंदाज़ों से भरने की कोशिश करता रहता है।
मेडिकल AI जैसे उच्च-जोखिम वाले क्षेत्रों में यह खतरनाक है। यदि कोई मरीज पूछता है, "मुझे सिरदर्द और बुखार है, मुझे क्या लेना चाहिए?" और AI को उनके अन्य लक्षणों या एलर्जी के बारे में नहीं पता, तो उसे दवा का अंदाज़ा नहीं लगाना चाहिए। उसे कहना चाहिए, "मुझे और जानकारी चाहिए।"
समाधान: "जज-देन-सॉल्व" (JTS)
शोधकर्ताओं ने इन एआई को प्रशिक्षित करने का एक नया तरीका प्रस्तावित किया है जिसे "जज-देन-सॉल्व" (Judge-Then-Solve - JTS) कहा जाता है।
इसे एक क्लब के बाउंसर या असेंबली लाइन पर एक क्वालिटी कंट्रोल इंस्पेक्टर की तरह समझें।
- पुराना तरीका: AI तुरंत समस्या को हल करने की कोशिश करता है। यदि उसे बीच में एहसास होता है कि जानकारी गायब है, तो वह "सोचने" की प्रक्रिया में इतना गहरा उतर चुका होता है कि रुक नहीं पाता। यह उस ड्राइवर की तरह है जिसे एहसास होता है कि वह गलत सड़क पर है, लेकिन वह चलते रहता है क्योंकि उसने पहले ही स्टीयरिंग घुमा दिया है।
- JTS तरीका: किसी भी समाधान की प्रक्रिया शुरू करने से पहले, AI को एक जज (न्यायाधीश) के रूप में कार्य करना होगा।
- चरण 1 (ऑडिट): AI को रुकना होगा और स्पष्ट रूप से पूछना होगा: "क्या मेरे पास यह केक बनाने के लिए सभी सामग्री मौजूद है?"
- चरण 2 (फैसला):
- यदि उत्तर "नहीं" है (जानकारी गायब है): तो AI को तुरंत ब्रेक लगाना होगा, किताब बंद करनी होगी और कहना होगा, "मैं इस प्रश्न का उत्तर नहीं दे सकता।" कोई अंदाज़ा लगाने की अनुमति नहीं है।
- यदि उत्तर "हाँ" है: तभी वह समस्या को हल करने के लिए आगे बढ़ेगा।
उन्होंने AI को यह कैसे सिखाया
आप केवल AI को "तुक्का लगाना बंद करो" कहकर उम्मीद नहीं कर सकते कि वह काम करेगा। शोधकर्ताओं ने प्रशिक्षण के लिए दो-चरणीय विधि का उपयोग किया:
- सुपरवाइज्ड वार्म-अप (ट्रेनिंग व्हील्स): उन्होंने AI को उदाहरण दिखाए कि एक सख्त जज की तरह कैसे व्यवहार किया जाए। उन्होंने उसे विशिष्ट प्रारूप सिखाया: "पहले, जानकारी की जाँच करें। यदि जानकारी गायब है, तो तुरंत रुक जाएँ।"
- रीइन्फोर्समेंट लर्निंग (रिवॉर्ड सिस्टम): उन्होंने AI के साथ एक खेल खेला।
- रिवॉर्ड (इनाम): यदि AI ने जानकारी की कमी को सही ढंग से पहचाना और रुक गया, तो उसे एक पॉइंट मिला।
- पेनल्टी (दंड): यदि AI ने जानकारी की कमी को पहचाना लेकिन फिर भी बात करता रहा और अंदाज़ा लगाता रहा, तो उसके अंक काट लिए गए।
- "लेंथ" (लंबाई) का तरीका: उन्होंने एक नियम भी जोड़ा जो AI को "ज़रूरत से ज़्यादा सोचने" के लिए दंडित करता था। यदि AI को पता चल गया कि वह समस्या हल नहीं कर सकता, लेकिन फिर भी उसने इसके बारे में एक लंबा पैराग्राफ लिखा, तो उसे पेनल्टी दी गई। इसने AI को संक्षिप्त होने और डेड एंड (गतिरोध) मिलते ही तुरंत रुकने की शिक्षा दी।
परिणाम: "ओवरथिंकर" से "ईमानदार विशेषज्ञ" तक
शोधकर्ताओं ने गणितीय समस्याओं और चिकित्सा संबंधी प्रश्नों (जहाँ जानबूझकर जानकारी छोड़ी गई थी) का उपयोग करके दो प्रकार के AI मॉडल (एक बड़ा और जटिल, एक छोटा और सघन) पर परीक्षण किया।
- प्रशिक्षण से पहले: AI जानकारी की कमी को लगभग 50% बार पहचान लेता था, लेकिन वह वास्तव में केवल 20% बार ही रुककर उत्तर देने से मना कर पाता था। यह एक ऐसे "जासूस की तरह था जो जानता है कि मामला अनसुलझा है, फिर भी रिपोर्ट लिखता है।"
- JTS प्रशिक्षण के बाद:
- AI अभी भी गायब जानकारी को पहचान लेता था (Detection)।
- महत्वपूर्ण रूप से: जब उसने जानकारी की कमी को पहचाना, तो वह लगभग हमेशा (99%+) रुक गया और उत्तर देने से मना कर दिया।
- बोनस: AI तेज़ भी हो गया। क्योंकि इसने असंभव सवालों पर अंदाज़ा लगाना बंद कर दिया, इसलिए इसने बहुत सारा "सोचने का समय" (टोकन्स) बचा लिया।
एक साइड इफेक्ट: कठिन समस्याओं पर कम "आत्म-संदेह"
दिलचस्प बात यह है कि शोधकर्ताओं ने पाया कि AI को आसान गायब-जानकारी वाले सवालों पर "मुझे नहीं पता" कहना सिखाने से, वह उन कठिन सवालों को हल करने में भी बेहतर हो गया जिनके जवाब मौजूद थे।
- पहले: AI एक लूप में फंस जाता था "शायद मैं गलत हूँ... रुको, शायद मैं सही हूँ... नहीं, शायद मैं गलत हूँ" (अनुत्पादक आत्म-चिंतन)।
- बाद में: AI अधिक निर्णायक हो गया। इसने उन समस्याओं पर खुद पर संदेह करने में समय बर्बाद करना बंद कर दिया जिन्हें वह वास्तव में हल कर सकता था, जिससे अधिक स्पष्ट और सीधे उत्तर मिले।
सारांश
यह पेपर दिखाता है कि उन्नत AI अक्सर "जब नहीं करना चाहिए तब तुक्का लगाने" की आदत में फंस जाते हैं। उन्हें पहले सवाल का न्याय करने और जानकारी गायब होने पर तुरंत रुकने के लिए मजबूर करके, शोधकर्ताओं ने यह अंतर मिटा दिया कि AI कब जानकारी की कमी को "जानता" है और कब वह "स्वीकार करता है कि वह उत्तर नहीं दे सकता।" यह AI को सुरक्षित और अधिक विश्वसनीय बनाता है, विशेष रूप से ऐसी स्थितियों में जहाँ गलत अंदाज़ा हानिकारक हो सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।