Amortising Bayesian Experimental Design for Sequential Information Gathering in LLMs
यह शोध पत्र एमोर्टाइज्ड सीक्वेंशियल इंफॉर्मेशन गैदरिंग (ASIG) को प्रस्तुत करता है, जो एक फाइन-ट्यूनिंग विधि है जो LLM नीतियों में बेयसियन एक्सपेरिमेंटल डिज़ाइन को एकीकृत करती है ताकि 20 प्रश्न (20 Questions) और मेडिकल डायग्नोसिस जैसे कार्यों में अनुक्रमिक सूचना एकत्र करने की दक्षता और सफलता दर में उल्लेखनीय सुधार किया जा सके और साथ ही इन्फरेंस लागत को भारी रूप से कम किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ इस शोध पत्र का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।
बड़ी समस्या: "बातचीत में खो जाने वाला" AI
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान मित्र (एक लार्ज लैंग्वेज मॉडल, या LLM) के साथ 20 सवाल (20 Questions) का खेल खेल रहे हैं। आप किसी वस्तु के बारे में सोच रहे हैं, जैसे कि "टोस्टर", और आपके मित्र को अंदाज़ा लगाना है कि वह क्या है, जिसके लिए उसे 'हाँ' या 'नहीं' वाले सवाल पूछने होंगे।
आदर्श रूप से, आपके मित्र को स्मार्ट सवाल पूछने चाहिए जो हर बार संभावनाओं को आधा कर दें (जैसे, "क्या यह रसोई में इस्तेमाल होता है?")। हालाँकि, यह शोध पत्र बताता है कि वर्तमान AI मॉडल अक्सर "बातचीत में खो जाते" हैं। वे दोहराव वाले सवाल पूछ सकते हैं, यह भूल सकते हैं कि वे पहले से क्या जानते हैं, या यह पहचानने में विफल हो सकते हैं कि उनके पास अंदाज़ा लगाने के लिए पर्याप्त जानकारी कब हो गई है। वे तथ्यों को जानने में अच्छे हैं, लेकिन कुछ नया सीखने के लिए अगला क्या पूछना है, यह तय करने में कमजोर हैं।
पुराना तरीका: "ज़रूरत से ज़्यादा सोचने वाला" (इन्फरेंस-टाइम ऑप्टिमाइज़ेशन)
इस शोध पत्र से पहले, शोधकर्ताओं ने AI को हर बार सवाल पूछने से पहले "ज़्यादा गहराई से सोचने" के लिए प्रेरित करके इसे ठीक करने की कोशिश की थी।
- उदाहरण: कल्पना कीजिए कि आपका मित्र हर सवाल के बाद रुक जाता है, एक विशाल व्हाइटबोर्ड निकालता है, दुनिया की हर संभव वस्तु को लिख देता है, प्रत्येक के होने की संभावना की गणना करता है, और गणितीय रूप से यह पता लगाता है कि कौन सा सवाल सबसे अधिक जानकारी देगा।
- परिणाम: यह काम तो अच्छा करता है, लेकिन यह अविश्वसनीय रूप से धीमा और महंगा है। यह ऐसा है जैसे अपने मित्र को एक अकेला सवाल पूछने में मदद करने के लिए गणितज्ञों की एक टीम को काम पर रखना। शोध पत्र इसे बेयसियन एक्सपेरिमेंटल डिज़ाइन (BED) कहता है। प्रभावी होने के बावजूद, यह वास्तविक समय (real-time) के उपयोग के लिए बहुत भारी है।
नया समाधान: ASIG ( "मसल मेमोरी" वाला दृष्टिकोण)
लेखक एक नई विधि पेश करते हैं जिसे ASIG (एमोर्टाइज्ड सीक्वेंशियल इंफॉर्मेशन गैदरिंग) कहा जाता है। AI को हर बार बोलने के लिए जटिल गणित करने के बजाय, वे AI को वह कौशल सिखाते हैं ताकि यह उसकी स्वाभाविक आदत बन जाए।
- उदाहरण: हर बार व्हाइटबोर्ड निकालने के बजाय, आप अपने मित्र को हफ्तों तक प्रशिक्षित करते हैं। आप उनके साथ 20 सवालों के हज़ारों राउंड खेलते हैं। जब वे कोई बुरा सवाल पूछते हैं, तो आप कहते हैं, "नहीं, इससे ज़्यादा मदद नहीं मिली।" जब वे एक बेहतरीन सवाल पूछते हैं जो विकल्पों को कम कर देता है, तो आप कहते, "बहुत बढ़िया! हमें बिल्कुल इसी की ज़रूरत थी।"
- जादू: समय के साथ, आपके मित्र को व्हाइटबोर्ड की ज़रूरत नहीं पड़ती। वे "मसल मेमोरी" विकसित कर लेते हैं। वे सहज रूप से जानते हैं कि कौन से सवाल सबसे अधिक जानकारीपूर्ण हैं। उन्होंने भारी सोच को अपने प्रशिक्षण में "एमोर्टाइज़" (फैला) दिया है, इसलिए अब वे बिना रुके गणना किए, तेज़ी से और कुशलता से खेल सकते हैं।
उन्होंने AI को कैसे प्रशिक्षित किया
शोध पत्र एक विशिष्ट प्रशिक्षण लूप का वर्णन करता है (पेपर में चित्र 1):
- प्रपोजर (The Proposer): वह AI जिसे प्रशिक्षित किया जा रहा है (सवाल पूछने वाला)।
- ओरेकल (The Oracle): एक सुपर-स्मार्ट, स्थिर AI जो गुप्त उत्तर जानता है और गेम मास्टर के रूप में कार्य करता है।
- रिवॉर्ड सिस्टम (पुरस्कार प्रणाली): प्रपोजर को दो तरीकों से अंक मिलते हैं:
- "जिज्ञासा" स्कोर (EIG): क्या सवाल ने संभावनाओं को समान रूप से विभाजित किया? (जैसे, "क्या यह जीवित है?" "क्या यह एक टोस्टर है?" से बेहतर है)।
- "सफलता" स्कोर: क्या AI अंततः सही उत्तर का अनुमान लगाने में सफल रहा?
- प्रशिक्षण: उन्होंने GRPO (ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन) नामक एक विधि का उपयोग किया। इसे एक दौड़ की तरह समझें जहाँ AI एक साथ 5 अलग-अलग सवाल आज़माता है। जिसे सबसे अच्छा स्कोर मिलता है, उसे "हाई फाइव" मिलता है, और AI उस सवाल को अधिक बार करने के लिए सीखता है।
उन्होंने क्या पाया (परिणाम)
शोधकर्ताओं ने 20 सवालों के खेल और एक मेडिकल डायग्नोसिस सिमुलेशन (MediQ) पर इसका परीक्षण किया।
- अनुमान लगाने में बहुत बेहतर: 20 सवालों के खेल में, प्रशिक्षित AI (ASIG) ने अनप्रशिक्षित बेस मॉडल की तुलना में अपनी सफलता दर को दोगुना से अधिक कर दिया। यह चीज़ों को जल्दी से सीमित करने के लिए सही सवाल पूछने में बेहतर हो गया।
- सुपर फास्ट: क्योंकि AI को खेल के दौरान भारी गणित करने की आवश्यकता नहीं होती है, इसलिए यह "ओवर-थिंकर" विधि (BED-LLM) की तुलना में 25 से 36 गुना तेज़ है। यह एक स्प्रिंटर और बैकपैक लेकर दौड़ने वाले मैराथन रनर के बीच का अंतर है।
- यह नई चीज़ों पर भी काम करता है (जनरलाइजेशन): उन्होंने AI का परीक्षण एक मेडिकल डायग्नोसिस कार्य (MediQ) पर किया जिसे उसने पहले कभी नहीं देखा था। 7-बिलियन पैरामीटर वाले मॉडल (एक छोटा, कुशल मॉडल) ने दिखाया कि वह अपनी "सवाल पूछने के कौशल" को चिकित्सा में स्थानांतरित कर सकता है, जिससे वह यह जानने में बेहतर हो गया कि कब फॉलो-अप सवाल पूछना है और कब निदान (diagnosis) करना है।
- कोई बौद्धिक नुकसान नहीं: महत्वपूर्ण रूप से, AI को एक बेहतर सवाल पूछने वाला बनाने के प्रशिक्षण ने इसे अन्य चीज़ों में कमज़ोर नहीं बनाया। इसने कविता लिखने या गणित हल करने की अपनी क्षमता नहीं खोई; यह बस जानकारी जुटाने में बेहतर हो गया।
निष्कर्ष
यह शोध पत्र दिखाता है कि यदि आप AI को एक अच्छा अन्वेषक बनाना चाहते हैं, तो आपको उसे वास्तविक समय में जटिल गणित करने के लिए मजबूर करने की आवश्यकता नहीं है। इसके बजाय, आप इसे "सही सवाल पूछने" की रणनीति को आत्मसात करने के लिए प्रशिक्षित कर सकते हैं। यह AI को तेज़, सस्ता और बातचीत में सच्चाई खोजने में उतना ही (या उससे भी बेहतर) सक्षम बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।