Diverse LLMs or Diverse Question Interpretations? That is the Ensembling Question
यह शोध पत्र यह प्रदर्शित करता है कि LLMs के साथ बाइनरी प्रश्न-उत्तर के लिए, बहुमत मतदान (majority voting) का उपयोग करते समय, एक ही मॉडल के विविध प्रश्न व्याख्याओं का एनसेम्बल (ensemble), कई अलग-अलग मॉडलों के एनसेम्बल से लगातार बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक पेचीदा पहेली को सुलझाने की कोशिश कर रहे हैं, जैसे "क्या वर्षामापी (rain gauge) का आकार मायने रखता है?" आप यह सवाल अपने एक बहुत ही बुद्धिमान दोस्त से पूछ सकते हैं, या आप इसे दोस्तों के एक पूरे समूह से पूछ सकते हैं। मुख्य सवाल जो यह शोध पत्र पूछता है, वह यह है: क्या एक दोस्त से पहेली के बारे में तीन अलग-अलग तरीकों से सोचने के लिए कहना बेहतर है, या तीन अलग-अलग दोस्तों से पहेली के बारे में बिल्कुल एक ही तरीके से सोचने के लिए कहना बेहतर है?
लेखक, जो इंटेल लैब्स (Intel Labs) के शोधकर्ता हैं, इस उत्तर को खोजने के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग करते हैं—जो ChatGPT जैसे टूल्स के पीछे के AI मस्तिष्क हैं। वे इसे "एन्सेम्बलिंग क्वेश्चन" (Ensembling Question) कहते हैं।
दो रणनीतियाँ
यह शोध पत्र "विविधता" (अलग-अलग दृष्टिकोणों का होना) का उपयोग करके एक बेहतर उत्तर प्राप्त करने के दो तरीकों की तुलना करता है:
1. "कई दोस्तों" वाला दृष्टिकोण (मॉडल विविधता - Model Diversity)
कल्पना कीजिए कि आपके पास तीन अलग-अलग दोस्त हैं: एलिस, बॉब और चार्ली। उन सभी के व्यक्तित्व और सोचने के तरीके अलग-अलग हैं। आप उन सभी से बिल्कुल एक ही सवाल पूछते हैं: "क्या वर्षामापी का आकार मायने रखता है?"
- लक्ष्य: आप उम्मीद करते हैं कि यदि एलिस गलत हो जाती है, तो बॉब या चार्ली सही हो सकते हैं।
- परिणाम: शोध पत्र में पाया गया कि यह अक्सर आपको केवल एक औसत उत्तर ही देता है। यदि एलिस बहुत अच्छी है, बॉब ठीक-ठाक है, और चार्ली बहुत खराब है, तो समूह का वोट आमतौर पर बीच के किसी स्थान पर ही ठहर जाता है। यह जादुई रूप से समूह को सबसे अच्छे व्यक्ति से अधिक बुद्धिमान नहीं बनाता है।
2. "एक दोस्त, तीन टोपियाँ" वाला दृष्टिकोण (प्रश्न व्याख्या विविधता - Question Interpretation Diversity)
कल्पना कीजिए कि आप केवल एक दोस्त (मान लीजिए, एक बहुत ही स्मार्ट AI जिसे GPT-3.5 कहा जाता है) से पूछते हैं। लेकिन उन्हें जवाब देने से पहले, आप उन्हें सवाल को देखने के लिए तीन अलग-अलग "टोपियाँ" या लेंस पहनने के लिए कहते हैं।
- टोपी 1 (वैज्ञानिक): "यह बारिश को मापने की सटीकता को कैसे प्रभावित करता है?"
- टोपी 2 (इंजीनियर): "यह गेज की लागत और डिजाइन को कैसे प्रभावित करता है?"
- टोपी 3 (पर्यावरणविद्): "यह प्रकृति पर वर्षा के प्रभाव की हमारी समझ को कैसे बदलता है?"
वह दोस्त सवाल का तीन बार जवाब देता है, प्रत्येक टोपी के लिए एक बार। फिर, आप उन तीन जवाबों पर वोट लेते हैं। - लक्ष्य: सवाल को अलग-अलग कोणों से देखने के लिए मजबूर करके, आप उन बारीकियों को उजागर करते हैं जिन्हें एक साधारण, सीधे पठन में छोड़ा जा सकता था।
- परिणाम: इस दृष्टिकोण ने लगातार जीत हासिल की। "एक दोस्त, तीन टोपियाँ" विधि ने तीन अलग-अलग दोस्तों से एक ही सवाल पूछने की तुलना में बेहतर उत्तर दिए।
"एक दोस्त" वाला दृष्टिकोण क्यों जीता?
शोध पत्र सुझाव देता है कि तीन अलग-अलग मॉडलों को पूछने ( "कई दोस्तों" वाले दृष्टिकोण) के साथ समस्या यह है कि वे अक्सर एक ही तरह की गलतियाँ करते हैं। भले ही वे अलग-अलग मॉडल हैं, उन्हें समान डेटा पर प्रशिक्षित किया गया है और उनके "अंध बिंदु" (blind spots) भी समान हैं। यदि वे सभी एक ही तरह से सवाल को गलत समझते हैं, तो उनके जवाबों पर वोट करने से कोई मदद नहीं मिलेगी।
हालाँकि, जब आप एक मॉडल को प्रश्न को अलग-अलग तरीकों से व्याख्या करने के लिए कहते हैं, तो आप उसे अपने सामान्य सोचने के पैटर्न से बाहर निकलने के लिए मजबूर करते हैं। आप अनिवार्य रूप से कह रहे हैं, "केवल सवाल का जवाब न दें; सोचें कि उस सवाल का क्या अर्थ हो सकता है।" यह उत्तरों की एक ऐसी विविधता पैदा करता है जो सही दिशा में होने की अधिक संभावना रखती है।
"वोटिंग" तंत्र
अंतिम उत्तर तय करने के लिए, शोधकर्ताओं ने एक सरल बहुमत वोट (Majority Vote) का उपयोग किया।
- यदि "वैज्ञानिक" कहता है "हाँ", "इंजीनियर" कहता है "हाँ", और "पर्यावरणविद्" कहता है "नहीं", तो अंतिम उत्तर "हाँ" होगा।
- शोध पत्र में पाया गया कि यह वोटिंग सिस्टम तब बहुत बेहतर काम करता है जब इनपुट एक ही प्रश्न की विभिन्न व्याख्याओं से आते हैं, न कि अलग-अलग मॉडल्स से।
निचोड़ (The Bottom Line)
शोध पत्र निष्कर्ष निकालता है कि सरल "हाँ/नहीं" वाले सवालों के जवाब देने के लिए, एक AI के दिमाग को एक सवाल के बारे में कई तरीकों से सोचने के लिए विस्तार देना, अलग-अलग AI के समूह को केवल एक तरीके से सोचने के लिए इकट्ठा करने से बेहतर है।
यह अंधेरे कमरे में खोई हुई चाबी खोजने की कोशिश करने जैसा है:
- मॉडल विविधता (Model Diversity) एक ही कमरे की तलाशी लेने के लिए तीन अलग-अलग लोगों को काम पर रखने जैसा है, लेकिन वे सभी एक ही कोने में देखते हैं क्योंकि उन्हें वहीं देखने के लिए कहा गया है जहाँ उन्हें बताया गया था।
- प्रश्न व्याख्या विविधता (Question Interpretation Diversity) एक व्यक्ति को कमरा खोजने के लिए काम पर रखने जैसा है, लेकिन आप उन्हें चाबी को एक खिलौने के रूप में, फिर एक उपकरण के रूप में, और अंत में गहने के रूप में खोजने के लिए कहते हैं। यह उन्हें पूरे कमरे को अधिक गहनता से स्कैन करने के लिए मजबूर करता है, और उनके चाबी खोजने की संभावना बहुत अधिक बढ़ जाती है।
शोधकर्ताओं ने तीन अलग-अलग प्रकार के प्रश्नों (सामान्य ज्ञान, रणनीति और चिकित्सा विज्ञान के बारे में) पर इसका परीक्षण किया और पाया कि "एक दोस्त, तीन टोपियाँ" विधि ने लगातार "कई दोस्तों" की विधि को पछाड़ दिया।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।