Probabilistic Calibration Is a Trainable Capability in Language Models
यह शोध पत्र प्रदर्शित करता है कि संभाव्य अंशांकन (प्रोबेबिलिस्टिक कैलिब्रेशन) भाषा मॉडलों में एक प्रशिक्षित क्षमता है, जो यह दर्शाता है कि सिंथेटिक वितरण कार्यों पर फाइन-ट्यूनिंग करने से विभिन्न बेंचमार्क में सैंपलिंग फिडेलिटी में पर्याप्त सुधार होता है, जिसमें हार्ड-टारगेट विधियाँ संरचित संख्यात्मक सैंपलिंग में उत्कृष्ट प्रदर्शन करती हैं और सॉफ्ट-टारगेट विधियाँ व्यापक स्टोकेस्टिक जनरेशन कार्यों पर बेहतर प्रदर्शन करती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक भाषा मॉडल (जैसे कि एक बहुत बुद्धिमान, लेकिन कभी-कभी जिद्दी, रोबोट) से पूछते हैं कि "1 और 10 के बीच कोई यादृच्छिक (random) संख्या चुनें।"
आदर्श रूप से, रोबोट को 1 से 10 तक प्रत्येक संख्या को समान संभावना के साथ चुनना चाहिए, ठीक वैसे ही जैसे एक निष्पक्ष पासा (die) फेंका जाता है। लेकिन वास्तव में, ये रोबोट इसमें बहुत खराब होते हैं। अक्सर उनके पास "पसंदीदा" संख्याएं होती हैं। वे शायद आधे समय "7" चुनते हैं और "3" को कभी नहीं चुनते, भले ही आपने उनसे यादृच्छिक विकल्प चुनने के लिए कहा हो। वे वास्तव में रैंडम होने में खराब हैं।
यह शोध पत्र एक सरल प्रश्न पूछता है: क्या हम इन रोबोटों को रैंडमनेस (यादृच्छिकता) के नियमों का बेहतर पालन करना सिखा सकते हैं?
इसका उत्तर है हाँ। शोधकर्ताओं ने पाया कि उन्हें एक विशेष "प्रशिक्षण पाठ्यक्रम" देकर, वे संख्याओं (और अन्य चीजों) को बिल्कुल वैसे ही चुनना सीख सकते हैं जैसा हम चाहते हैं।
यहाँ बताया गया है कि उन्होंने इसे कैसे किया, दो अलग-अलग शिक्षण शैलियों का उपयोग करते हुए:
समस्या: रोबोट की "बुरी आदत"
एक रोबोट को ऐसे छात्र के रूप में सोचें जिसने लाखों किताबें पढ़ी हैं। वह कहानियाँ लिखना और प्रश्नों के उत्तर देना जानता है, लेकिन उसे कभी यह नहीं सिखाया गया कि पासा कैसे फेंका जाता है। जब उसे रैंडम होने के लिए कहा जाता है, तो वह केवल उसी आधार पर अनुमान लगाता है जो उसे लगता है कि "सामान्य" लगता है, जिसका अर्थ है कि वह बार-बार उन्हीं कुछ उत्तरों पर अटक जाता है।
समाधान: दो प्रशिक्षण विधियाँ
शोधकर्ताओं ने 12 अलग-अलग रोबोट छात्रों (विभिन्न आकारों के) वाला एक विशेष कक्षा बनाई। उन्होंने उन्हें दो अलग-अलग तरीकों से सिखाया:
1. "मैप" विधि (सॉफ्ट-टारगेट)
कल्पना कीजिए कि आप एक छात्र को एक आदर्श वृत्त (circle) बनाने के लिए सिखा रहे हैं। केवल यह कहने के बजाय कि "एक वृत्त बनाओ," आप उन्हें एक विस्तृत मानचित्र देते हैं जो दिखाता है कि एक आदर्श वृत्त बनाने के लिए हर बिंदु को ठीक कहाँ होना चाहिए।
- यह कैसे काम करता है: शोधकर्ताओं ने एक "मैप" (एक डिजिटल ट्री स्ट्रक्चर) बनाया जो रोबोट को ठीक से दिखाता था कि एक आदर्श रैंडम वितरण (distribution) बनाने के लिए अगले प्रत्येक अक्षर की संभावना क्या होनी चाहिए।
- परिणाम: यह विधि रोबोट को विविध (diverse) बनाने में बहुत अच्छी थी। इसने रोबोट को केवल संख्याओं को ही नहीं, बल्कि रैंडम शहरों, जानवरों या शब्दों को भी चुनने में सक्षम बनाया। यह ऐसा था जैसे रोबोट को केवल एक कोने में खड़े रहने के बजाय पूरे खेल के मैदान को एक्सप्लोर करना सिखाना।
2. "प्रैक्टिस रन" विधि (हार्ड-टारगेट)
कल्पना कीजिए कि एक छात्र को एक ही कार्य को हजारों बार अभ्यास कराकर सिखाना। आप कहते हैं, "यह एक परफेक्ट पासे के रोल से निकली रैंडम संख्या है। अब तुम कोशिश करो।" फिर आप इसे फिर से करते हैं। और फिर से। और फिर से।
- यह कैसे काम करता है: शोधकर्ताओं ने कंप्यूटर से हजारों आदर्श रैंडम संख्याएँ उत्पन्न कीं, उन्हें रोबोट को दिखाया, और कहा, "इन उदाहरणों से सीखो।"
- परिणाम: यह विधि सटीकता (precision) की चैंपियन थी। इसने रोबोट को अनुरोधित तरीके से सटीक रूप से विशिष्ट संख्याएं चुनने में अविश्वसनीय रूप से सटीक बना दिया। यदि आपने 1 से 100 के बीच की संख्या मांगी, तो यह रोबोट लक्ष्य वितरण को लगभग पूरी तरह से प्राप्त कर लेगा।
प्रशिक्षण के बाद क्या हुआ?
शोधकर्ताओं ने रोबोट का उन चीजों पर परीक्षण किया जो उन्होंने पहले नहीं देखी थीं (जैसे कि नए प्रकार के रैंडम डिस्ट्रीब्यूशन या संख्याओं के बजाय रैंडम शहर पूछना)।
- अच्छी खबर: दोनों प्रशिक्षण विधियाँ काम कर गईं! रोबोट रैंडम होने में बहुत बेहतर हो गए। उन्होंने अपने "पसंदीदा" नंबरों को प्राथमिकता देना बंद कर दिया और अपने विकल्पों को समान रूप से फैलाना शुरू कर दिया, ठीक एक निष्पक्ष सिक्के के उछाल की तरह।
- ट्रेड-ऑफ (समझौता): इसकी एक छोटी सी कीमत थी। ठीक वैसे ही जैसे एक छात्र जो केवल गणित का अभ्यास करता है तो वह कुछ इतिहास भूल सकता है, ये रोबकट कुछ अन्य कार्यों में थोड़े खराब हो गए। विशेष रूप से, जटिल गणितीय तर्क (जैसे वर्ड प्रॉब्लम्स हल करना) करने की उनकी क्षमता थोड़ी कम हो गई। हालांकि, सामान्य भाषा को समझने और उत्पन्न करने की उनकी क्षमता लगभग वैसी ही रही या थोड़ा बेहतर हो गई।
मुख्य निष्कर्ष
यह शोध पत्र सिद्ध करता है कि एक अच्छा रैंडम सैंपलर बनना एक कौशल है जिसे सीखा जा सकता है।
- यदि आपको किसी रोबोट को संख्याओं के साथ सटीक (precise) होने की आवश्यकता है (जैसे कि एक कैसीनो गेम), तो "प्रैक्टिस रन" विधि का उपयोग करें।
- यदि आपको रोबोट को रचनात्मक और विविध (creative and diverse) होने की आवश्यकता है (जैसे कि कहानी के लिए रैंडम विचार चुनना), तो "मैप" विधि का उपयोग करें।
शोधकर्ताओं ने केवल एक बग को ठीक नहीं किया; उन्होंने दिखाया कि वे रोबोट के "व्यक्तित्व" को आपकी आवश्यकता के अनुसार अधिक या कम रैंडम होने के लिए ट्यून कर सकते हैं। उन्होंने यह दावा नहीं किया कि यह सभी AI समस्याओं को ठीक कर देता है या इसका उपयोग चिकित्सा निदान के लिए किया जा सकता है, लेकिन उन्होंने यह साबित कर दिया कि सही प्रशिक्षण के साथ, AI अंततः एक निष्पक्ष पासा फेंकना सीख सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।