Fine-Tuning Language Models to Know What They Know
यह शोध पत्र वास्तविक क्षमता को अलग करने के लिए मीट्रिक का उपयोग करते हुए और मेटाकॉग्निटिव अलाइनमेंट के लिए इवोल्यूशन स्ट्रैटेजी फॉर मेटाकॉग्निटिव अलाइनमेंट (ESMA) का प्रस्ताव देते हुए, बड़े भाषा मॉडल (Large Language Model) की मेटाकॉग्निशन को मापने और बढ़ाने के लिए एक ढांचे को प्रस्तुत करता है, जो विविध स्थितियों में मजबूत सामान्यीकरण प्राप्त करता है और यह प्रकट करता है कि सुधार मापदंडों के एक विरल सेट (sparse set of parameters) से उत्पन्न होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान रोबोट है जो आपके द्वारा पूछे गए लगभग किसी भी प्रश्न का उत्तर दे सकता है। लेकिन कभी-कभी, यह गलत होने पर भी आत्मविश्वास से भरा होता है, और कभी-कभी यह कहता है "मुझे नहीं पता" जबकि वास्तव में इसे उत्तर पता होता है। यह एक समस्या है क्योंकि हम चाहते हैं कि रोबोट अपने ज्ञान के बारे में ईमानदार रहे कि वह क्या जानता है और क्या नहीं।
यह शोध पत्र इस बारे में है कि उस रोबोट को अपने स्वयं के ज्ञान का बेहतर निर्णायक बनने के लिए कैसे सिखाया जाए। लेखक इसे "मेटाकॉग्निशन" (metacognition) कहते हैं, जो एक भारी शब्द है जिसका अर्थ है "अपने स्वयं के सोचने के बारेंक बारे में सोचना।"
यहाँ बताया गया है कि उन्होंने इसे कैसे किया, सरल भाषा में:
समस्या: रोबोट का "नकली" आत्मविश्वास
शोधकर्ताओं ने देखा कि जब वे रोबोट से पूछते, "क्या आप उत्तर जानते हैं?" तो वह वास्तव में अपनी आंतरिक स्मृति की जाँच नहीं कर रहा था। इसके बजाय, वह शॉर्टकट का उपयोग कर रहा था।
- "हाँ" की आदत: यदि कोई प्रश्न आसान दिखता था, तो रोबोट बस "हाँ, मैं जानता हूँ!" कह देता और उत्तर का अनुमान लगा लेता, भले ही वह गलत होता।
- "नहीं" की आदत: यदि कोई प्रश्न कठिन दिखता था, तो वह "नहीं, मुझे नहीं पता" कह देता, भले ही उसके दिमाग में उत्तर मौजूद हो।
यह एक ऐसे छात्र की तरह था जो परीक्षा में हर प्रश्न के लिए "हाँ" कहकर अनुमान लगाता है क्योंकि उसे लगता है कि शिक्षक आत्मविश्वासी छात्रों को पसंद करते हैं, न कि इसलिए कि उसे वास्तव में विषय का ज्ञान है।
समाधान: एक नया प्रशिक्षण खेल (ESMA)
इस समस्या को ठीक करने के लिए, लेखकों ने एक नई प्रशिक्षण विधि बनाई जिसे ESMA (Evolution Strategy for Metacognitive Alignment) कहा जाता है।
रोबोट के मस्तिष्क को अरबों छोटे डायल (पैरामीटर्स) वाली एक विशाल, जटिल मशीन के रूप में सोचें।
- द शफल (The Shuffle): मानक पाठों के साथ रोबोट को सिखाने के बजाय, उन्होंने रोबोट के मस्तिष्क को थोड़ा सा "शफल" किया या हिलाया, जिसमें थोड़ा सा रैंडम शोर (जैसे डिब्बे में कंचों को हिलाना) जोड़ा गया।
- द डबल चेक (The Double Check): उन्होंने एक विशेष खेल बनाया। प्रत्येक प्रश्न के लिए, वे रोबोट से दो चीजें पूछते थे:
- प्रश्न 1: "फ्रांस की राजधानी क्या है?" (तथ्य की जाँच)
- प्रश्न 2: "क्या आप उत्तर जानते हैं?" (स्वयं की जाँच)
- द स्कोर (The Score): उन्हें अंक तभी मिलते थे जब उनके उत्तर पूरी तरह से मेल खाते थे:
- अच्छा स्कोर: उसने तथ्य सही बताया और "हाँ, मैं जानता हूँ" कहा। OR उसने तथ्य गलत बताया और "नहीं, मुझे नहीं पता" कहा।
- बुरा स्कोर: उसने तथ्य सही बताया लेकिन "नहीं" कहा, या तथ्य गलत बताया लेकिन "हाँ" कहा।
- द इवोल्यूशन (The Evolution): वे उन संस्करणों को रखते थे जिन्होंने उच्च स्कोर प्राप्त किया और उन्हें फेंक देते थे जिन्होंने कम स्कोर प्राप्त किया। फिर, वे एक नया, स्मार्ट रोबोट बनाने के लिए "अच्छे" डायल को आपस में मिलाते थे। उन्होंने इस प्रक्रिया को हजारों बार दोहराया।
परिणाम: रोबोट अंततः जानता है कि वह क्या जानता है
इस प्रशिक्षण के बाद, रोबोट में तीन बड़े बदलाव आए:
- उसने खुद से झूठ बोलना बंद कर दिया: रोबोट ने सीखा कि जब वह वास्तव में अनुमान लगा रहा हो तो "मुझे नहीं पता" कहना है, और जब वह निश्चित हो तो "हाँ, मैं जानता हूँ" कहना है। उसने "आसान/कठिन" वाले शॉर्टकट का उपयोग करना बंद कर दिया।
- यह नई चीजों पर भी काम करता था: शोधकर्ताओं ने काल्पनिक कहानियों (जो अस्तित्व में नहीं हैं) और विभिन्न भाषाओं (जैसे स्पेनिश और कोरियाई) के बारे में प्रश्नों पर रोबोट का परीक्षण किया। रोबोट अभी भी जानता था कि वह क्या जानता है और क्या नहीं। वह केवल उन विशिष्ट प्रश्नों को याद नहीं कर रहा था जिन पर उसे प्रशिक्षित किया गया था; उसने एक सामान्य कौशल सीख लिया था।
- इसे केवल एक मामूली सुधार की आवश्यकता थी: शोधकर्ताओं ने रोबोट के मस्तिष्क के अंदर देखा कि क्या बदला। उन्होंने पाया कि उन्हें रोबोट के सभी डायल बदलने की आवश्यकता नहीं थी। केवल डायल के एक छोटे, विशिष्ट सेट (कुल का लगभग 10%) को बदलना ही समस्या को ठीक करने के लिए पर्याप्त था। यह पूरे इंजन को फिर से बनाने के बजाय कुछ विशिष्ट बोल्ट को कसकर एक टूटी हुई कार को ठीक करने जैसा है।
यह क्यों महत्वपूर्ण है
यह शोध पत्र दिखाता है कि हम AI को केवल बेहतर अनुमान लगाने के बजाय अपने ज्ञान के बारे में ईमानदार होना सिखा सकते हैं। इस "शफलिंग और स्कोरिंग" खेल का उपयोग करके, रोबोट ने अपने वास्तविक ज्ञान को अपने आत्मविश्वास से अलग करना सीख लिया।
संक्षेप में: शोधकर्ताओं ने AI को ब्लफ करना (धोखा देना) बंद करने के लिए सिखाया। अब, जब AI कहता है "मुझे पता है," तो इसका वास्तव में मतलब है कि उसे पता है। और जब वह कहता है "मुझे नहीं पता," तो इसका वास्तव में मतलब है कि उसे नहीं पता। यह AI को बहुत अधिक विश्वसनीय और भरोसेमंद बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।