Improving LLMs via Validator-to-Generator Alignment
यह शोध पत्र \FCPA को प्रस्तुत करता है, जो एक ऐसा प्रशिक्षण उद्देश्य (training objective) है जो उच्चारण आवृत्ति (utterance frequency) को ठीक करके जनरेटर और वैलिडेटर को संरेखित करता है, जिससे वैलिडेटर की गुणवत्ता को बनाए रखते हुए बड़े भाषा मॉडलों (large language models) में निरंतरता और पीढ़ी प्रदर्शन दोनों में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ सरल भाषा और रचनात्मक उपमाओं का उपयोग करके शोध पत्र (paper) की व्याख्या दी गई है।
समस्या: AI का "दोहरा व्यक्तित्व" (Split Personality)
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, लेकिन थोड़ा भ्रमित रोबोट सहायक है। आप उससे एक कहानी लिखने के लिए कहते हैं। वह एक ऐसी कहानी लिखता है जो सुनने में बहुत अच्छी लगती है (Generator मोड)। लेकिन फिर, आप उसी रोबोट से वह कहानी पढ़ने और यह बताने के लिए कहते हैं कि क्या वह अच्छी है। अचानक, रोबोट कहता है, "वास्तव में, यह बहुत बेकार है," भले ही उसने इसे अभी-अभी लिखा हो!
यह Generator-Validator Gap है। लार्ज लैंग्वेज मॉडल्स (LLMs) अक्सर दो अलग-अलग व्यक्तियों की तरह व्यवहार करते हैं:
- The Generator (बनाने वाला): "मैं बस वही शब्द उगल दूँगा जो सही लग रहे हैं।"
- The Validator (जांचने वाला): "मुझे यह देखना चाहिए कि क्या वे शब्द वास्तव में सही हैं।"
कभी-कभी, रोबोट एक सही उत्तर उत्पन्न करता है लेकिन उसे लगता है कि वह गलत है। दूसरी ओर, वह एक बेतुका उत्तर देता है जो बहुत आत्मविश्वास से भरा लगता है। यह विसंगति (inconsistency) भ्रमित करने वाली है और AI को कम विश्वसनीय बनाती है।
पुराना तरीका बनाम नया तरीका
पुराना तरीका (Naive Approach):
पिछले शोधकर्ताओं ने इसे ठीक करने की कोशिश की और रोबot को यह बताया: "यदि आप एक उत्तर उत्पन्न करते हैं, तो आपको यह भी सोचना चाहिए कि वह एक अच्छा उत्तर है।" उन्होंने दोनों व्यक्तित्वों को सहमत होने के लिए मजबूर करने की कोशिश की।
खामी:
समस्या यह है कि रोबोट को इस बात की याद रहती है कि वास्तविक दुनिया में कुछ शब्द कितनी बार सुने जाते हैं।
- उपमा: एक ट्रिविया गेम की कल्पना करें। प्रश्न है: "एक उत्कृष्ट गैस (noble gas) का नाम लें।"
- सही उत्तर A: "हीलियम" (बहुत सामान्य, लोग इसे हमेशा बोलते हैं)।
- सही उत्तर B: "रेडॉन" (भी सही है, लेकिन लोग इसे बहुत कम बोलते हैं)।
यदि रोबोट से उत्तर देने के लिए कहा जाता है, तो वह लगभग हमेशा "हीलियम" कहेगा क्योंकि यह आम है। यदि आप रोबोट से "रेडॉन" को वैलिडेट (सत्यापित) करने के लिए कहते हैं, तो वह कहेगा, "हाँ, यह सही है।"
लेकिन यदि आप रोबोट को "हीलियम" को वैलिडेट करने के लिए कहते हैं, तो वह इसे उम्मीद से कम स्कोर दे सकता है, इसलिए नहीं कि यह गलत है, बल्कि इसलिए क्योंकि रोबोट सोचता है, "मैंने इसे लाखों बार कहा है; यह उबाऊ है।"
पुराने तरीके इस बात से भ्रमित हो गए। उन्हें लगा कि रोबोट विसंगतिपूर्ण है क्योंकि वह कुछ संदर्भों में "हीलियम" को "रेडॉन" की तुलना में कम पसंद करता था, जबकि वास्तव में, रोबोट केवल आवृत्ति (frequency) (शब्द कितना सामान्य है) के प्रति प्रतिक्रिया कर रहा था।
समाधान: FLORA (द "फ्रीक्वेंसी फ़िल्टर")
लेखकों ने FLORA (Frequency-corrected Learning of Ordered Rank Alignment) नामक एक नई विधि बनाई।
मुख्य विचार:
उन्होंने महसूस किया कि रोबोट के इस दोहरे व्यक्तित्व को ठीक करने के लिए, आपको इस बात का हिसाब रखना होगा कि कोई शब्द कितना "लोकप्रिय" है।
- रूपक (Metaphor): कल्पना कीजिए कि रोबोट एक शेफ (रसोइया) है।
- Generator भोजन परोसने वाला शेफ है।
- Validator स्वाद चखने वाला फूड क्रिटिक (आलोचक) है।
- Frequency Correction यह समझना है कि सिर्फ इसलिए कि कोई व्यंजन "लोकप्रिय" है (जैसे पिज्जा), इसका मतलब यह नहीं है कि वह एकमात्र अच्छा व्यंजन है। यदि शेफ एक दुर्लभ, स्वादिष्ट व्यंजन (जैसे रेडॉन) बनाता है, तो क्रिटिक उसे सिर्फ इसलिए दंडित नहीं करना चाहिए क्योंकि वह दुर्लभ है। इसके विपरीत, यदि शेफ एक बहुत ही सामान्य व्यंजन (जैसे हीलियम) बनाता है, तो क्रिटिक उसे सिर्फ इसलिए अत्यधिक प्रशंसा नहीं देनी चाहिए क्योंकि वह परिचित है।
FLORA कैसे काम करता है:
- "एंटी-एक्सपर्ट" प्रॉम्प्ट: शोधकर्ता रोबोट से एक चालाकी भरा सवाल पूछते हैं: "मुझे कुछ ऐसा बताओ जो गलत है।"
- घटाव (Subtraction): वे एक सही उत्तर के प्रति रोबोट के आत्मविश्वास में से वह आत्मविश्वास घटा देते हैं जो उसे यह कहने में होता है कि कुछ गलत है।
- यदि रोबोट कहता है कि "हीलियम" सही है, लेकिन वह यह भी कहता है कि "हीलियम" एक सामान्य गलत उत्तर है (क्योंकि यह बहुत प्रचलित है), तो FLORA निष्पक्ष होने के लिए स्कोर को कम कर देता है।
- यदि रोबोट कहता है कि "रेडॉन" सही है, और वह यह भी कहता है कि "रेडॉन" एक सामान्य गलत उत्तर नहीं है, तो FLORA स्कोर को बढ़ा देता है।
- प्रशिक्षण (Training): वे रोबोट को इस नए, अधिक निष्पक्ष स्कोर का उपयोग करके अपने "परोसने" (generation) को अपने "स्वाद चखने" (validation) के साथ संरेखित (align) करना सिखाते हैं।
परिणाम: एक अधिक ईमानदार रोबोट
जब उन्होंने तीन अलग-अलग कार्यों पर इस नई विधि का परीक्षण किया:
- निर्देशों का पालन करना: (जैसे, "350 शब्दों की कविता लिखें")।
- कोडिंग: (जैसे, "एक पायथन फंक्शन लिखें")।
- ज्ञान (Knowledge): (जैसे, "एक प्रकार के जानवर का नाम लें")।
उन्होंने पाया कि FLORA ने रोबोट को बहुत अधिक सुसंगत (consistent) बना दिया।
- पहले: रोबोट के "परोसने" (plating) और "स्वाद चखने" (tasting) के स्कोर बहुत बिखरे हुए थे।
- बाद में: रोबोट के जनरेशन स्कोर उसके वैलिडेशन स्कोर से बहुत बेहतर ढंग से मेल खाते थे। इसने इस भ्रम से निकलना बंद कर दिया कि कोई सही उत्तर वास्तव में सही है या नहीं, सिर्फ इसलिए क्योंकि वह उत्तर दुर्लभ या सामान्य था।
महत्वपूर्ण बात यह है कि इसने रोबोट को चीजों को वैलिडेट करने में बदतर नहीं बनाया। वास्तव में, रोबोट सही उत्तरों को पहचानने में और भी बेहतर हो गया, बिना अपनी निर्णय लेने की क्षमता खोए।
सारांश
यह शोध पत्र तर्क देता है कि AI मॉडल अनिवार्य रूप से "झूठ" नहीं बोल रहे हैं या "टूटे" हुए नहीं हैं जब वे असंगत व्यवहार करते हैं; वे बस इस बात पर प्रतिक्रिया दे रहे हैं कि कुछ शब्द कितने सामान्य हैं। AI को किसी शब्द की "लोकप्रियता" को अनदेखा करने और शुद्ध रूप से इस बात पर ध्यान केंद्रित करने के लिए सिखाकर कि वह सही है या नहीं, लेखकों ने एक प्रणाली (FLORA) बनाई है जो AI के "मस्तिष्क" (generation) और उसके "विवेक" (validation) को बहुत अधिक बार एक-दूसरे से सहमत करती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।