Guidance Contrastive Token Credit Assignment for Discrete Policy Optimization
यह शोध पत्र गाइडेंस कॉन्ट्रास्टिव पॉलिसी ऑप्टिमाइज़ेशन (GCPO) को प्रस्तुत करता है, जो एक नवीन एल्गोरिदम है जो यूनिफॉर्म सैंपल-लेवल क्रेडिट असाइनमेंट को सकारात्मक और नकारात्मक प्रॉम्प्ट्स के तहत मॉडल भविष्यवाणियों के बीच विषमता से प्राप्त सूक्ष्म, टोकन-लेवल एडवांटेज से बदलकर डिस्क्रीट पॉलिसी लर्निंग में सुधार करता है, जिससे GRPO और DAPO जैसी मौजूदा विधियों की तुलना में टेक्स्ट-टू-इमेज जनरेशन और चेन-ऑफ-थॉट रीजनिंग कार्यों में बेहतर प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को चित्र बनाना या गणित की समस्याओं को हल करना सिखा रहे हैं। आप रोबोट को एक प्रॉम्प्ट देते हैं (जैसे "एक कप के पास एक बिल्ली") और वह एक उत्तर बनाता है। यदि उत्तर अच्छा है, तो आप उसे एक "गोल्ड स्टार" (इनाम) देते हैं। यदि वह बुरा है, तो आप उसे "थम्स डाउन" (अंगूठा नीचे) देते हैं।
पुराने तरीकों के साथ समस्या
अतीत में, GRPO जैसे तरीके एक ऐसे शिक्षक की तरह काम करते थे जो पूरे निबंध को एक ही ग्रेड देता है। यदि निबंध को "A" मिलता है, तो शिक्षक रोबोट से कहता है, "तुमने जो भी शब्द लिखे, उन सभी के लिए बहुत बढ़िया काम किया!" यदि इसे "F" मिलता है, तो शिक्षक कहता है, "तुम्हारे हर शब्द का काम बुरा था।"
समस्या यह है कि यह निष्पक्ष नहीं है। एक बिल्ली के बारे में कहानी में, "बिल्ली" और "कप" जैसे शब्द बहुत महत्वपूर्ण हैं। लेकिन "द", "एंड", या "ए" जैसे शब्द केवल भरने वाले शब्द हैं। यदि रोबोट को गोल्ड स्टार मिलता है, तो उसे वास्तव में "बिल्ली" और "कप" शब्दों का शुक्रिया अदा करना चाहिए, न कि "द" शब्द का। पुराने तरीकों ने सभी शब्दों के साथ एक जैसा व्यवहार किया, जिससे सीखना धीमा और अक्षम हो गया।
नया समाधान: GCPO
यह पेपर एक नया तरीका पेश करता है जिसे GCPO (गाइडेंस कॉन्ट्रास्टिव पॉलिसी ऑप्टिमाइज़ेशन) कहा जाता है। इसे एक "स्पॉटलाइट टीचर" के रूप में सोचें।
केवल पूरे निबंध को ग्रेड देने के बजाय, GCPO रोबोट से उसके द्वारा लिखे गए प्रत्येक शब्द के लिए दो अलग-अलग परिदृश्यों (scenarios) की कल्पना करने को कहता है:
- "सही" परिदृश्य: "अगर मैंने यह शब्द 'एक कप के पास एक बिल्ली' के प्रॉम्प्ट के बारे में सोचते हुए लिखा होता तो क्या होता?"
- "गलत" परिदृश्य: "अगर मैं यह शब्द... कुछ भी नहीं के बारे में सोचते हुए लिखता? या शायद 'मुझे गलत उत्तर दो' के बारे में सोचकर?"
स्पॉटलाइट कैसे काम करती है
रोबोट फिर इन दो परिदृश्यों की तुलना प्रत्येक शब्द के लिए करता है:
- "बिल्ली" वाला शब्द: यदि रोबोट "बिल्ली" लिखने के लिए बहुत आश्वस्त है जब प्रॉम्प्ट "बिल्ली" है, लेकिन "कुछ नहीं" होने पर बहुत भ्रमित है, तो अंतर बहुत बड़ा है। GCPO इस शब्द पर एक चमकदार स्पॉटलाइट डालता है। यह कहता है, "यह शब्द मायने रखता है! आपने यहाँ बहुत अच्छा काम किया!"
- "द" वाला शब्द: यदि रोबोट "बिल्ली" या "कुछ नहीं" के प्रॉम्प्ट के बावजूद "द" लिखता है, तो अंतर बहुत कम है। GCPO इस शब्द की रोशनी को धीमा कर देता है। यह कहता है, "इस विशिष्ट कार्य के लिए यह शब्द वास्तव में मायने नहीं रखता।"
"हिस्टोग्राम" ट्रिक
एक पेच है: कभी-कभी, दोनों परिदृश्यों के बीच का "अंतर" बहुत बड़ी संख्या या बहुत छोटी संख्या हो सकता है, जिससे तुलना करना कठिन हो जाता है। कल्पना कीजिए कि आप एक पहाड़ की ऊंचाई की तुलना एक पहाड़ी की ऊंचाई से करने की कोशिश कर रहे हैं, लेकिन संख्याएँ हर जगह बिखरी हुई हैं।
इसे ठीक करने के लिए, लेखक एक चतुर ट्रिक का उपयोग करते हैं जिसे हिस्टोग्राम इक्वलाइजेशन कहा जाता है। कल्पना कीजिए कि आपके पास उत्तर के प्रत्येक शब्द का प्रतिनिधित्व करने वाला कार्डों का एक ढेर है। कार्डों की कच्ची ऊंचाई देखने के बजाय, आप बस उन्हें रैंक करते हैं। सबसे ऊंचा कार्ड 100 का स्कोर पाता है, सबसे छोटा 0 पाता है, और बीच वाला 50 पाता है। यह सुनिश्चित करता है कि मूल अंतर चाहे कितना भी बड़ा या छोटा क्यों न हो, प्रत्येक उत्तर को समान और संतुलित "स्पॉटलाइट्स" मिलें।
जब वे इसका परीक्षण करते हैं तो क्या होता है?
शोधकर्ताओं ने इसे दो मुख्य चीजों पर परखा:
- टेक्स्ट-टू-इमेज: जब उन्हें चित्र बनाने के लिए कहा गया (जैसे "एक नीली घड़ी की फोटो"), तो GCPO-प्रशिक्षित रोबोट ने पुराने तरीकों की तुलना में घड़ी और नीले रंग पर ध्यान केंद्रित करना बहुत बेहतर तरीके से सीखा। इसने बैकग्राउंड पर प्रयास बर्बाद करना बंद कर दिया।
- गणित और तर्क: गणित की समस्याओं या तर्क पहेलियों को हल करते समय, रोबोट ने जोड़ने वाले शब्दों के बजाय महत्वपूर्ण संख्याओं और चरणों (जैसे "x = 5") पर ध्यान केंद्रित करना सीखा।
परिणाम
इस "स्पॉटलाइट" पद्धति का उपयोग करके, रोबोट पुराने "पूरे निबंध को ग्रेड देने वाले" तरीके की तुलना में तेजी से सीखता है और बेहतर चित्र बनाता है और कठिन गणित समस्याओं को हल करता है। पेपर दिखाता है कि यह दृश्य कार्यों (छवियों) और तार्किक कार्यों (टेक्स्ट) दोनों के लिए काम करता है, जो AI को अधिक सटीक रूप से सोचने के बारे में सिखाने के लिए एक शक्तिशाली नया उपकरण बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।