Playing with Words, Improving with Rewards: Training Language Models for Creative Association
यह शोध पत्र रचनात्मकता बढ़ाने के लिए 'वेरिफिएबल रिवॉर्ड्स के साथ रीइन्फोर्समेंट लर्निंग' का उपयोग करके कोडेनेम्स (Codenames) शब्द-जुड़ाव खेल पर लार्ज लैंग्वेज मॉडल्स को प्रशिक्षित करने का प्रस्ताव देता है, जिससे यह पता चलता है कि जहाँ बड़े मॉडल (8B) न्यूनतम तर्क हानि के साथ निरंतर रचनात्मक लाभ प्राप्त करते हैं, वहीं छोटे मॉडल (1.7B और 4B) रचनात्मकता की कीमत पर तर्क की सटीकता को प्राथमिकता देते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास AI के छात्रों का एक समूह है, जिनमें से प्रत्येक का मस्तिष्क अलग आकार का है: एक छोटा (1.7B), एक मध्यम (4B), और एक बड़ा (8B)। शोधकर्ता इन AI छात्रों को रचनात्मक (creative) बनना सिखाना चाहते थे।
समस्या यह है कि रचनात्मकता कला की तरह है; इसे ग्रेड करना कठिन है। यदि आप किसी इंसान से पूछें, "क्या यह कविता रचनात्मक है?" तो कोई हाँ कहेगा, जबकि दूसरा ना। यह AI को प्रशिक्षित करने के लिए कठिन बनाता है क्योंकि AI को सीखने के लिए स्पष्ट फीडबैक की आवश्यकता होती है।
समाधान: शब्द खेल "कोडेनेम्स" (Codenames)
इस समस्या को ठीक करने के लिए, शोधकर्ताओं ने रचनात्मकता को कोडेनेम्स नामक एक खेल में बदल दिया।
"एप्पल" (Apple), "रिवर" (River), "चेयर" (Chair) और "क्लाउड" (Cloud) जैसे यादृच्छिक शब्दों से ढके एक बोर्ड के बारे में सोचें।
- लक्ष्य: एक खिलाड़ी (जो "स्पाय मास्टर" है) लक्षित शब्दों की एक गुप्त सूची देखता है (जैसे "एप्पल" और "रिवर")। उन्हें एक एकल संकेत शब्द (जैसे "फ्रूट") देना होता है जो उनके लक्ष्यों से जुड़ता हो, लेकिन बोर्ड पर मौजूद अन्य शब्दों (जैसे "चेयर") से गलती से न जुड़ जाए।
- चुनौती: इसके लिए दो प्रकार की सोच की आवश्यकता होती है:
- डाइवर्जेंट थिंकिंग (Divergent Thinking): "एप्पल" और "रिवर" को देखकर यह सोचना कि, "इनमें क्या समानता है? ओह, शायद 'प्रकृति' या 'विकास'?" (मन का विस्तार करना)।
- कन्वर्जेंट थिंकिंग (Convergent Thinking): उस एक सबसे अच्छे शब्द को चुनना जो बिना टीम को उलझाए पूरी तरह से फिट बैठता हो। (ध्यान को केंद्रित करना)।
क्योंकि इस खेल में जीत/हार की एक स्पष्ट स्थिति होती है (क्या आपने सही शब्दों का अनुमान लगाया?), AI इसे लाखों राउंड खेलकर सीख सकता है और उसे एक सरल "अच्छा काम किया" या "फिर से प्रयास करें" जैसा स्कोर मिल सकता है। इसमें किसी मानव निर्णायक की आवश्यकता नहीं है।
प्रयोग: पुरस्कारों के साथ प्रशिक्षण
शोधकर्ताओं ने वेरिफिएबल रिवार्ड्स के साथ रीइन्फोर्समेंट लर्निंग (RLVR) नामक एक विधि का उपयोग किया।
- कल्पना कीजिए कि AI एक कुत्ता है। हर बार जब वह खेल में एक अच्छा कदम उठाता है, तो उसे एक इनाम (पुरस्कार) मिलता है। हर बार जब वह गलत कदम उठाता है, तो उसे कोई इनाम नहीं मिलता।
- उन्होंने तीन AI मॉडलों (छोटा, मध्यम, बड़ा) को इस खेल को बार-बार खेलने के लिए प्रशिक्षित किया जब तक कि वे इसमें बहुत कुशल नहीं हो गए।
आश्चर्यजनक खोज: आकार मायने रखता है
यहाँ एक मोड़ है। शोधकर्ता उम्मीद कर रहे थे कि सभी AI हर चीज़ में बेहतर हो जाएंगे। इसके बजाय, उन्होंने पाया कि AI के मस्तिष्क के आकार ने यह बदल दिया कि वे क्या सीखते हैं।
1. छोटे और मध्यम AI (1.7B और 4B): "परिशुद्धता विशेषज्ञ" (Precision Specialists)
- क्या हुआ: ये छोटे मॉडल तर्क और गणित की समस्याओं (जैसे पहेलियाँ सुलझाना या अंकगणित करना) में काफी बेहतर हो गए।
- समझौता (Trade-off): वे वास्तव में रचनात्मक होने में बदतर हो गए। वे बहुत सख्त और सटीक हो गए, जैसे कि एक रोबोट अकाउंटेंट। उन्होंने जोखिम लेना बंद कर दिया और "सुरक्षित" उत्तर खोजने लगे।
- उपमा: यह एक छोटे बच्चे को एक जटिल बोर्ड गेम सिखाने जैसा है। वे नियमों को पूरी तरह से सीख जाते हैं और गलतियाँ करना बंद कर देते हैं, लेकिन वे अपनी कल्पना के साथ खेलना छोड़ देते हैं।
2. बड़ा AI (8B): "रचनात्मक अन्वेषक" (Creative Explorer)
- क्या हुआ: सबसे बड़े मॉडल को रचनात्मक कार्यों (कहानियां लिखना, मजेदार कैप्शन बनाना, रूपक बनाना) में काफी बेहतर पाया गया।
- समझौता (Trade-off): यह सख्त गणित और तर्क में थोड़ा कमजोर हो गया। इसने अधिक जोखिम लेना शुरू कर दिया और अद्वितीय संबंध बनाने लगा, जिससे कभी-कभी गणना में छोटी त्रुटियां भी हुईं।
- उपमा: यह एक प्रतिभाशाली कलाकार को वही बोर्ड गेम सिखाने जैसा है। वे नियम सीखते हैं लेकिन छिपे हुए पैटर्न देखने लगते हैं और ऐसे अनोखे, रचनात्मक संबंध बनाने लगते हैं जिन्हें छोटे खिलाड़ी मिस कर देते हैं।
मुख्य निष्कर्ष
यह शोध पत्र निष्कर्ष निकालता है कि आप सभी AI मॉडलों में रचनात्मकता को एक ही तरह से "चालू" नहीं कर सकते।
- यदि आप एक सटीक, तार्किक विचारक चाहते हैं, तो इस शब्द खेल पर प्रशिक्षण छोटे मॉडलों को अधिक तेज बनाता है।
- यदि आप एक रचनात्मक, कल्पनाशील विचारक चाहते हैं, तो यह खेल बड़े मॉडलों को अधिक विविध और आविष्कारक बनने में मदद करता है।
शोधकर्ताओं ने दिखाया कि एक सरल, वस्तुनिष्ठ खेल का उपयोग करके, वे AI मॉडलों को मॉडल के आकार के आधार पर तर्क या रचनात्मकता में से किसी एक के लिए "ट्यून" कर सकते हैं। यह बिना किसी मानव द्वारा लगातार ग्रेडिंग किए, AI व्यवहार को आकार देने का एक व्यावहारिक तरीका है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।