Where does output diversity collapse in post-training?
यह शोध पत्र यह प्रदर्शित करता है कि पोस्ट-ट्रेन्ड लैंग्वेज मॉडल्स में आउटपुट विविधता का पतन (output diversity collapse) मुख्य रूप से जनरेशन फॉर्मेट या विशिष्ट पोस्ट-ट्रेनिंग विधियों के बजाय प्रशिक्षण डेटा की संरचना द्वारा निर्धारित होता है, जो यह प्रकट करता है कि अर्थ संबंधी विविधता का नुकसान सुपरवाइज्ड फाइन-ट्यूनिंग के दौरान मॉडल के वेट्स (weights) में समाहित हो जाता है और इसे केवल इन्फरेंस समय पर हल नहीं किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक प्रतिभाशाली, अराजक कलाकार है (जिसे बेस मॉडल कहा गया है) जो लाखों अलग-अलग शैलियों में पेंट कर सकता है, लाखों अलग-अलग कहानियाँ सुना सकता है, और समस्याओं को लाखों अलग-अलग तरीकों से हल कर सकता है। वे जंगली, रचनात्मक और आश्चर्यों से भरे हुए हैं।
लेकिन फिर, आप उन्हें एक विशिष्ट काम के लिए प्रशिक्षित करने के लिए एक मैनेजर को काम पर रखते हैं। आप चाहते हैं कि वे मददगार, सुरक्षित और निर्देशों का पूरी तरह से पालन करने वाले हों। इसलिए, आप उन्हें एक कठोर प्रशिक्षण शिविर (पोस्ट-ट्रेनिंग) में डालते हैं।
यह शोध एक सरल लेकिन महत्वपूर्ण प्रश्न पूछता है: क्या यह प्रशिक्षण कलाकार को बेहतर बनाता है, या यह उन्हें एक रोबोट में बदल देता है जो केवल बार-बार एक ही तरह की तस्वीर बनाता रहता है?
इस शोध के अनुसार उत्तर है: यह उन्हें एक रोबोट में बदल देता है, और इसका कारण पूरी तरह से इस बात पर निर्भर करता है कि आपने प्रशिक्षण के दौरान उन्हें क्या खिलाया, न कि केवल इस पर कि आपने उन्हें कैसे प्रशिक्षित किया।
यहाँ उनके निष्कर्षों का दैनिक उदाहरणों का उपयोग करके विवरण दिया गया है:
1. तीन प्रशिक्षण शिविर (वंश परंपराएँ)
शोधकर्ताओं ने केवल एक मॉडल को नहीं देखा; उन्होंने तीन अलग-अलग समूहों के कलाकारों को एक ही तीन-चरणीय प्रशिक्षण प्रक्रिया से गुजरते हुए देखा (सुपरवाइज्ड फाइन-ट्यूनिंग, फिर प्रेफरेंस ऑप्टिमाइज़ेशन, फिर रीइन्फोर्समेंट लर्निंग)।
- "थिंक" (सोचने वाला) समूह: इन कलाकारों को दो विशिष्ट शिक्षकों द्वारा प्रशिक्षित किया गया था जो अपने काम को स्टेप-बाय-स्टेप (चेन-ऑफ-थॉट) समझाने में बहुत अच्छे थे। उन्हें बताया गया था, "यहाँ इस गणित की समस्या को हल करने का सटीक तरीका दिया गया है, हर चरण को लिखें और फिर उत्तर दें।"
- "इंस्ट्रक्ट" (निर्देशित) समूह: इन कलाकारों को विभिन्न शिक्षकों की एक विशाल भीड़ (हजारों स्रोत) द्वारा प्रशिक्षित किया गया था जिन्होंने व्यापक निर्देश दिए लेकिन हमेशा स्टेप-बाय-स्टेप काम नहीं दिखाया।
- "आरएल-ज़ीरो" (RL-Zero) समूह: इन कलाकारों ने क्लासरूम को पूरी तरह छोड़ दिया। उन्हें बस एक वीडियो गेम में डाल दिया गया जहाँ उन्हें जीतने पर अंक मिलते थे और हारने पर अंक कटते थे, बिना किसी मानव शिक्षक के जो उन्हें खेल खेलना सिखा सके।
2. रचनात्मकता कहाँ मर गई? (पतन)
शोधकर्ताओं ने पाया कि कलाकारों की "रचनात्मकता" (विविधता) एक साथ नहीं मरी। यह समूह के आधार पर अलग-अलग समय पर मरी:
- "थिंक" समूह के लिए: उनकी रचनात्मकता पहले ही क्लास (SFT) में तुरंत मर गई। क्योंकि उन्हें केवल दो शिक्षकों द्वारा प्रशिक्षित किया गया था जो एक जैसा सोचते थे, कलाकारों ने नई चीजें आज़माना बंद कर दिया। उन्होंने उन दो शिक्षकों की नकल करना सीख लिया। जब तक वे बाद के प्रशिक्षण चरणों तक पहुँचे, रचनात्मकता को मारने के लिए कुछ बचा ही नहीं था।
- "इंस्ट्रक्ट" समूह के लिए: उन्होंने पहले क्लास में अपनी रचनात्मकता बनाए रखी। लेकिन फिर, दूसरे क्लास (DPO) में, उनकी रचनात्मकता कुचल दी गई। यह चरण उन्हें यह सिखाने के लिए बनाया गया था कि इंसान क्या पसंद करते हैं। चूंकि प्रशिक्षण डेटा व्यापक था, मॉडल ने "औसत" मानवीय पसंद को खोजने की कोशिश की और अंततः सभी अनूठी बारीकियों को सपाट कर दिया, जिससे एक साधारण, एकसमान आउटपुट रह गया।
सबक: यह प्रशिक्षण तरीका नहीं है जो रचनात्मकता को मारता है; यह सामग्री (डेटा) है। यदि आप मॉडल को एक सीमित आहार (दो शिक्षक) देते हैं, तो उसे शुरुआती दौर में ही संकीर्ण विचार मिल जाते हैं। यदि आप उसे व्यापक आहार देते हैं, तो जब आप इसे मानवीय स्वाद के लिए "ऑप्टिमाइज़" करने की कोशिश करते हैं, तो इसके विचार बाद में संकीर्ण हो जाते हैं।
3. "सोचने" की तरकीब (चेन-ऑफ-थॉट)
एक लोकप्रिय सिद्धांत था कि मॉडल उबाऊ हो रहे थे क्योंकि उन्हें "सोच-विचार" करने (उत्तर देने से पहले लंबी तर्क श्रृंखला लिखने) के लिए मजबूर किया जा रहा था। लोगों ने सोचा, "यदि हम उन्हें बिना सोचे सीधे उत्तर देने के लिए मजबूर करेंगे, तो वे फिर से रचनात्मक हो जाएंगे!"
शोधकर्ताओं ने यह परीक्षण करने के लिए "थिंक" मॉडलों को मजबूर किया कि वे अपना तर्क लिखना बंद कर दें और केवल उत्तर दें।
- परिणाम: कुछ भी नहीं बदला। उत्तर अभी भी उबाते और एक जैसे ही थे।
- उपमा: कल्पना कीजिए कि एक शेफ जिसने केवल एक विशिष्ट रेसिपी बनाने के लिए सीखा क्योंकि उसके दो शिक्षकों ने उसे केवल वही एक व्यंजन सिखाया था। यदि आप शेफ से कहते हैं, "अपनी खरीदारी की सूची लिखना बंद करो और मुझे बस खाना दे दो," तो भी वह केवल वही एक व्यंजन ही बना पाएगा। समस्या खरीदारी की सूची (फॉर्मेट) नहीं थी; समस्या यह थी कि उन्होंने केवल एक रेसिपी (वेट्स) सीखी थी।
निष्कर्ष: रचनात्मकता की कमी प्रशिक्षण के दौरान ही मॉडल के मस्तिष्क में रच-बस जाती है। आप इसे अंत में मॉडल के बोलने के तरीके को बदलकर ठीक नहीं कर सकते।
4. "अच्छा" बनाम "बुरा" उबाऊपन
शोधकर्ताओं ने यह भी देखा कि आउटपुट उबाऊ क्यों हो रहे थे। उन्होंने "उबाऊपन" को दो प्रकारों में विभाजित किया:
- प्रकार A: गलतियों को हटाना। कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है। यदि वे 16 अलग-अलग उत्तर लिखते हैं, और उनमें से 15 गलत हैं, और केवल 1 सही है, तो उत्तरों का समूह "कम विविध" दिखाई देगा क्योंकि गलत उत्तर हट गए हैं। यह वास्तव में अच्छा है। इसका मतलब है कि मॉडल अधिक स्मार्ट है।
- प्रकार B: अच्छे विचारों को हटाना। कल्पना कीजिए कि एक छात्र जानता है कि एक समस्या को हल करने के 16 अलग-अलग सही तरीके हैं, लेकिन वे हर बार केवल एक ही चीज़ लिखते हैं। यह बुरा है। इसका मतलब है कि मॉडल ने सही होने पर भी रचनात्मक होने की अपनी क्षमता खो दी है।
अध्ययन में पाया गया कि गणित और कोडिंग के लिए, "उबाऊपन" मुख्य रूप से प्रकार A (गलत उत्तरों को हटाना) था, जो ठीक है। लेकिन रचनात्मक लेखन और विचारों के लिए, "उबाऊपन" प्रकार B (विभिन्न सही दृष्टिकोणों को हटाना) था, जो खतरनाक है क्योंकि यह मॉडल को एक एकल, एकरूप आवाज़ जैसा बना देता है।
सारांश: हमें क्या करना चाहिए?
यदि आप AI बना रहे हैं या उसका उपयोग कर रहे हैं:
- केवल प्रशिक्षण एल्गोरिदम को दोष न दें। यदि आपका मॉडल उबाऊ है, तो अपने प्रशिक्षण डेटा को देखें। क्या आपने बहुत कम शिक्षकों का उपयोग किया? क्या आपने बहुत संकीर्ण डेटासेट का उपयोग किया?
- इसे आउटपुट फॉर्मेट बदलकर "ठीक" करने की कोशिश न करें। मॉडल को अपने तर्क चरणों को छोड़ने के लिए कहना उसकी रचनात्मकता वापस नहीं लाएगा। नुकसान पहले ही हो चुका है।
- अपनी सामग्री का मिश्रण रखें। AI को रचनात्मक बनाए रखने के लिए, आपको उसे कई अलग-अलग स्रोतों और शैलियों के डेटा से खिलाना होगा, न कि केवल कुछ "परफेक्ट" उदाहरणों से।
संक्षेप में: आप एक कबूतर को पिंजरा बदलकर बाज की तरह उड़ना नहीं सिखा सकते; आपको शुरुआत में ही उसे सही भोजन और वातावरण देना होगा। आधुनिक AI का "उबाऊपन" कोई ग्लिच (खराबी) नहीं है; यह इस बात का परिणाम है कि हम इसे कैसे खिला रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।