On the Generalization Gap in Self-Evolving Language Model Reasoning
यह शोध पत्र क्लोज्ड-लूप सेल्फ-इवॉल्विंग लैंग्वेज मॉडल्स में जनरलाइजेशन गैप की जांच करता है, जिसमें यह पाया गया है कि हालांकि सेल्फ-जेनरेटेड सुपरविजन बेस मॉडल्स की तुलना में रीजनिंग परफॉरमेंस को बेहतर बनाता है, लेकिन यह उन्नत मल्टी-टर्न रिवीज़न रणनीतियों के साथ भी ओरैकल-सुपरवाइज्ड ट्रेनिंग की प्रभावशीलता से पूरी तरह मेल बिठाने में लगातार विफल रहता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक छात्र को एक बहुत ही कठिन तर्क पहेली (logic puzzle) हल करना सिखाने की कोशिश कर रहे हैं। आपके पास दो विकल्प हैं:
- ओरेकल विधि (The Oracle Method): आपके पास एक शिक्षक है जो 100% समय सही उत्तर जानता है। आप छात्र को एक पहेली दिखाते हैं, वे अनुमान लगाते हैं, और शिक्षक तुरंत कहता है, "गलत, सही उत्तर यह है।"
- स्व-विकसित विधि (The Self-Evolving Method): आप शिक्षक को हटा देते हैं। छात्र पहेलियों के ढेर के साथ अकेला है। उन्हें उत्तर का अनुमान लगाना होगा, फिर अपने काम की जांच करनी होगी, और अपने गलतियों से सीखने की कोशिश करनी होगी, बिना किसी बाहरी मदद के कि वे सही हैं या गलत।
यह शोध पत्र एक सरल लेकिन गहरा प्रश्न पूछता है: एक छात्र कितना अच्छा हो सकता है यदि उसे केवल "स्व-विकसित विधि" का उपयोग करने की अनुमति दी जाए? क्या वे अंततः उतना ही अच्छा सीख सकते हैं जितना कि एक आदर्श शिक्षक के साथ सीख सकते हैं?
शोधकर्ताओं ने बड़े भाषा मॉडल (LLMs)—जो चैटबॉट्स के पीछे के AI मस्तिष्क हैं—का उपयोग करके इसका परीक्षण किया। उन्होंने एक "क्लोज्ड लूप" बनाया, जिसका अर्थ है कि AI को अपने स्वयं के प्रश्न बनाने, उन्हें हल करने, अपने काम को ग्रेड देने और परिणामों से सीखने के लिए कहा गया, जिसमें कोई बाहरी मदद नहीं ली गई।
यहाँ उनके निष्कर्ष दिए गए हैं, जिन्हें सरल अवधारणाओं में विभाजित किया गया है:
1. "नाइट्स एंड नेव्स" (Knights and Knaves) का खेल का मैदान
निष्पक्ष रूप से परीक्षण करने के लिए, शोधकर्ताओं ने "नाइट्स एंड नेव्स" नामक एक विशिष्ट प्रकार के तर्क पहेली का उपयोग किया।
- खेल: कल्पना कीजिए कि एक गाँव है जहाँ कुछ लोग हमेशा सच बोलते हैं (नाइट्स) और कुछ हमेशा झूठ बोलते हैं (नेव्स)। आपको उनके बयानों के आधार पर पता लगाना है कि कौन क्या है।
- यह खेल क्यों? यह एक गणित की समस्या की तरह है जिसमें एक निश्चित सही उत्तर होता है। इसमें कोई अनुमान या "शायद" नहीं है। यह यह देखने के लिए एक आदर्श ट्रैक है कि क्या AI वास्तव में सीख रहा है या केवल अनुमान लगा रहा है।
2. परिणाम: बेहतर होना, लेकिन पूर्ण नहीं
AI मॉडल इन पहेलियों को हल करने में अकेले अभ्यास करने पर बेहतर हुए।
- आधार मॉडल (Base Model): लगभग 31% के स्कोर से शुरू हुआ (एक ऐसे छात्र की तरह जो मुश्किल से पास हुआ हो)।
- स्व-विकसित मॉडल (Self-Evolving Model): अकेले अभ्यास करने के बाद, स्कोर बढ़कर लगभग 44% हो गया।
- ओरेकल मॉडल (Oracle Model): जब AI के पास "परफेक्ट टीचर" (सत्य उत्तर) था, तो स्कोर उछलकर 53% हो गया।
मुख्य बात: AI ने अपने आप पर अभ्यास करके काफी सुधार किया, लेकिन यह एक "सीलिंग" (सीमा) से टकरा गया। वह पूरी तरह से ओरेकल मॉडल के स्तर तक नहीं पहुँच सका। अभी भी लगभग 8-13% का अंतर था जिसे AI केवल अपने काम को देखकर नहीं भर सका।
3. "आकार मायने रखता है" का नियम
शोधकर्ताओं ने पाया कि AI के मस्तिष्क का आकार बहुत मायने रखता है।
- छोटा AI (एक छोटा बच्चा): एक छोटा मॉडल (1 बिलियन पैरामीटर्स) वास्तव में तब खराब प्रदर्शन करता था जब वह अपने काम को खुद ग्रेड करने की कोशिश करता था। वह सही और गलत उत्तर के बीच अंतर करने के लिए बहुत भ्रमित था, इसलिए उसने गलत चीजें सीखीं।
- मध्यम AI (एक किशोर): एक मध्यम आकार का मॉडल बेहतर हुआ, लेकिन अभी भी एक शिक्षक की तुलना में एक स्पष्ट अंतर था।
- बड़ा AI (एक विशेषज्ञ): एक बड़ा मॉडल (12 बिलियन पैरामीटर्स) गेम-चेंजर साबित हुआ। जब इसने अपने उत्तरों की समीक्षा करने और उन्हें ठीक करने की कोशिश की (जिसे "रिवीजन" कहा जाता है), तो यह इतना अच्छा हो गया कि इसने "परफेक्ट टीचर" के प्रदर्शन के लगभग बराबर पहुँच गया।
उपमा: इसे अपने निबंध को एडिट करने जैसा समझें। यदि आप 5 साल के बच्चे हैं, तो शायद आप अपनी वर्तनी की गलतियों को नोटिस न कर पाएं। यदि आप एक कॉलेज छात्र हैं, तो आप अपनी अधिकांश गलतियों को पकड़ सकते हैं। यदि आप एक पेशेवर संपादक हैं, तो आप लगभग सब कुछ पकड़ सकते हैं। AI को अपना शिक्षक बनने के लिए पर्याप्त "स्मार्ट" होना चाहिए।
4. "रिवीजन" (Revision) की तकनीक
शोधकर्ताओं ने परीक्षण किया कि AI के सीखने के विभिन्न तरीके क्या थे।
- सरल जाँच: AI अनुमान लगाता है, देखता है कि क्या वह सही है, और आगे बढ़ जाता है। इससे थोड़ा फायदा हुआ।
- रिवीजन लूप: AI अनुमान लगाता है, "वेरिफायर" वाला हिस्सा कहता है, "यह X के कारण गलत है," और AI इसे ठीक करने के लिए फिर से प्रयास करता है।
- परिणाम: यह "रिवीजन" विधि सबसे अच्छा काम करती थी, विशेष रूप से बड़े मॉडलों के लिए। यह केवल "गलत" कहने के बजाय छात्र को संकेत देने और उसे फिर से प्रयास करने देने जैसा था।
5. वास्तविक दुनिया बनाम तर्क पहेलियाँ
शोधकर्ताओं ने वास्तविक दुनिया की गणित और तर्क संबंधी समस्याओं (जैसे शब्द समस्याओं या वैज्ञानिक प्रश्नों को हल करना) पर भी इसका परीक्षण किया।
- समस्या: "नाइट्स एंड नेव्स" पहेलियों के विपरीत, वास्तविक दुनिया की समस्याएं जटिल होती हैं। उनके कई समाधान हो सकते हैं, और यह कहना कठिन है कि कौन सा रास्ता "सही" है और कौन सा "गलत"।
- परिणाम: AI इन जटिल कार्यों पर केवल थोड़ा ही सुधार कर पाया। क्योंकि AI इस बारे में 100% सुनिश्चित नहीं हो सका कि उसका अपना उत्तर सही है या नहीं, इसलिए वह प्रभावी ढंग से सीखने में संघर्ष करता रहा। "स्व-विकसित" विधि स्पष्ट और ब्लैक-एंड-व्हाइट उत्तरों के लिए सबसे अच्छा काम करती है।
सारांश: इसका क्या अर्थ है?
शोध पत्र निष्कर्ष निकालता है कि स्व-सुधार शक्तिशाली है, लेकिन इसकी सीमाएं हैं।
- यह काम करता है: AI अपने आप अभ्यास करके तर्क करने में बेहतर हो सकता है, खासकर यदि वह एक बड़ा, स्मार्ट मॉडल है और समस्याओं के स्पष्ट सही/गलत उत्तर हैं।
- यह जादू नहीं है: यह पूरी तरह से एक मानव शिक्षक या "परफेक्ट" उत्तर कुंजी की जगह नहीं ले सकता। AI हमेशा उस संस्करण से थोड़ा पीछे रह जाएगा जिसे पूर्ण डेटा के साथ प्रशिक्षित किया गया है।
- लागत: सर्वोत्तम परिणाम प्राप्त करने के लिए, AI को अपने काम की बार-बार जांच करने के लिए बहुत अधिक कंप्यूटिंग पावर खर्च करने की आवश्यकता होती है।
संक्षेप में, एक स्मार्ट AI खुद को बहुत कुछ सिखा सकता है, लेकिन उसे अभी भी पूर्ण सत्य दिखाने के लिए एक "शिक्षक" की आवश्यकता होती है। उस बाहरी सत्य के बिना, वह बहुत अच्छा हो सकता है, लेकिन शायद ही कभी पूर्ण।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।