SE-Bench: Benchmarking Self-Evolution with Knowledge Internalization
यह शोध पत्र SE-Bench प्रस्तुत करता है, जो एक नैदानिक वातावरण (diagnostic environment) है जो पूर्व ज्ञान और तर्क जटिलता से ज्ञान के आंतरिककरण (knowledge internalization) को अलग करके स्वयं-विकास (self-evolution) का कड़ाई से बेंचमार्किंग करने के लिए NumPy लाइब्रेरी को अस्पष्ट (obfuscate) करता है, जिससे यह पता चलता है कि नए ज्ञान को मॉडल के भार (weights) में समाहित करने के लिए ओपन-बुक ट्रेनिंग या मानक RL की तुलना में क्लोज्ड-बुक ट्रेनिंग और सेल्फ-प्ले अधिक प्रभावी हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक प्रतिभाशाली छात्र को एक बिल्कुल नए, पूरी तरह से पराये प्रोग्रामिंग लैंग्वेज का उपयोग करना सिखाने की कोशिश कर रहे हैं। पेच यह है कि यह भाषा दिखने और काम करने में बिल्कुल वैसी ही है जैसी कि वे पहले से जानते हैं (जैसे Python का NumPy), लेकिन इसका हर एक शब्द और कमांड बेतरतीब ढंग से बदल दिया गया है।
उदाहरण के लिए, यदि उन्हें numpy.mean लिखना है, तो उन्हें zwc.kocito लिखना होगा।
यही SE-BENCH का मूल विचार है—एक नया "परीक्षा" (exam) जिसे त्सिंगहुआ विश्वविद्यालय के शोधकर्ताओं ने यह परीक्षण करने के लिए बनाया है कि क्या AI एजेंट वास्तव में नई कौशलों को खुद से सीख और याद कर सकते हैं या वे केवल अनुमान लगा रहे हैं या किसी 'चीट शीट' (cheat sheet) का सहारा ले रहे हैं।
यहाँ सरल उपमाओं (analogies) का उपयोग करके उनके निष्कर्षों का विवरण दिया गया है:
1. समस्या: "नकली नया" परीक्षण (The "Fake New" Test)
वर्तमान AI परीक्षण त्रुटिपूर्ण हैं। यदि आप एक AI को एक नई लाइब्रेरी का उपयोग करके गणित की समस्या हल करने के लिए कहते हैं, तो AI शायद अपने प्रशिक्षण डेटा (training data) से उसे याद कर रहा होगा (जैसे एक छात्र जिसने परीक्षा से पहले पाठ्यपुस्तक रट ली हो)। या, यदि AI विफल हो जाता है, तो आपको यह नहीं पता चलेगा कि वह लाइब्रेरी भूल गया या गणित की समस्या बहुत कठिन थी।
SE-BENCH का समाधान:
शोधकर्ताओं ने एक सामान्य लाइब्रेरी, जिसे NumPy कहा जाता है, का एक "स्कैम्बल" (scrambled) संस्करण बनाया।
- स्कैंबल (The Scramble): उन्होंने प्रत्येक फंक्शन को यादृच्छिक (random) निरर्थक शब्दों में बदल दिया (जैसे
meanबन गयाkocito)। - नियम: AI को मूल लाइब्रेरी का उपयोग करने की अनुमति नहीं है। उसे केवल उन निरर्थक शब्दों का उपयोग करना होगा।
- लक्ष्य: यदि AI उन निरर्थक शब्दों का उपयोग करके समस्या को हल कर सकता है, तो यह साबित करता है कि उसने वास्तव में नए नियमों को सीख लिया है। यदि वह नहीं कर पाता, तो इसका मतलब है कि वह ज्ञान को आत्मसात करने में विफल रहा।
2. तीन बड़ी खोजें
शोधकर्ताओं ने AI को सिखाने के विभिन्न तरीकों का परीक्षण किया और उन्हें तीन आश्चर्यजनक सच्चाइयाँ मिलीं:
A. "ओपन-बुक विरोधाभास" (Open-Book Paradox - नकल मत करने दो!)
- सेटअप: उन्होंने AI को दो तरीकों से सिखाने का प्रयास किया:
- ओपन-बुक (Open-Book): AI अध्ययन करते समय और परीक्षा देते समय भी डिक्शनरी (दस्तावेज़ीकरण) देख सकता था।
- क्लोज्ड-बुक (Closed-Book): AI अध्ययन के दौरान डिक्शनरी देख सकता था, लेकिन परीक्षा देने से पहले उसे डिक्शनरी फेंकनी होगी।
- परिणाम: "ओपन-बुक" वाले छात्र पूरी तरह से विफल रहे जब डिक्शनरी हटा दी गई। उन्होंने वास्तव में सामग्री सीखी नहीं थी; वे केवल उसे देख रहे थे।
- पाठ: AI को वास्तव में सीखने और ज्ञान को अपने "मस्तिष्क" (इसके आंतरिक भार/weights) में संग्रहीत करने के लिए, आपको प्रशिक्षण अपडेट के दौरान डिक्शनरी के बिना अध्ययन करने के लिए मजबूर करना होगा। इसे जानकारी को अपने भीतर संकुचित (compress) करने की आवश्यकता है।
B. "RL गैप" (Reinforcement Learning तथ्यों के लिए एक बुरा शिक्षक है)
- सेटअप: उन्होंने रिनफोर्समेंट लर्निंग (RL) का उपयोग करने का प्रयास किया, जो एक ऐसी विधि है जहाँ AI चीजों को आज़माकर और सही उत्तरों के लिए पुरस्कार प्राप्त करके सीखता है (जैसे एक कुत्ता करतब सीखना सीखता है)।
- परिणाम: "क्लोज्ड-बुक" विधि के साथ भी, RL विफल रहा। AI उन नए निरर्थक शब्दों को नहीं सीख सका।
- कारण: शोधकर्ताओं ने पाया कि RL में बने हुए "सुरक्षा ब्रेक" (जिसे PPO क्लिपिंग कहा जाता है) AI को वे बड़े, साहसिक बदलाव करने से रोकते हैं जो नए शब्दावली को याद करने के लिए आवश्यक होते हैं। यह एक ऐसे शिक्षक की तरह है जो छात्र को बड़ी गलतियाँ करने देने से बहुत डरता है, इसलिए छात्र कभी नए नियम नहीं सीख पाता।
- पाठ: RL व्यवहार को निखारने के लिए तो बेहतरीन है, लेकिन यह शून्य से नए तथ्य सिखाने के लिए बहुत खराब है।
C. "सेल्फ-प्ले" की सफलता (स्वयं को सिखाना काम करता है, यदि आप सही तरीका अपनाएं)
- सेटअप: उन्होंने AI को अपने स्वयं के अभ्यास प्रश्न बनाने और उन्हें हल करने का प्रयास करने दिया (Self-Play)।
- परिणाम:
- यदि उन्होंने सेल्फ-प्ले के लिए RL का उपयोग किया, तो AI विफल रहा (0% सफलता)।
- यदि उन्होंने AI के अपने उत्पन्न किए गए प्रश्नों पर सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) (एक अधिक प्रत्यक्ष शिक्षण विधि) का उपयोग किया, तो वह सफल रहा।
- पाठ: AI स्वयं नए कौशल सीख सकता है, लेकिन केवल तभी जब "शिक्षण विधि" (SFT) इतनी मजबूत हो कि ज्ञान को उसके मस्तिष्क में जबरन डाला जा सके। स्व-विकास (self-evolution) के लिए RL एक "एक ही आकार सभी के लिए उपयुक्त" (one-size-fits-all) समाधान नहीं है।
सारांश उपमा (Summary Analogy)
AI को एक नए विषय पर सरप्राइज परीक्षा की तैयारी कर रहे छात्र के रूप में सोचें।
- परीक्षण: परीक्षा में एक बनाई हुई भाषा का उपयोग किया जाता है जो अंग्रेजी जैसी दिखती है लेकिन इसके शब्द अलग होते हैं।
- विफलता: यदि छात्र को परीक्षा के दौरान डिक्शनरी रखने की अनुमति दी जाती है, तो वह पास हो जाता है, लेकिन उसने कुछ सीखा नहीं है। यदि वह केवल अनुमान लगाकर और सही उत्तरों के लिए "पॉइंट्स" प्राप्त करके सीखने की कोशिश करता है (RL), तो वह फंस जाता है क्योंकि अनुमान लगाने के नियम बहुत सख्त हैं।
- सफलता: छात्र के लिए एकमात्र तरीका यह है कि वह डिक्शनरी के साथ अभ्यास करे, लेकिन फिर उसे डिक्शनरी के बिना परीक्षा देने के लिए मजबूर किया जाए (Closed-Book Training)। यह उसके मस्तिष्क को नए शब्दों को वास्तव में याद करने के लिए मजबूर करता है।
मुख्य बात (The Bottom Line):
SE-BENCH यह सिद्ध करता है कि AI के वास्तविक "विकास" और स्वयं नए कौशल सीखने के लिए, हमें उन्हें प्रशिक्षण के दौरान बाहरी 'चीट शीट्स' पर निर्भर रहने से रोकना होगा और नए तथ्य सिखाने के लिए रिनफोर्समेंट लर्निंग (RL) का उपयोग करना बंद करना होगा। हमें उन्हें ज्ञान को आंतरिक रूप से याद करने के लिए मजबूर करना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।