Evaluating Agentic Learning Harness Capabilities Without Labels via the Scaling Hypothesis
यह शोध पत्र साइबर सुरक्षा में एजेंटिक निरंतर शिक्षण (एजेंटिक कॉन्टिनुअल लर्निंग) हार्नेस के लिए एक लेबल-मुक्त मूल्यांकन ढांचे का प्रस्ताव और सत्यापन करता है, जो यह प्रदर्शित करता है कि जब लेबल किए गए बेंचमार्क उपलब्ध नहीं होते हैं, तो स्पार्स सुधारों (स्पार्स करेक्शन्स) के माध्यम से एक मजबूत शिक्षक मॉडल की ओर छात्र मॉडल के अभिसरण (कन्वर्जेंस) को मापना वास्तविक प्रदर्शन सुधार के एक विश्वसनीय प्रॉक्सी के रूप में कार्य करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को यह सिखाने की कोशिश कर रहे हैं कि एक बुरा ईमेल कैसे पहचाना जाए। आर्टिफिशियल इंटेलिजेंस की दुनिया में, हमारे पास ये सुपर-स्मार्ट "लार्ज लैंग्वेज मॉडल्स" (LLMs) हैं जो इंसानों की तरह पढ़ और लिख सकते हैं। लेकिन उन्हें सुरक्षा के लिए वास्तव में उपयोगी बनाने के लिए, हमें उन्हें चलते-चलते अपनी गलतियों से सीखना होगा, जिसे "कंटीन्यूअल लर्निंग" (निरंतर सीखना) कहा जाता है। आमतौर पर, यह देखने के लिए कि क्या रोबोट सीख रहा है, हम उसे एक ज्ञात उत्तर कुंजी (लेबल वाले डेटा) के साथ एक टेस्ट देते हैं। लेकिन साइबर सुरक्षा की वास्तविक दुनिया में, बुरे लोग अपने तरीके हर दिन बदलते रहते हैं, और हमारे पास शायद ही कभी कोई सटीक उत्तर कुंजी होती है। हमें केवल तब फीडबैक मिलता है जब रोबोट कोई बहुत बड़ी, स्पष्ट गलती करता है। इससे सुरक्षा टीमों के सामने एक समस्या खड़ी हो जाती है: उनके पास एक रोबोट है जिसे सीखने की जरूरत है, लेकिन उनके पास यह मापने का कोई तरीका नहीं है कि उनके नए लर्निंग टूल्स वास्तव में काम कर रहे हैं या चीज़ों को और खराब कर रहे हैं। उन्हें बिना किसी रेफरेंस की (संदर्भ कुंजी) के प्रगति को मापने का एक तरीका चाहिए।
यह पेपर ठीक इसी समस्या का समाधान करता है। लेखक एक चतुर जुगाड़ प्रस्तावित करते हैं जिसे "टीचर-स्टूडेंट" (शिक्षक-छात्र) सेटअप कहा जाता है। एक इंसान द्वारा रोबोट को ग्रेड देने का इंतज़ार करने के बजाय, वे एक बहुत बड़े, अधिक स्मार्ट AI मॉडल को "टीचर" के रूप में उपयोग करते हैं। वे इस टीचर को एक छोटे "स्टूडेंट" मॉडल के काम को ग्रेड करने देते हैं। विचार यह है कि यदि स्टूडेंट एक नया लर्निंग टूल इस्तेमाल करने के बाद स्मार्ट टीचर की तरह व्यवहार करने लगता है, तो वह टूल शायद अच्छा है। पेपर सुझाव देता है कि यह "टीचर-रिलेटिव" (शिक्षक-सापेक्ष) सुधार एक विश्वसनीय संकेत है कि वह टूल वास्तविक मानव फीडबैक के साथ भी अच्छा काम करेगा, भले ही कोई मानव लेबल मौजूद न हो। हालांकि, लेखक एक बड़ी चेतावनी भी देते हैं: काम को परखने के लिए उसी आकार के दूसरे AI का उपयोग करना एक बुरा विचार है। ये "समान-शक्ति" वाले जज पक्षपाती होते हैं; वे अपने जैसे ही लोगों को पसंद करते हैं और यह नहीं देख पाते कि छात्र ने वास्तव में सुधार किया है या नहीं।
रोबोट स्कूल और गायब उत्तर कुंजी
आइए "लर्निंग हार्नेस" की कहानी में गहराई से उतरें। कल्पना कीजिए कि आपके पास एक युवा प्रशिक्षु रोबोट (स्टूडेंट) है जो मेल छाँटना सीख रहा है। वह काफी अच्छा है, लेकिन परफेक्ट नहीं है। उसे बेहतर बनाने में मदद करने के लिए, आप उसके साथ एक "लर्निंग हार्नेस" जोड़ते हैं। यह कोई जादुई दिमाग का अपग्रेड नहीं है; यह स्टिकी नोट्स से भरे एक बैकपैक जैसा है। हर बार जब रोबोट गलती करता है, तो एक इंसान (या इस मामले में, एक स्मार्ट रोबोट) एक स्टिकी पैड पर लिखता है कि वह क्यों गलत था और सही उत्तर क्या है। फिर रोबोट एक नई, समान समस्या का सामना करते समय इन नोट्स को देखता है।
समस्या यह है कि वास्तविक दुनिया में, इंसान व्यस्त होते हैं। वे केवल तभी ये नोट्स लिखते हैं जब रोबोट कोई बहुत बड़ी गलती करता है जिससे संकट पैदा हो जाता है। इसका मतलब है कि रोबोट को बहुत कम नोट्स मिलते हैं, और वे रैंडम समय पर आते हैं। तो, आप कैसे जानते हैं कि नोट्स वाला बैकपैक रोबोट को सीखने में वास्तव में मदद कर रहा है?
आमतौर पर, आप रोबोट को एक उत्तर कुंजी के साथ टेस्ट देंगे। लेकिन साइबर सुरक्षा में, वह उत्तर कुंजी अभी मौजूद नहीं है क्योंकि खतरे नए हैं। आप एक परफेक्ट टेस्ट का इंतज़ार नहीं कर सकते; आपको अभी जानने की जरूरत है कि क्या लर्निंग सिस्टम काम कर रहा है।
टीचर-स्टूडेंट ट्रिक
इस पेपर के लेखकों ने एक शानदार समाधान निकाला है: द स्केलिंग हाइपोथेसिस (Scaling Hypothesis)। इसे एक रोबोट परिवार की तरह सोचें। आपके पास एक छोटा, जूनियर रोबोट (स्टूडेंट) और एक विशाल, सीनियर रोबोट (टीचर) है जो एक ही परिवार से है। क्योंकि सीनियर रोबोट बड़ा है और उसने अधिक डेटा देखा है, इसलिए वह लगभग हमेशा स्मार्ट होता है।
यहाँ प्रयोग दिया गया है जो उन्होंने चलाया:
- उन्होंने बहुत सारे ईमेल लिए और टीचर को उन्हें छाँटने के लिए कहा। चूंकि टीचर बहुत स्मार्ट है, इसलिए लेखकों ने टीचर के जवाबों को "सत्य" (भले ही उनके पास कोई मानव उत्तर कुंजी नहीं थी) के रूप में माना।
- उन्होंने स्टूडेंट को वही ईमेल दिए।
- उन्होंने स्टूडेंट को गलतियाँ करने दीं, फिर उसे टीचर द्वारा बताए गए सही जवाबों के आधार पर कुछ "स्टिकी नोट्स" (सुधार) दिए।
- उन्होंने यह देखने के लिए निगरानी की कि क्या स्टूडेंट टीचर के जवाबों से मेल खाने में बेहतर हो रहा है।
बड़ा सवाल यह था: क्या टीचर से मेल खाने में बेहतर होने का मतलब यह है कि स्टूडेंट वास्तव में वास्तविक कार्य में बेहतर हो रहा है?
यह जानने के लिए, उन्होंने एक गुप्त टेस्ट चलाया। उनके पास कुछ ईमेल थे जिनमें वास्तविक मानव उत्तर कुंजियाँ (गोल्ड स्टैंडर्ड) थीं जिन्हें उन्होंने सीखने की प्रक्रिया के दौरान छिपा कर रखा था। उन्होंने जांचा कि क्या स्टूडेंट का टीचर की ओर सुधार, वास्तविक मानव उत्तरों की ओर उसके सुधार से मेल खाता है।
परिणाम: यह काम कर गया! पेपर ने एक मजबूत संबंध पाया। जब स्टूडेंट ने टीचर की नकल करना सीखा, तो वह वास्तविक मानव टेस्ट में भी बेहतर हुआ। यह सुझाव देता है कि यदि आप अपने लर्निंग सिस्टम को ग्रेड करने के लिए एक सुपर-स्मार्ट AI का उपयोग करते हैं, और सिस्टम में सुधार होता है, तो आप आश्वस्त हो सकते हैं कि वह वास्तविक मानव फीडबैक के साथ भी बेहतर होगा। यह कहने जैसा है कि, "यदि मेरा छात्र मेरे जीनियस प्रोफेसर की तरह सोचने लगता है, तो वह शायद कुछ मूल्यवान सीख रहा है, भले ही मेरे पास अभी अंतिम परीक्षा न हो।"
"सेम-स्ट्रेंथ" जज का जाल
लेकिन यहाँ एक मोड़ आया। लेखकों ने एक अलग विचार का भी परीक्षण किया जो कई लोग उपयोग करते हैं: LLM-AS-A-JUDGE (LLM-एज़-अ-जज)। यह तब होता है जब आप स्टूडेंट के समान आकार और बुद्धिमत्ता वाले एक रोबोट से पूछते हैं कि कौन सा वर्शन बेहतर है: वह जिसके पास लर्निंग बैकपैक है या जिसके पास नहीं है।
कल्पना कीजिए कि दो 10 साल के बच्चों से गणित में कौन बेहतर है, यह तय करने के लिए पूछना। यदि एक के पास रेफरेंस की (उत्तर कुंजी) है, तो क्या दूसरा व्यक्ति उसे देख पाएगा? पेपर ने पाया कि नहीं, वे नहीं देख पाएंगे।
जब लेखकों ने "सेम-स्ट्रेंथ" जज का उपयोग किया, तो परिणाम अस्त-व्यस्त थे:
- पक्षपात (Bias): जज अक्सर सही होने की परवाह किए बिना, पहले देखे गए उत्तर को ही चुन लेते थे।
- स्व-वरीयता (Self-Preference): जजों ने उन उत्तरों को पसंद किया जो उनके जैसे ही रोबोट (जिसके पास बैकपैक नहीं था) के थे और सुधरे हुए वर्शन को खारिज कर दिया।
- विश्वसनीयता (Reliability): जब जज सही होता था, तो वह केवल आधे समय (कुछ मॉडल्स के लिए 48%, जो लगभग सिक्का उछालने जैसा है) ही सही होता था।
पेपर स्पष्ट रूप से इस काम के लिए समान आकार के AI को जज के रूप में उपयोग करने से मना करता है। यह सुझाव देता है कि एक रोबोट अपने ही स्तर के दूसरे रोबोट के सुधार को विश्वसनीय रूप से नहीं पहचान सकता। यह एक ऐसे व्यक्ति से सवाल पूछने जैसा है जिसे उत्तर नहीं पता, वे केवल एक अच्छे अनुमान और एक महान अनुमान के बीच अंतर नहीं कर सकते।
इसका भविष्य के लिए क्या अर्थ है
लेखक सावधान करते हैं कि यह कहना कि यह सब कुछ हमेशा के लिए हल करने वाला जादुई हथियार है, गलत होगा। वे सुझाव देते हैं कि यह "टीचर-स्टूडेंट" विधि लेबल न होने पर लर्निंग टूल्स को मापने का एक वैध तरीका है। उन्होंने दिखाया कि टीचर और स्टूडेंट के बीच बुद्धिमत्ता का अंतर जितना बड़ा होगा, टेस्ट उतना ही विश्वसनीय होगा। यदि टीचर केवल थोड़ा ही स्मार्ट है, तो टेस्ट धुंधला हो जाता है।
वे यह भी बताते हैं कि यह तब सबसे अच्छा काम करता है जब सुधार "स्पार्स" (विरल) और "हाई-प्रिसिजन" (उच्च-सटीक) हों—यानी, केवल वास्तव में महत्वपूर्ण गलतियों को सुधारा जाता है, ठीक वैसे ही जैसे वास्तविक दुनिया में होता है।
तो, एक जिज्ञासु किशोर के लिए निष्कर्ष यह है: एक ऐसी दुनिया में जहाँ हमें हमेशा एक परफेक्ट उत्तर कुंजी नहीं मिल सकती, हम अपने लर्निंग टूल्स को ग्रेड करने के लिए एक "सुपर-स्मार्ट" AI का उपयोग कर सकते हैं। यदि टूल स्टूडेंट को सुपर-स्मार्ट AI की तरह व्यवहार करने में मदद करता है, तो वह शायद एक अच्छा टूल है। लेकिन अपने ही स्तर के औसत AI से अपने दोस्तों को ग्रेड करने के लिए न कहें; वे पक्षपाती होंगे और सुधार को नहीं देख पाएंगे। यह सुरक्षा टीमों को मानव-लेबल वाले डेटा के पहाड़ की आवश्यकता के बिना बेहतर, खुद से सीखने वाले रोबोट बनाने का एक नया तरीका देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।