Agentic Auto-Research is Fuzz Testing
यह शोध पत्र तर्क देता है कि स्वायत्त अनुसंधान एजेंटों को 'फज़ टेस्टिंग' (fuzz testing) से प्रेरित "जनरेट-एंड-सर्च" (generate-and-search) प्रतिमान को अपनाना चाहिए, जो वर्तमान "जनरेट-एंड-रैंक" (generate-and-rank) दृष्टिकोण के बजाय, जो विरल फीडबैक और अक्षम सैंपलिंग से ग्रस्त है, ज्ञान संबंधी प्रगति के सघन, मध्यवर्ती संकेतों का उपयोग करके अन्वेषण को गतिशील रूप से निर्देशित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
खोज की दौड़: क्यों "अधिक अनुमान" समाधान नहीं है
एक ऐसी दुनिया की कल्पना करें जहाँ एक सुपर-स्मार्ट रोबोट वैज्ञानिक एक इंसान द्वारा कॉफी बनाने में लगने वाले समय के भीतर हजारों नए विचार सोच सकता है, उन्हें टेस्ट करने के लिए कोड लिख सकता है, और प्रयोग चला सकता है। यह स्वायत्त अनुसंधान एजेंटों (autonomous research agents) की रोमांचक वास्तविकता है। ये AI सिस्टम परिकल्पनाएं (hypotheses) उत्पन्न करने में इतने तेज़ होते जा रहे हैं कि वे उन इंसानों से भी आगे निकल रहे हैं जिन्हें यह जांचना होता है कि वे विचार वास्तव में सही हैं या नहीं। यह एक बाधा पैदा करता है: रोबोट उन जवाबों को चिल्लाकर बता रहा है जितनी तेज़ी से शिक्षक होमवर्क चेक कर सकता है।
इसे हल करने के लिए, कई शोधकर्ताओं ने एक सरल रणनीति आजमाई है: "जनरेट एंड रैंक" (बनाओ और रैंक करो)। वे रोबोट को दस लाख अनुमान लगाने के लिए कहते हैं, दूसरे AI का उपयोग उन्हें ग्रेड देने के लिए करते हैं, और सबसे अच्छे को चुन लेते हैं। यह एक टैलेंट शो की तरह है जहाँ आप दस लाख गायकों का ऑडिशन लेते हैं और बस उसे चुनते हैं जिसका स्कोर सबसे अधिक हो। लेकिन एक समस्या है: उन दस लाख अनुमानों में से अधिकांश गलत होते हैं, और "ग्रेडिंग" अक्सर केवल आपको यह बताती है कि कौन सा सबसे कम गलत है, न कि यह कि वह क्यों सही है या बेहतर कैसे बनें। जिस पेपर को आप अभी पढ़ने जा रहे हैं, वह सुझाव देता है कि यह "अनुमान लगाओ और जांचो" वाली विधि एक दीवार से टकरा रही है। इसका तर्क है कि वास्तव में नई चीजों की खोज करने के लिए, हमें अनुसंधान को टैलेंट शो की तरह मानना बंद करके "हॉट एंड कोल्ड" (गर्म और ठंडा) के खेल की तरह मानना होगा।
पेपर का बड़ा विचार: अनुसंधान "हॉट एंड कोल्ड" का एक खेल है
लेखक, जो कंप्यूटर वैज्ञानिकों और शोधकर्ताओं की एक टीम है, इन AI वैज्ञानिकों को बनाने के तरीके में एक क्रांतिकारी बदलाव का प्रस्ताव देते हैं। उनका तर्क है कि एजेंटिक ऑटो-रिसर्च (Agentic Auto-Research) अनिवार्य रूप से फज़ टेस्टिंग (Fuzz Testing) है।
अब, "फज़ टेस्टिंग" सुनने में एक अजीब नाम लग सकता है, लेकिन यह वास्तव में सॉफ्टवेयर इंजीनियरों द्वारा बग खोजने के लिए उपयोग की जाने वाली एक प्रसिद्ध तकनीक है। कल्पना करें कि आप एक वीडियो गेम को तोड़ने की कोशिश कर रहे हैं। आप गेम को सामान्य रूप से नहीं खेलते; आप इसमें रैंडम, अजीब इनपुट डालते हैं (जैसे एक साथ सभी बटन दबाना) यह देखने के लिए कि क्या यह क्रैश हो जाता है। लेकिन एक स्मार्ट फज़र केवल रैंडम शोर नहीं डालता। वह गेम चलते समय क्या हो रहा है, इस पर नज़र रखता है। यदि गेम एक नए स्क्रीन या एक नए स्तर तक पहुँच जाता है, तो फज़र कहता है, "हे! यह दिलचस्प था! आइए आगे ऐसा ही कुछ करें!" यह अपने अगले कदम को निर्देशित करने के लिए अंत तक इंतजार करने के बजाय, तुरंत मिलने वाले छोटे संकेतों (जैसे "आप एक नए दरवाजे तक पहुँच गए") का उपयोग करता है।
पेपर सुझाव देता है कि वैज्ञानिक अनुसंधान को इसी तरह काम करना चाहिए। वर्तमान में, AI शोधकर्ता अक्सर प्रयोग के 100% पूरा होने तक इंतजार करते हैं यह देखने के लिए कि क्या यह एक "जीत" है। लेखक कहते हैं कि यह बहुत धीमा और महंगा है। इसके बजाय, हर प्रयोग को प्रयोग के दौरान ही प्रगति का एक सस्ता, घना संकेत (cheap, dense signal) देना चाहिए।
इसे अंधेरी गुफा में टॉर्च लेकर घूमने के समान समझें।
- पुराना तरीका (जनरेट एंड रैंक): आप अंधेरी गुफा में एक पत्थर फेंकते हैं। आप उसके नीचे गिरने का इंतज़ार करते हैं। यदि वह ज़ोर से आवाज़ करता है, तो आप उसे रखते हैं। यदि वह शांत रहता है, तो आप दूसरा पत्थर फेंकते हैं। आपको कभी पता नहीं चलता कि पत्थर शांत क्यों था या वह कहाँ गया जब तक कि बहुत देर न हो जाए।
- नया तरीका (फज़ टेस्टिंग): आपके पास एक टॉर्च है जो हर बार चमकती है जब आप छिपे हुए खजाने के करीब पहुँचते हैं। आप खजाना मिलने तक यह जानने के लिए इंतज़ार नहीं करते कि आप अच्छा कर रहे हैं। जैसे ही रोशनी थोड़ी तेज़ होती है, आप जानते हैं, "ठीक है, मैं सही रास्ते पर हूँ, अगली बार बाईं ओर मुड़ते हैं।"
नए दृष्टिकोण के तीन स्वर्णिम नियम
पेपर इस "फज़ टेस्टिंग" दृष्टिकोण को तीन सरल नियमों में तोड़ता है जिसका पालन किसी भी AI शोधकर्ता को करना चाहिए:
1. प्रगति को दृश्यमान बनाएं ("टॉर्च" का नियम)
अधिकांश वैज्ञानिक प्रयोग तुरंत नोबेल पुरस्कार नहीं देते। वास्तव में, अधिकांश विफल होते हैं। लेकिन एक "विफल" प्रयोग भी हमें कुछ सिखाता है। पेपर का तर्क है कि हमें ऐसे "उपकरण" बनाने की आवश्यकता है जो AI को यह बताएं कि उसने प्रयोग के दौरान कुछ सीखा है या नहीं, न कि केवल अंत में।
- उपमा: कल्पना करें कि आप केक के लिए सही रेसिपी खोजने की कोशिश कर रहे हैं। पुराना तरीका है 1,000 केक बनाना, अंत में उन सभी को चखना और सबसे अच्छा चुनना। नया तरीका है एक सेंसर होना जो आपको बताए, "यह बैटर सही बनावट के करीब पहुँच रहा है," या "यह तापमान रेंज को कम कर रहा है।" AI इन छोटे संकेतों का उपयोग यह तय करने के लिए करता है कि अगला क्या बेक करना है, बजाय इसके कि केवल तैयार केक के ढेर में से विजेता को चुने।
2. रैंक करने के लिए नहीं, बल्कि खोजने के लिए फीडबैक का उपयोग करें
एक बार जब AI के पास ये छोटे संकेत (टॉर्च) आ जाते हैं, तो उसे केवल विजेता चुनने के लिए इनका उपयोग नहीं करना चाहिए। उसे अपनी रणनीति बदलने के लिए इनका उपयोग करना चाहिए।
- उपमा: यदि आप "हॉट एंड कोल्ड" खेल रहे हैं, और कोई कहता "वॉर्मर!" (और गर्म!), तो आप केवल इसे लिखते नहीं हैं और याद से एक नया स्थान नहीं चुनते। आप गर्मी की ओर बढ़ते हैं। पेपर सुझाव देता है कि AI एजेंटों को भी ऐसा ही करना चाहिए। यदि एक प्रयोग एक विशिष्ट सीमा को दर्शाता है या एक बुरे विचार को खारिज करता है, तो AI को तुरंत उस जानकारी का उपयोग अपने अगले प्रयोग को एक स्मार्ट दिशा में मोड़ने के लिए करना चाहिए। यह केवल अंधेरे में तीर चलाने के बजाय, एक मानचित्र के साथ खोजने (searching) के बारे में है।
3. "जज" (न्यायाधीश) को "गाइड" (मार्गदर्शक) से अलग रखें
यह सबसे महत्वपूर्ण सुरक्षा नियम है। "टॉर्च" (प्रगति का संकेत) खोज को निर्देशित करने के लिए तो बेहतरीन है, लेकिन यह अंतिम प्रमाण नहीं है।
- उपमा: कल्पना करें कि एक जासूस अपराध सुलझा रहा है। जासूस के पास एक संदेह (प्रगति का संकेत) है जो उन्हें बताता है कि कहाँ देखना है। "मुझे लगता है कि बटलर ने यह किया है, इसलिए चलिए किचन चेक करते हैं।" लेकिन जासूस केवल इसलिए बटलर को गिरफ्तार नहीं कर सकता क्योंकि उसका संदेह अच्छा महसूस हुआ। उन्हें एक संरक्षित सत्यापनकर्ता (protected validator) की आवश्यकता होती है—जैसे एक जज या जूरी—जो सबूतों को बिना यह जाने देखता है जो जासूस के संदेह थे। यदि जासूस अपने खोज को निर्देशित करने के लिए उसी संदेह का उपयोग करता रहता है, तो वह खुद को यह विश्वास दिलाने के लिए धोखा दे सकता है कि उसने हत्यारा ढूंढ लिया है जबकि उसने नहीं ढूंढा। अंतिम "खोज" को एक अलग, स्वतंत्र जांच द्वारा प्रमाणित किया जाना चाहिए जिसने खोज को निर्देशित करने में भाग नहीं लिया था।
लेखक क्या कह रहे हैं (और क्या नहीं कह रहे हैं)
लेखक बहुत सावधान हैं कि वे इसे कोई जादू की छड़ी न कहें। वे यह नहीं कह रहे हैं कि, "हमने विज्ञान को हल कर लिया है!" इसके बजाय, वे तीन विशिष्ट भविष्यवाणियां कर रहे हैं जिन्हें परीक्षण योग्य माना जाता है:
- सिग्नल भविष्यवाणी: यदि हम एक AI को एक अच्छा "प्रगति संकेत" (जैसे टॉर्च) देते हैं, तो वह एक ऐसे AI की तुलना में समान धन और समय के साथ अधिक वास्तविक खोजें खोजने में सक्षम होना चाहिए जो केवल अनुमान लगाता है और रैंक करता है।
- सर्च भविष्यवाणी: एक AI जो अपने अगले कदम को बदलने के लिए फीडबैक का उपयोग करता है, वह एक ऐसे AI की तुलना में अधिक "जीतने वाले" प्रयोग खोजेगा जो केवल रैंडम तीर चलाता रहता है।
- सुरक्षा भविष्यवाणी: यदि हम अंतिम जज को खोज मार्गदर्शक से अलग रखते हैं, तो हम कम "नकली" खोजें पाएंगे।
पेपर स्पष्ट रूप से इस विचार के खिलाफ तर्क देता है कि हमें बस AI को और स्मार्ट बनाने या अधिक अनुमान उत्पन्न करने की आवश्यकता है। वे दिखाते हैं कि केवल अधिक उम्मीदवारों को उत्पन्न करने और रैंक करने से एक ऐसी दीवार आती है जहाँ आपको अपने प्रयास के बदले बहुत कम मूल्य मिलता है। वे इस विचार के भी खिलाफ तर्क देते हैं कि हम केवल एक एकल स्कोर का उपयोग सब कुछ (खोज को निर्देशित करने और विजेता घोषित करने दोनों के लिए) करने के लिए कर सकते हैं। वे कहते हैं कि इससे AI खुद को धोखा दे सकता है।
यह क्यों मायने रखता है
यह पेपर AI विज्ञान के भविष्य के लिए एक आह्वान है। यह सुझाव देता है कि वास्तव में खोज को स्वचालित करने के लिए, हमें AI को केवल उत्तर उगलने वाली मशीन के रूप में मानना बंद करना होगा और इसे एक ऐसे जिज्ञासु खोजकर्ता के रूप में मानना होगा जो अपने हर कदम से सीखता है।
लेखकों का मानना है कि यदि हम इन "उपकरणों" को बना सकते हैं जो प्रगति को दृश्यमान बनाते हैं, और यदि हम "गाइड" और "जज" को अलग कर सकते हैं, तो हम ऐसे AI सिस्टम बना सकते हैं जो केवल अधिक शोर उत्पन्न नहीं करते, बल्कि विज्ञान के छिपे हुए खजानों को वास्तव में खोजते हैं। यह "अधिक बेहतर है" से "स्मार्टर बेहतर है" की ओर एक बदलाव है, जो खोज की अराजक प्रक्रिया को एक निर्देशित, कुशल और विश्वसनीय यात्रा में बदल देता है।
पेपर वैज्ञानिक समुदाय को एक चुनौती के साथ समाप्त होता है: क्या हम विज्ञान के लिए ये "टॉर्च" बना सकते हैं? क्या हम यह साबित कर सकते हैं कि यह "फज़ टेस्टिंग" दृष्टिकोण पुराने तरीकों की तुलना में वास्तव में बेहतर काम करता है? लेखकों का मानना है कि उत्तर 'हाँ' है, लेकिन वे अंतिम प्रमाण कल हमारे द्वारा किए जाने वाले प्रयोगों पर छोड़ देते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।