VeriTrace: Human-Like Temporal Exploration Completes Agentic Action Space

कल्पना कीजिए कि आप एक रोबोट को केवल एक लिखित विवरण का उपयोग करके एक जटिल मशीन, जैसे कि एक क्लॉकवर्क खिलौना, बनाना सिखाने की कोशिश कर रहे हैं। आप रोबोट को निर्देश देते हैं, और वह उस खिलौने को बनाने का प्रयास करता है। लेकिन कभी-कभी, वह खिलौना काम नहीं करता है। कंप्यूटर विज्ञान की दुनिया में, इसे "हार्डवेयर डिज़ाइन" कहा जाता है, और निर्देश एक विशेष भाषा में लिखे जाते हैं जिसे 'वेरिलॉग' (Verilog) कहा जाता है। लंबे समय से, 'लार्ज लैंग्वेज मॉडल्स' (LLMs) नामक स्मार्ट कंप्यूटर प्रोग्राम इन निर्देशों को पढ़ने और मशीन बनाने के लिए कोड लिखने में बहुत कुशल होते जा रहे हैं। हालाँकि, जब मशीन खराब हो जाती है, तो ये प्रोग्राम अक्सर अटक जाते हैं। वे देख सकते हैं कि खिलौना खराब है, लेकिन वे यह नहीं समझ पाते कि क्यों, क्योंकि उन्हें मशीन के अंदरूनी चलते हुए पुर्जों को करीब से देखने की अनुमति नहीं होती है। वे एक ऐसे मैकेनिक की तरह हैं जो इंजन के खटखटाने की आवाज़ तो सुन सकता है, लेकिन उसे हुड खोलने या विशिष्ट गियरों की जांच करने के लिए रिंच का उपयोग करने की अनुमति नहीं है। मैरीलैंड विश्वविद्यालय के शोधकर्ताओं द्वारा लिखा गया यह शोध पत्र ठीक इसी समस्या पर काम करता है: इन एआई (AI) "मैकेनिकों" को मशीन के आंतरिक कामकाज की जांच करने की स्वतंत्रता कैसे दी जाए, ठीक वैसे ही जैसे एक मानव विशेषज्ञ करता है।

शोधकर्ता, यू-टुंग लियू और कुन्क्सी यू ने देखा कि जबकि एआई शुरुआती कोड लिख सकता है, जब चीजें गलत होती हैं तो उसे ठीक करने में उसे संघर्ष करना पड़ता है। एआई को डिबग करने में मदद करने के पिछले प्रयासों में उसे एक "वेवफॉर्म" (waveform) दिया जाता था—जो इस बात का एक दृश्य मानचित्र है कि मशीन के संकेत समय के साथ कैसे बदलते हैं। लेकिन वे पुराने सिस्टम ऐसे थे जैसे किसी जासूस को अपराध स्थल की एक फोटो दे दी जाए, लेकिन उन्हें यह चुनने से मना कर दिया जाए कि किन सुरागों की जांच करनी है या किस समय पर ध्यान केंद्रित करना है। एआई को एक संकीर्ण, पूर्व-निर्धारित दृश्य देखने के लिए मजबूर किया जाता था, जो अक्सर त्रुटि के वास्तविक कारण को चूक जाता था। लेखक इस सीमा को एक "अपूर्ण एक्शन स्पेस" (incomplete action space) कहते हैं। उनका तर्क है कि कोड को वास्तव में ठीक करने के लिए, एआई को यह चुनने में सक्षम होना चाहिए कि किन संकेतों का निरीक्षण करना है, उन्हें कब देखना है, और जांच करने के लिए कितनी देर तक रुकना है, जो एक मानव इंजीनियर की सोच को दर्शाता है।

इस समस्या को हल करने के लिए, टीम ने वेरिट्रेस (VeriTrace) नामक एक नया सिस्टम बनाया। वेरिट्रेस को विशेषज्ञ एआई श्रमिकों की एक टीम के रूप में समझें। एक कार्यकर्ता कोड लिखता है, दूसरा जांचता है कि क्या यह काम करता है, और तीसरा, जिसे "इंस्पेक्टर" (Inspector) कहा जाता है, एक जिज्ञासु जासूस की तरह कार्य करता है। पिछले सिस्टमों के विपरीत, इस इंस्पेक्टर के पास पूर्ण स्वतंत्रता है। वह कह सकता है, "मुझे लगता है कि समस्या इस विशिष्ट गियर में है, लेकिन केवल संचालन के दूसरे सेकंड के दौरान," और फिर ठीक उसी हिस्से को जांचने के लिए ज़ूम इन कर सकता है। यदि पहला अनुमान गलत होता है, तो इंस्पेक्टर हार नहीं मानता; वह एक नया सिद्धांत बनाता है, एक अलग समय अंतराल चुनता है, और फिर से देखता है। इस प्रक्रिया को "एजेंटिक टेम्पोरल एक्सप्लोरेशन" (Agentic Temporal Exploration) कहा जाता है। यह एआई को एक परिकल्पना बनाने, साक्ष्यों के विरुद्ध उसका परीक्षण करने और चरण-दर-चरण अपनी समझ को परिष्कृत करने की अनुमति देता है, ठीक वैसे ही जैसे एक इंसान करता है।

इस नए दृष्टिकोण के परिणाम काफी प्रभावशाली हैं। 'वेरिलॉगइवल-वी2' (VerilogEval-V2) नामक 156 कोडिंग चुनौतियों के एक मानक सेट पर परीक्षण किए जाने पर, वेरिट्रेस ने 100% Pass@1 का सटीक स्कोर प्राप्त किया। इसका अर्थ है कि अपने अंतिम सुधारे गए कोड के पहले प्रयास में ही इसने हर एक समस्या को सही ढंग से हल किया। यह पहली बार है जब किसी ओपन-सोर्स सिस्टम ने इस विशिष्ट बेंचमार्क पर पूर्णता का यह स्तर प्राप्त किया है। यहाँ तक कि समान अंतर्निहित एआई मस्तिष्क (Claude Sonnet 4.0) का उपयोग करने वाले अन्य मजबूत सिस्टमों की तुलना में भी, वेरिट्रेस ने 5.1% से बेहतर प्रदर्शन किया, जो यह सिद्ध करता है कि एआई को खोजने और जांच करने की स्वतंत्रता देना ही सटीकता की अंतिम खाई को पाटने की कुंजी है।

दिलचस्प बात यह है कि शोधकर्ताओं ने पाया कि इस स्वतंत्रता ने न केवल एआई को स्मार्ट बनाया, बल्कि इसे अधिक कुशल भी बनाया। प्रत्येक चरण में आवश्यक जानकारी के विशिष्ट टुकड़ों को मांगकर, मशीन के पूरे इतिहास को अपनी मेमोरी में डालने के बजाय, वेरिट्रेस ने डेटा प्रसंस्करण की मात्रा को 18% कम कर दिया। यह सुझाव देता है कि एआई को सही प्रश्न पूछने की अनुमति देना न केवल उत्तर खोजने के लिए बेहतर है, बल्कि यह बहुत सारी कंप्यूटेशनल ऊर्जा भी बचाता है। शोध पत्र निष्कर्ष निकालता है कि जबकि एआई मॉडल स्वयं शक्तिशाली हैं, असली सफलता इस बात में है कि हम उन्हें अपने उपकरणों का उपयोग कैसे करने देते हैं। उन्हें समय और संकेतों को स्वतंत्र रूप से खोजने की एजेंसी देकर, हम उन्हें केवल कोड जनरेटर से बदलकर वास्तविक समस्या-समाधानकर्ता बना सकते हैं।