CHORUS: Complementary Experts for High-Coverage Testbench Stimulus Generation
CHORUS एक पोस्ट-ट्रेनिंग फ्रेमवर्क है जो व्यवहारिक रूप से विविध चेकपॉइंट्स और डेंस-रिवॉर्ड सुदृढीकरण लर्निंग (reinforcement learning) का लाभ उठाकर पूरक विशेषज्ञ मॉडल बनाता है, जिन्हें फिर एक एकल 4B मॉडल में समेकित किया जाता है जो हाई-कवरेज हार्डवेयर वेरिफिकेशन टेस्टबेंच स्टिमुलस जनरेशन में बड़े स्टेट-ऑफ-द-आर्ट मॉडल्स से काफी बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ कंप्यूटर विशाल, अविश्वसनीय रूप से जटिल लेगो (LEGO) महलों की तरह हैं। इंजीनियरों द्वारा इन महलों को वास्तव में बनाने से पहले, उन्हें यह सुनिश्चित करना होता है कि हर एक ईंट पूरी तरह से फिट हो और पूरी संरचना हवा चलने पर ढह न जाए। इसे करने के लिए, वे विशेष "टेस्ट स्क्रिप्ट्स" लिखते हैं—जैसे कि एक रोबोट जो महल के चारों ओर दौड़ता है, दीवारों को हिलाता है, दरवाजे खोलता है, और जाँच करता है कि सब कुछ ठीक से काम कर रहा है या नहीं। इस प्रक्रिया को हार्डवेयर वेरिफिकेशन (hardware verification) कहा जाता है, और यह यह सुनिश्चित करने का एक बहुत बड़ा हिस्सा है कि हमारे फोन, कार और कंप्यूटर में कोई छिपे हुए बग्स न हों।
लंबे समय तक, लोगों ने सोचा कि इसमें बेहतर होने का एकमात्र तरीका यह था कि सबसे अच्छे टेस्ट खोजने के लिए बड़े और बड़े "दिमाग" (कंप्यूटर मॉडल) बनाए जाएं। लेकिन हाल ही में, एक नए प्रकार के स्मार्ट कंप्यूटर दिमाग, जिसे लार्ज लैंग्वेज मॉडल (LLM) कहा जाता है, ने इसमें मदद करना शुरू कर दिया है। ये मॉडल कोड लिखने में माहिर होते हैं, लेकिन उन्हें अपनी गलतियों से सीखने के लिए थोड़े से धक्के की आवश्यकता होती है। केवल एक पाठ्यपुस्तक पढ़ने के बजाय, उन्हें अपना कोड "चलाना" आता है, यह देखना आता है कि क्या वह टूट गया, और फिर से कोशिश करना आता है। यह एक वीडियो गेम की तरह है जहाँ आप केवल मैनुअल नहीं पढ़ते; बल्कि आप लेवल खेलते हैं, हारते हैं, और अगली बार उसे जीतने के लिए सीखते हैं। बड़ा सवाल जो शोधकर्ता पूछ रहे हैं, वह यह है: हम इन मॉडल्स को बिना अनंत रूप से विशाल और महंगा बनाए, हार्डवेयर टेस्टिंग का वास्तविक उस्ताद कैसे बना सकते हैं?
यहाँ CHORUS आता है, एक नई विधि जो खेल बदल देती है। एक विशाल, सुपर-स्मार्ट मॉडल को सब कुछ करने के लिए बनाने के बजाय, शोधकर्ताओं ने महसूस किया कि विशेषज्ञ बनने का रास्ता दिलचस्प मोड़ों से भरा है। उन्होंने पाया कि यदि आप एक मॉडल को चरणों (stages) में प्रशिक्षित करते हैं, तो आप अंत में कई अलग-अलग "संस्करणों" (versions) के साथ समाप्त होते हैं। भले ही ये संस्करण अंततः समान समग्र स्कोर प्राप्त करते हैं, लेकिन वे वास्तव में अलग-अलग चीजों के विशेषज्ञ होते हैं—जैसे एक रसोई का परीक्षण करने में माहिर है, जबकि दूसरा गैरेज का परीक्षण करने में जादूगर है।
यह पेपर दिखाता है कि इन विभिन्न "विशेषज्ञ" संस्करणों को लेकर और उन्हें मिलाकर, आप एक एकल, सुपर-पावर्ड मॉडल बना सकते हैं जो अकेले उनमें से किसी भी एक से कहीं बेहतर है। वास्तव में, यह नया 4-बिलियन-पैरामीटर वाला मॉडल (जो अपेक्षाकृत छोटा और कॉम्पैक्ट है) ने एक प्रमुख हार्डवेयर टेस्टिंग चुनौती में 88.0% का स्कोर किया। यह एक बहुत बड़ी छलांग है, जिसने 671 बिलियन पैरामीटर्स वाले प्रसिद्ध बड़े मॉडल, DeepSeek-R1 को 13.5 प्रतिशत अंक से पीछे छोड़ दिया है।
उन्होंने इसे कैसे किया, इसके लिए एक सरल उपमा (analogy) यहाँ दी गई है:
"स्टेज्ड" (चरणबद्ध) प्रशिक्षण:
कल्पना कीजिए कि आप एथलीटों के एक समूह को प्रशिक्षित कर रहे हैं। आमतौर पर, आप सबसे अच्छे एथलीट को चुनते हैं और उसे तब तक प्रशिक्षित करते हैं जब तक कि वह पूर्ण न हो जाए। लेकिन CHORUS टीम ने कुछ अलग किया। उन्होंने तीन अलग-अलग एथलीटों को उन्हीं कठोर चरणों के माध्यम से प्रशिक्षित किया। अंत में, तीनों लगभग समान रूप से फिट थे, लेकिन उनकी ताकत अलग-अलग थी। एक स्प्रिंटर (धावक) था, एक मैराथन रनर था, और एक हाई जंपर (ऊँची कूद लगाने वाला) था।
"कॉम्प्लीमेंट्री" (पूरक) खोज:
शोधकर्ताओं ने देखा कि ये एथलीट केवल एक जैसा काम नहीं कर रहे थे। जब वे किसी विशिष्ट बाधा का सामना करते थे, तो स्प्रिंटर विफल हो सकता था, लेकिन हाई जंपर उसे आसानी से पार कर लेता था। वे "पूरक" (complementary) थे। यदि आप केवल उनके औसत स्कोर को देखते, तो आप सोचते कि वे एक जैसे हैं, लेकिन यदि आप देखते कि वे किन बाधाओं को पार कर सकते हैं, तो वे पूरी तरह से अलग थे।
"मर्जिंग" (विलय) का जादू:
टीम ने पूछा: "क्या हम इन तीन एथलीटों को एक सुपर-एथलीट में मिला सकते हैं?"
- सरल मिश्रण (ट्रेनिंग-फ्री मर्जिंग): उन्होंने बस उनकी मांसपेशियों को आपस में मिलाने की कोशिश की। इसने थोड़ा काम किया, जिससे नया एथलीट किसी भी अकेले एथलीट से बेहतर बना, लेकिन यह पूर्ण नहीं था।
- स्मार्ट कोच (एडेप्टिव डिस्टिलेशन): यह वास्तविक सफलता थी। उन्होंने एक नया छात्र एथलीट बनाया और एक कोच की भूमिका निभाई। प्रत्येक नई बाधा के लिए, कोच उन तीन विशेषज्ञों को देखता था और पूछता था, "इस विशिष्ट चीज़ के लिए कौन सबसे अच्छा है?" यदि स्प्रिंटर सबसे अच्छा था, तो छात्र ने स्प्रिंटर से सीखा। यदि हाई जंपर सबसे अच्छा था, तो छात्र ने उनसे सीखा। महत्वपूर्ण बात यह है कि यदि किसी भी विशेषज्ञ ने छात्र से बेहतर प्रदर्शन नहीं किया, तो कोच ने उस कार्य को छोड़ दिया ताकि छात्र बुरी आदतें न सीखे।
परिणाम:
इस "स्मार्ट कोच" विधि का उपयोग करके, नया एकल मॉडल सभी बाधाओं का मास्टर बन गया। उसने केवल उनके कौशल का औसत नहीं निकाला; उसने हर स्थिति के लिए सबसे अच्छे कौशल को चुना। परिणाम स्वरूप, एक छोटा, कुशल मॉडल किसी भी अकेले मॉडल से बेहतर प्रदर्शन करता है।
पेपर स्पष्ट रूप से इस विचार को खारिज करता है कि आपको इन समस्याओं को हल करने के लिए केवल एक बड़े मॉडल की आवश्यकता है। उन्होंने दिखाया कि एक विशाल 671-बिलियन-पैरामीटर वाला मॉडल भी उनके छोटे, स्मार्टली प्रशिक्षित 4-बिलियन-पैरामीटर वाले मॉडल के समान प्रदर्शन स्तर तक नहीं पहुँच सका। उन्होंने यह भी पाया कि केवल एक मॉडल को लंबे समय तक प्रशिक्षित करने से मदद नहीं मिली; मुख्य बात उन अद्वितीय, पूरक शक्तियों को बनाए रखने के लिए प्रशिक्षण के विभिन्न "चरणों" को बनाए रखना था।
संक्षेप में, CHORUS यह सिद्ध करता है कि हार्डवेयर टेस्टिंग की दुनिया में, विशेषज्ञों की एक विविध टीम होना और उनकी अनूठी प्रतिभाओं को संयोजित करने का ज्ञान होना, एक विशाल, सर्वज्ञ मस्तिष्क होने से कहीं अधिक शक्तिशाली है। यह एक याद दिलाता है कि कभी-कभी, जीनियस होने का सबसे अच्छा तरीका यह जानना है कि अपनी विभिन्न आंतरिक आवाजों को कब सुनना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।