A Unified Model for Cross-Domain Clone Detection via Model Merging

जासूसी की दुविधा: क्यों एक ही आकार सबके लिए सही नहीं होता

कल्पना कीजिए कि आप एक चोर को पकड़ने की कोशिश कर रहे हैं। आपने एक प्रतिभाशाली जासूस को काम पर रखा है जो लाल टोपी पहनने वाले चोरों को पहचानने में माहिर है। वे अपने काम में अद्भुत हैं, लेकिन अगर चोर नीली टोपी पहनकर आता है, तो जासूस पूरी तरह भ्रमित हो जाता है और उसे चूक जाता है। अब, कल्पना कीजिए कि आपको लाल टोपी, नीली टोपी, हरी टोपी और यहाँ तक कि अदृश्य टोपी पहनने वाले चोरों को पकड़ने की आवश्यकता है। आप हर टोपी के रंग के लिए विशेषज्ञों की एक पूरी टीम रख सकते हैं, लेकिन यह महंगा है और इसे प्रबंधित करना अव्यवस्थित है। वैकल्पिक रूप से, आप एक "सुपर डिटेक्टिव" को हर एक टोपी के रंग को एक साथ पहचानने के लिए प्रशिक्षित करने की कोशिश कर सकते हैं। लेकिन यहाँ एक पेंच है: जब आप एक व्यक्ति को सब कुछ सिखाने की कोशिश करते हैं, तो वे अक्सर भ्रमित हो जाते हैं और किसी भी विशिष्ट टोपी को पहचानने में विशेषज्ञों की तुलना में बदतर हो जाते हैं।

यह ठीक वही समस्या है जिसका सामना कंप्यूटर वैज्ञानिक कोड क्लोन डिटेक्शन (code clone detection) के मामले में करते हैं। कोड क्लोन कंप्यूटर प्रोग्रामों के कॉपी-पेस्ट किए गए या थोड़े बहुत बदले हुए संस्करणों की तरह होते हैं। वे समान प्रतियां हो सकते हैं, वेरिएबल्स के नाम बदले गए हो सकते हैं, या अलग-अलग भाषाओं (जैसे Python बनाम Java) में लिखा गया कोड हो सकता है जो एक ही काम करता है। हाल ही में, AI ने अपना खुद का कोड लिखना शुरू कर दिया है, जिससे एक नए प्रकार का "क्लोन" बन गया है जो मानव-लिखित कोड जैसा बिल्कुल नहीं दिखता।

इन क्लोनों को खोजने के लिए, शोधकर्ता डीप लर्निंग मॉडल बनाते हैं—कंप्यूटर दिमाग जिन्हें समानताएं पहचानने के लिए प्रशिक्षित किया जाता है। समस्या यह है कि ये मॉडल हमारे लाल-टोपी वाले जासूस की तरह हैं: वे विशेषज्ञ हैं। एक मॉडल जो Java कोड में क्लोन खोजने में माहिर है, वह Python कोड दिखाए जाने पर बुरी तरह विफल हो सकता है, और मानव-लिखित कोड पर प्रशिक्षित मॉडल AI-जेनरेटेड कोड के सामने खो जाता है। यह एक "विखंडन संकट" (fragmentation crisis) पैदा करता है जहाँ टीमों को सभी आधारों को कवर करने के लिए दर्जनों अलग-अलग मॉडल चलाने पड़ते हैं, जो धीमा और अव्यावहारिक है। बड़ा सवाल यह है: क्या हम इन विशेषज्ञ मॉडलों को बिना शून्य से फिर से प्रशिक्षित किए एक सुपर-मॉडल में मिला सकते हैं?

"मॉडल मर्जिंग" का जादू

"A Unified Model for Cross-Domain Clone Detection via Model Merging" शीर्षक वाला यह शोध पत्र मॉडल मर्जिंग (model merging) नामक एक चतुर तकनीक की खोज करता है। एक मॉडल को फिर से प्रशिक्षित करने के बजाय (जिसके लिए मूल डेटा की आवश्यकता होती है और जिसमें बहुत समय लगता है), शोधकर्ता दो या दो से अधिक पहले से प्रशिक्षित विशेषज्ञ मॉडलों को लेते हैं और उन्हें गणितीय रूप से एक साथ "सीवन" (stitch) देते हैं। इसे टमाटर के सूप और आलू के सूप के दो अलग-अलग व्यंजनों को लेने और फिर एक नया बैच बनाने के बजाय, एक आदर्श "टमाटर-आलू" सूप बनाने के लिए सामग्री को बर्तन में मिलाने जैसा समझें।

शोधकर्ताओं ने कोड क्लोन डिटेक्शन पर इस विचार का परीक्षण किया। उन्होंने उन मॉडलों को लिया जो एक ही भाषा के क्लोन खोजने में विशेषज्ञ थे और उन मॉडलों को भी जो क्रॉस-लैंग्वेज क्लोन खोजने में विशेषज्ञ थे। उन्होंने उन्हें मिलाने के विभिन्न तरीके आजमाए:

1. सिंपल एवरेजिंग (Simple Averaging): बस दोनों मॉडलों के "मस्तिष्क" का औसत लेना।
2. TIES: एक विधि जो सावधानी से निर्णय लेती है कि मॉडलों के कौन से हिस्से सहमत हैं और कौन से असहमत हैं, सर्वोत्तम हिस्सों को रखती है और संघर्षित हिस्सों को हटा देती है।
3. WUDI: एक विधि जो दोनों मॉडलों के बीच "शोर" (noise) या हस्तक्षेप को कम करने की कोशिश करती है।
4. लेयर स्टिचिंग (Layer Stitching): पूरे मस्तिष्क को मिलाने के बजाय, उन्होंने विशिष्ट परतों को बदलने की कोशिश की (जैसे एक मॉडल की "आंखों" को दूसरे के "कानों" से बदलना) यह देखने के लिए कि क्या वे एक बेहतर हाइब्रिड बना सकते हैं।

बड़ी खोज: आपको एक ही "बेस" की आवश्यकता है

इस अध्ययन की सबसे महत्वपूर्ण खोज एक सरल नियम है: आप मॉडलों को तभी सफलतापूर्वक मर्ज कर सकते हैं जब वे एक ही "बेस" (base) से शुरू हुए हों।

कल्पना कीजिए कि आपके पास दो शेफ हैं। शेफ A ने एक विशिष्ट मास्टर शेफ (मान लीजिए "Master UniX") से खाना बनाना सीखा। शेफ B ने पूरी तरह से अलग मास्टर शेफ ("Master CodeBERT") से सीखा। यदि आप उनके व्यंजनों को मिलाते हैं, तो स्वाद टकराता है, और सूप का स्वाद बहुत खराब हो जाता है। हालाँकि, यदि शेफ A और शेफ B दोनों ने "Master UniX" से सीखा है, तो उनकी तकनीकें संगत हैं। जब आप उनके व्यंजनों को मिलाते हैं, तो वे खूबसूरती से मिल जाते हैं।

शोधकर्ताओं ने पाया कि जब उन्होंने उन मॉडलों को मर्ज किया जिनका साझा प्री-ट्रेंड बेस (जैसे UniXcoder मॉडल के दो अलग-अलग संस्करण) था, तो परिणाम एक शक्तिशाली क्रॉस-डोमेन डिटेक्टर था। यह मर्ज किया गया मॉडल एक ही भाषा और क्रॉस-लैंग्वेज दोनों परिदृश्यों में क्लोन को लगभग उतना ही अच्छी तरह से पहचान सकता था जितना कि यदि इसे एक साथ सभी डेटा पर प्रशिक्षित किया गया होता, लेकिन इसने यह बिना किसी ट्रेनिंग डेटा के मर्जिंग स्टेप के किया। यह बहुत तेज़ था, एक सिंगल कंप्यूटर प्रोसेसर पर पांच मिनट से भी कम समय में।

हालाँकि, जब उन्होंने अलग-अलग बेस वाले मॉडलों को मर्ज करने की कोशिश की (जैसे UniXcoder को CodeBERT के साथ मिलाना), तो परिणाम अव्यवस्थित और अविश्वसनीय थे। "स्वाद" आपस में टकरा गए, और मर्ज किया गया मॉडल खराब प्रदर्शन कर गया। यह सुझाव देता है कि "बेस" मॉडल ही वह गोंद है जो मर्ज किए गए ज्ञान को एक साथ थामे रखता है।

आश्चर्यजनक विजेता: TIES बनाम WUDI

शोधकर्ताओं ने विभिन्न मर्जिंग विधियों के बीच एक ट्रेड-ऑफ (trade-off) की भी खोज की।

• WUDI उन विशिष्ट प्रकार के कोड में क्लोन खोजने में सबसे अच्छा था जो उसने पहले देखे थे (in-distribution)। यह सबसे सटीक "विशेषज्ञ" था।
• TIES, हालाँकि, एक बेहतर "जनरलिस्ट" (generalist) था। जब शोधकर्ताओं ने अनसीन (unseen) AI-जेनरेटेड क्लोन (AI द्वारा लिखा गया कोड जिसे मॉडलों ने पहले कभी नहीं देखा था) पर मर्ज किए गए मॉडलों का परीक्षण किया, तो TIES-मर्ज किए गए मॉडलों ने काफी बेहतर प्रदर्शन किया।

यह एक महत्वपूर्ण अंतर्दृष्टि है। जबकि WUDED ज्ञात डेटा पर थोड़ा अधिक सटीक था, TIES अज्ञात का सामना करने में अधिक मजबूत था। लेखक सुझाव देते हैं कि वास्तविक दुनिया के उपयोग के लिए, जहाँ आपको अजीब, नए प्रकार के AI-जेनरेटेड कोड का सामना करना पड़ सकता है, TIES एक सुरक्षित और अधिक व्यावहारिक विकल्प है।

दिग्गजों को मात देना

पेपर ने अपने मर्ज किए गए मॉडलों की तुलना दो अन्य दृष्टिकोणों से भी की:

1. मल्टी-टास्क ट्रेनिंग (Multi-task Training): यह सभी डेटा पर एक साथ एक मॉडल को प्रशिक्षित करने की पारंपरिक विधि है। हालांकि यह ज्ञात डेटा पर अच्छा काम करता था, लेकिन AI-जेनरेटेड क्लोन के सामने यह पूरी तरह से विफल हो गया। ऐसा लगता है कि एक साथ सब कुछ सीखने की कोशिश करने से मॉडल "ओवरफिट" हो जाता है और आश्चर्यों को संभालने की क्षमता भूल जाता है।
2. लार्ज लैंग्वेज मॉडल्स (LLMs): शोधकर्ताओं ने विशाल AI मॉडलों (जैसे Qwen और DeepSeek) का परीक्षण किया, जिन्हें केवल एक प्रॉम्प्ट पढ़कर क्लोन का पता लगाने के लिए कहा गया था (zero-shot)। हालांकि ये दिग्गज ठीक-ठाक थे, लेकिन वे मर्ज किए गए मॉडलों की तुलना में बहुत धीमे और कम सटीक थे। मर्ज किए गए मॉडल कई गुना तेज़ और अधिक सटीक थे।

निष्कर्ष

पेपर सॉफ्टवेयर इंजीनियरों के लिए एक व्यावहारिक रेसिपी के साथ समाप्त होता है:

1. एक प्री-ट्रेंड मॉडल चुनें (जैसे UniXcoder)।
2. इसे प्रत्येक विशिष्ट डोमेन के लिए अलग से फाइन-ट्यून करें (जैसे Java के लिए एक संस्करण, Python के लिए दूसरा)।
3. उन्हें एक साथ मिलाने के लिए TIES विधि का उपयोग करें।

यह दृष्टिकोण एक एकीकृत डिटेक्टर बनाता है जो तेज़, सटीक और आश्चर्यजनक रूप से नए, अनदेखे प्रकार के कोड क्लोन को संभालने में सक्षम है, और यह सब बिना भारी री-ट्रेनिंग या अलग-अलग मॉडलों के बेड़े को प्रबंधित किए किया जा सकता है। यह सुझाव देता है कि AI की दुनिया में, कभी-कभी आगे बढ़ने का सबसे अच्छा तरीका एक बड़ा दिमाग बनाना नहीं, बल्कि आपके पास पहले से मौजूद दिमागों को स्मार्ट तरीके से जोड़ना है।