mcdok at SemEval-2026 Task 13: Finetuning LLMs for Detection of Machine-Generated Code
SemEval-2026 टास्क 13 के लिए mcdok सिस्टम mdok टेक्स्ट डिटेक्शन दृष्टिकोण को अनुकूलित करता है, जो मशीन-जनित कोड डिटेक्शन, एट्रिब्यूशन और हाइब्रिड कोड पहचान को प्रतिस्पर्धी रूप से संबोधित करने के लिए कोड-विशिष्ट लार्ज लैंग्वेज मॉडल्स को फाइन-ट्यून करता है, हालांकि शीर्ष सिस्टमों की तुलना में महत्वपूर्ण प्रदर्शन अंतराल बने हुए हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं: यह कोड किसने लिखा है? क्या इसे एक मानव प्रोग्रामर ने लिखा था, या इसे एक आर्टिफिशियल इंटेलिजेंस (AI) द्वारा बनाया गया था?
अतीत में, अंतर करना आसान था। लेकिन आज, AI मॉडल कोड लिखने में इतने अच्छे हो गए हैं कि वे लगभग एक इंसान की तरह लग सकते हैं। इस चुनौती से निपटने के लिए, SemEval-2026 नामक एक वैश्विक प्रतियोगिता ने शोधकर्ताओं के लिए विशेष रूप से "AI डिटेक्टर" बनाने के लिए एक चुनौती (टास्क 13) बनाई।
स्लोवाकिया और चेक गणराज्य की एक टीम ने, अपने सिस्टम को "mcdok" नाम दिया, प्रतियोगिता में भाग लिया। यहाँ उन्होंने इसे कैसे किया, इसका सरल विवरण दिया गया है।
तीन चुनौतियाँ (सबटास्क)
प्रतियोगिता केवल एक बड़ा परीक्षण नहीं थी; इसे कठिनाई के तीन अलग-अलग स्तरों में विभाजित किया गया था, जैसे वीडियो गेम के स्तर होते हैं:
स्तर 1 (सबटास्क A): "क्या यह AI है?" का परीक्षण।
- लक्ष्य: कोड के एक अंश को देखें और कहें, "हाँ, यह AI है" या "नहीं, यह मानव है।"
- उपमा: कल्पना कीजिए कि एक शिक्षक निबंधों को ग्रेड दे रहा है। उन्हें बस यह पहचानना है कि निबंध छात्र द्वारा लिखा गया है या किसी रोबोट से कॉपी किया गया है।
- भाषाएँ: कोड तीन भाषाओं में आया था: C++, Python, और Java।
स्तर 2 (सबटास्क B): "वह रोबोट कौन है?" का परीक्षण।
- लक्ष्य: यदि कोड AI द्वारा बनाया गया है, तो AI का कौन सा विशिष्ट परिवार इसे बनाता है? यहाँ 10 अलग-अलग AI परिवार (जैसे "OpenAI," "Google," "Meta") और "मानव" श्रेणी शामिल थी।
- उपमा: यह एक फॉरेंसिक विशेषज्ञ की तरह है जो एक फिंगरप्रिंट को देखकर कहता है, "यह सिर्फ एक रोबोट नहीं था; यह एक विशिष्ट रोबोट था जिसका नाम 'Qwen' या 'Gemma' है।"
स्तर 3 (सबटास्क C): "चालाकी भरा मिश्रण" का परीक्षण।
- लक्ष्य: चार प्रकारों के बीच अंतर करना: मानव, शुद्ध AI, हाइब्रिड (एक इंसान ने शुरू किया, AI ने पूरा किया), और एडवर्सरियल (AI जो इंसान होने का ढोंग करके डिटेक्टर को धोखा देने की कोशिश कर रहा है)।
- उपमा: यह सबसे कठिन स्तर है। यह एक शेफ की तरह है जो सूप का स्वाद चखने की कोशिश कर रहा है और पता लगाने की कोशिश कर रहा है कि: "क्या इसे इंसान ने बनाया है? क्या इसे रोबोट ने बनाया है? क्या उन्होंने इसे मिलकर बनाया है? या रोबोट ने मानव व्यंजन की तरह दिखने के लिए अपना स्वाद छिपाने की कोशिश की है?"
mcdok ने इसे कैसे हल किया
टीम ने शून्य से कोई नया सुपर-कंप्यूटर नहीं बनाया। इसके बजाय, उन्होंने AI टेक्स्ट का पता लगाने के लिए बनाए गए एक मौजूदा टूल (जिसे mdok कहा जाता है) को लिया और उसे एक "कोड मेकओवर" दिया।
- मेकओवर: उन्होंने महसूस किया कि एक मॉडल जो उपन्यास पढ़ने के लिए प्रशिक्षित है, वह शायद Python या C++ को नहीं समझ पाएगा। इसलिए, उन्होंने अपने सिस्टम के "दिमाग" को कोड को समझने के लिए विशेष रूप से डिज़ाइन किए गए मॉडलों (जैसे Gemma, CodeGemma, और Qwen) के साथ बदल दिया।
- प्रशिक्षण: उन्होंने इन नए दिमागों को फाइन-ट्यूनिंग (Fine-tuning) नामक तकनीक का उपयोग करके सिखाया। इसे एक सामान्य ज्ञान विशेषज्ञ को लेने और फिर उसे विशेष रूप से "AI कोड को कैसे पहचानें" पर क्रैश कोर्स देने के रूप में सोचें।
- रणनीति: उन्होंने अलग-अलग डिटेक्टरों की एक जटिल टीम (एक "एन्सेम्बल") का उपयोग नहीं किया। उन्होंने इसे सरल रखा: प्रत्येक कार्य के लिए एक मजबूत दिमाग।
परिणाम
टीम बहुत अच्छा प्रदर्शन करती रही, लेकिन वे पूर्ण नहीं थे।
- स्तर 1: वे AI कोड को पहचानने में काफी अच्छे थे, खासकर जब उन्होंने अपनी "कॉन्फिडेंस सेटिंग्स" को समायोजित किया। दिलचस्प बात यह है कि एक सामान्य-उद्देश्य वाला मॉडल (Gemma-3) विशेष रूप से कोड वाले मॉडलों की तुलना में बेहतर काम कर रहा था!
- स्तर 2: यह कठिन था। यह पहचानना कि किस विशिष्ट AI परिवार ने कोड लिखा था, मुश्किल था। उनका सिस्टम रैंडम अनुमान लगाने से बेहतर था, लेकिन कभी-कभी एक AI परिवार को दूसरे के रूप में भ्रमित कर देता था।
- स्तर 3: उन्होंने यहाँ आश्चर्यजनक रूप से अच्छा प्रदर्शन किया और सभी प्रतिभागियों में शीर्ष 20% में स्थान बनाया। वे शुद्ध AI और "हाइब्रिड" कोड के बीच अंतर करने में सक्षम थे, हालांकि वे कभी-कभी "मशीन" और "हाइब्रिड" के बीच भ्रमित हो जाते थे (जो कि स्वाभाविक है, क्योंकि वे बहुत समान हैं)।
मुख्य निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि टेक्स्ट के लिए बनाए गए AI डिटेक्टरों को सफलतापूर्वक कोड के लिए अनुकूलित किया जा सकता है, लेकिन आपको सावधान रहना होगा। आप केवल किसी भी मॉडल का उपयोग नहीं कर सकते; आपको एक ऐसे मॉडल की आवश्यकता है जो प्रोग्रामिंग लॉजिक को समझता हो।
हालाँकि, "मार्जिन" (विजेताओं और बाकी लोगों के बीच का अंतर) अभी भी महत्वपूर्ण था। टीम स्वीकार करती है कि जबकि उनका सिस्टम प्रतिस्पर्धी है, अभी भी सुधार की गुंजाइश है। AI लेखकों और AI डिटेक्टरों के बीच का "चूहे-बिल्ली का खेल" अभी खत्म नहीं हुआ है।
संक्षेप में: mcdok टीम ने एक विशेष "कोड डिटेक्टिव" बनाया है जो AI छद्मवेशियों को पकड़ने में बेहतर होता जा रहा है, लेकिन छद्मवेशी भी स्मार्ट होते जा रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।