UCSC-NLP at SemEval-2026 Task 13: Multi-View Generalization and Diagnostic Analysis of Machine-Generated Code Detection
UCSC-NLP टीम UniXcoder-base के मल्टी-व्यू फाइन-ट्यूनिंग फ्रेमवर्क के माध्यम से मशीन-जेनरेटेड कोड का मजबूत बाइनरी डिटेक्शन प्राप्त करके और यह प्रदर्शित करके कि गंभीर डेटा असंतुलन के कारण मल्टी-क्लास एट्रिब्यूशन में होने वाली कैटास्ट्रोफिक विफलता (catastrophic failure) को दूर करने के लिए क्लास-वेटेड ट्रेनिंग आवश्यक है, SemEval-2026 टास्क 13 को संबोधित करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शिक्षक हैं जो होमवर्क का एक ढेर चेक कर रहे हैं। आपके पास दो मुख्य चुनौतियाँ हैं:
- "यह किसने किया?" टेस्ट: क्या आप बता सकते हैं कि निबंध छात्र ने लिखा है या किसी रोबोट ने?
- "कौन सा रोबोट?" टेस्ट: यदि किसी रोबोट ने वास्तव में इसे लिखा है, तो क्या आप सटीक रूप से बता सकते हैं कि किस रोबोट मॉडल (जैसे, रोबोट A, रोबोट B, रोबोट C) का उपयोग किया गया था?
यह पेपर बताता है कि यूसी सांता क्रूज़ (UC Santa Cruz) की एक टीम ने इन समस्याओं को हल करने के लिए एक सिस्टम बनाया। उन्होंने यह देखने के लिए एक प्रतियोगिता (SemEval-2026 Task 13) में भाग लिया कि उनका सिस्टम AI-जनरेटेड कोड को पहचानने में कितना सक्षम है।
यहाँ उन्होंने इन दोनों चुनौतियों का सामना कैसे किया, इसे सरल भाषा में समझाया गया है:
चुनौती 1: "यह किसने किया?" टेस्ट (बाइनरी डिटेक्शन)
समस्या: टीम ने अपने सिस्टम को पायथन (Python), C++, और जावा (Java) में लिखे गए कोड पर प्रशिक्षित किया। लेकिन जब उन्होंने इसका परीक्षण किया, तो उन्होंने इसे उन भाषाओं में कोड दिया जिन्हें उसने पहले कभी नहीं देखा था (जैसे Go या PHP) और अलग-अलग शैलियों में (जैसे रिसर्च पेपर या प्रोडक्शन सॉफ्टवेयर)। आमतौर पर, AI डिटेक्टर यहाँ विफल हो जाते हैं क्योंकि वे कोड के "वाइब" (vibe) को सीखने के बजाय विशिष्ट शब्दों या भाषाओं को रट लेते हैं।
समाधान: "तीन-लेंस वाला" कैमरा
कोड को केवल एक बार देखने के बजाय, टीम ने अपने सिस्टम को हर कोड को एक साथ तीन अलग-अलग लेंसों से देखने के लिए प्रशिक्षित किया:
- ओरिजिनल लेंस (The Original Lens): कोड को ठीक वैसा ही देखना जैसा वह है।
- "ब्लाइंडफोल्ड" लेंस (The "Blindfold" Lens/Delexicalization): कल्पना कीजिए कि आप एक वाक्य ले रहे हैं और उसमें सभी नाम, स्थान और संख्याओं को बदलकर सामान्य शब्दों जैसे "व्यक्ति", "स्थान" और "संख्या" से बदल रहे हैं। यह सिस्टम को विशिष्ट वेरिएबल नामों (जो भाषा के साथ बदल जाते हैं) को अनदेखा करने और तर्क (logic) की संरचना पर ध्यान केंद्रित करने के लिए मजबूर करता है।
- "मिक्सड" लेंस (The "Mixed" Lens): उन्होंने कोड स्निपेट्स में कुछ साधारण अंग्रेजी टेक्स्ट को बेतरतीब ढंग से मिला दिया। इसने सिस्टम को सिखाया कि वह अव्यवस्थित, वास्तविक दुनिया के कोड को कैसे संभाले जो पूरी तरह से फॉर्मेट नहीं होता।
उपमा: इसे एक सुरक्षा गार्ड की तरह समझें जो बैग की जाँच कर रहा है।
- पुराना तरीका: गार्ड याद कर लेता है कि "लाल सूटकेस = बुरा"। यदि आप नीला सूटकेस लाते हैं, तो वह उसे पहचान नहीं पाता।
- नया तरीका: गार्ड सूटकेस को तीन कोणों से देखता है: बाहर से, अंदर से (ब्रांड लोगो को अनदेखा करते हुए), और एक ऐसे संस्करण से जहाँ उसने कुछ रैंडम चीजें मिला दी हों। यदि बैग की संरचना तीनों दृश्यों में संदिग्ध दिखती है, तो वह उसे फ्लैग (flag) कर देता है।
परिणाम: यह अविश्वसनीय रूप से अच्छा काम कर रहा था। भले ही कोड एक नई भाषा या शैली में था, उनके सिस्टम ने लगभग 84.5% बार सही ढंग से पहचाना कि वह "मानव" है या "AI"।
चुनौती 2: "कौन सा रोबोट?" टेस्ट (मल्टी-क्लास एट्रिब्यूशन)
समस्या: यह बहुत कठिन था। टीम को यह पहचानना था कि किस 10 अलग-अलग AI मॉडल्स ने कोड लिखा है।
- डेटा का असंतुलन (The Data Skew): कल्पना कीजिए कि 500 छात्रों की एक कक्षा है। उनमें से 442 इंसान हैं। बाकी 58 रोबोट हैं, लेकिन वे 10 अलग-अलग रोबोट प्रकारों में विभाजित हैं। कुछ रोबोट प्रकारों में तो केवल 2 छात्र ही हैं।
- जाल (The Trap): यदि आप इस क्लास के लिए एक शिक्षक को प्रशिक्षित करते हैं, तो वह एक बहुत ही आसान ट्रिक सीख जाएगा: "अगर मैं सबके लिए 'इंसान' का अनुमान लगाऊं, तो मैं 88% बार सही हो जाऊंगा!"
- विफलता: जब टीम ने इसे आजमाया, तो उनके सिस्टम ने 88% "सटीकता" (accuracy) स्कोर दिखाया, लेकिन यह एक झूठ था। यह रोबोट्स को पूरी तरह से अनदेखा कर रहा था। यह अल्पसंख्यक रोबोट वर्गों को लगभग 100% बार पहचानने में विफल रहा। यह एक मेटल डिटेक्टर की तरह था जो हर चीज़ के लिए बीप करता है, लेकिन सिक्कों के लिए बीप करने के बजाय सोने को अनदेखा कर देता है।
समाधान: "वेटेड स्कोर" (The "Weighted Score")
इसे ठीक करने के लिए, उन्होंने खेल के नियम बदल दिए। उन्होंने सिस्टम को बताया: "यदि आप 'इंसान' का सही अनुमान लगाते हैं, तो आपको 1 अंक मिलेगा। लेकिन यदि आप एक दुर्लभ रोबोट का सही अनुमान लगाते हैं, तो आपको 200 अंक मिलेंगे।"
इसने सिस्टम को आलसी बनने के बजाय वास्तव में दुर्लभ रोबोट्स को पहचानने के लिए मजबूर किया।
परिणाम:
- पहले: सिस्टम एक "ह्यूमन-गेसर" (Human-guesser) था जिसका स्कोर 0.08 (रोबोट्स को खोजने में बहुत खराब) था।
- बाद में: नए नियमों के साथ, विशिष्ट रोबोट्स को खोजने की उनकी क्षमता 301% बढ़ गई। यह परफेक्ट तो नहीं हुआ, लेकिन इसने आखिरकार अल्पसंख्यक वर्गों को अनदेखा करने के बजाय उन्हें देखना शुरू कर दिया।
उन्होंने क्या सीखा? (क्यों?)
टीम ने अपने सिस्टम के "दिमाग" के अंदर झाँका (t-SNE नामक विज़ुअलाइज़ेशन का उपयोग करके) और कुछ दिलचस्प पाया:
- टास्क 1 (इंसान बनाम AI): "इंसान" का कोड और "AI" का कोड दो अलग-अलग, अलग द्वीप (islands) बना रहे थे। सिस्टम उन्हें आसानी से अलग कर सकता था।
- टास्क 2 (कौन सा AI?): सभी अलग-अलग AI मॉडल्स (OpenAI, Meta, IBM, आदि) एक बड़े, अस्त-व्यस्त ढेर में एक साथ थे, जो मानव कोड के साथ ओवरलैप कर रहे थे।
क्यों?
- साझा आहार (Shared Diet): इन सभी रोबोट्स को एक ही इंटरनेट डेटा (GitHub, StackOverflow) पर प्रशिक्षित किया गया था, इसलिए वे सभी बहुत समान दिखने वाला कोड लिखना सीख गए।
- समान आर्किटेक्चर (Same Architecture): वे सभी समान मस्तिष्क संरचनाओं (ट्रांसफॉर्मर्स) का उपयोग करते हैं, इसलिए उनकी "लिखावट" लगभग एक जैसी है।
- गणित गणित ही है: कोडिंग की समस्या को हल करने के अक्सर कुछ ही सही तरीके होते हैं, इसलिए हर कोई (इंसान या रोबोट) अंततः एक ही समाधान लिखता है।
मुख्य निष्कर्ष (The Bottom Line)
- क्या हम बता सकते हैं कि कोड AI है? हाँ, बहुत अच्छी तरह से, भले ही भाषा बदल जाए, बशर्ते हम सिस्टम को केवल "शब्दों" के बजाय संरचना को देखने के लिए प्रशिक्षित करें।
- क्या हम बता सकते हैं कि किस AI ने लिखा? यह अत्यंत कठिन है। अलग-अलग AI इतने समान हैं, और उनका डेटा इतना असंतुलित है, कि मानक तरीके विफल हो जाते हैं। आपको विशेष "वेटिंग" (weighting) ट्रिक्स का उपयोग करना होगा ताकि सिस्टम दुर्लभ मामलों पर भी ध्यान दे सके।
एक चेतावनी: लेखक नोट करते हैं कि उनका सिस्टम परफेक्ट नहीं है। कभी-कभी यह एक बहुत ही संक्षिप्त (concise) मानव कोडर को AI समझ लेता है, या एक विस्तृत (verbose) AI को इंसान समझ लेता है। इस कारण से, वे कहते हैं कि इस टूल का उपयोग जीवन बदलने वाले निर्णय लेने (जैसे किसी को नौकरी से निकालना या छात्र को फेल करना) के लिए अकेले कभी नहीं किया जाना चाहिए; एक इंसान को हमेशा परिणामों की दोबारा जाँच करनी चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।