FMI_SU_Yotkova_Kastreva at SemEval-2026 Task 13: Lightweight Detection of LLM-Generated Code via Stylometric Signals
यह शोध पत्र SemEval-2026 टास्क 13 सबटास्क A में LLM-जनरेटेड कोड का पता लगाने के लिए एक कम्प्यूटेशनल रूप से कुशल, CPU-आधारित दृष्टिकोण प्रस्तुत करता है, जो बड़े प्रीट्रेंड मॉडल्स पर निर्भर रहे बिना लगभग तात्कालिक इन्फरेंस प्राप्त करने के लिए लेंथ-रोबस्ट रेशियो-बेस्ड फीचर्स, पार्सिंग टूल्स और एक शैलो डिसीजन ट्री एवं ह्यूरिस्टिक रूल्स वाले कोड-बनाम-टेक्स्ट क्लासिफायर को जोड़ता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक विशाल डिजिटल लाइब्रेरी है जहाँ किताबें दो प्रकार के लेखकों द्वारा लिखी जाती हैं: मानव पुस्तकालयाध्यक्ष (Human Librarians) और रोबोट लिपिक (Robot Scribes)। रोबोट लिपिक अविश्वसनीय रूप से तेज़ होते हैं और कई अलग-अलग भाषाओं में लिख सकते हैं, लेकिन उनकी एक आदत होती है कि वे पीछे कुछ विशिष्ट "संकेत" (tells) छोड़ देते हैं जो उनके यांत्रिक स्वभाव को उजागर कर देते हैं।
यह शोध पत्र बताता है कि कैसे शोधकर्ताओं की एक टीम ने इस लाइब्रेरी में रोबोट लिपिकों को पकड़ने के लिए एक हल्का, अत्यंत तेज़ जासूस (lightweight, super-fast detective) बनाया, विशेष रूप से SemEval-2026 नामक प्रतियोगिता के लिए।
यहाँ बताया गया है कि उनका जासूस कैसे काम करता है, जिसे सरल अवधारणाओं में विभाजित किया गया है:
1. समस्या: रोबोटों को पहचानना कठिन क्यों है?
आमतौर पर, किसी नकली चीज़ को खोजने के लिए, आप बड़े, जटिल सुरागों की तलाश करते हैं। लेकिन कंप्यूटर कोड की दुनिया में, रोबोट बहुत चालाकी से काम करते हैं। वे ऐसा कोड लिखते हैं जो सतह पर बिल्कुल सटीक दिखता है।
- "बड़े दिमाग" का जाल (The "Big Brain" Trap): शोधकर्ताओं ने नकली चीज़ों को पकड़ने के लिए विशाल, सुपर-स्मार्ट AI मॉडल (जैसे कि एक विशाल, सर्वज्ञ विश्वकोश) का उपयोग करने की कोशिश की। यह उनके प्रशिक्षण वाले डेटा (जो मुख्य रूप से Python में था) पर बहुत अच्छा काम कर रहा था, लेकिन जब उन्होंने अन्य भाषाओं (जैसे Go, C#, या JavaScript) में किताबें पढ़ने की कोशिश की, तो "बड़ा दिमाग" भ्रमित हो गया। यह एक ऐसे जासूस की तरह था जो केवल अंग्रेजी पढ़ना जानता है और किसी विदेशी देश में रहस्य सुलझाने की कोशिश कर रहा है; वे सुरागों को मिस कर गए क्योंकि वे बहुत अधिक विशिष्ट भाषा पर केंद्रित थे।
2. समाधान: "हल्का जासूस" (The "Lightweight Detective")
एक विशाल, महंगे दिमाग के बजाय, टीम ने एक सरल, तेज़ जासूस बनाया जो उन छोटी, रोज़मर्रा की आदतों को देखता है जिन्हें रोबole दोहराने से खुद को रोक नहीं पाते। वे इन्हें "शैलीगत संकेत" (stylometric signals) कहते हैं।
इसे ऐसे समझें जैसे कि किसी व्यक्ति के लिखने के तरीके के बजाय इस बात से पहचानना कि वह पेन कैसे पकड़ता है।
मुख्य सुराग (The "Tells")
जासूस मुख्य रूप से तीन चीजों की तलाश करता है:
- "बातूनी" टिप्पणी अनुपात (The "Chatty" Comment Ratio): रोबोटों को खुद को समझाने का शौक होता है। वे अक्सर वास्तविक कोड की तुलना में बहुत अधिक टिप्पणियाँ (पाठक के लिए नोट्स) लिखते हैं। जासूस "बातूनी नोट्स" और "वास्तविक कार्य" के बीच के अनुपात (ratio) की गणना करता है। यदि कोई हिस्सा 50% नोट्स और 50% कोड है, तो इसकी संभावना है कि वह एक रोबोट है।
- "क्रिया" की जाँच (The "Verb" Check): रोबोट जो नोट्स लिखते हैं, उनमें वे बहुत ही दोहराव वाले और व्याख्यात्मक तरीके से विशिष्ट क्रिया शब्दों (verbs) का उपयोग करते हैं। जासूस गिनता है कि नोट्स में बनाम कोड में कितने क्रिया शब्द दिखाई देते हैं।
- "टेक्स्ट बनाम कोड" का मिश्रण (The "Text vs. Code" Mix): कभी-कभी, रोबोट गलती से सामान्य बातचीत के पूरे पैराग्राफ (जैसे कि एक चैट संदेश) को सीधे कोड के अंदर पेस्ट कर देते हैं। टीम ने एक छोटे सहायक को लाइन-दर-लाइन स्कैन करने के लिए प्रशिक्षित किया और पूछा, "क्या यह कोड की एक पंक्ति है, या यह सिर्फ एक वाक्य है?" यदि किसी कोड के हिस्से में बहुत अधिक "सिर्फ वाक्य" हैं, तो उसे चिह्नित कर दिया जाता है।
3. विशेष युक्तियाँ (Heuristics)
जासूस कुछ "नियमों" का भी उपयोग करता है जो डेटा के आधार पर उन्होंने देखे थे:
- "भाषा लेबल" की ट्रिक (The "Language Label" Trick): रोबोट अक्सर फॉर्मेटिंग (formatting) में भ्रमित हो जाते हैं। वे अक्सर कोड शुरू होने से ठीक पहले भाषा का नाम (जैसे "python" या "java") एक स्वतंत्र पंक्ति के रूप में लिखते हैं। इंसान शायद ही ऐसा करते हैं। यदि जासूस देखता है कि एक पंक्ति जिसमें सिर्फ "python" लिखा है, अकेली बैठी है, तो यह एक बड़ा रेड फ्लैग (चेतावनी का संकेत) है।
- "ट्रेलिंग एरर" की ट्रिक (The "Trailing Error" Trick): रोबोट कभी-कभी अचानक लिखना बंद कर देते हैं। जासूस कोड के बिल्कुल अंत की जाँच करता है। यदि कोड का अंत किसी सिंटैक्स एरर (जैसे कि वाक्य का बीच में ही कट जाना) के साथ होता है, तो यह संभवतः एक रोबोट है जिसके पास समय या टोकन खत्म हो गए।
4. वे इसे सब एक साथ कैसे जोड़ते हैं
उनका सिस्टम एक विशाल दिमाग पर निर्भर नहीं है। इसके बजाय, यह एक दो-चरणीय प्रक्रिया का उपयोग करता है:
- स्कैनर (The Scanner): यह जल्दी से "भाषा लेबल" और "टेक्स्ट बनाम कोड" के मिश्रण की जाँच करता है। यदि इसे कोई स्पष्ट रोबोट संकेत मिलता है, तो यह तुरंत कहता है, "यह एक रोबोट है!"
- कैलकुलेटर (The Calculator): यदि स्कैनर सुनिश्चित नहीं है, तो वह कोड को एक साधारण गणितीय कैलकुलेटर (डिसीजन ट्री) को सौंप देता है। यह कैलकुलेटर "बातूनी अनुपात" और "क्रिया अनुपात" को तौलता है ताकि अंतिम अनुमान लगाया जा सके।
5. परिणाम
टीम का सिस्टम अत्यधिक कुशल है।
- भारी काम की आवश्यकता नहीं: यह एक मानक कंप्यूटर प्रोसेसर (CPU) पर चलता है और इसे सुपरकंप्यूटर की आवश्यकता नहीं है।
- तत्काल गति: यह लगभग तुरंत उत्तर देता है।
- प्रदर्शन: प्रतियोगिता में, इस सरल, "हल्के" जासूस ने सभी प्रविष्टियों में शीर्ष 15% में स्थान बनाया, और इसने कई ऐसे सिस्टमों को पीछे छोड़ दिया जो बहुत अधिक जटिल और महंगे तकनीकी उपकरणों का उपयोग कर रहे थे।
संक्षेप में: यह शोध पत्र दिखाता है कि AI-जनरेटेड कोड को पहचानने के लिए आपको बहुत जटिल AI की आवश्यकता नहीं है। कभी-कभी, एक सरल जासूस जो बस यह गिनता है कि लेखक ने कितने नोट्स लिए और यह जाँचता है कि क्या उन्होंने गलती से कोड में चैट संदेश पेस्ट कर दिया है, रोबोट को पकड़ने के लिए पर्याप्त होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।