Distinguishing Artificial from Authentic: Evaluating LLMs for Detecting LLM-Generated Content
यह शोध पत्र शैक्षिक कार्यों में अपनी स्वयं की उत्पन्न सामग्री का पता लगाने की लार्ज लैंग्वेज मॉडल्स (LLMs) की क्षमता का मूल्यांकन करता है, जिसमें यह पाया गया है कि जबकि प्रोग्रामिंग और लंबे चिंतनशील लेखन के लिए पहचान प्रभावी है, यह लघु-उत्तर वाले प्रश्नों के लिए अविश्वसनीय बनी हुई है और प्रॉम्प्ट विविधताओं के प्रति अत्यधिक संवेदनशील है, जो एआई-जनित छात्र कार्य की पहचान करने के लिए स्टैंडअलोन टूल के रूप में एलएलएम (LLMs) का उपयोग करने में सावधानी बरतने का सुझाव देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक गैलरी में नकली पेंटिंग को पकड़ने की कोशिश कर रहे एक जासूस हैं। आपके पास चश्मे का एक विशेष जोड़ा है जो दावा करता है कि वह तुरंत बता सकता है कि कोई उत्कृष्ट कृति (मास्टरपीस) किसी इंसान के हाथ से बनाई गई है या किसी रोबोट द्वारा। यह लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया है। इन मॉडल्स को ऐसे सुपर-स्मार्ट रोबोट के रूप में समझें जिन्होंने इंटरनेट पर लिखी गई लगभग हर चीज़ पढ़ ली है। वे निबंध लिख सकते हैं, गणित की समस्याओं को हल कर सकते हैं, और यहाँ तक कि कंप्यूटर कोड भी लिख सकते हैं जो बिल्कुल ऐसा दिखता है जैसे किसी मानव छात्र ने लिखा हो। लेकिन पेचीदा बात यह है कि जैसे-जैसे ये रोबोट बेहतर होते जाते हैं, इनके काम को असली मानव कार्य से अलग करना कठिन होता जाता है। यह उन स्कूलों और शिक्षकों के लिए एक बड़ी समस्या पैदा करता है जिन्हें यह जानने की आवश्यकता होती है कि क्या किसी छात्र ने वास्तव में अपना होमवर्क किया है या बस एक रोबोट से इसे करवा लिया है। वैज्ञानिक इन "रोबोट निबंधों" को पकड़ने का तरीका खोजने की दौड़ में लगे हैं, और सबसे दिलचस्प विचारों में से एक यह है कि खुद रोबोटों से पूछना: "हे, क्या यह तुमने लिखा है?" यह एक जालसाज से उस नकली पेंटिंग को देखने के लिए कहने जैसा है और यह स्वीकार करने के लिए कहना कि, "मैंने इसे बनाया है।"
यह शोध पत्र एक शोध टीम की एक रिपोर्ट है जिन्होंने एक वास्तविक कक्षा सेटिंग में इस "रोबोट से पूछने" वाले विचार का परीक्षण करने का निर्णय लिया। वे देखना चाहते थे कि क्या एक AI एक जासूस के रूप में अपने ही काम को पहचानने में सक्षम हो सकता है। उन्होंने एक विश्वविद्यालय के प्रोग्रामिंग कोर्स का उपयोग करके एक डिजिटल प्रयोग सेट किया जहाँ छात्रों को चार अलग-अलग प्रकार के कार्य करने थे: एक नई भाषा सीखने के बारे में एक लंबा प्रतिबिंब (रिफ्लेक्शन) लिखना, कोड के बारे में एक संक्षिप्त एक-वाक्य का प्रश्न उत्तर देना, और दो अलग-अलग कोडिंग पहेलियों को हल करना। शोधकर्ताओं ने एक AI को इन सभी कार्यों के लिए नकली उत्तर उत्पन्न करने के लिए कहा, यह कोशिश करते हुए कि वे ऐसे दिखें जैसे वे किसी छात्र द्वारा लिखे गए हों (कुछ में टाइपिंग की गलतियाँ थीं, कुछ में "शुरुआती" स्तर की गलतियाँ थीं)। अंत में, उन्होंने दूसरे AI को इन सभी उत्तरों—वास्तविक छात्र उत्तरों और नकली AI उत्तरों दोनों—को देखने और यह अनुमान लगाने के लिए कहा कि कौन सा किसका था।
परिणाम किसी रोलरकोस्टर राइड की तरह थे। शोधकर्ताओं ने पाया कि AI जासूस कुछ क्षेत्रों में अपने काम में बहुत अच्छा था लेकिन अन्य क्षेत्रों में पूरी तरह से भ्रमित था। जब कार्य कोड लिखना था, तो AI एक तेज़ नज़र रखने वाला जासूस था। वह रोबोट के कोड और मानव के कोड के बीच आसानी से अंतर कर सकता था, मुख्य रूप से इसलिए क्योंकि रोबोट का कोड लंबा और अधिक व्यवस्थित संरचना वाला होता था, जैसे कि एक रोबोट जो कभी टाइपिंग की गलती नहीं करता। इसी तरह, जब छात्रों ने लंबे, चिंतनशील निबंध (कई पैराग्राफ लंबे) लिखे, तो AI जासूस नकली निबंधों को पहचान सका क्योंकि रोबोट का लेखन बहुत अधिक पॉलिश किया हुआ और शब्दबहुल था, जैसे कि एक भाषण जो बहुत अधिक रिहर्सल किया हुआ लगता है।
हालाँकि, AI जासूस छोटे उत्तरों के मामले में एक दीवार से टकरा गया। जब कार्य कोड के बारे में एक वाक्य लिखने का था कि वह क्यों आसानी से पढ़ा जा सकता है, तो AI ने इसे उल्टा कर दिया। उसने वास्तव में वास्तविक मानव छात्रों के छोटे उत्तरों को यह मान लिया कि उन्हें रोबोट द्वारा लिखा गया होगा! शोधकर्ताओं का सुझाव है कि ऐसा इसलिए हुआ क्योंकि रोबोट के छोटे उत्तर अक्सर जानबूझकर "मानवीय" दिखने के लिए बनाए गए थे, जिसमें टाइपिंग की गलतियाँ या अनौपचारिक भाषा जोड़ी गई थी, जिसने अनजाने में उन्हें डिटेक्टर की नज़र में कम संदिग्ध बना दिया। वहीं दूसरी ओर, वास्तविक छात्रों के छोटे उत्तर कभी-कभी इतने स्पष्ट और सीधे थे कि डिटेक्टर ने गलती से सोचा, "यह बहुत सटीक है कि यह मानव नहीं हो सकता; यह एक रोबोट ही होगा!"
अध्ययन ने यह भी पता लगाया कि रोबोट जो "पोशाक" पहनता था वह बहुत मायने रखता था। यदि रोबोट को एक छात्र की तरह व्यवहार करने और टाइपिंग की गलतियाँ या बोलचाल की भाषा जोड़ने के लिए कहा गया, तो लेखन कार्यों में उसे पकड़ना बहुत कठिन हो गया। लेकिन कोडिंग कार्यों में, भले ही रोबोट ने एक अनाड़ी शुरुआती स्तर का प्रदर्शन करने के लिए बग्स (गलतियाँ) जोड़ने की कोशिश की, फिर भी उसे पकड़ना काफी आसान था। शोधकर्ता निष्कर्ष निकालते हैं कि जबकि एक AI को अन्य AI को पकड़ने के लिए कहना लंबे निबंधों या कोडिंग के लिए काम कर सकता है, यह कोई जादुई समाधान (मैजिक बुलेट) नहीं है। यह छोटे उत्तरों के लिए बहुत अविश्वसनीय है, और एक शिक्षक को किसी छात्र पर धोखाधड़ी का आरोप लगाने के लिए कभी भी अकेले इस पर भरोसा नहीं करना चाहिए। यह एक ऐसा उपकरण है जो घर के कुछ कमरों में काम करता है लेकिन दूसरे कमरों में बुरी तरह विफल हो जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।