Evaluating the Semantic-to-Geometric Gap in Adversarial Defenses Against Vision-Language Model-Based Plagiarism

कक्षाओं और ऑनलाइन शिक्षण प्लेटफार्मों के शांत कोनों में, एक नए प्रकार की शैक्षणिक चुनौती उभर कर आई है, जो प्रयास की कमी से नहीं, बल्कि तकनीकी क्षमता के उछाल से पैदा हुई है। वर्षों से, शिक्षकों ने छात्रों को निबंध लिखने या शब्द समस्याओं (word problems) को हल करने की कठिन मेहनत से बचने के लिए टेक्स्ट-आधारित आर्टिफिशियल इंटेलिजेंस का उपयोग करते हुए देखा है। अब, इन प्रणालियों का एक अधिक उन्नत रूप, जिसे विजन-लैंग्वेज मॉडल (vision-language models) कहा जाता है, आ गया है। ये डिजिटल मस्तिष्क हैं जो न केवल शब्दों को पढ़ सकते हैं बल्कि छवियों को देख भी सकते हैं। वे एक जटिल आरेख (diagram), रासायनिक समीकरण, या सर्किट बोर्ड की तस्वीर देख सकते हैं और तुरंत उसका समाधान प्रदान कर सकते हैं। इस क्षमता ने शैक्षणिक अखंडता में एक खामी पैदा कर दी है: एक छात्र बस एक समस्या की फोटो खींच सकता है, उसे अपलोड कर सकता है, और बिना सामग्री के साथ जुड़ाव किए या उसके पीछे के तर्क को समझे, उत्तर प्राप्त कर सकता है। यह अभ्यास, जिसमें छात्र को लगभग कोई बौद्धिक प्रयास करने की आवश्यकता नहीं होती, इस बात का प्रतिनिधित्व करता है कि शैक्षणिक बेईमानी कैसे मौलिक रूप से बदल गई है—पाठ को समझने के संघर्ष से बदलकर केवल एक फोटो लेने के सरल कार्य तक।

इसे रोकने के तरीके को समझने के लिए, शोधकर्ताओं क्रिस्टोफर बर्गर, क्रिस्टीना ट्रोटर, जोसेफ कार्लisle और चार्ल्स वॉल्टर ने एक रक्षात्मक रणनीति का परीक्षण करने के लिए एक प्रयास किया जो इन शक्तिशाली मशीनों की सीमाओं पर निर्भर करती है। उनका कार्य इस बात की खोज करता है कि क्या समस्या की छवियों में सरल, दृश्य विकृतियाँ (distortions) जोड़ने से आर्टिफिशियल इंटेलिजेंस को इतना भ्रमित किया जा सकता है कि वह सही उत्तर देने में विफल हो जाए, जबकि छवि अभी भी एक मानव छात्र के लिए हल करने हेतु स्पष्ट बनी रहे। टीम ने एक विशिष्ट प्रकार की शैक्षणिक बेईमानी पर ध्यान केंद्रित किया जिसे वे "तुच्छ साहित्यिक चोरी" (trivial plagiarism) कहते हैं, जहाँ छात्र को समस्या को समझने की आवश्यकता नहीं होती, केवल उसे कैप्चर करने की आवश्यकता होती है। उन्होंने एक महत्वपूर्ण प्रश्न पूछा: यदि एक शिक्षक एक विद्युत परिपथ (electrical circuit) के आरेख या एक लॉजिक पहेली में थोड़ा सा विजुअल नॉइज़, खरोंच या विकृति जोड़ देता है, तो क्या कंप्यूटर भ्रमित हो जाएगा? शोधकर्ता यह देखना चाहते थे कि क्या ये छोटे, मानव-निर्मित दोष एक ढाल के रूप में कार्य कर सकते हैं, जो इस तथ्य का लाभ उठाते हैं कि हालांकि ये मॉडल अविश्वसनीय रूप से स्मार्ट हैं, लेकिन वे दुनिया को ठीक उसी तरह देखने में उतने कुशल नहीं हो सकते जैसे मनुष्य देखते हैं।

शोधकर्ताओं ने इस समस्या के दो अलग-अलग चरणों में दृष्टिकोण अपनाया, जो एक छोटे, व्यावहारिक परीक्षण से एक बड़े पैमाने के, स्वचालित प्रयोग की ओर बढ़ता है। पहले चरण में, उन्होंने प्रारंभिक इलेक्ट्रिकल सर्किट समस्याओं का एक सेट एकत्र किया जिसमें लिखित निर्देश और दृश्य आरेख दोनों शामिल थे। उन्होंने मैन्युअल रूप से इन छवियों पर विभिन्न प्रकार की दृश्य विकृतियाँ लागू कीं। कुछ छवियों को मुड़ा हुआ और खींचा हुआ बनाया गया ताकि वे मुड़े हुए कागज की तरह दिखें; कुछ को यादृच्छिक धूसर धब्बों (gray specks) से ढक दिया गया ताकि वे धूल या सेंसर शोर की नकल कर सकें; कुछ पर लेंस पर खरोंच का अनुकरण करने के लिए यादृच्छिक रेखाएं खींची गईं; और अन्य को इस तरह प्रोसेस किया गया कि वे एक खराब गुणवत्ता वाली फोटोकॉपी की तरह दिखें। फिर उन्होंने इन छवियों को, उनके मूल साफ संस्करणों के साथ, आज के छात्रों के लिए उपलब्ध सबसे लोकप्रिय विजन-लैंग्वेज मॉडलों में से कई में डाला। उन्होंने ध्यान से देखा कि क्या मॉडल अभी भी समस्याओं को सही ढंग से हल करेंगे या क्या विकृतियाँ उन्हें विफल होने के लिए मजबूर करेंगी।

इस प्रारंभिक मैन्युअल परीक्षण के परिणाम उत्साहजनक थे। शोधकर्ताओं ने पाया कि मॉडल हर प्रकार की विकृति के प्रति समान रूप से संवेदनशील नहीं थे। कुछ मॉडल "फोटोकॉपी" प्रभाव से आसानी से भ्रमित हो गए, जो उस विवरण के नुकसान का अनुकरण करता है जो दस्तावेज़ को बार-बार कॉपी करने पर होता है, जबकि अन्य हठपूर्वक सटीक बने रहे। दिलचस्प बात यह है कि कुछ मामलों में, विकृतियों ने वास्तव में मॉडलों को समस्या हल करने में मदद की जब वे पहले विफल हो गए थे, जिसे शोधकर्ताओं ने एक विरोधाभासी सुधार (paradoxical improvement) के रूप में नोट किया। हालाँकि, सामान्य प्रवृत्ति यह थी कि जबकि सबसे उन्नत मॉडल काफी मजबूत थे, वे अभेद्य नहीं थे। विकृतियों ने उन्हें गलतियाँ करने के लिए मजबूर किया, जिससे पता चला कि विजुअल नॉइज़ वास्तव में उनकी छवि को प्रोसेस करने की क्षमता को बाधित कर सकता है।

एक अधिक सटीक और विश्वसनीय तस्वीर प्राप्त करने के लिए, टीम एक पूरी तरह से स्वचालित प्रणाली का उपयोग करके दूसरे चरण में आगे बढ़ी। इस बार, उन्होंने मानव इनपुट या वेब इंटरफेस की अनिश्चित प्रकृति पर भरोसा नहीं किया। इसके बजाय, उन्होंने 80 लॉजिक डायग्राम जनरेट किए, जो दिखाते हैं कि इलेक्ट्रॉनिक घटक एक नेटवर्क में कैसे जुड़े होते हैं, और 30 कार्नॉफ मैप्स (Karnaugh maps) जनरेट किए, जो जटिल तार्किक अभिव्यक्तियों को सरल बनाने के लिए उपयोग किए जाने वाले ग्रिड हैं। इन्हें इसलिए चुना गया क्योंकि इनके लिए मॉडल को कनेक्शन को ट्रेस करने या सटीक निर्देशांक (coordinates) पढ़ने की आवश्यकता होती है। स्वचालित प्रणाली ने इन छवियों पर विकृतियों का एक पूरा सेट लागू किया और मॉडलों को प्रत्येक को तीन बार हल करने के लिए कहा ताकि परिणाम सुसंगत रहें। उन्होंने यह मापा कि मॉडल कितनी बार उत्तर सही पाते हैं, कितनी बार वे तीन प्रयासों में से कम से कम एक बार सही पाते हैं, और कितनी बार वे पूरी तरह से सुसंगत रहते हैं।

स्वचालित परीक्षण ने पुष्टि की कि इन विजन मॉडल्स की ज्यामिति और स्थानिक तर्क (spatial reasoning) के मामले में एक विशिष्ट कमजोरी है। जब शोधकर्ताओं ने मॉडलों का परीक्षण लॉजिक डायग्राम पर किया, जिसमें एक बिंदु से दूसरे बिंदु तक रेखाओं को ट्रेस करना आवश्यक है, तो शीर्ष प्रदर्शन करने वाले मॉडल काफी मजबूत रहे, हालांकि विकृत छवियों के साथ उनकी सटीकता में गिरावट आई। हालाँकि, जब परीक्षण कार्नॉफ मैप्स पर स्विच हुआ, जो निर्देशांकों के एक कठोर ग्रिड पर निर्भर करते हैं, तो मॉडल काफी अधिक संघर्ष करने लगे। परीक्षण किए गए सबसे सक्षम मॉडल ने, जिसने 90 प्रतिशत साफ मैप्स को सही ढंग से हल किया था, विकृत छवियों के साथ अपनी निरंतरता को गिरकर 70 प्रतिशत कर लिया। एक अन्य मॉडल, जो शुरुआत में ही कम शक्तिशाली था, उसका प्रदर्शन और भी तेजी से गिरा। डेटा ने दिखाया कि जबकि मॉडल अक्सर एक रेखा का अनुसरण करने के कार्य को संभाल सकते हैं, वे एक सटीक ग्रिड को पढ़ने में विफल रहे, विशेष रूप से जब वह ग्रिड थोड़ा विकृत या शोर से ढका हुआ था।

शोधकर्ताओं ने यह भी पाया कि विकृति का स्थान मायने रखता है। आश्चर्यजनक रूप से, समस्या के टेक्स्ट निर्देशों में शोर जोड़ना, डायग्राम में शोर जोड़ने की तुलना में मॉडल को भ्रमित करने में अक्सर कम प्रभावी था। कुछ मामलों में, टेक्स्ट को विकृत करने से मॉडल के लैंग्वेज प्रोसेसिंग में एक सुधार तंत्र (correction mechanism) सक्रिय हो गया, जिससे इसे इमेज के साथ टेक्स्ट को संरेखित करने के लिए अधिक मेहनत करने के लिए प्रेरित किया गया, जिससे अनजाने में इसे समस्या हल करने में मदद मिली। इसके विपरीत, "फोटोकॉली" शैली की विकृति, जो एक एकल विकृत छवि में कई छोटी कमियों को जोड़ती है, सभी स्तरों पर त्रुटियां पैदा करने में सबसे प्रभावी साबित हुई। यह सुझाव देता है कि कई छोटी विकृतियों का संचयी प्रभाव एक एकल प्रकार की विकृति की तुलना में मॉडल के तर्क को अधिक नुकसान पहुँचाता है।

इन सफलताओं के बावजूद, अध्ययन निष्कर्ष निकालता है कि यह दृष्टिकोण केवल एक अस्थायी समाधान है। शोधकर्ताओं ने पाया कि अत्यधिक विकृत छवियां भी, जो मनुष्यों के लिए पढ़ना कठिन या असंभव हो सकती हैं, कभी-कभी सबसे उन्नत मॉडलों द्वारा हल की जा सकती हैं। यह इंगित करता है कि मॉडल एक प्रकार का 'सुपर-विज़न' विकसित कर रहे हैं जो विजुअल शोर के पार देख सकता है जो मानव आँख से बेहतर है। यदि शिक्षक केवल छवियों को कठिन बनाने पर निर्भर रहते हैं, तो वे एक निरर्थक चक्र में प्रवेश कर सकते हैं जहाँ उन्हें लगातार छवियों को अधिक विकृत बनाना होगा, जिससे अंततः वे छात्रों के लिए भी अनुपयोगी हो जाएंगी। अध्ययन स्पष्ट रूप से इस विचार के विरुद्ध तर्क देता है कि केवल इनपुट को अस्पष्ट करना शैक्षणिक अखंडता के लिए एक दीर्घकालिक समाधान है।

इस शोध का अंतिम निष्कर्ष आकलन के डिजाइन में बदलाव लाने का आह्वान है। जबकि विजुअल परटर्बेशन (visual perturbations) निकट भविष्य में कम-प्रयास वाली शैक्षणिक बेईमानी को रोकने के लिए एक उपयोगी स्टॉपगैप के रूप में काम कर सकते हैं, वे एक दृढ़ छात्र को शक्तिशाली उपकरणों के साथ हमेशा के लिए नहीं रोक सकते। लेखक सुझाव देते हैं कि वास्तविक समाधान समस्या को मशीन से छिपाने में नहीं है, बल्कि स्वयं मूल्यांकनों को फिर से डिजाइन करने में है ताकि वे उस स्तर की समझ और जुड़ाव की मांग करें जो एक साधारण इमेज अपलोड प्रदान नहीं कर सकता। "तुच्छ साहित्यिक चोरी" के युग ने इस अंतर को उजागर किया है कि ये मॉडल क्या देख सकते हैं और वे वास्तव में क्या समझते हैं, लेकिन इस अंतर को पाटने के लिए शिक्षकों को अपने प्रश्नों की प्रकृति पर पुनर्विचार करने की आवश्यकता होगी, जो स्थिर छवियों से आगे बढ़कर ऐसे प्रारूपों की मांग करते हैं जो वास्तविक मानवीय विचार की आवश्यकता रखते हैं।