Proposal and study of statistical features for string similarity computation and classification
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो यह पता लगाने की कोशिश कर रहे हैं कि दो लेखन के अंश वास्तव में एक ही कहानी हैं, जिन्हें बस अलग तरह से लिखा गया है, या वे पूरी तरह से असंबंधित हैं। शायद आप यह जाँच रहे हैं कि किसी छात्र ने विकिपीडिया का लेख कॉपी किया है, या किसी पुरानी किताब के स्कैन किए गए दस्तावेज़ का डिजिटल टेक्स्ट से मिलान हो रहा है।
यह शोध पत्र कंप्यूटरों के लिए इस रहस्य को सुलझाने का एक नया तरीका पेश करता है। केवल अक्षरों के मिलान की गिनती करने के बजाय (जैसे कि एक साधारण स्पेल-चेकर), लेखक इमेज प्रोसेसिंग (छवि प्रसंस्करण) की दुनिया से उधार लिए गए उपकरणों का उपयोग करके टेक्स्ट के "फिंगरप्रिंट" को देखने का सुझाव देते हैं।
यहाँ उनके दृष्टिकोण का विवरण दिया गया है, जिसमें सरल उपमाओं का उपयोग किया गया है:
1. पुराना तरीका बनाम नया तरीका
पुराना तरीका (द "वर्ड काउंट" डिटेक्टिव):
पारंपरिक रूप से, कंप्यूटर अक्षरों के सबसे लंबे मिलान वाले अनुक्रम (जैसे कि सबसे लंबा मिलान वाला वाक्य खोजना) को देखकर या एक शब्द को दूसरे में बदलने के लिए कितने बदलावों (अक्षर जोड़ने, हटाने या बदलने) की आवश्यकता होती है, इसकी गणना करके स्ट्रिंग्स की तुलना करते हैं।
- समस्या: ये विधियाँ किसी व्यक्ति की पहचान केवल उसकी लंबाई देखकर करने जैसी हैं। यदि दो लोग एक ही लंबाई के हैं लेकिन बाकी सब कुछ अलग है, तो आप भ्रमित हो सकते हैं। साथ ही, यदि टेक्स्ट को इधर-उधर कर दिया गया हो या भाषा अलग हो, तो ये विधियाँ अक्सर मात खा जाती हैं।
नया तरीका (द "टेक्सचर" डिटेक्टिव):
लेखक टेक्स्ट को एक इमेज (छवि) की तरह मानने का प्रस्ताव देते हैं।
- को-ऑकरेंस मैट्रिक्स (COM): कल्पना कीजिए कि आपके पास एक ग्रिड है। आप टेक्स्ट को देखते हैं और पूछते हैं, "अक्षर 'A' कितनी बार अक्षर 'B' के ठीक बगल में आता है?" आप इसे एक ग्रिड पर मैप करते हैं। यह एक पिक्सेलेटेड फोटो को देखने और यह गिनने जैसा है कि एक लाल पिक्सेल कितनी बार नीले पिक्सेल के बगल में स्थित है। यह कंप्यूटर को टेक्स्ट के व्यक्तिगत अक्षरों के बजाय उसके स्ट्रक्चर और पैटर्न को देखने में मदद करता है।
- रन-लेंथ मैट्रिक्स (RLM): यह एक बारकोड या रंगीन ब्लॉकों की एक पंक्ति को देखने जैसा है। यदि आपके पास "aaabbb" जैसा टेक्स्ट है, तो कंप्यूटर तीन 'a' का एक "रन" और तीन 'b' का एक "रन" देखता है। यह इन ब्लॉकों की गिनती करता है। यदि दो टेक्स्ट के "ब्लॉक पैटर्न" समान हैं (भले ही ब्लॉकों के भीतर के अक्षर थोड़े अलग हों), तो कंप्यूटर जानता है कि वे संभवतः संबंधित हैं।
2. यह विशेष क्यों है
लेखक इस बात पर जोर देते हैं कि ये उपकरण लैंग्वेज-अग्नोस्टिक (भाषा-निरपेक्ष) हैं।
- उपमा: अधिकांश समानता उपकरण ऐसे डिक्शनरी की तरह हैं जो केवल अंग्रेजी बोलती है। यदि आप एक फ्रांसीसी वाक्य की तुलना स्पेनिश से करने की कोशिश करते हैं, तो डिक्शनरी विफल हो जाती है।
- समाधान: COM और RLM विधियाँ एक कैमरे की तरह हैं। कैमरा इस बात की परवाह नहीं करता कि वस्तु एक बिल्ली है, कुत्ता है या कार; वह केवल आकृतियों और पैटर्न को देखता है। इसी तरह, ये नई विशेषताएं इस बात की परवाह नहीं करतीं कि टेक्स्ट अंग्रेजी है, पुर्तगाली है या कंप्यूटर कोड है। वे केवल पात्रों के सांख्यिकीय "टेक्सचर" (बनावट) को देखती हैं।
3. प्रयोग (द "टेस्ट ड्राइव")
शोधकर्ताओं ने अपने नए जासूसी उपकरणों को दो तरीकों से परखा:
टेस्ट A: सिंथेटिक लैब (द "नकली" टेक्स्ट)
उन्होंने रैंडम टेक्स्ट स्ट्रिंग्स बनाने के लिए एक कंप्यूटर प्रोग्राम बनाया और फिर विभिन्न स्तरों के साहित्यिक चोरी (plagiarism) या त्रुटि का अनुकरण करने के लिए उन्हें जानबूझकर "स्कैम्बल" (अव्यवस्थित) किया।
- परिणाम: जब टेक्स्ट केवल थोड़ा सा स्कैम्बल किया गया था, तो पुराने तरीके (जैसे मिलान वाले अक्षरों की गिनती) ने अच्छा काम किया। लेकिन जैसे-जैसे टेक्स्ट अधिक स्कैम्बल और रैंडम होता गया, पुराने तरीके विफल हो गए। नए रन-लेंथ (RLM) और को-ऑकरेंस (COM) तरीकों ने अपना धैर्य बनाए रखा और समानताओं को बहुत बेहतर तरीके से पहचाना।
- रूपक: यदि आप किताब का एक पन्ना फाड़ देते हैं और शब्दों को इधर-उधर कर देते हैं, तो एक साधारण लेटर-काउंटर खो जाता है। लेकिन एक "टेक्चर" डिटेक्टर अभी भी देख सकता है कि कागज का "ग्रेन" (दानेदार बनावट) वही है।
टेस्ट B: वास्तविक दुनिया (द "प्लेजरिज्म" केस)
उन्होंने अपने सिस्टम का परीक्षण छात्रों के उत्तरों और विकिपीडिया लेखों के वास्तविक डेटासेट पर किया। लक्ष्य चार स्तरों का पता लगाना था:
- नियर कॉपी (लगभग नकल): बस पेस्ट किया गया टेक्स्ट।
- लाइट रिवीज़न (हल्का संशोधन): पर्यायवाची शब्द बदले गए, व्याकरण में बदलाव किया गया।
- हैवी रिवीज़न (भारी संशोधन): वाक्यों को पूरी तरह से पुनर्गठित किया गया।
- नॉन-प्लेजरिज्म (साहित्यिक चोरी नहीं): शुरुआत से लिखा गया।
- परिणाम: उनके नए तरीके ने 84.21% सटीकता प्राप्त की। इसने क्षेत्र के पिछले सर्वश्रेष्ठ परिणामों (जो लगभग 70% थे) को पीछे छोड़ दिया।
- विजेता: रन-लेंथ मैट्रिक्स (RLM) फीचर्स मुख्य आकर्षण रहे, जिससे साबित हुआ कि अक्षरों के "रन" को देखना साहित्यिक चोरी को पकड़ने का सबसे शक्तिशाली तरीका है, भले ही टेक्स्ट को भारी रूप से फिर से लिखा गया हो।
4. निष्कर्ष
यह शोध पत्र निष्कर्ष निकालता है कि जबकि पारंपरिक तरीके बहुत समान टेक्स्ट के लिए ठीक हैं, वे चीज़ों के अस्त-व्यस्त होने पर संघर्ष करते हैं। नए सांख्यिकीय फीचर्स (COM और RLM), जो इमेज विश्लेषण से लिए गए हैं, बहुत अधिक मजबूत हैं। वे अन्य किसी भी परीक्षित चीज़ की तुलना में लंबे टेक्स्ट और अधिक अराजक परिवर्तनों को बेहतर ढंग से संभाल सकते हैं।
संक्षेप में: लेखकों ने टेक्स्ट के लिए एक नया "टेक्चर स्कैनर" बनाया है। केवल शब्दों को पढ़ने के बजाय, यह इस पैटर्न का विश्लेषण करता है कि अक्षर एक-दूसरे के बगल में कैसे बैठते हैं और वे कैसे दोहराए जाते हैं। यह कंप्यूटर को कॉपी किए गए या समान टेक्स्ट को बहुत अधिक सटीकता से पहचानने की अनुमति देता है, भले ही टेक्स्ट को भारी रूप से संपादित किया गया हो या वह ऐसी भाषा में हो जिसे कंप्यूटर "समझता" नहीं है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।