Black-Box Detection of LLM-Generated Text Using Generalized Jensen-Shannon Divergence
यह शोध पत्र SurpMark प्रस्तुत करता है, जो एक सुदृढ़ ब्लैक-बॉक्स डिटेक्टर है जो LLM-जनित टेक्स्ट के लिए है और जो स्रोत मॉडल तक पहुंच की आवश्यकता के बिना मानव और मशीन लेखन के बीच प्रभावी ढंग से अंतर करने के लिए टोकन सरप्राइज़ल डायनेमिक्स (token surprisal dynamics) और एक सामान्यीकृत जेन्सेन-शैनन डाइवर्जेंस (Jensen-Shannon divergence) मीट्रिक का लाभ उठाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो यह पता लगाने की कोशिश कर रहे हैं कि कोई कहानी इंसान ने लिखी है या रोबोट ने। अतीत में, जासूस वर्तनी की गलतियों या अजीब व्याकरण जैसे स्पष्ट सुरागों की तलाश करते थे। लेकिन आज के रोबोट (लार्ज लैंग्वेज मॉडल्स, या LLMs) लिखने में इतने कुशल हैं कि वे शायद ही कभी ऐसी गलतियाँ करते हैं। वे लगभग इंसानों की तरह ही सुनाई देते हैं।
यह शोध पत्र SurpMark नामक एक नया जासूसी उपकरण पेश करता है। यह इस बात पर ध्यान देने के बजाय कि कौन से शब्दों का उपयोग किया गया है, इस पर ध्यान देता है कि लेखक टाइप करते समय कैसे सोचता है।
यह कैसे काम करता है, इसके सरल उपमाओं का उपयोग करते हुए यहाँ दिया गया है:
1. "सरप्राइज मीटर" (आश्चर्य का मीटर)
कल्प_ना कीजिए कि आप एक कहानी पढ़ रहे हैं।
- मानव लेखक अक्सर अप्रत्याशित मोड़ लेते हैं। वे कुछ आश्चर्यजनक कह सकते हैं, और फिर अगला वाक्य थोड़ा अराजक महसूस होता है या एक नए विचार की ओर कूद जाता है।
- रोबोट अनुमान लगाने योग्य (predictable) होने के लिए प्रशिक्षित होते हैं। जब एक रोबोट लिखता है, तो वह आमतौर पर "सबसे सुरक्षित" अगले शब्द को चुनता है। यदि वह कोई आश्चर्यजनक शब्द चुनता भी है (शायद रचनात्मक होने के लिए), तो वह पटरी पर बने रहने के लिए तुरंत वापस बहुत अनुमान लगाने योग्य बन जाता है।
SurpMark एक "सरप्राइज मीटर" की तरह काम करता है। यह मापता है कि एक भाषा मॉडल पाठ के प्रत्येक शब्द से कितना "आश्चर्यचकित" होगा।
- यदि पाठ मानव-लिखित है, तो सरप्राइज मीटर एक जंगली, अनियमित पैटर्न में ऊपर-नीचे उछलता है।
- यदि पाठ एक रोबोट का है, तो मीटर का एक विशिष्ट लय (rhythm) होता है: एक बड़ा उछाल (आश्चर्य) और उसके तुरंत बाद एक शांत, अनुमान लगाने योग्य गिरावट।
2. मीटर को मानचित्र (Map) में बदलना
यह शोध पत्र इन "आश्चर्य" के नंबरों को सरल श्रेणियों में बदल देता है, जैसे ट्रैफिक लाइट:
- 🟢 हरा: बहुत अनुमान लगाने योग्य (आश्चर्यजनक नहीं)।
- 🟡 पीला: थोड़ा आश्चर्यजनक।
- 🔴 लाल: बहुत आश्चर्यजनक।
केवल कच्चे नंबरों को देखने के बजाय, SurpMark रंगों के अनुक्रम (sequence) को देखता है। यह पूछता है: "पाठ कितनी बार लाल से हरे रंग में जाता है? कितनी बार हरा से पीले रंग में जाता है?"
3. "स्टेट ट्रांज़िशन" मैप (अवस्था परिवर्तन मानचित्र)
इसे एक डांस फ्लोर की तरह समझें।
- मानव डांसर एक धीमे कदम से एक तेज़ स्पिन की ओर, फिर एक स्लाइड की ओर, बहुत ही अनूठे और अप्रत्याशित तरीके से कूद सकते हैं।
- रोबोट डांसर की एक विशिष्ट आदत होती है। यदि वे एक जंगली स्पिन (लाल) करते हैं, तो वे लगभग हमेशा तुरंत एक धीमे, स्थिर कदम (हरा) पर वापस आ जाते हैं। उनके पास एक "रिकवरी" पैटर्न होता है।
SurpMark इन डांस मूव्स (ट्रांज़िशन) का एक नक्शा बनाता है। यह हजारों उदाहरणों के आधार पर, जिन्हें इसने पहले से ही अध्ययन किया था, एक "ह्यूमन डांस मैप" और एक "रोबोट डांस मैप" बनाता है।
4. अंतिम परीक्षण: "गैप" (अंतराल)
जब एक नया पाठ आता है, तो SurpMark उसके डांस मूव्स को रिकॉर्ड करता है और उनकी तुलना दोनों मानचित्रों से करता है।
- यह नए पाठ और मानव मानचित्र के बीच की दूरी की गणना करता है।
- यह नए पाठ और रोबट मानचित्र के बीच की दूरी की गणना करता है।
- यह एक में से दूसरे को घटा देता है।
यदि पाठ के डांस मूव्स रोबोट मैप (विशेष रूप से उस विशिष्ट "स्पिन-फिर-स्थिर" रिकवरी पैटर्न) के अधिक समान हैं, तो डिटेक्टर इसे मशीन-जनित घोषित कर देता है। यदि यह अराजक मानव मानचित्र के अधिक समान दिखता है, तो इसे मानव के रूप में चिह्नित किया जाता है।
यह क्यों विशेष है?
यह शोध पत्र तीन मुख्य लाभों पर प्रकाश डालता है:
- इसे रोबोट का नाम जानने की आवश्यकता नहीं है: कई डिटेक्टरों को ठीक से काम करने के लिए यह जानने की आवश्यकता होती है कि किस रोबोट ने पाठ लिखा है। SurpMark एक "ब्लैक-बॉक्स" डिटेक्टर है। यह तब भी काम करता है जब पाठ किसी ऐसे गुप्त, शक्तिशाली रोबोट द्वारा लिखा गया हो जिसे इसने पहले कभी नहीं देखा है। यह केवल विशिष्ट मॉडल को नहीं, बल्कि सोचने की शैली को देखता है।
- यह तेज़ और सस्ता है: कुछ अन्य डिटेक्टर पाठ को फिर से लिखने या नए संस्करण बनाने का प्रयास करते हैं ताकि यह देखा जा सके कि इसमें क्या बदलाव आता है। यह किसी संदिग्ध को यह देखने के लिए पांच अलग-अलग कहानियाँ लिखने के लिए कहने जैसा है कि क्या वह घबराता है। इसमें बहुत समय और कंप्यूटर पावर लगता है। SurpMArk बस एक बार पाठ को पढ़ लेता है, जैसे उंगलियों के निशान पर एक त्वरित नज़र।
- यह "उन्नत" रोबोटों को पकड़ता है: शोध पत्र ने पाया कि बहुत स्मार्ट, महंगे रोबोटों के लिए, "सरप्राइज" का स्तर लगभग इंसानों जैसा ही दिखता है। हालाँकि, आश्चर्यों से उबरने का पैटर्न (डांस मूव्स) अभी भी अलग होता है। SurpMark उस सूक्ष्म लय को पकड़ लेता है जिसे अन्य डिटेक्टर मिस कर देते हैं।
निष्कर्ष (The Bottom Line)
SurpMark लेखन में आश्चर्य की लय (rhythm of surprise) का विश्लेषण करके AI टेक्स्ट का पता लगाने वाला एक उपकरण है। यह विशिष्ट शब्दों की परवाह नहीं करता; यह लिखने के "दिल की धड़कन" की परवाह करता है। यदि दिल की धड़कन में मशीनों की विशिष्ट "झटका-और-रिकवरी" वाली लय है, तो यह जानता है कि यह AI है, भले ही रोबोट इंसान की तरह दिखने की पूरी कोशिश कर रहा हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।