A Training-free Method for LLM Text Attribution
यह शोध पत्र एलएलएम-जनित (LLM-generated) पाठ के मूल स्रोत की पहचान करने के लिए एक प्रशिक्षण-मुक्त, ज़ीरो-शॉट सांख्यिकीय ढांचे का प्रस्ताव करता है, जो इसे एक अनुक्रमिक स्टोकेस्टिक प्रक्रिया के रूप में मॉडल करता है, और व्हाइट-बॉक्स एवं ब्लैक-बॉक्स सेटिंग्स के तहत ज्ञात मॉडलों के बीच अंतर करने और अज्ञात मॉडलों का पता लगाने के लिए सैद्धांतिक रूप से गारंटीकृत कम त्रुटि दर प्रदान करता है जो पाठ की लंबाई के साथ तेजी से घटती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं: इस विशिष्ट पाठ (text) को किसने लिखा है?
अतीत में, यदि आपको कोई हस्तलिखित नोट मिलता था, तो आप लेखक का अनुमान लगाने के लिए लिखावट की शैली को देख सकते थे। लेकिन आज, हमारे पास "AI रोबोट" (लार्ज लैंग्वेज मॉडल्स, या LLMs) हैं जो इतना सटीक टेक्स्ट लिख सकते हैं कि यह बिल्कुल वैसा ही दिखता है जैसे किसी इंसान ने लिखा हो। यह स्कूलों, कंपनियों और समाचार आउटलेट्स के लिए एक बड़ी समस्या पैदा करता है। उन्हें कैसे पता चलेगा कि किसी छात्र ने नकल की है, किसी कर्मचारी ने अनधिकृत AI का उपयोग किया है, या कोई समाचार लेख फर्जी है?
अधिकांश वर्तमान "डिटेक्टर" अनुमान लगाने वाले खेल की तरह हैं। वे पैटर्न देखते हैं और कहते हैं, "मुझे लगता है कि यह AI है," लेकिन वे अक्सर गलतियाँ करते हैं। वे निर्दोष छात्र पर धोखाधड़ी का आरोप लगा सकते हैं (एक "फॉल्स पॉजिटिव"), जो उनका जीवन बर्बाद कर सकता है।
यह शोध पत्र एक ऐसी विधि पेश करता है जो ट्रेनिंग-फ्री (इसे हजारों उदाहरणों से सीखने की आवश्यकता नहीं है) है और गणितीय रूप से बहुत सटीक होने की गारंटी देती है, विशेष रूप से लंबे टेक्स्ट के लिए।
यह कैसे काम करता है, सरल उपमाओं का उपयोग करके यहाँ दिया गया है:
1. "सरप्राइज मीटर" (लॉग-परप्लेक्सिटी)
कल्पना कीजिए कि आप एक मास्टर शेफ (मॉडल A) हैं जो एक विशिष्ट व्यंजन बनाने का सटीक तरीका जानते हैं। आपके पास एक "सरप्राइज मीटर" है जो मापता है कि आप एक नई रेसिपी से कितने हैरान हैं।
- यदि कोई आपको वह रेसिपी देता है जो आपने खुद लिखी है, तो आप बिल्कुल भी हैरान नहीं होते। सामग्री और चरण बिल्कुल वैसे ही हैं जैसा आपने उम्मीद की थी। आपका "सरप्राइज मीटर" कम रहता है।
- यदि कोई आपको किसी दूसरे शेफ (मॉडल B) द्वारा लिखी गई रेसिपी देता है, तो आप थोड़े हैरान हो सकते हैं। "उन्होंने यहाँ जीरा क्यों इस्तेमाल किया? मैं शायद लाल मिर्च का उपयोग करता।" आपका मीटर बढ़ जाता है।
इस शोध पत्र की विधि इस "सरप्राइज मीटर" का उपयोग करती है। यह पूछती है: "यदि मॉडल A ने इसे लिखा होता, तो मॉडल A को कितना हैरान होना चाहिए था?"
2. "औसत अपेक्षा" (क्रॉस-एन्ट्रॉपी)
यहाँ पेचीदा हिस्सा है। कभी-कभी, एक अलग शेफ (मॉडल B) ऐसी रेसिपी लिख सकता है जो आपकी रेसिपी के बहुत समान दिखती है, जिससे आपका सरप्राइज मीटर कम रहता है। यह उनमें अंतर करना कठिन बना देता है।
लेखकों ने महसूस किया कि जबकि एक अकेली रेसिपी भ्रमित करने वाली हो सकती है, यदि आप शेफ B द्वारा लिखी गई रेसिपी की पूरी किताब को देखते हैं, तो उसमें एक गणितीय "औसत आश्चर्य" (average surprise) होता है जो शेफ A महसूस करेगा।
- मुख्य अंतर्दृष्टि: यदि शेफ B एक लंबी कहानी लिखता है, और आप (शेफ A) उसे पढ़ते हैं, तो आपका "सरप्राइज मीटर" अंततः एक विशिष्ट, अनुमानित औसत संख्या पर स्थिर हो जाएगा। यह शून्य नहीं होगा (क्योंकि आपने इसे नहीं लिखा), बल्कि यह एक स्थिर संख्या होगी जो आपकी शैली और शेफ B की शैली के बीच की "दूरी" को दर्शाती है।
3. लंबाई का "फिंगरप्रिंट"
यह शोध पत्र एक सुंदर गणितीय तथ्य को सिद्ध करता है: टेक्स्ट जितना लंबा होगा, फिंगरप्रिंट उतना ही स्पष्ट होगा।
- छोटा टेक्स्ट (जैसे, एक ट्वीट): यह उंगलियों के निशान के एक एकल धब्बे को देखने जैसा है। यह शत-प्रतिशत निश्चित होना कठिन है कि यह किसका है।
- लंबा टेक्स्ट (जैसे, एक निबंध): यह सभी रेखाओं और उभारों के साथ एक पूरे हाथ के निशान को देखने जैसा है। गणित दिखाता है कि जैसे-जैसे टेक्स्ट लंबा होता जाता है, "सरप्रज़ मीटर" इतनी तेज़ी से अपने पैटर्न में स्थिर हो जाता है कि आप लगभग पूर्ण निश्चितता के साथ बता सकते हैं कि इसे किसने लिखा है।
लेखकों ने सिद्ध किया है कि गलती करने की संभावना टेक्स्ट के लंबे होने के साथ एक्सपोनेंशियल (exponentially) रूप से गिर जाती है। इसका मतलब है कि यदि आप टेक्स्ट की लंबाई को दोगुना करते हैं, तो त्रुटि दर केवल थोड़ी सी कम नहीं होती; यह लगभग शून्य तक गिर जाती है।
4. "ब्लैक बॉक्स" की समस्या
कभी-कभी, आपके पास AI के आंतरिक "सरप्राइज मीटर" (संभावना संख्याओं) तक पहुंच नहीं होती है। आपके पास केवल वह टेक्स्ट होता है जो उसने बनाया है। इसे "ब्लैक बॉक्स" कहा जाता है।
लेखकों ने दिखाया कि इस स्थिति में भी, आप "संभावना का अनुमान लगाने" का खेल खेल सकते हैं। आप AI को अगला शब्द 100 बार उत्पन्न करने के लिए कहते हैं और देखते हैं कि वह क्या चुनता है। ऐसा करके, आप "सरप्राइज मीटर" का एक "नकली" संस्करण बना सकते हैं जो वास्तविक संस्करण जितना ही अच्छा है। उन्होंने यह गणना भी की है कि विश्वसनीय उत्तर प्राप्त करने के लिए आपको कितनी बार AI से पूछने की आवश्यकता है।
यह क्यों मायने रखता है
- कोई ट्रेनिंग आवश्यक नहीं: अन्य तरीकों के विपरीत जिन्हें हजारों उदाहरणों के साथ "सिखाया" जाना आवश्यक है (जो पक्षपाती या पुराने हो सकते हैं), यह विधि गणित का उपयोग करके तुरंत काम करती है।
- निष्पक्षता: यह निर्दोष लोगों पर गलत आरोप लगाने की दर को बहुत कम रखने की गारंटी देता है। एक कक्षा में, इसका अर्थ है कि छात्रों को उन चीजों के लिए दंडित किए जाने की संभावना कम होगी जो उन्होंने नहीं की हैं।
- छोटे टेक्स्ट: यह आश्चर्यजनक रूप से छोटे टेक्स्ट (जैसे 50-100 शब्द) पर भी अच्छा काम करता है, जहाँ अधिकांश अन्य डिटेक्टर विफल हो जाते हैं।
निष्कर्ष
इस विधि को AI के लिए एक गणितीय झूठ पकड़ने वाले यंत्र (lie detector) के रूप में समझें। अस्पष्ट पैटर्न के आधार पर अनुमान लगाने के बजाय, यह टेक्स्ट की "सांख्यिकीय धड़कन" (statistical heartbeat) को मापता है। यदि धड़कन AI की अपनी लय से मेल खाती है, तो इसकी संभावना है कि यह AI है। यदि यह एक अलग लय से मेल खाती है, तो यह किसी और की है। और टेक्स्ट जितना लंबा होता है, वह धड़कन उतनी ही स्पष्ट और साफ़ होती जाती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।