Who Wrote the Book? Detecting and Attributing LLM Ghostwriters
यह शोध पत्र GhostWriteBench प्रस्तुत करता है, जो लेखकत्व एट्रिब्यूशन (authorship attribution) के परीक्षण के लिए फ्रंटियर LLMs द्वारा जनरेट किए गए लंबे टेक्स्ट का एक डेटासेट है, और TRACE प्रस्तावित करता है, जो एक व्याख्यात्मक (interpretable) और हल्का (lightweight) फिंगरप्रिंटिंग तरीका है जो विविध और आउट-ऑफ-डिस्ट्रीब्यूशन परिदृश्यों में LLM घोस्टराइटरों का पता लगाने और उनका एट्रिब्यूशन करने में अत्याधुनिक प्रदर्शन प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल पुस्तकालय में कदम रखते हैं जहाँ किसी ने चुपके से हज़ारों किताबों को सटीक नकली किताबों से बदल दिया है। ये केवल साधारण नकली किताबें नहीं हैं; इन्हें "घोस्टराइटरों" द्वारा लिखा गया है जो वास्तव में अत्यंत बुद्धिमान AI रोबोट हैं। समस्या यह है कि ये AI रोबोट इतने कुशल होते जा रहे हैं कि किताबें बिल्कुल वैसी ही दिखती, महसूस होती और पढ़ी जाती हैं जैसे कि वे किसी इंसान द्वारा लिखी गई हों।
यह शोध पत्र इन डिजिटल जासूसों की एक टीम की तरह है जो इस रहस्य को सुलझाने के लिए आगे आए हैं: "यह किताब वास्तव में किसने लिखी है?"
यहाँ उनके अन्वेषण की कहानी है, जिसे सरल भागों में विभाजित किया गया है:
1. समस्या: "नकली किताब" का महामारी
अतीत में, यदि आप किसी नकली चीज़ को पकड़ना चाहते थे, तो आप टाइपो या अजीब व्याकरण की तलाश कर सकते थे। लेकिन आधुनिक AI (लार्ज लैंग्वेज मॉडल्स, या LLMs) इतनी सहजता से लिखता है कि वे चालें अब काम नहीं करतीं।
इससे भी बुरा यह है कि अधिकांश पिछले डिटेक्टर टूल्स उन टॉर्च की तरह थे जो केवल अंधेरे में काम करते हैं। वे आपको बता सकते थे कि "यह AI है" बनाम "यह मानव है," लेकिन वे यह नहीं बता सकते थे कि किस विशिष्ट AI ने इसे लिखा है। यदि एक AI ने अंतरिक्ष के बारे में एक किताब लिखी, और फिर आपने उसे खाना पकाने के बारे में एक किताब दिखाई, तो पुराने टूल्स भ्रमित हो जाते और विफल हो जाते। वे मुख्य रूप से छोटी वाक्यों को देखते थे, पूरी लंबाई के उपन्यासों को नहीं।
2. नया साक्ष्य कक्ष: GHOSTWRITEBENCH
इन डिजिटल जालसाजों को पकड़ने के लिए, शोधकर्ताओं ने GHOSTWRITEBENCH नामक एक विशाल नया साक्ष्य कक्ष बनाया।
- आकार: छोटे ट्वीट्स या पैराग्राफों को देखने के बजाय, उन्होंने 300 से अधिक पूर्ण लंबाई की किताबें (प्रत्येक लगभग 50,000 शब्द) एकत्र कीं। यह एक पूरी लाइब्रेरी के उपन्यास पढ़ने जैसा है!
- विविधता: उन्होंने इन किताबों को लिखने के लिए 10 अलग-अलग "टॉप-टियर" AI मॉडल्स (AI लेखन के वर्तमान चैंपियन) का उपयोग किया।
- जाल: उन्होंने एक पेचीदा परीक्षण सेट किया। उन्होंने जासूसों से लेखक की पहचान करने के लिए कहा, भले ही AI उस विषय पर लिख रहा हो जिसे उसने पहले कभी नहीं देखा था (जैसे कि साइंस-फिक्शन पर प्रशिक्षित AI का अचानक इतिहास की किताब लिखना) या जब वह AI कोई ऐसा हो जिससे वे पहले कभी नहीं मिले थे।
3. डिटेक्टिव टूल: TRACE
शोधकर्ताओं ने केवल एक डेटाबेस नहीं बनाया; उन्होंने TRACE नामक एक नया सुपर-टूल बनाया।
सोचिए कि हर लेखक (इंसान या AI) की एक अनूठी डिजिटल उंगलियों के निशान (डिजिटल फिंगरप्रिंट) होती है।
- पुराने डिटेक्टर्स शब्दों के उपयोग (जैसे कि "the" शब्द कितनी बार आया) को गिनकर लेखक का अनुमान लगाने की कोशिश करते थे।
- TRACE इस बात पर ध्यान देता है कि लेखक कैसे सोचता है।
उपमा: कल्पना कीजिए कि दो लोग जंगल में चल रहे हैं।
- व्यक्ति A हमेशा पहले बायां पैर रखता है, फिर दायां, फिर रुकता है।
- व्यक्ति B कूदता है, फिर उछलता है, फिर दो बार कदम रखता है।
- भले ही वे दोनों एक ही जूते पहनें और एक ही रास्ते पर चलें, लेकिन उनकी लय (रिदम) अलग होती है।
TRACE टेक्स्ट की "लय" को सुनता है। उसे शब्दों की परवाह नहीं है; उसे उनके बीच के परिवर्तन (ट्रांजिशन) की परवाह है। वह पूछता है: "जब इस AI ने 'cat' शब्द चुना, तो इसकी क्या संभावना थी कि वह अगले शब्द के रूप में 'dog' के बारे में सोच रहा था? और अगले शब्द के लिए वह संभावना कैसे बदली?"
यह इन ट्रांजिशन्स का एक हीट मैप (एक रंगीन 2D चित्र) बनाता है। ठीक वैसे ही जैसे मानव उंगलियों के निशान में रेखाएं और लूप होते हैं, हर AI मॉडल एक अनूठा, अव्यवस्थित, रंगीन पैटर्न बनाता है जिसे नकल करना लगभग असंभव है।
4. TRACE क्यों एक गेम-चेंजर है
शोधकर्ताओं ने सभी अन्य "टॉर्च" के मुकाबले TRACE का परीक्षण किया और पाया कि यही एकमात्र टूल था जो पेचीदा स्थितियों को संभाल सकता था:
- "अनसीन ऑथर" टेस्ट: उन्होंने TRACE को एक ऐसी किताब दिखाई जो एक ऐसे AI द्वारा लिखी गई थी जिससे वह पहले कभी नहीं मिला था। जहां अन्य टूल्स खो गए, वहीं TRACE ने कहा, "मुझे ठीक से नहीं पता कि यह कौन है, लेकिन मैं जानता हूँ कि यह उनमें से एक नहीं है जिन्हें मैंने पहले देखा है।" यह अज्ञात को पहचानने में माहिर है।
- "लो डेटा" टेस्ट: आमतौर पर, जासूसों को किसी संदिग्ध की शैली सीखने के लिए नमूनों के एक बड़े पुस्तकालय की आवश्यकता होती है। TRACE को एक AI की "लय" सीखने के लिए केवल कुछ पन्नों (3 से 5 किताबों) की आवश्यकता थी और फिर वह पूरे उपन्यास में उसे पहचान सकता था।
- "ब्लैक बॉक्स" टेस्ट: TRACE को AI के आंतरिक कोड को देखने की आवश्यकता नहीं है (जो अक्सर गुप्त होता है)। वह बस तैयार किताब को पढ़ता है, जैसे एक जासूस लेखक की शैली खोजने के लिए एक पत्र पढ़ता है।
5. निर्णय
शोध पत्र निष्कर्ष निकालता है कि TRACE नया गोल्ड स्टैंडर्ड है। यह हल्का है (इसे चलाने के लिए सुपरकंप्यूटर की आवश्यकता नहीं है), व्याख्या योग्य है (हम वास्तव में उन पैटर्न को देख सकते हैं जिन्हें इसने खोजा है), और मजबूत है (यह तब भी काम करता है जब AI विषय या शैली बदलकर छिपने की कोशिश करता है)।
संक्षेप में: यदि AI घोस्टराइटर लाइब्रेरी में घुसकर लेखक का श्रेय चुराने की कोशिश कर रहे हैं, तो TRACE वह सुरक्षा कैमरा है जो न केवल चेहरे को देखता है, बल्कि उन्हें रंगे हाथों पकड़ने के लिए लेखन की अनूठी धड़कन को सुनता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।