Identifying AI Web Scrapers Using Canary Tokens
यह शोध पत्र डायनेमिक कैनरी टोकन का उपयोग करने वाली एक नवीन तकनीक का प्रस्ताव करता है जो स्वचालित रूप से और सटीक रूप से यह पहचान सकता है कि कौन से वेब स्क्रेपर्स विशिष्ट लार्ज लैंग्वेज मॉडल्स को डेटा प्रदान करते हैं, जिससे वेबसाइट मालिकों को स्वैच्छिक कॉर्पोरेट खुलासों पर निर्भर रहे बिना अवांछित स्क्रैपिंग को बेहतर ढंग से नियंत्रित करने में सक्षम बनाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बेकर हैं जो ठीक से जानना चाहते हैं कि कौन से डिलीवरी ट्रक एक विशाल, भूखे रोबोट शेफ के पास सामग्री लेकर आ रहे हैं। आपको संदेह है कि रोबोट इन सामग्रियों का उपयोग ग्राहकों के लिए नई रेसिपी (उत्तर) बनाने के लिए कर रहा है। लेकिन ट्रक चालाक हैं: वे वेश बदलकर आते हैं, वे अन्य कंपनियों के ट्रकों को उधार ले सकते हैं, और रोबोट शेफ हमेशा यह नहीं बताता कि उसे अपना भोजन कहाँ से मिला।
यह पेपर उस चतुर ट्रिक के बारे में है जिसका उपयोग शोधकर्ताओं ने इन चालाक ट्रकों को रंगे हाथों पकड़ने के लिए किया। वे इसे "कैनरी टोकन" (Canary Tokens) कहते हैं।
सेटअप: "ट्रैप" वेबसाइट्स
रोबोट की सीधे जासूसी करने के बजाय, शोधकर्ताओं ने 20 नकली वेबसाइटें बनाईं। इन वेबसाइटों को "कस्टमाइज्ड बैट" (अनुकूलित चारा) के रूप में सोचें।
- चारा (The Bait): उन्होंने एक वेबसाइट का टेम्पलेट बनाया (जैसे किसी नकली व्यक्ति की प्रोफाइल या किसी नकली कंपनी का पेज)।
- कैनरी टोकन (The Canary Token): वेबसाइट लोड होने से पहले, शोधकर्ताओं ने हर एक विज़िटर को एक अनूमा, अदृश्य "स्टैम्प" या "टोकन" दिया।
- यदि "Google" की टोपी पहने कोई ट्रक आया, तो वेबसाइट कह सकती थी: "मेरा पसंदीदा रंग नीला (Blue) है।"
- यदि "Bing" की टोपी पहने कोई ट्रक आया, तो वेबसाइट कह सकती थी: "मेरा पसंदीदा रंग बैंगनी (Purple) है।"
- यदि "Chrome" की टोपी पहने कोई ट्रक आया, तो वेबसाइट कह सकती थी: "मेरा पसंदीदा रंग हरा (Green) है।"
शोधकर्ताओं ने एक गुप्त सूची रखी: "नीला" = Google ट्रक, "बैंगनी" = Bing ट्रक, आदि।
परीक्षण: रोबोट शेफ से पूछना
इन वेबसाइटों को ऑनलाइन दो महीने तक छोड़ने के बाद (ट्रकों को यहाँ आने और सामग्री याद करने के लिए पर्याप्त समय देने के बाद), शोधकर्ताओं ने 22 अलग-अलग AI चैटबॉट्स (जैसे ChatGPT, Claude और अन्य) से इन नकली वेबसाइटों के बारे में सवाल पूछे।
उन्होंने ऐसे सवाल पूछे जैसे: "इस नकली व्यक्ति के बारे में बताओ। उसका पसंदीदा रंग क्या है?"
परिणाम: कौन क्या खा रहा है?
शोधकर्ताओं ने रोबोट द्वारा दिए गए उत्तरों को देखा। यदि रोबोट ने कहा, "उनका पसंदीदा रंग नीला है," तो शोधकर्ता निश्चित रूप से जानते थे: "Google ट्रक ने इस जानकारी को रोबोट तक पहुँचाया था।"
यहाँ उन्होंने क्या पाया:
1. "वेश बदलने" की समस्या (The "Disguise" Problem)
कई AI रोबोट अपनी आधिकारिक वर्दी में दिखाई नहीं दिए।
- आधिकारिक वर्दी (The Official Uniform): कुछ रोबोटों ने स्वीकार किया, "मैं OAI-SearchBot हूँ" (OpenAI का आधिकारिक ट्रक)।
- वेश बदलना (The Disguise): अन्य लोग साधारण कपड़े पहने हुए आए, जैसे कि एक सामान्य वेब ब्राउज़र (जैसे "Chrome" या "Safari")। यह एक डिलीवरी ड्राइवर की तरह है जो पर्यटक बनकर घूम रहा है ताकि कोई उसे रोक न सके।
- उधार लिया गया ट्रक (The Borrowed Truck): आश्चर्यजनक रूप से, कई रोबोटों ने सीधे वेबसाइटों पर दौरा ही नहीं किया। इसके बजाय, उन्होंने जानकारी प्राप्त करने के लिए एक सर्च इंजन (जैसे Google या Bing) से वेबसाइटों पर जाने के लिए कहा। रोबोट कहता, "मुझे यह जानकारी Google पर मिली," भले ही वेबसाइट के मालिक ने Google को यह जानकारी साझा करने की अनुमति न दी हो।
2. "याददाश्त" की समस्या (The "Memory" Problem - Caching)
शोधकर्ताओं ने वेबसाइटों को ऑफलाइन करके (लाइटें बंद करके) रोबोटों को रोकने की कोशिश की।
- परिणाम: वेबसाइटों के हफ़्ते भर तक गायब रहने के बाद भी, रोबोटों को "पसंदीदा रंग" याद थे।
- रूपक (Metaphor): यह ऐसा है जैसे रोबोट शेफ ने उस कुकबुक से रेसिपी याद कर ली है जिसे उसने पहले चुराया था। भले ही आप बाद में कुकबुक जला दें, शेफ को सामग्री याद रहती है। रोबोट पहले से ही स्क्रैप की गई पुरानी डेटा को थामे हुए थे।
3. "प्रवेश निषेध" का साइन बोर्ड समस्या (The "Do Not Enter" Sign Problem - Robots.txt)
वेबसाइट मालिक अक्सर robots.txt नामक एक साइन बोर्ड लगाते हैं जो कहता है, "कृपया प्रवेश न करें।"
- परिणाम: शोधकर्ताओं ने ये साइन बोर्ड लगाए, लेकिन रोबोटों ने उन्हें ज्यादातर अनदेखा कर दिया। वे आते रहे और सामग्री को याद करते रहे।
- अपवाद: केवल एक रोबोट, Duck.ai ने वास्तव में साइन बोर्ड का सम्मान किया और जाना बंद कर दिया। बाकी सब चलते रहे, या तो इसलिए कि उन्होंने साइन बोर्ड नहीं देखा या इसलिए कि उन्होंने उसे अनदेखा करने का फैसला किया।
मुख्य निष्कर्ष (The Big Takeaway)
यह पेपर साबित करता है कि:
- आप हमेशा रोबोट द्वारा अपने बारे में कही गई बातों पर भरोसा नहीं कर सकते। वे अक्सर अपनी असली पहचान छिपाते हैं या डेटा प्राप्त करने के लिए दूसरों के ट्रकों (सर्च इंजन) का उपयोग करते हैं।
- साधारण ब्लॉकिंग काम नहीं करती है। वेबसाइट को बंद कर देना या "प्रवेश निषेध" का साइन लगाना यह गारंटी नहीं देता कि रोबोट वह भूल जाएगा जो उसने पहले ही सीख लिया है।
- "कैनरी टोकन" का तरीका काम करता है। अलग-अलग विज़िटर्स को अद्वितीय, रैंडम तथ्य पेश करके, आप सटीक रूप से पता लगा सकते हैं कि किस "ट्रक" ने किस रोबोट को जानकारी खिलाई, भले ही रोबोट अपनी पहचान छिपाने की कोशिश करे।
संक्षेप में, शोधकर्ताओं ने एक डिजिटल फिंगरप्रिंटिंग सिस्टम बनाया है जिससे यह पता चलता है कि AI चैटबॉट्स इंटरनेट से जानकारी कैसे चुरा (या उधार ले) रहे हैं, जिससे यह खुलासा होता है कि यह प्रक्रिया कंपनियों के दावों की तुलना में बहुत अधिक जटिल और कम पारदर्शी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।