Synthetic Sources?: Auditing Generative Search Engine Citations for Evidence of AI-Generated Sources
यह शोध पत्र 712 वास्तविक दुनिया के प्रश्नों का उपयोग करके चार प्रमुख जनरेटिव सर्च इंजन का ऑडिट करता है और पाता है कि उनके उद्धृत स्रोतों में से लगभग 16% एआई-जनरेटेड (AI-generated) हैं, जो इस बात पर प्रकाश डालता है कि उपयोगकर्ताओं को अनवेरिफाइड सिंथेटिक जानकारी प्राप्त होने का एक महत्वपूर्ण जोखिम है जिसे आधिकारिक रूप से प्रस्तुत किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप चार बहुत बुद्धिमान, दुनिया घूमने वाले पुस्तकालयाध्यक्षों (ChatGPT, Copilot, Gemini, और Perplexity) से राजनीति, स्वास्थ्य या पर्यावरण के बारे में एक प्रश्न पूछते हैं। आपको सीधा उत्तर देने के बजाय, ये पुस्तकालयाध्यक्ष कहते हैं, "यहाँ उत्तर है, और यहाँ वे 10 किताबें हैं जिन्हें हमने इसे लिखने के लिए पढ़ा है।"
यह शोध उन "किताबों" (उन वेबसाइटों) का एक ऑडिट है जिनका वे उल्लेख करते हैं, यह देखने के लिए कि क्या उनमें से कोई वास्तव में एक इंसान होने का ढोंग करने वाले रोबोट द्वारा लिखा गया था।
यहाँ शोधकर्ताओं द्वारा पाए गए निष्कर्षों का विवरण दिया गया, जो सरल उपमाओं का उपयोग करता है:
1. सेटअप: इंटरनेट का "पुस्तकालय"
शोधकर्ताओं ने इन AI सर्च इंजनों को एक नए प्रकार के पुस्तकालय की तरह माना। उन्होंने चार अलग-अलग AI इंजनों से 712 वास्तविक प्रश्न पूछे (जैसे "क्या यह आहार सुरक्षित है?" या "नवीनतम राजनीतिक घोटाला क्या है?")।
इंजनों ने उत्तर दिए और जानकारी कहाँ से मिली, यह साबित करने के लिए लिंक (उद्धरण/citations) प्रदान किए। शोधकर्ताओं ने फिर उन लिंक पर जाकर, उनकी सामग्री को पढ़ा और यह देखने के लिए कि क्या टेक्स्ट किसी इंसान द्वारा लिखा गया था या किसी अन्य AI द्वारा उत्पन्न किया गया था, उसे एक "झूठ पकड़ने वाले" परीक्षण (एक AI-डिटेक्शन टूल जिसे Pangram कहा जाता है) से गुजारा।
2. बड़ी खोज: पुस्तकालय में "रोबोटिक भूत"
मुख्य निष्कर्ष यह है कि इन पुस्तकालयाध्यक्षों द्वारा उद्धृत "किताबों" में से लगभग 16% वास्तव में रोबोटों द्वारा लिखी गई थीं।
- रूपक (Metaphor): कल्पना कीजिए कि आप इतिहास की किताब खोजने के लिए पुस्तकालय जाते हैं। आप शेल्फ से एक किताब उठाते हैं, उसे खोलते हैं, और पता चलता है कि लेखक एक मशीन है जिसने एक सेकंड में पूरी चीज़ लिखी है। जब आपने उसे उठाया, तो आपको यह पता नहीं था।
- वास्तविकता: इस अध्ययन में, AI इंजनों द्वारा उद्धृत स्रोतों में से लगभग प्रत्येक 6 में से 1 स्रोत AI-जनरेटेड कंटेंट था।
- सबसे बड़ा अपराधी: AI इंजन Copilot इन रोबोट-लिखित स्रोतों को उद्धृत करने की सबसे अधिक संभावना रखता था (इसके लगभग 3 में से 10 उद्धरण AI-जनरेटेड थे)। ChatGPT सबसे सावधान था, लेकिन फिर भी इसने उन्हें लगभग 7% बार उद्धृत किया।
3. "लॉन्ग टेल" (Long Tail) समस्या: भीड़ बनाम वीआईपी (VIPs)
शोधकर्ताओं ने एक अजीब पैटर्न देखा कि AI इंजन किन वेबसाइटों को उद्धृत करना पसंद करते हैं।
- वीआईपी (शीर्ष भाग): प्रसिद्ध, भरोसेमंद वेबसाइटों का एक छोटा समूह (जैसे विकिपीडिया,
whitehouse.govजैसी सरकारी साइटें, और प्रमुख समाचार आउटलेट) बार-बार उद्धृत किए जाते हैं। वे पुस्तकालय के "वीआईपी" हैं। - लॉन्ग टेल (लंबी पूंछ): हालाँकि, अधिकांश उद्धरण हजारों अस्पष्ट, कम देखे जाने वाले वेबसाइटों के "लॉन्ग टेल" से आते हैं। इनमें से अधिकांश अस्पष्ट साइटों को केवल एक या दो बार उद्धृत किया जाता है।
- निष्कर्ष: "रोबोट-लिखित" सामग्री मुख्य रूप से इसी लॉन्ग टेल में छिपी हुई थी। प्रसिद्ध वीआईपी साइटें ज्यादातर मानव-लिखित थीं, लेकिन अस्पष्ट, एक-हिट-वंडर वेबसाइटें वे थीं जो AI-जनरेटेड टेक्स्ट से भरी हुई थीं।
- उपमा: यह एक पार्टी की तरह है जहाँ होस्ट (AI) आपको बार-बार उन्हीं 5 प्रसिद्ध लोगों से मिलवाता है (विकिपीडिया, सरकारी साइटें), लेकिन फिर वह अपना 80% समय कमरे के पीछे खड़े 1,000 अजनबियों से मिलवाने में बिता देता है, जिनमें से कई वास्तव में पुतले (AI कंटेंट) हैं जो इंसान होने का ढोंग कर रहे हैं।
4. विषय का विवरण
शोधकर्ताओं ने तीन विशिष्ट क्षेत्रों की जाँच की:
- पर्यावरण: इस विषय में उद्धृत AI-जनरेटेड स्रोतों की मात्रा सबसे अधिक थी।
- स्वास्थ्य: स्वास्थ्य सलाह स्रोतों का एक महत्वपूर्ण हिस्सा भी AI-जनरेटेड था।
- राजनीति: इसमें भी AI स्रोत शामिल थे, हालांकि अन्य दो की तुलना में थोड़े कम थे।
5. यह क्यों मायने रखता है (शोध पत्र के अनुसार)
शोध पत्र तर्क देता है कि यह जोखिम भरा है क्योंकि:
- "विश्वास" का जाल: जब कोई AI आपको उत्तर देता है और आपको लिंक्स की एक सूची दिखाता है, तो आप मान लेते हैं कि वे लिंक वास्तविक, मानव-सत्यापित तथ्य हैं। यदि लिंक वास्तव में AI-जनरेटेड हैं, तो AI अनिवार्य रूप से अपने स्वयं के उत्तर को सिद्ध करने के लिए अपने ही "भ्रम" (hallucinations) या निम्न-गुणवत्ता वाले रोबोटिक टेक्स्ट को उद्धृत कर रहा है।
- गुणवत्ता का अंतर: हालांकि सभी AI टेक्स्ट खराब नहीं होते, शोध पत्र नोट करता है कि AI टेक्स्ट में त्रुटियां, पूर्वाग्रह या मनगढ़ंत तथ्य हो सकते हैं। यदि एक AI सर्च इंजन अपने उत्तर बनाने के लिए AI-लिखित स्रोतों का उपयोग करता है, तो यह एक "ताश के घर" जैसा बनाता है जहाँ नींव डगमगाती है।
- "ब्लैक बॉक्स": इंजन आपको यह नहीं बताते कि, "हे, यह स्रोत एक बॉट द्वारा लिखा गया था।" वे बस आपको लिंक दिखा देते हैं।
सारांश
शोध पत्र निष्कर्ष निकालता है कि ये नए "जेनरेटिव सर्च इंजन" वर्तमान में ऐसे पुस्तकालयाध्यक्षों की तरह काम कर रहे हैं जो अनजाने में रोबोटों द्वारा लिखी गई किताबों को उद्धृत करते हैं, और पाठक को इसके बारे में नहीं बताते। वे कुछ प्रसिद्ध वेबसाइटों पर बहुत अधिक निर्भर करते हैं, लेकिन वे "लॉन्ग टेल" की एक विशाल मात्रा में से भी जानकारी निकालते हैं, जिनमें से कई AI-जनरेटेड कंटेंट से भरी हुई हैं।
शोधकर्ता कहते हैं कि यह एक चेतावनी का संकेत है: यदि हम यह ठीक नहीं करते हैं कि ये इंजन अपने स्रोतों को कैसे चुनते हैं और जांचते हैं, तो उपयोगकर्ता अनजाने में ऐसी जानकारी पर भरोसा कर सकते हैं जो पूरी तरह से कृत्रिम (synthetic) है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।