Can Humans Tell? A Dual-Axis Study of Human Perception of LLM-Generated News
1,000 से अधिक प्रतिभागियों के एक द्वि-अक्षीय अध्ययन से पता चलता है कि मनुष्य मानव-लिखित और एलएलएम-जनित समाचार लेखों के बीच विश्वसनीय रूप से अंतर नहीं कर सकते हैं, एक ऐसा निष्कर्ष जो विभिन्न मॉडलों और विशेषज्ञता स्तरों में बना रहता है लेकिन संज्ञानात्मक थकान से बाधित होता है, जिससे यह संकेत मिलता है कि उपयोगकर्ता-पक्ष पर पहचान करना अप्रभावी है और इसके लिए क्रिप्टोग्राफिक प्रोवेनेंस जैसे सिस्टम-स्तरीय उपायों की आवश्यकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल आर्ट गैलरी में हैं। एक दीवार पर मानव उस्तादों द्वारा बनाई गई पेंटिंग्स हैं। दूसरी ओर, एक सुपर-स्मार्ट रोबोट द्वारा बनाई गई पेंटिंग्स हैं जिसने अब तक की हर पेंटिंग का अध्ययन किया है।
बड़ा सवाल जो शोधकर्ताओं ने पूछा था वह यह है: क्या आप गैलरी में घूमकर यह बता सकते हैं कि कौन सी पेंटिंग इंसानों की है और कौन सी रोबोट द्वारा बनाई गई है?
यह पेपर, जिसका शीर्षक "Can Humans Tell?" (क्या इंसान पहचान सकते हैं?), एक बड़े प्रयोग की रिपोर्ट कार्ड है जहाँ 1,000 से अधिक लोगों ने समाचार लेखों के साथ बिल्कुल यही करने की कोशिश की। यहाँ उन्होंने क्या पाया, इसे सरल रूप में समझाया गया है:
1. "ब्लाइंड स्पॉट" (हम नहीं बता सकते)
उपमा: कल्पना कीजिए कि आप अपनी नग्न आंखों से केवल देखकर एक असली हीरे और एक उत्तम लैब-निर्मित हीरे के बीच अंतर करने की कोशिश कर रहे हैं। भले ही आप एक विशेषज्ञ हों, आप गलत हो सकते हैं।
निष्कर्ष: अध्ययन में पाया गया कि इंसान AI द्वारा लिखे गए समाचारों को पहचानने में बहुत खराब हैं। चाहे लेख किसी इंसान ने लिखा हो या AI (यहाँ तक कि छोटे, "कम स्मार्ट" AI) ने, लोग केवल लगभग 50% बार सही अनुमान लगा पाते हैं। यह सिक्का उछालने (टॉस करने) जैसा ही है। यहाँ हमारी अंतर्दृष्टि पूरी तरह से बेकार है।
2. "स्मोकिंग गन" का अस्तित्व नहीं है (यह केवल बड़े मॉडल्स के बारे में नहीं है)
उपमा: आप सोच सकते हैं कि केवल महंगे, हाई-टेक रोबोट ही हमें धोखा दे सकते हैं, जैसे कि एक मास्टर जालसाज। लेकिन अध्ययन ने दिखाया कि "बजट" वाले रोबोट (छोटे AI मॉडल्स) भी नकली समाचार बनाने में उतने ही अच्छे हैं जितने कि सुपर-एडवांस्ड मॉडल।
निष्कर्ष: इससे कोई फर्क नहीं पड़ता कि AI का दिमाग विशाल था (जैसे GPT-4) या छोटा (7 बिलियन पैरामीटर्स वाला)। वे सभी मानव पाठकों के लिए बिल्कुल एक जैसा दिखने और महसूस होने वाला टेक्स्ट तैयार करते थे। नकली समाचार बनाने की "बाधा" इतनी कम हो गई है कि कोई भी बुनियादी AI टूल का उपयोग करके ऐसा कर सकता है।
3. "डिटेक्टिव" बनाम "पार्टिसन" (नकली को पहचानने में कौन बेहतर है?)
उपमा: कल्पना कीजिए कि दो लोग नकली आईडी (ID) पकड़ने की कोशिश कर रहे हैं।
- व्यक्ति A एक राजनीतिक कार्यकर्ता है जो एक निश्चित समूह से नफरत करता है। वे इस बात पर इतना ध्यान केंद्रित करते हैं कि लेख किसने लिखा है, कि वे कैसे लिखा गया है, इसे मिस कर देते हैं।
- व्यक्ति B एक लाइब्रेरियन है जो फैक्ट-चेकिंग और आलोचनात्मक रूप से पढ़ने का शौकीन है। वे संरचना और तर्क को देखते हैं।
निष्कर्ष: अध्ययन में पाया गया कि व्यक्ति B (फैक्ट-चेकर) AI को पहचानने में बहुत बेहतर था। यदि आपने लोगों को बताया, "मुझे पता है कि नकली समाचारों के बारे में बहुत कुछ पता है," तो वे वास्तव में टेस्ट में बेहतर प्रदर्शन कर रहे थे। हालाँकि, यदि आपने पूछा, "आपकी राजनीतिक पार्टी क्या है?" तो इससे उन्हें बिल्कुल मदद नहीं मिली। राजनीतिक रूप से कट्टर होना आपको बेहतर जासूस नहीं बनाता; विश्लेणात्मक रूप से कुशल होना बनाता है।
4. "सिनिक" और "नाइव" (दो प्रकार के लोग)
उपमा: जब आप भरोसे की रेटिंग पूछते हैं, तो लोग दो समूहों में बंट जाते हैं:
- द सिनिक्स (शंकालु): वे सोचते हैं कि सब कुछ नकली है। वे एक असली मानवीय लेख पर भी उतना ही अविश्वास करते हैं जितना कि एक AI लेख पर।
- द नाइव (भोले): वे सब कुछ सच मानते हैं। वे एक नकली AI लेख को भी असली मान लेते हैं।
निष्कर्ष: शोधकर्ताओं ने इन दो अलग-अलग समूहों को पाया। इसका मतलब है कि "एक ही आकार सबके लिए" (one-size-fits-all) वाली चेतावनी का लेबल काम नहीं करेगा। आप हर चीज़ पर "चेतावनी: AI" का स्टिकर नहीं लगा सकते क्योंकि सिनिक्स इसे अनदेखा कर देंगे, और भोले लोग फिर भी इसे सच मान लेंगे।
5. "मेंटल बैटरी" (हम थक जाते हैं)
उपमा: कल्पना कीजिए कि आप एक वीडियो गेम खेल रहे हैं जहाँ आपको छिपी हुई वस्तुओं को पहचानना है। आप पहले 20 मिनट में बहुत अच्छे हो जाते हैं। लेकिन 30 मिनट के बाद, आपका दिमाग थक जाता है, आपकी आँखें धुंधली हो जाती हैं, और आप बेतरतीब ढंग से अंदाज़ा लगाने लगते हैं या बस हर चीज़ के लिए "नहीं" क्लिक करने लगते हैं।
निष्कर्ष: लोग पहले 15-20 लेखों के लिए AI को पहचानने में थोड़े बेहतर हो गए (वे सीख रहे थे)। लेकिन लगभग 30 लेखों के बाद, उनका दिमाग थक गया (कॉग्निटिव फटीग/मानसिक थकान)। उन्होंने सोचना बंद कर दिया और बिना सोचे-समझे सब कुछ "नकली" या "असली" लेबल करने लगे। इसका मतलब है कि हम मनुष्यों पर हमेशा सतर्क रहने के लिए भरोसा नहीं कर सकते।
बड़ा निष्कर्ष: इंसानों को गार्ड बनने के लिए कहना बंद करें
लेखकों का मुख्य संदेश यह है: आम लोगों को दरवाजे पर सुरक्षा गार्ड बनने के लिए कहना बंद करें।
चूंकि इंसान भरोसेमंद तरीके से इंसान और रोबोट के बीच अंतर नहीं कर सकते, और चूंकि वे जल्दी थक जाते हैं, इसलिए लोगों को AI पहचानने के लिए "शिक्षित" करने की कोशिश करना एक हारने वाली लड़ाई है।
समाधान क्या है?
लोगों से और अधिक ध्यान से देखने के लिए कहने के बजाय, हमें सिस्टम को बदलने की आवश्यकता है।
- डिजिटल वॉटरमार्क: जैसे कि बैंक नोट में एक विशेष धागा होता है जिसे आप देख नहीं सकते लेकिन मशीनें पहचान सकती हैं, समाचारों में भी एक "डिजिटल सिग्नेचर" (प्रूवेनेंस) होना चाहिए जो साबित करे कि इसे किसने लिखा है।
- सिस्टम-लेवल डिफेंस: हमें सच्चाई को तकनीक के भीतर ही बुनना होगा, बजाय इसके कि हम उम्मीद करें कि इंसान इसे समझ लेंगे।
संक्षेप में: इंसान AI समाचारों को पहचानने में बहुत खराब हैं। हमें अपनी आँखों पर भरोसा करना बंद करना होगा और डिजिटल रसीदों (डिजिटल रिसीट्स) पर भरोसा करना शुरू करना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।