Are LLMs More Skeptical of Entertainment News?
यह शोध पत्र प्रकट करता है कि कुछ बड़े भाषा मॉडल (लार्ज लैंग्वेज मॉडल्स) वैध मनोरंजन समाचारों के प्रति एक शैली-विशिष्ट संदेह प्रदर्शित करते हैं, और उन्हें शैलीगत विशेषताओं के बजाय इस विधा की ज्ञानमीमांसीय वैधता (एपिस्टेमिक लेजिटिमसी) के विरुद्ध पूर्वाग्रहों के कारण कठिन समाचारों (हार्ड न्यूज) की तुलना में अधिक बार फर्जी के रूप में गलत वर्गीकृत करते हैं, जिससे स्वचालित विश्वसनीयता मूल्यांकन में शैली-स्तरीकृत मूल्यांकन की आवश्यकता पर बल मिलता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास चार बहुत ही बुद्धिमान, हाई-टेक पुस्तकालयाध्यक्षों (AI मॉडल्स) की एक टीम है। उनका काम एक विशाल पुस्तकालय के दरवाजे पर खड़ा होकर यह तय करना है कि कौन सी किताबें "असली खबर" (Real News) हैं और कौन सी "फर्जी खबर" (Fake News)।
शोधकर्ताओं ने यह देखना चाहा कि क्या ये AI पुस्तकालयाध्यक्ष सभी "असली खबरों" के साथ समान व्यवहार करते हैं। विशेष रूप से, वे जानना चाहते थे: क्या ये AI "मनोरंजन समाचार" (जैसे सेलिब्रिटी गॉसिप) को फर्जी के रूप में गलत तरीके से चिह्नित करते हैं, भले ही वह सच हो, सिर्फ इसलिए क्योंकि यह "कठोर समाचार" (जैसे राजनीति या अपराध) से अलग दिखता है?
यहाँ उन्हें जो मिला, उसे सरल शब्दों में नीचे दिया गया है:
1. "फैशन पुलिस" प्रभाव (The "Fashion Police" Effect)
शोधकर्ताओं ने पुस्तकालयाध्यक्षों को असली कहानियों का एक मिश्रण दिया: कुछ गंभीर राजनीति (Hard News) के बारे में और कुछ सेलिब्रिटी ड्रामा (Entertainment News) के बारे में।
- परिणाम: दो पुस्तकालयाध्यक्षों (DeepSeek-V3.2 और GPT-5.2) ने सख्त फैशन पुलिस की तरह काम किया। उन्होंने सेलिब्रिटी कहानियों को देखा और सोचा, "यह बहुत नाटकीय, बहुत भावनात्मक, या निजी जीवन पर बहुत अधिक केंद्रित लग रहा है। यह फर्जी होना चाहिए!" उन्होंने वास्तविक राजनीतिक कहानियों की तुलना में लगभग 10% अधिक वास्तविक सेलिब्रिटी कहानियों को फर्जी के रूप में चिह्नित किया।
- अन्य पुस्तकालयाध्यक्ष: अन्य दो पुस्तकालयाध्यक्षों (Claude Opus 4.6 और Gemini 3 Flash) को लेखन शैली की परवाह नहीं थी। उन्होंने सेलिब्रिटी कहानियों और राजनीतिक कहानियों के साथ निष्पक्ष व्यवहार किया, और उन्हें समान दर से चिह्नित किया।
मुख्य बात: "स्मार्ट" होने का मतलब निष्पक्ष होना नहीं है। कुछ AI में मनोरंजन समाचार के प्रति एक अंतर्निहित पूर्वाग्रह (bias) होता है, यह मानकर कि यदि कोई कहानी गॉसिप जैसी लगती है, तो वह झूठ ही होगी।
2. "मेकओवर" प्रयोग (शैली बनाम सार)
शोधकर्ता यह जानना चाहते थे: क्या AI केवल उन "कपड़ों" का न्याय कर रहा है जो कहानी ने पहने हैं? मनोरंजन समाचार अक्सर रंगीन, भावनात्मक भाषा का उपयोग करते हैं, जबकि कठोर समाचार शुष्क और तथ्यात्मक होते हैं।
इसका परीक्षण करने के लिए, उन्होंने 50 वास्तविक सेलिब्रिटी कहानियों को लिया और एक AI का उपयोग करके उन्हें "उबाऊ, गंभीर राजनीतिक समाचार" की शैली में फिर से लिखवाया। उन्होंने तथ्य बिल्कुल वही रखे लेकिन लहजा बदल दिया।
- परिणाम: मेकओवर (बदलाव) अच्छी तरह काम नहीं आया।
- एक AI के लिए, फर्जी होने की दर बिल्कुल वैसी ही रही।
- दूसरे AI के लिए, मेकओवर ने स्थिति को और भी खराब कर दिया—उसने पुनर्गठित कहानियों को और अधिक फर्जी के रूप में चिह्नित किया!
- रूपक (Metaphor): यह एक रॉक स्टार को टक्सीडो पहनाकर बाउंसर को धोखा देने की कोशिश करने जैसा है। बाउंसर (AI) ने अभी भी रॉक स्टार की ऊर्जा को पहचान लिया और कहा, "तुम यहाँ नहीं belong करते," भले ही उसकी पोशाक एकदम सही थी। पूर्वाग्रह केवल लेखन शैली के बारे में नहीं था; यह और भी गहरा था।
3. "विशेषज्ञ" प्रॉम्प्ट (The "Specialist" Prompt)
शोधकर्ताओं ने पुस्तकालयाध्यक्षों को एक नया जॉब डिस्क्रिप्शन (कार्य विवरण) देने की कोशिश की। केवल "न्यूज चेकर" कहने के बजाय, उन्होंने एक AI को बताया: "अब आप मनोरंजन समाचार के एक विशेष विशेषज्ञ हैं। आपका काम सेलिब्रिटी कहानियों की सच्चाई की जांच करना है।"
- परिणाम: यह एक पुस्तकालयाध्यक्ष (DeepSeek-V3.2) के लिए जादू की तरह काम कर गया। इसने वास्तविक सेलिब्रिटी कहानियों को फर्जी के रूप में चिह्नित करना बंद कर दिया, और इसने वास्तव में फर्जी खबरों को भी मिस नहीं किया।
- नुकसान: यह दूसरे पुस्तकालयाध्यक्ष (GPT-5.2) के लिए काम नहीं आया। चाहे उन्हें कितने भी निर्देश दिए गए, उस AI ने सेलिब्रिटी कहानियों पर संदेह करना जारी रखा।
मुख्य बात: आप कभी-कभी सही निर्देशों के साथ पूर्वाग्रह को ठीक कर सकते हैं, लेकिन यह इस बात पर निर्भर करता है कि आप किस AI का उपयोग कर रहे हैं। कोई "एक ही आकार सबके लिए फिट" (one-size-fits-all) वाला समाधान नहीं है।
4. यह क्यों होता है?
शोधकर्ताओं ने उन नोट्स को देखा जो AI ने अपनी गलतियों के समय लिखे थे। उन्होंने पाया कि AI के संदेह के दो मुख्य कारण थे:
- "मैं इसे साबित नहीं कर सकता": AI ने सोचा, "यह कहानी एक सेलिब्रिटी के निजी जीवन के बारे में है। मैं उनकी डायरी जाकर चेक नहीं कर सकता, इसलिए यह फर्जी होनी चाहिए।"
- "यह जॉनर कमजोर है": AI के पास एक छिपा हुआ नियम प्रतीत होता था कि मनोरंजन समाचार पत्रकारिता का एक "कमतर" प्रकार है, इसलिए वे राजनीतिक समाचारों की तुलना में इस पर कम भरोसा करते हैं।
बड़ी तस्वीर (The Big Picture)
इस पेपर का मुख्य सबक यह है कि औसत स्कोर भ्रामक हो सकते।
यदि आप एक टेस्ट स्कोर देखते हैं जो कहता है "यह AI 95% सटीक है," तो आप सोच सकते हैं कि यह परफेक्ट है। लेकिन यह पेपर दिखाता है कि AI राजनीतिक समाचारों पर 99% सटीक हो सकता है और मनोरंजन समाचारों पर केवल 85% सटीक हो सकता है। यह किसी विशिष्ट प्रकार की कहानी पर बहुत सख्त होकर "चीटिंग" कर रहा है।
संक्षेप में: ये AI सिस्टम केवल यह नहीं देख रहे हैं कि तथ्य सच हैं या नहीं; वे यह भी तय कर रहे हैं कि पत्रकारिता के कौन से प्रकार को सच होने की अनुमति है। कभी-कभी, वे अनजाने में यह निर्णय ले लेते हैं कि सेलिब्रिटी समाचार को राजनीतिक समाचार के समान विश्वास पाने का हक नहीं है, भले ही दोनों सच बता रहे हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।