Evaluating Commercial AI Chatbots as News Intermediaries
यह शोध पत्र छह भाषाओं में 2,100 वास्तविक समय के समाचार प्रश्नों पर छह वाणिज्यिक एआई चैटबॉट्स का मूल्यांकन करता है, जो यह प्रकट करता है कि हालांकि वे सुव्यवस्थित प्रश्नों पर उच्च सटीकता प्राप्त करते हैं, वे महत्वपूर्ण क्षेत्रीय पूर्वाग्रहों, पुनर्प्राप्ति-निर्भर विफलताओं और गलत धारणाओं के प्रति गंभीर संवेदनशीलता से ग्रस्त हैं जो समाचार मध्यस्थों के रूप में उनकी विश्वसनीयता को कम करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए एक ऐसी दुनिया की जहाँ, टीवी चालू करने या अखबार पढ़ने के बजाय, आप एक सुपर-स्मार्ट डिजिटल असिस्टेंट से पूछते हैं, "आज की खबरों में क्या हुआ?" और वह आपको एक सटीक, तुरंत सारांश देता है। यह AI चैटबॉट्स के हमारे नए "न्यूज़ इंटरमीडियरी" (समाचार मध्यस्थ) बनने के वादे जैसा है।
यह शोध पत्र छह सबसे लोकप्रिय AI चैटबॉट्स (GPT, Gemini, Claude और Grok के संस्करणों सहित) का एक विशाल, वास्तविक समय का 'स्ट्रेस टेस्ट' है, यह देखने के लिए कि क्या वे वास्तव में ब्रेकिंग न्यूज़ के लिए भरोसेमंद हो सकते हैं। शोधकर्ताओं ने उनसे केवल इतिहास के बारे में नहीं पूछा; उन्होंने उनसे उन घटनाओं के बारे में पूछा जो अभी (फरवरी 2026 में) छह अलग-अलग भाषाओं और क्षेत्रों में घटित हो रही थीं।
यहाँ उनके द्वारा की गई खोजों का विवरण दिया गया, जिसे सरल उपमाओं (analogies) के माध्यम से समझाया गया है:
1. "बहुविकल्पीय" भ्रम (The "Multiple-Choice" Illusion)
निष्कर्ष: जब AI को एक बहुविकल्पीय प्रश्नोत्तरी (जैसे विकल्पों A, B, C, D, E के साथ एक स्कूल टेस्ट) दी गई, तो शीर्ष बॉट्स ने 90% से अधिक उत्तर सही दिए। वे जीनियस लग रहे थे।
वास्तविकता की जाँच: जब शोधकर्ताओं ने विकल्प हटा दिए और बॉट्स से केवल "मुझे उत्तर बताओ" कहा, तो उनके स्कोर में लगभग 15-20% की गिरावट आई।
उपमा: इसे एक छात्र द्वारा टेस्ट देने की तरह समझें। यदि आप उन्हें बहुविकल्पीय प्रश्न देते हैं, तो वे सही उत्तर का अनुमान लगा सकते हैं या सही वाक्यांश को पहचान सकते हैं। लेकिन यदि आप उन्हें शून्य से निबंध लिखने के लिए कहते हैं, तो वे लड़खड़ा सकते हैं। यह पेपर चेतावनी देता है कि सुर्खियों में दिखने वाले उच्च स्कोर आंशिक रूप से इसलिए हैं क्योंकि "बहुविकल्पीय" प्रारूप AI को वास्तव में जितना वह है, उससे कहीं अधिक स्मार्ट दिखाता है।
2. "हिंदी अंतराल" (The "Hindi Gap" - टूटा हुआ दिशा-सूचक यंत्र)
निष्कर्ष: AI ने अंग्रेजी, फ्रेंच, रूसी, अरबी और तुर्की में बहुत अच्छा प्रदर्शन किया। लेकिन जब हिंदी में समाचार के बारे में पूछा गया, तो हर एक बॉट का प्रदर्शन काफी खराब हो गया (सटीकता गिरकर लगभग 79% रह गई)।
कारण: समस्या यह नहीं थी कि बॉट्स हिंदी बोल नहीं सकते थे; वे बोल सकते थे। समस्या उनका "सर्च इंजन" वाला दिशा-सूचक यंत्र (compass) था। हिंदी में सवाल पूछे जाने पर, बॉट्स अक्सर स्थानीय हिंदी समाचार स्रोतों को अनदेखा कर देते थे और उत्तर खोजने के लिए अंग्रेजी विकिपीडिया या अंग्रेजी समाचार साइटों पर चले जाते थे।
उपमा: कल्पना कीजिए कि आप मुंबई में एक टूर गाइड से पूछते हैं, "सबसे अच्छा स्थानीय स्ट्रीट फूड कहाँ मिलेगा?" आपको स्थानीय स्टॉल तक ले जाने के बजाय, गाइड आपको शहर के केंद्र में एक सामान्य अमेरिकी रेस्टोरेंट में ले जाता है जो दावा करता है कि वह भारतीय खाना परोसता है। खाना ठीक हो सकता है, लेकिन वह असली चीज़ नहीं है, और विवरण (जैसे कीमत या विशिष्ट व्यंजन) गलत हैं। AI स्थानीय समाचारों को अंग्रेजी के चश्मे से "अनुवाद" कर रहा था, जिससे विशिष्ट तथ्य छूट रहे थे।
3. "लाइब्रेरी बनाम लाइब्रेरियन" की समस्या (The "Library vs. The Librarian" Problem)
निष्कर्ष: शोधकर्ताओं ने पाया कि AI की सबसे बड़ी गलती यह नहीं थी कि वह "सोचने में बुरा" (तर्क करने में) था; बल्कि यह थी कि वह "किताब खोजने में बुरा" (रिट्रीवल) था। 70% से अधिक त्रुटियां इसलिए हुईं क्योंकि AI ने गलत स्रोत लेख चुन लिया था। एक बार जब उसके पास सही लेख आ जाता, तो वह लगभग हमेशा सही उत्तर दे देता था।
उपमा: एक अत्यंत बुद्धिमान छात्र (AI) की कल्पना करें जो गणित के सवाल हल करने में माहिर है। लेकिन, वह एक ऐसी लाइब्रेरी में है जहाँ किताबें बिखरी हुई हैं। यदि छात्र गलत किताब उठा लेता है, तो वह गलत जानकारी के आधार पर गणित के सवाल बिल्कुल सही हल करेगा। समस्या छात्र के दिमाग की नहीं है; समस्या लाइब्रेरी के संगठन की है। AI स्मार्ट है, लेकिन उसका सर्च टूल अक्सर इंटरनेट से गलत "किताब" खींच रहा है।
4. "जी-हुज़ूरी" का जाल (The "Yes-Man" Trap - एडवरसेरियल टेस्टिंग)
निष्कर्ष: जब शोधकर्ताओं ने सूक्ष्म झूठ वाले प्रश्नों के साथ AI को बेवकूफ बनाने की कोशिश की (उदाहरण के लिए, "राष्ट्रपति के चुनाव जीतने पर क्या हुआ?" जबकि वास्तव में वह हार गए थे), तो AI का प्रदर्शन ढह गया। कुछ बॉट्स की सटीकता 90% से गिरकर 19% रह गई।
उपमा: एक बहुत ही आत्मविश्वासी लेकिन भोली दोस्त की कल्पना करें। यदि आप कहते हैं, "मैंने पार्क में एक नीला हाथी देखा," तो एक समझदार व्यक्ति कह सकता है, "रुको, हाथी नीले नहीं होते।" लेकिन यह AI दोस्त कहता है, "ओह, सच में? मुझे चेक करने दो... हाँ, यहाँ नीले हाथी के बारे में एक कहानी है।" AI दूसरों को खुश करने के लिए इतना उत्सुक है और आपके शब्दों से मेल खाने वाली कुछ न कुछ चीज़ खोजने पर इतना केंद्रित है कि वह आपके झूठ को सच मान लेता है और उसके इर्द-गिर्द एक फर्जी कहानी बना लेता है।
5. "अलग दुनियाओं" का प्रभाव (The "Different Worlds" Effect)
निष्कर्ष: यदि आप दो अलग-अलग AI चैटबॉट्स से एक ही समाचार प्रश्न पूछते हैं, तो वे आपको पूरी तरह से अलग वेबसाइटों के आधार पर उत्तर दे सकते हैं। एक स्थानीय समाचार पत्र का हवाला दे सकता है, जबकि दूसरा वैश्विक अंग्रेजी साइट का।
उपमा: यह एक ही प्रश्न पूछने वाले दो अलग-अलग लोगों को दो अलग-अलग टूर गाइड दिखाने जैसा है। एक गाइड आपको शहर को एक स्थानीय इतिहासकार की दृष्टि से दिखाता है; दूसरा आपको शहर को एक ट्रैवल ब्लॉगर की दृष्टि से दिखाता है। आप जिस भी बॉट को चुनते हैं, उसके आधार पर आपको "वास्तविकता" के दो अलग-अलग संस्करण मिलते हैं, और आपको यह पता लगाने का कोई तरीका नहीं है कि वास्तव में कौन सा वास्तविक समाचार देख रहा है।
मुख्य निष्कर्ष (The Bottom Line)
पेपर निष्कर्ष निकालता है कि हालांकि ये AI चैटबॉट्स समाचार के मामले में बहुत अच्छे हो रहे हैं, लेकिन वे नाजुक (fragile) हैं।
- वे एक टेस्ट में एकदम सही दिखते हैं लेकिन वास्तविक बातचीत में लड़खड़ा जाते हैं।
- वे गैर-अंग्रेजी समाचारों (विशेषकर हिंदी) के साथ ऐसा व्यवहार करते हैं जैसे वे दूसरे दर्जे के नागरिक हों, उन्हें अंग्रेजी स्रोतों के माध्यम से फ़िल्टर करते हैं।
- उन्हें गलत धारणाओं से आसानी से छला जा सकता है, वे फैक्ट-चेकर के बजाय "जी-हुज़ूरी" करने वाले (yes-men) की तरह काम करते हैं।
- उनकी सटीकता इस बात पर अधिक निर्भर करती है कि उनका सर्च इंजन सही लेख कितनी अच्छी तरह खोजता है, न कि इस पर कि AI का दिमाग कितना स्मार्ट है।
लेखक चेतावनी देते हैं कि यदि हम इन खामियों को समझे बिना इन उपकरणों पर समाचारों के लिए निर्भर होते हैं, तो हम एक ऐसी दुनिया में समाप्त हो सकते हैं जहाँ अलग-अलग लोग सत्य के अलग-अलग संस्करण देखते हैं, और जहाँ स्थानीय समाचार एक वैश्विक, अंग्रेजी बोलने वाले फिल्टर के नीचे दब जाते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।