Language Models Agree With Each Other, Not With Readers

द ग्रेट एआई इको चैंबर बनाम द क्वायट रीडर (The Great AI Echo Chamber vs. The Quiet Reader)

कल्पना कीजिए कि आप एक ऐसे कमरे में हैं जहाँ बहुत से लोग एक रहस्यमय, अदृश्य किताब के बारे में अनुमान लगाने की कोशिश कर रहे हैं। यदि आप मनुष्यों के एक समूह से एक पन्ना पढ़ने और सबसे महत्वपूर्ण वाक्यों को हाइलाइट करने के लिए कहते हैं, तो आपको एक बिखरा हुआ, सुंदर कोलाहल मिलेगा। एक व्यक्ति एक मज़ेदार चुटकुले को हाइलाइट करता है, दूसरा एक दुखद तथ्य को चिह्नित करता है, और तीसरा एक ऐसे शब्द को घेरा बनाता है जिसकी ध्वनि उसे पसंद आती है। वे सभी अपने अपने कारणों से पढ़ रहे हैं, बिना किसी निर्देश, बिना किसी पुरस्कार, और बिना किसी के यह बताए कि "महत्वपूर्ण" का अर्थ क्या है। वास्तविक पढ़ना इसी तरह काम करता है: यह व्यक्तिगत है, बिखरा हुआ है, और असहमति से भरा है।

अब, कल्पना कीजिए कि आप उन मनुष्यों को कंप्यूटरों के एक बेड़े से बदल देते हैं, जिन्हें इंटरनेट के एक विशाल पुस्तकालय पर प्रशिक्षित किया गया है। आप उनसे बिल्कुल वही सवाल पूछते हैं: "इस कहानी के कौन से वाक्य महत्वपूर्ण हैं?" आप उम्मीद कर सकते हैं कि वे मनुष्यों की तरह ही बिखरे हुए होंगे, या शायद और भी विविध होंगे क्योंकि वे अलग-अलग मशीनें हैं। लेकिन यहाँ एक मोड़ है: ये कंप्यूटर बिल्कुल एक-दूसरे की तरह सुनाई देने लगे हैं। वे उन्हीं वाक्यों को चुन रहे हैं, एक ऐसे स्तर की सहमति के साथ जो मनुष्यों का कोई भी समूह कभी नहीं तक पाता। यह शोध उस अजीब घटना की जांच करता है। यह पूछता है: क्या ये एआई मॉडल केवल एक-दूसरे की नकल कर रहे हैं, या उन्होंने किसी तरह एक ही "सही" तरीके से पढ़ने का निर्णय ले लिया है? और यदि वे एक-दूसरे के साथ इतनी अधिक सहमति रखते हैं, तो क्या वे हमारे साथ भी सहमति रखते हैं?

प्रयोग: एक हाइलाइटिंग बैटल (The Experiment: A Highlighting Battle)

उत्तर खोजने के लिए, शोधकर्ताओं ने एक अनूचा खेल तैयार किया। उन्होंने परीक्षण विषयों की तरह व्यवहार करने के लिए लोगों को काम पर नहीं रखा या नियमों का पालन करने के लिए उन्हें भुगतान नहीं किया। इसके बजाय, उन्होंने एक वास्तविक सोशल प्लेटफॉर्म को देखा जहाँ हजारों आम लोगों ने अपने व्यक्तिगत कारणों से—शायद किसी तथ्य को याद रखने के लिए, किसी मित्र के उद्धरण के लिए, या बस इसलिए क्योंकि एक वाक्य उन्हें सही लगा—120 विभिन्न वेब लेखों पर टेक्स्ट को हाइलाइट किया था। महत्वपूर्ण बात यह है कि ये पाठक एक-दूसरे के हाइलाइट्स को नहीं देख सकते थे; वे पूर्ण अलगाव में पढ़ रहे थे।

फिर, शोधकर्ताओं ने 18 अलग-अलग एआई मॉडल (ओपनएआई, गूगल और एंथ्रोपिक जैसी बड़ी कंपनियों के, छोटे से लेकर सुपर-पावरफुल "फ्रंटियर" मॉडल तक) से उन्हीं 120 लेखों को पढ़ने और उन शीर्ष 20% वाक्यों को चुनने के लिए कहा जो सबसे महत्वपूर्ण प्रतीत होते थे। उन्होंने तुलना की कि एआई आपस में कितनी सहमति रखते हैं बनाम वास्तविक मनुष्य आपस में कितनी सहमति रखते हैं।

बड़ी खोज: एआई सबसे अच्छे दोस्त हैं (लेकिन आपके नहीं) (The Big Discovery: AIs Are Best Friends (But Not With You))

परिणाम चौंकाने वाले थे। जब दो अलग-अलग एआई मॉडल एक ही लेख को पढ़ते हैं, तो वे इस बात पर सहमत होते हैं कि कौन से वाक्य महत्वपूर्ण हैं, यह दो रैंडम मानव पाठकों के बीच की सहमति से 2.3 गुना अधिक होता है।

इसे समझने के लिए:

• दो मनुष्य एक ही पन्ने को पढ़ते हैं तो वे आमतौर पर 14 के सेट में से लगभग 4.1 हाइलाइट किए गए वाक्यों को साझा करते हैं।
• दो एआई मॉडल उसी पन्ने को पढ़ते समय लगभग 8.7 वाक्य साझा करते हैं।
• इससे भी अधिक चौंकाने वाला: प्रतिद्वंद्वी कंपनियों के दो सबसे शक्तिशाली एआई मॉडल (GPT-5.4 और Claude Opus 5) आपस में एक ही लेख पर मनुष्यों की तुलना में 5.1 गुना अधिक सहमत थे। वास्तव में, वे एक-दूसरे के साथ लगभग उतनी ही सहमति रखते हैं जितनी एक अकेला मनुष्य एक ही टेक्स्ट को दोबारा पढ़ते समय खुद के साथ रखता है!

शोध पत्र इसे "कन्वर्जेंस" (अभिसरण) कहता है। इसका मतलब है कि एआई एक ही लय में चल रहे हैं, एक ही "सर्वश्रेष्ठ" वाक्य चुन रहे हैं, जबकि मनुष्य अलग-अलग दिशाओं में चल रहे हैं।

यह क्या नहीं है (गलत स्पष्टीकरणों को खारिज करना) (What It's NOT (Ruling Out the Wrong Explanations))

शोधकर्ता बहुत सावधान थे ताकि यह सुनिश्चित हो सके कि यह कोई चाल नहीं है। उन्होंने कई स्पष्ट कारणों का परीक्षण किया और उन्हें खारिज किया कि एआई इतनी अधिक सहमति क्यों रख रहे हैं:

• यह एक ही कंपनी होने के कारण नहीं है: पूरी तरह से अलग लैब और देशों के मॉडल भी उतने ही सहमत थे जितने कि एक ही कंपनी के मॉडल।
• यह "डिटरमिनिस्टिक" (रोबोटिक) होने के कारण नहीं है: भले ही एक ही एआई से ठीक वही सवाल दो बार पूछा गया, फिर भी इसने हमेशा बिल्कुल वही वाक्य नहीं चुने (यह खुद के साथ केवल 27% बार सहमत हुआ)। लेकिन जब इसने एक दूसरे एआई से बात की, तो वे बहुत अधिक सहमत थे।
• यह प्रॉम्प्ट की शब्दावली के कारण नहीं है: निर्देश के शब्दों को थोड़ा बदलने से उन्हें सहमत होने से रोका नहीं जा सका।
• यह एक "सही" उत्तर की नकल करने के कारण नहीं है: इस कार्य का कोई सही या गलत उत्तर नहीं था। एआई केवल वही चुन रहे थे जो उन्हें महत्वपूर्ण लगा।

"रजिस्टर" का रहस्य: क्या उन्हें अलग शब्द पसंद हैं? (The "Register" Mystery: Do They Like Different Words?)

कोई अनुमान लगा सकता है कि एआई इतनी सहमति इसलिए रखते हैं क्योंकि वे सभी लंबे, फैंसी, वैज्ञानिक वाक्यों को पसंद करते हैं, जबकि मनुष्य छोटे, भावनात्मक वाक्यों को पसंद करते हैं। शोधकर्ताओं ने वाक्यों की 11 विभिन्न विशेषताओं (जैसे लंबाई, विराम चिह्न और शब्द प्रकार) को देखकर इसकी जांच की।

उन्होंने पाया कि जब उन्होंने लंबाई और स्थिति के आधार पर वाक्यों का मिलान किया, तो कोई अंतर नहीं था। एआई और मनुष्य ऐसे वाक्य चुन रहे थे जो सतह पर बिल्कुल एक जैसे दिखते थे। एआई "रोबोट शब्द" नहीं चुन रहे थे; वे मनुष्यों के समान ही प्रकार के शब्द चुन रहे थे, बस वाक्यों का एक पूरी तरह से अलग सेट था। एआई जो चुनते हैं और मनुष्य जो चुनते हैं, उनके बीच की दूरी बढ़ रही है, लेकिन इसलिए नहीं कि वे अलग भाषा बोल रहे हैं।

सीमा: एआई के पास मानव होने के लिए जगह खत्म हो रही है (The Ceiling: AIs Are Running Out of Room to Be Human)

कहानी का सबसे दिलचस्प हिस्सा यहाँ है। शोधकर्ताओं ने पूछा: "जैसे-जैसे एआई स्मार्ट होता जाता है, क्या यह मनुष्यों के साथ अधिक सहमति रखने लगता है?"

जवाब है हाँ, लेकिन एक बिंदु तक।

• नए, स्मार्ट मॉडल पुराने, कम बुद्धिमान मॉडलों की तुलना में मनुष्यों के साथ अधिक सहमति रखते हैं।
• हालाँकि, वे एक "सीलिंग" (सीमा) से टकरा जाते हैं। अध्ययन के सबसे अच्छे एआई ने भी एक आदर्श "क्राउड कंसेंसस" (कई मनुषियों की औसत राय) द्वारा प्राप्त सहमति के स्तर का केवल 84% ही प्राप्त किया।
• इस बीच, दो एआई के बीच की सहमति बढ़ती रहती है, मानव सीमा को पार कर जाती है और बहुत ऊपर चली जाती है।

यह ऐसा है जैसे एआई मनुष्यों की तरह पढ़ना सीख रहे हैं, लेकिन वे एक-दूसरे की तरह पढ़ना और भी तेज़ी से सीख रहे हैं। वे एक विशिष्ट "आदर्श" पाठक की नकल करने में इतने कुशल हो रहे हैं कि वे वास्तविक मनुष्यों को पीछे छोड़ रहे हैं।

प्रक्रिया संबंधी समस्या: क्या यह एक निष्पक्ष मुकाबला था? (The Procedure Problem: A Fair Fight?)

पेपर यह भी स्वीकार करता है कि खेल कैसे खेला गया था इसमें एक विचित्रता थी। जब एक मनुष्य टेक्स्ट को हाइलाइट करता है, तो वह 20 वाक्य मार्क कर सकता है, लेकिन शोधकर्ताओं ने उन्हें केवल शीर्ष 14 रखने दिए (उनके सर्वश्रेष्ठ में से एक रैंडम चयन)। हालाँकि, एआई को अपने सर्वश्रेष्ठ 14 वाक्य चुनने के लिए मजबूर किया गया था। इसने एआई को एक अनुचित लाभ दिया, जैसे कि एक बास्केटबॉल खिलाड़ी जो अपने सर्वश्रेष्ठ 14 शॉट चुन सकता है जबकि मनुष्य को 20 के ढेर में से 14 शॉट रैंडमली चुनने पड़ते हैं।

जब शोधकर्ताओं ने एआई को मानव के नियमों के अनुसार खेलने दिया (अपने शीर्ष विकल्पों में से रैंडमली चुनना), तो एआई और मानव के बीच की सहमति का अंतर आधा हो गया। लेकिन तब भी, एआई आपस में मनुष्यों की तुलना में काफी अधिक सहमत थे। अंतर खत्म नहीं हुआ; यह बस छोटा हो गया।

निष्कर्ष (The Takeaway)

पेपर यह निष्कर्ष निकालता है कि भाषा मॉडल केवल उपकरण नहीं हैं जो हमें पढ़ने में मदद करते हैं; वे पूरी तरह से एक नए प्रकार के पाठक बन रहे हैं। वे टेक्स्ट को समझने के एक साझा, आंतरिक तरीके की ओर बढ़ रहे हैं जो वास्तविक लोगों के पढ़ने के तरीके की तुलना में बहुत अधिक एकरूप है। जबकि वे हमें समझने में बेहतर हो रहे हैं, वे एक-दूसरे को समझने में और भी बेहतर हो रहे हैं। परिणाम एक ऐसी दुनिया है जहाँ एआई मॉडल किसी दूसरी कंपनी के प्रतिद्वंद्वी एआई के साथ उस व्यक्ति की तुलना में अधिक सहमत हो सकते हैं जो टेक्स्ट पढ़ रहा है। यह एक शक्तिशाली, थोड़ा डरावना इको चैंबर है जहाँ मशीनें एक ही धुन गुनगुना रही हैं, जबकि मनुष्य अभी भी अपने अनूठे गीत गा रहे हैं।