Impact of AI Search Summaries on Website Traffic: Evidence from Google AI Overviews and Wikipedia

यहाँ खोसरवी और योगनारासिमन के शोध पत्र "Impact of AI Search Summaries on Website Traffic: Evidence from Google AI Overviews and Wikipedia" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र डिजिटल सूचना पारिस्थितिकी तंत्र में एक महत्वपूर्ण आर्थिक और संरचनात्मक बदलाव को संबोधित करता है: खोज इंजनों (search engines) का "लिंक सूचियों" से "उत्तर इंजन" (answer engines) में परिवर्तन, जो लार्ज लैंग्वेज मॉडल्स (LLMs) द्वारा संचालित हैं। विशेष रूप से, यह तीसरे पक्ष के प्रकाशकों (publishers) के इनकमिंग ट्रैफिक पर गूगल एआई ओवरव्यूज़ (AIO) के कारणत्मक प्रभाव (causal impact) की जांच करता है।

• द्वंद्व (The Conflict): प्रकाशक तर्क देते हैं कि AIO प्रतिस्थापन (substitutes) के रूप में कार्य करते हैं, जो सर्च इंजन रिजल्ट पेज (SERP) पर ही उपयोगकर्ता की जिज्ञासाओं को सीधे संतुष्ट कर देते हैं, जिससे स्रोत पृष्ठों के क्लिक कम हो जाते हैं। सर्च प्लेटफॉर्म का तर्क है कि वे पूरक (complements) हैं, जो खोज लागत को कम करते हैं और उद्धृत लिंक के माध्यम से उपयोगकर्ताओं को प्रासंगिक स्रोतों की ओर निर्देशित करते हैं।
• अंतराल (The Gap): समाचार एग्रीगेटर्स पर पिछले साहित्य के विपरीत, AIO मौलिक रूप से भिन्न हैं क्योंकि वे ऑर्गेनिक लिंक्स से पहले संश्लेषित उत्तर प्रदान करते हैं, जिससे बिना क्लिक किए ही सूचनात्मक इरादे (informational intent) को संतुष्ट किया जा सकता है। यह शोध पत्र इस विशिष्ट तंत्र पर साक्ष्य प्रदान करने का प्रयास करता है कि क्या यह प्रकाशक ट्रैफिक को विस्थापित करता है।

2. कार्यप्रणाली (Methodology)

लेखक एक डिफरेंस-इन-डिफरेंसेस (DiD) डिजाइन का उपयोग करते हैं, जिसमें गूगल AIO के क्रमिक रोलआउट और विकिपीडिया की बहुभाषी संरचना का लाभ उठाते हुए एक अर्ध-प्रायोगिक (quasi-experimental) परिवेश बनाया गया है।

A. डेटा निर्माण (Data Construction)

• स्रोत: विकिमीडिया एनालिटिक्स एपीआई (सार्वजनिक रूप से उपलब्ध दैनिक पेज व्यू डेटा)।
• नमूना (Sample): 161,382 मैच किए गए आर्टिकल-भाषा जोड़े, जिनमें 52,262 अद्वितीय अंग्रेजी लेख और उनके हिंदी, इंडोनेशियाई, जापानी और पुर्तगाली संस्करण शामिल हैं।
• समय सीमा: 28 अक्टूबर, 2023 से 14 अगस्त, 2024 तक।
• चयन मानदंड: लेखों का चयन पूर्व-उपचार लोकप्रियता (जुलाई 1, 2023 और मार्च 21, 2024 के बीच कम से कम एक भाषा में शीर्ष 1,000 सर्वाधिक देखे जाने वाले पृष्ठों में दिखना) के आधार पर किया गया था ताकि उपचार के बाद के परिणामों (post-treatment outcomes) पर आधारित न हो।

B. पहचान रणनीति (Identification Strategy)

• ट्रीटमेंट ग्रुप (Treatment Group): अंग्रेजी विकिपीडिया लेख। अंग्रेजी संस्करण को 22 मार्च, 2024 (US टेस्टिंग चरण) से AIO के संपर्क में लाया गया।
• कंट्रोल ग्रुप (Control Group): उन्हीं मूल लेखों के हिंदी, इंडोनेशियाई, जापानी और पुर्तगाली संस्करण। ये संस्करण अवलोकन अवधि के दौरान AIO के संपर्क में नहीं थे (इन क्षेत्रों में AIO का रोलआउट अगस्त 2024 से बाद में हुआ)।
• एक्सपोज़र के लिए प्रॉक्सी (Proxy for Exposure): चूंकि API भौगोलिक स्थिति के आधार पर फ़िल्टर नहीं करता है, इसलिए लेखक भाषा संस्करण को AIO एक्सपोज़र के प्रॉक्सी के रूप में उपयोग करते हैं, यह मानते हुए कि अंग्रेजी ट्रैफिक मुख्य रूप से अमेरिका (जहाँ AIO पहले लॉन्च हुआ) में केंद्रित है।

C. अर्थमितीय मॉडल (Econometric Model)

लेखक आर्टिकल-भाषा-दिन स्तर पर एक टू-वे फिक्स्ड इफेक्ट्स मॉडल का अनुमान लगाते हैं:
$$views_{i,l,t} = \alpha_{i,l} + \delta_t + \beta (English_l \times Post_t) + \epsilon_{i,l,t}$$

• परिणाम चर (Outcome Variable): दैनिक पेज व्यू ($views_{i,l,t}$)। लेखक स्पष्ट रूप से लेवल्स (levels) का उपयोग करते हैं (लॉग-ट्रांसफॉर्म का नहीं) ताकि राजस्व निहितार्थों के साथ संरेखित किया जा सके (विज्ञापन इंप्रेशन पूर्ण वॉल्यूम के साथ स्केल होते हैं) और विषम समूहों के साथ लॉग-ट्रांसफॉर्म किए गए DiD से जुड़ी पूर्वाग्रह संबंधी समस्याओं से बचा जा सके।
• फिक्स्ड इफेक्ट्स (Fixed Effects):
  • $\alpha_{i,l}$: आर्टिकल-भाषा फिक्स्ड इफेक्ट्स (समय-अपरिवर्तनीय लोकप्रियता और भाषा-विशिष्ट दर्शक आकार को समाहित करता है)।
  • $\delta_t$: डेट फिक्स्ड इफेक्ट्स (सामान्य समय झटकों, मौसमी बदलावों और प्लेटफॉर्म-व्यापी एल्गोरिदम अपडेट को समाहित करता है)।
• रुचि का गुणांक ($\beta$): AIO के परिचय के बाद अंग्रेजी पेज व्यू में नियंत्रण भाषाओं के सापेक्ष औसत परिवर्तन को दर्शाता है।
• अनुमान (Inference): सीरियल कोरिलेशन और सामान्य दैनिक झटकों को ध्यान में रखते हुए स्टैंडर्ड एरर्स को आर्टिकल और डेट के आधार पर टू-वे क्लस्टर किया गया है।

3. मुख्य परिणाम (Key Results)

A. मुख्य प्रभाव: ट्रैफिक विस्थापन (Main Effect: Traffic Displacement)

अध्ययन ट्रीटमेंट ग्रुप के लिए ट्रैफिक में सांख्यिकीय रूप से महत्वपूर्ण और आर्थिक रूप से बड़े स्तर की कमी पाता है।

• परिमाण (Magnitude): AIO का एक्सपोज़र कंट्रोल ग्रुप की तुलना में अंग्रेजी विकिपीडिया लेखों के दैनिक ट्रैफिक को लगभग 15% कम कर देता है।
• पूर्ण प्रभाव (Absolute Impact): इसे 52,262 अंग्रेजी लेखों के नमूने पर लागू करने पर प्रतिदिन लगभग 11.5 मिलियन पेज व्यू का नुकसान होता है, या प्रति वर्ष 4.21 बिलियन कम विज़िट।
• मजबूती (Robustness): परिणाम वैकल्पिक स्पेसिफिकेशन (PPML, वेटेड लॉग), अलग-अलग समय खिड़कियों (प्रारंभिक परीक्षण चरण को छोड़कर), और एकत्रित साप्ताहिक डेटा के साथ भी स्थिर रहते हैं।

B. विषय के आधार पर विषम प्रभाव (Heterogeneous Effects by Topic)

प्रतिस्थापन प्रभाव एक समान नहीं है; यह विषय श्रेणी के अनुसार काफी भिन्न होता है, जो इस परिकल्पना का समर्थन करता है कि AIO उन प्रश्नों के लिए प्रतिस्थापन है जहाँ संक्षिप्त, संश्लेषित उत्तर पर्याप्त होते हैं।

• संस्कृति (Culture): सबसे बड़ी गिरावट (-19.6%)। इन प्रश्नों के लिए अक्सर ऐसे तथ्यात्मक सारांशों की आवश्यकता होती है जिन्हें LLM आसानी से बना सकते हैं।
• भूगोल (Geography): -16.6%।
• इतिहास और समाज (History & Society): -9.9%।
• STEM: सबसे छोटी गिरावट (-7.4%)। लेखक सुझाव देते हैं कि STEM संबंधी प्रश्नों के लिए अधिक सूक्ष्मता, सत्यापन या जटिल संदर्भ की आवश्यकता हो सकती है जिसे उपयोगकर्ता अभी भी स्रोत लिंक के माध्यम से खोजते हैं।

C. आर्थिक निहितार्थ (Economic Implications)

लेखक विज्ञापन-आधारित प्रकाशकों के लिए ट्रैफिक हानि को राजस्व समकक्षों में बदलते हैं:

• $3.28–$9.37 की मानक CPM रेंज और 70% प्रकाशक रिटेंशन रेट को मानते हुए, ट्रैफिक हानि का अनुमानित वार्षिक राजस्व नुकसान विकिपीडिया के पैमाने के प्रकाशक के लिए $35.7 मिलियन से$102.1 मिलियन है।
• यह विज्ञापन मूल्य का सामग्री रचनाकारों से सीधे सर्च प्लेटफॉर्म की ओर हस्तांतरण का प्रतिनिधित्व करता है।

4. प्रमुख योगदान (Key Contributions)

1. जेनरेटिव AI पर कारणत्मक साक्ष्य: एग्रीगेटर्स पर पिछले अध्ययनों के विपरीत, यह शोध पत्र उन जेनरेटिव सारांशों के प्रभाव को अलग करता है जो ऑर्गेनिक लिंक्स के ऊपर स्थित होते हैं, जिससे LLM-आधारित खोज सुविधाओं द्वारा ट्रैफिक के 'कैनिबलाइजेशन' का पहला कारणत्मक अनुमान प्राप्त होता है।
2. कार्यप्रणाली की कठोरता (Methodological Rigor): यह शोध पत्र लेवल्स-आधारित अनुमान और कठोर पैरेलल ट्रेंड वैलिडेशन (इवेंट स्टडीज और प्री-ट्रेंड टेस्ट) का उपयोग करके DiD विश्लेषण की सामान्य कमियों (जैसे "लॉग-ट्रांसफॉर्म बायस") को संबोधित करता है।
3. विस्तृत विषमता (Granular Heterogeneity): यह प्रदर्शित करता है कि AI सर्च का प्रभाव विषय-निर्भर है; "तथ्यात्मक/सारांश" वाली सामग्री सबसे अधिक प्रभावित होती है, जो इस विचार को चुनौती देती है कि AI सर्च सभी प्रकाशकों के लिए सार्वभौमिक रूप से फायदेमंद है।
4. नीतिगत प्रासंगिकता: इसके निष्कर्ष बाजार शक्ति के संकेंद्रण, सामग्री आपूर्ति श्रृंखला की स्थिरता और नए एट्रिब्यूशन तंत्र (जैसे शाप्ली वैल्यू-आधारित राजस्व साझाकरण) की आवश्यकता के संबंध में चिंताओं को अनुभवजन्य आधार प्रदान करते हैं।

5. महत्व और सीमाएं (Significance and Limitations)

• महत्व: परिणाम बताते हैं कि "आंसर-फर्स्ट" प्रतिमान खुले वेब (open web) की अर्थव्यवस्था को मौलिक रूप से बदल देता है। यदि सर्च इंजन बिना क्लिक के उपयोगकर्ता के इरादे को संतुष्ट कर सकते हैं, तो सूचनात्मक प्रकाशकों के लिए पारंपरिक विज्ञापन-राजस्व मॉडल खतरे में है। यह बाजार शक्ति के संकेंद्रण और नई व्यावसायिक मॉडलों (जैसे AI ट्रेनिंग/जेनरेशन के लिए कंटेंट लाइसेंसिंग) की आवश्यकता के तर्कों का समर्थन करता है।
• सीमाएं:
  • सामान्यीकरण (Generalizability): यह अध्ययन विकिपीडिया पर केंद्रित है, जो अद्वितीय है क्योंकि यह प्राथमिक उत्तर भंडार और अत्यधिक उद्धृत स्रोत दोनों है। छोटे प्रकाशकों या ट्रांसेक्शनल/ई-कॉमर्स साइटों पर प्रभाव भिन्न हो सकता है।
  • मापन (Measurement): भूगोल के प्रॉक्सी के रूप में भाषा का उपयोग अपूर्ण है (अंग्रेजी का वैश्विक पाठक वर्ग है), जिसका अर्थ है कि अनुमानित 15% की गिरावट वास्तविक प्रभाव का एक रूढ़िवादी निचला स्तर (conservative lower bound) है।
  • विकास (Evolution): AIO फीचर्स तेजी से विकसित हो रहे हैं; सामग्री की गुणवत्ता और योगदानकर्ताओं के प्रोत्साहन पर दीर्घकालिक प्रभाव अभी देखना बाकी है।

निष्कर्षतः, यह शोध पत्र ठोस साक्ष्य प्रदान करता है कि गूगल के AI ओवरव्यूज़, विशेष रूप से सूचनात्मक सामग्री के लिए, प्रकाशक ट्रैफिक के लिए एक प्रतिस्थापन (substitute) के रूप में कार्य करते हैं, जिससे ध्यान और राजस्व का भौतिक पुनर्वितरण सर्च प्लेटफॉर्म की ओर होता है।