Event-Time Confounding Under Bursty Human Dynamics
यह शोध पत्र यह प्रदर्शित करता है कि डिजिटल व्यवहार को उपयोगकर्ता-प्रेरित घटनाओं के साथ संरेखित करने से एक "एपिसोड-सिलेक्शन बायस" (episode-selection bias) उत्पन्न होता है, जहाँ घटना-पश्चात गतिविधि में होने वाली वृद्धि चल रहे कार्यों के स्वाभाविक निरंतरता को दर्शाती है न कि कारण प्रभावों को, जो एक ऐसा भ्रम (confound) है जिसे मानक 'यूज़र फिक्स्ड इफेक्ट्स' (user fixed effects) संबोधित करने में विफल रहते हैं लेकिन जिसे प्रस्तावित नैदानिक प्रोटोकॉल और "बर्स्टचेक" (burstcheck) ऑडिट टूल का उपयोग करके पहचाना और सुधारा जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
डिजिटल दुनिया में, हम हर बार जब कुछ क्लिक करते हैं, सर्च करते हैं या कोई सवाल पूछते हैं, तो ब्रेडक्रंब्स (रोटी के टुकड़ों) जैसा एक निशान छोड़ देते हैं। वर्षों से, शोधकर्ता और कंपनियाँ इन निशानों को पढ़ने की कोशिश कर रहे हैं ताकि कारण और प्रभाव (cause and effect) को समझा जा सके। वे यह जानना चाहते हैं कि क्या कोई विशिष्ट क्रिया, जैसे कि कृत्रिम बुद्धिमत्ता (AI) से मदद मांगना, वास्तव में यह बदल देती है कि व्यक्ति आगे क्या करता है। इसे पता लगाने का मानक तरीका एक समय चुनना है—मान लीजिए, वह सेकंड जब एक उपयोगकर्ता चैटबॉट में एक प्रश्न टाइप करता है—और फिर उसके बाद के मिनटों में कितनी गतिविधि होती है, इसका माप लेना। यदि उपयोगकर्ता उस क्षण के बाद अधिक उत्पादों की खोज करता है या अधिक लेख पढ़ता है, तो धारणा यह है कि चैटबॉट ने इस उछाल का कारण बनता है। यह सोचने का एक तार्किक तरीका है, लेकिन यह एक छिपी हुई धारणा पर निर्भर करता है: कि जिस क्षण उपयोगकर्ता ने कार्य करने का निर्णय लिया, वह एक तटस्थ शुरुआती बिंदु था, जैसे कि दौड़ के लिए शुरुआती बंदूक (starting gun) का बजना।
हालाँकि, मानवीय व्यवहार किसी दौड़ की तरह नहीं है जिसमें एक ही शुरुआती बंदूक हो। इसके बजाय, हमारा ध्यान लहरों के रूप में आता है। हम अक्सर किसी विषय में डूब जाते हैं, किसी समस्या को हल करने या जिज्ञासा को शांत करने के लिए बीस या तीस मिनट तक विभिन्न वेबसाइटों, खोज इंजनों और उपकरणों के बीच कूदते रहते हैं। गतिविधि के ये विस्फोट तीव्र और केंद्रित होते हैं, जिसके बाद शांति की लंबी अवधि आती है। समस्या तब उत्पन्न होती है जब एक शोधकर्ता अध्ययन करने के लिए इन व्यस्त लहरों के भीतर से एक क्षण चुनता है। यदि कोई व्यक्ति एक शोध सत्र के बीच में ही प्रश्न पूछता है, तो उसके बाद की गतिविधि आवश्यक रूप से प्रश्न की प्रतिक्रिया नहीं होती है। यह केवल उस लहर का निरंतरता है जिस पर वह पहले से ही सवार था। प्रश्न ने लहर को शुरू नहीं किया; यह बस वह क्षण था जब शोधकर्ता ने अपनी घड़ी की ओर देखा। कारण और संयोग के बीच अंतर करना इस वातावरण में कठिन है क्योंकि जो व्यक्ति क्षण चुन रहा है, वही गतिविधि को भी संचालित कर रहा है।
यह माइकल इयानेली और एलन एआई (Scratch AI के) के एक नए अध्ययन द्वारा हल की गई मुख्य पहेली है। उन्होंने जांच की कि क्या डिजिटल व्यवहार को मापने का मानक तरीका वास्तव में घटना को माप रहा है, या केवल उस व्यस्त अवधि को माप रहा है जिसमें वह घटना घटित हुई। इसे हल करने के लिए, उन्होंने केवल सिद्धांत पर भरोसा नहीं किया; उन्होंने हजारों उपयोगकर्ताओं के वास्तविक डेटा का उपयोग करके एक परीक्षण बनाया जिन्होंने अपने ब्राउज़िंग इतिहास, खोज प्रश्नों और AI सहायकों के साथ बातचीत साझा करने की सहमति दी थी। शोधकर्ता यह देखना चाहते थे कि क्या वे अपने स्वयं के मापन उपकरणों को वहां "कारण" खोजने के लिए धोखा दे सकते हैं जहां कोई कारण मौजूद नहीं था।
टीम ने एक चतुर प्रयोग डिजाइन किया जिसे वे "ज्ञात-शून्य" (known-null) टाइमस्टैम्प कहते हैं। उन्होंने बिल्कुल उन्हीं उपयोगकर्ताओं और उन्हीं गतिविधि पैटर्न को लिया, लेकिन उन्होंने उन क्षणों को चुना जब उपयोगकर्ता व्यस्त तो था लेकिन उसने AI से कोई प्रश्न नहीं पूछा था। उन्होंने इन यादृच्छिक (random) क्षणों को एक वास्तविक घटना की तरह माना। चूंकि ये क्षण केवल समय के यादृच्छिक बिंदु थे जिनमें कोई वास्तविक हस्तक्षेप नहीं था, इसलिए वे किसी भी व्यवहार में परिवर्तन का कारण नहीं हो सकते थे। यदि मानक मापन उपकरण सही ढंग से काम कर रहे होते, तो उन्हें इन नकली क्षणों के बाद शून्य प्रभाव दिखना चाहिए था। इसके बजाय, उपकरणों ने गतिविधि में भारी उछाल दर्ज किया। जब शोधकर्ताओं ने डेटा देखा, तो उन्होंने पाया कि इन यादृच्छिक, नकली क्षणों ने खोज गतिविधि में लगभग उतना ही उछाल पैदा किया जितना कि वास्तविक AI प्रतिक्रियाओं के बाद देखा गया था। विशेष रूप से, नकली क्षणों ने सामान्य खोज गतिविधि से लगभग 3.4 गुना अधिक गतिविधि उत्पन्न की, जबकि वास्तविक AI क्षणों ने लगभग 4.3 गुना अधिक।
यह परिणाम एक झटका था क्योंकि इसने दिखाया कि AI का "प्रभाव" काफी हद तक समय (timing) द्वारा निर्मित एक भ्रम था। शोधकर्ताओं ने पाया कि गतिविधि AI के जवाब देने के क्षण में नहीं बढ़ी थी। इसके बजाय, गतिविधि प्रतिक्रिया से लगभग आठ मिनट पहले ही बढ़ रही थी, शिखर पर पहुँची, और फिर धीरे-धीरे कम होने लगी। AI प्रतिक्रिया केवल एक कार्य के बीच में लिया गया एक टाइमस्टैम्प था जो पहले से ही पूरी गति में था। उपयोगकर्ता पहले से ही खोज और ब्राउज़िंग कर रहा था क्योंकि वह एक "टास्क एपिसोड" (कार्य प्रकरण), यानी उच्च जुड़ाव की अवधि के बीच में था। AI प्रतिक्रिया उस एपिसोड का एक मार्कर थी, न कि वह चिंगारी जिसने इसे शुरू किया था।
यह साबित करने के लिए कि यह एक सामान्य समस्या है न कि केवल AI की कोई विचित्रता, शोधकर्ताओं ने अन्य प्रकार की डिजिटल घटनाओं को देखा। उन्होंने उन क्षणों की जांच की जब उपयोगकर्ताओं ने शॉपिंग लिंक पर क्लिक किया, समाचार साइटों पर गए, या कोडिंग दस्तावेज़ खोले। हर मामले में, वही पैटर्न दिखाई दिया। वेब के अन्य हिस्सों पर गतिविधि—जैसे सामान्य ब्राउज़िंग और सर्चिंग—लिंक पर क्लिक करने से पहले ही उच्च थी। घटना हमेशा गतिविधि की एक बड़ी, बढ़ती हुई लहर के भीतर स्थित थी। शोधकर्ताओं ने एक ऐसा संसार भी सिम्युलेट (simulated) किया जहाँ एक घटना का व्यवहार बदलने में बिल्कुल कोई प्रभाव नहीं था। इन कंप्यूटर सिमुलेशन में, उन्होंने एक ऐसी स्थिति बनाई जहाँ उपयोगकर्ता की गतिविधि स्वाभाविक रूप से बढ़ती और फिर कम होती है, और उन्होंने एक "ट्रीटमेंट" घटना को उस उछाल के भीतर यादृच्छिक रूप से रखा। भले ही घटना ने कुछ नहीं किया, मानक विश्लेषण विधियों ने अभी भी एक बड़ा, सकारात्मक प्रभाव रिपोर्ट किया। विधियाँ विफल रहीं क्योंकि वे उपयोगकर्ता के ध्यान के प्राकृतिक उत्थान और पतन को गिन रही थीं, जिसे उन्होंने घटना के प्रति प्रतिक्रिया समझ लिया।
अध्ययन ने यह भी परीक्षण किया कि क्या सामान्य सांख्यिकीय तरकीबें इस समस्या को ठीक कर सकती हैं। शोधकर्ता अक्सर एक उपयोगकर्ता की तुलना दूसरे समय के स्वयं से करके, या उपयोगकर्ता के हालिया इतिहास को मिलाकर इसे नियंत्रित करने का प्रयास करते हैं। लेखकों ने पाया कि ये विधियाँ काम नहीं करतीं। क्योंकि "व्यस्त अवस्था" (busy state) छिपी हुई होती है और मिनट-दर-मिनट तेजी से बदलती है, एक घंटे पहले के उपयोगकर्ता के इतिहास को देखना कल के मौसम को देखकर आज के तूफान की भविष्यवाणी करने जैसा है। उच्च जुड़ाव की छिपी हुई अवस्था को इन पुराने डेटा बिंदुओं द्वारा नहीं पकड़ा जा सकता है। शोधकर्ताओं ने दिखाया कि भले ही उन्होंने उपयोगकर्ताओं को समान गतिविधि स्तरों वाले क्षणों के साथ मिलाने की कोशिश की, फिर भी पूर्वाग्रह बना रहा। घटना को एपिसोड से अलग करने का एकमात्र तरीका पूरे कालखंडों की तुलना करना है—एक पूरे शोध सत्र (AI के साथ) की तुलना बिना AI वाले एक पूरे शोध सत्र से करना—न कि केवल एक क्लिक के तुरंत बाद के मिनटों को देखना।
इस निष्कर्ष के निहितार्थ डिजिटल जीवन को समझने के तरीके के लिए महत्वपूर्ण हैं। यह सुझाव देता है कि कई रिपोर्टें जो दावा करती हैं कि एक विशिष्ट उपकरण या विज्ञापन गतिविधि में उछाल लाता है, वे डेटा को गलत पढ़ रही हैं। उछाल तो पहले से ही हो रहा होगा। शोधकर्ता यह नहीं कहते कि AI या विज्ञापनों का कोई प्रभाव नहीं है; वे केवल यह तर्क देते हैं कि उन्हें मापने का मानक तरीका त्रुटिपूर्ण है। यदि कोई व्यक्ति पहले से ही खरीदारी की यात्रा के बीच में है, तो एक AI सहायक उन्हें उत्पाद खोजने में मदद कर सकता है, लेकिन सहायक ने वह खरीदारी की यात्रा शुरू नहीं की। अध्ययन निष्कर्ष निकालता है कि सही उत्तर प्राप्त करने के लिए, हमें एक एकल क्लिक को कहानी की शुरुआत मानना बंद करना होगा और पूरे अध्याय को देखना शुरू करना होगा। हमें उपयोगकर्ता के दिन के समान अध्यायों की तुलना करनी होगी, उस विशिष्ट घटना के साथ और उसके बिना, यह देखने के लिए कि क्या कहानी वास्तव में बदलती है। जब तक हम ऐसा नहीं करते, डिजिटल लॉग में जो "प्रभाव" हम देखते हैं, वे संभवतः उस लहर की गूँज मात्र हैं जो पहले से ही टूट रही थी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।