Review Text as a Leading Indicator of Displayed Reputation in Platform Rating Systems: Evidence from 34 U.S. Short-Term Rental Markets

कल्पना कीजिए कि आप एक विशाल, हलचल भरे बाज़ार में घूम रहे हैं जहाँ हर कोई कुछ न कुछ बेच रहा है, नींबू पानी से लेकर विंटेज गिटार तक। आपको यह तय करने में मदद करने के लिए कि किस पर भरोसा किया जाए, हर स्टॉल पर एक बड़ा, चमकता हुआ साइन बोर्ड है जो स्टार रेटिंग दिखाता है। आमतौर पर, ये सितारे ही अंतिम निर्णायक होते हैं: पाँच सितारे का मतलब है "अद्भुत," और चार सितारा मतलब "काफी अच्छा।" लेकिन यहाँ एक मोड़ है: इस विशिष्ट बाज़ार में, लगभग हर स्टॉल की रेटिंग 4.5 से 5.0 सितारों के बीच है। यह एक ऐसी कक्षा की तरह है जहाँ हर छात्र को A+ मिलता है। जब हर कोई आदर्श होता है, तो स्टार रेटिंग उपयोगी नहीं रह जाती क्योंकि यह नहीं बता पाती कि वास्तव में सबसे बेहतर कौन है। यह "प्रतिष्ठा प्रणाली" (reputation system) के लिए एक समस्या है, जो केवल एक फैंसी तरीका है यह कहने का कि "विश्वास की मशीन" अजनबियों को एक-दूसरे से सुरक्षित रूप से खरीदारी करने में मदद करती है।

तो, यदि सितारे छत पर अटके हुए हैं, तो क्या उन्हें एक बेहतरीन स्टॉल से एक अच्छे स्टॉल के बीच अंतर बताने का कोई अन्य तरीका है? शायद लोग जो लिखित समीक्षाएँ (reviews) लिखते हैं—अनुभवों के बारे में वे लंबे, विस्तृत पैराग्राफ—अभी भी रहस्य को थामे हुए हैं? यह शोध पत्र एक चतुर, समय-यात्रा करने वाला प्रश्न पूछता है: यदि हम कल लिखे गए शब्दों को आज पढ़ते हैं, तो क्या हम भविष्यवाणी कर सकते हैं कि कल स्टार रेटिंग कैसे बदलेगी? यह मौसम के पूर्वानुमान की जाँच करने जैसा है कि बादलों के आने से पहले पक्षी कैसा व्यवहार कर रहे हैं। शोधकर्ता यह देखना चाहते थे कि क्या समीक्षाओं में "चर्चा" (chatter) वास्तव में एक अग्रणी संकेतक (leading indicator) है, यानी भविष्य के स्कोर की एक झलक, भले ही वर्तमान स्कोर स्थिर और अनुपयोगी लग रहा हो।

---

"स्टार फ्रीज़" और "फुसफुसाते टेक्स्ट" की कहानी

ऑनलाइन रेंटल की दुनिया में, एक अजीब सी गड़बड़ी है। लगभग हर लिस्टिंग एकदम सही दिखती है। चाहे वह जगह वास्तव में अद्भुत हो या सिर्फ "ठीक-ठाक," उसका रेटिंग आमतौर पर 4.8 या 4.9 सितारे ही रहता है। यह एक वीडियो गेम की तरह है जहाँ हर कोई हाई स्कोर प्राप्त कर लेता है, इसलिए लीडरबोर्ड यह नहीं बता पाता कि वास्तव में कौन जीत रहा है। क्योंकि संख्याएँ शीर्ष पर बहुत अधिक घनी हैं, वे अच्छे और महान के बीच अंतर करना बंद कर देती हैं।

लेकिन शोधकर्ताओं ने, अली सफारी के नेतृत्व में, सोचा: क्या उन सितारों के नीचे का टेक्स्ट केवल खाली शोर है, या वह वास्तव में भविष्य के बारे में रहस्य फुसफुसा रहा है? उन्होंने स्टार रेटिंग और लिखित समीक्षा को सूचना के दो अलग-अलग चैनलों के रूप में माना। टेक्स्ट को एक तेज़ मोटरसाइकिल की तरह समझें जो आगे निकल जाती है, जबकि स्टार रेटिंग को एक भारी ट्रक की तरह समझें जिसे मुड़ने में लंबा समय लगता है। बड़ा सवाल यह था: क्या मोटरसाइकिल का रास्ता यह अनुमान लगा सकता है कि ट्रक आगे कहाँ जाएगा?

यह पता लगाने के लिए, उन्होंने केवल अनुमान नहीं लगाया; उन्होंने अमेरिका के 34 विभिन्न शहरों के डेटा का उपयोग करके एक विशाल टाइम मशीन बनाई। उन्होंने 2,00,000 से अधिक रेंटल लिस्टिंग और लाखों समीक्षाओं का अध्ययन किया। उन्होंने एक विशिष्ट तिथि (2025 का एक "स्नैपशॉट") से पहले लोगों द्वारा लिखे गए सभी टेक्स्ट को लिया और उसे एक "टेक्स्ट इंडेक्स" में बदल दिया। यह इंडेक्स जादुई नहीं था; यह एक सावधानीपूर्वक बनाया गया उपकरण था जो इस बात को गिनता था कि लोग स्वच्छता, चेक-इन और संचार जैसी विशिष्ट चीजों के बारे में कितने सकारात्मक या नकारात्मक थे।

फिर, उन्होंने एक साल का इंतज़ार किया। उन्होंने यह देखने के लिए उन्हीं लिस्टिंग की जांच की कि 2026 में उनकी स्टार रेटिंग में क्या बदलाव आया।

खोज: टेक्स्ट एक क्रिस्टल बॉल है

परिणाम स्पष्ट और आश्चर्यजनक रूप से सटीक थे। शोधकर्ताओं ने पाया कि अतीत के टेक्स्ट की "गर्मी" (warmth) ने भविष्य में स्टार रेटिंग की गति की भविष्यवाणी की।

यहाँ वह जादु적인 संख्या है: "वॉर्मर" टेक्स्ट (यानी समीक्षाएं सामान्य से थोड़ी अधिक सकारात्मक थीं) के प्रत्येक मानक विचलन (standard deviation) के लिए, प्रदर्शित रेटिंग अगले वर्ष लगभग 0.00928 सितारा ऊपर चली गई।

अब, उस छोटी संख्या को देखकर धोखा न खाएं। एक ऐसे पैमाने पर जहाँ अधिकांश रेटिंग 4.5 और 5.0 के बीच अटकी हुई हैं, एक सौवें हिस्से का बदलाव एक वास्तविक, मापने योग्य बदलाव है। यह एक धीरे-धीरे चलने वाली घड़ी की तरह है जो अंततः आगे बढ़ती है। टेक्स्ट एक क्रिस्टल बॉल की तरह काम कर रहा था, जो रेटिंग के वहां पहुँचने से पहले ही संकेत दे रहा था कि रेटिंग किस दिशा में जा रही है।

भूतों को खारिज करना (Ruling Out the Ghosts)

लेकिन रुकिए, क्या यह कोई चाल हो सकती है? शोधकर्ता यह सुनिश्चित करने के लिए बहुत सावधान थे कि वे वह न देख रहे हों जो वहाँ है ही नहीं। उन्होंने एक "फालसिफिकेशन बैटरी" (falsification battery) चलाई, जो कि अपने ही सिद्धांत को तोड़ने के लिए किए गए तनाव परीक्षणों का एक समूह है।

सबसे पहले, उन्होंने उन लिस्टिंग के समूह को देखा जिन्हें दोनों वर्षों के बीच कोई नई समीक्षा नहीं मिली। यदि टेक्स्ट केवल एक तुक्का होता, तो यह यहाँ भी बदलाव की भविष्यवाणी कर सकता था। लेकिन इसने नहीं किया। बिना किसी नई गतिविधि वाली लिस्टिंग के लिए, टेक्स्ट ने शून्य बदलाव की भविष्यवाणी की। इससे साबित हुआ कि टेक्स्ट केवल एक भाग्यशाली अनुमान नहीं था; इसे काम करने के लिए नई जानकारी की आवश्यकता थी।

दूसरा, उन्होंने जाँच की कि क्या परिणाम केवल इसलिए थे क्योंकि कुछ होस्ट स्वाभाविक रूप से बेहतर थे। उन्होंने एक ही व्यक्ति के स्वामित्व वाली लिस्टिंग की तुलना करने के लिए "होस्ट फिक्स्ड इफेक्ट्स" नामक एक विशेष गणितीय तकनीक का उपयोग किया। यहाँ तक कि जब उन्होंने एक ही होस्ट के विभिन्न अपार्टमेंट देखे, तब भी टेक्स्ट ने रेटिंग परिवर्तनों की भविष्यवाणी की। इसका अर्थ था कि यह प्रभाव केवल "अच्छे होस्ट" बनाम "बुरे होस्ट" के बारे में नहीं था।

अंत में, उन्होंने अपने डेटा को आधा कर दिया। उन्होंने सिद्धांत बनाने के लिए 17 शहरों का उपयोग किया ("डिस्कवरी" हिस्सा) और दूसरे 17 शहरों को पूरी तरह से अछूता रखा ("कन्फर्मेशन" हिस्सा)। उन्होंने केवल एक बार अनछुए शहरों पर अपना परीक्षण चलाया, और परिणाम पूरी तरह से सही रहा। यह एक वैज्ञानिक की तरह है जो ग्रहण की भविष्यवाणी करता है और फिर यह देखने के लिए इंतजार करता है कि क्या यह बिल्कुल योजना के अनुसार होता है, बिना आसमान में झाँके।

इसका आपके लिए क्या अर्थ है?

तो, निष्कर्ष क्या है? यह शोध पत्र सुझाव देता है कि रेंटल ऐप पर स्टार रेटिंग वास्तव में पीछे चल रही है। यह वह धीमा ट्रक है, जबकि लिखित समीक्षाएँ तेज़ मोटरसाइकिल हैं। टेक्स्ट में वह जानकारी है जिसे स्टार रेटिंग ने अभी तक आत्मसात नहीं किया है।

इसका मतलब यह नहीं है कि सितारे बेकार हैं, लेकिन इसका मतलब यह है कि वे "अटके" हुए हैं और अपडेट होने में धीमे हैं। लिखित समीक्षाएँ अग्रणी संकेतक हैं, प्रारंभिक चेतावनी प्रणाली जो बताती है कि प्रतिष्ठा कहाँ जा रही है। उन प्लेटफार्मों के लिए जो इन ऐप्स को चलाते हैं, यह एक संकेत है कि वे टेक्स्ट को अधिक ध्यान से सुनकर अपने डिस्प्ले को बेहतर ढंग से डिज़ाइन कर सकते हैं। बाकी हम सभी के लिए, यह एक याद दिलाता है कि जब आप एक समीक्षा पढ़ रहे होते हैं, तो आप केवल अतीत के बारे में नहीं पढ़ रहे होते हैं; आप उस लिस्टिंग के स्कोर के भविष्य को पढ़ रहे होते हैं।

शोधकर्ता इसकी सीमाओं के बारे में ईमानदार हैं। उन्होंने यह साबित नहीं किया कि टेक्स्ट रेटिंग को बदलने का कारण बनता है; उन्होंने केवल यह साबित किया कि टेक्स्ट इसकी भविष्यवाणी करता है। और उनका टेक्स्ट टूल मानव न्यायाधीशों द्वारा जांचा नहीं गया था, इसलिए यह एक "परिभाषित उपकरण" है न कि एक पूर्ण मानवीय अनुवाद। लेकिन पैटर्न वास्तविक, सटीक और दर्जनों शहरों में सुसंगत है। टेक्स्ट बोल रहा है, और सितारे बस जवाब देने में धीमे हैं।