Fault of Our Stars: Behavioral Drivers of Rating-Sentiment Incongruence
यह अध्ययन श्रीलंकाई पर्यटन समीक्षाओं का विश्लेषण करता है जिससे यह स्पष्ट होता है कि विशिष्ट व्यवहारिक पैटर्न और प्रासंगिक कारकों के कारण स्टार रेटिंग अक्सर पाठ्य भावना (टेक्स्टुअल सेंटीमेंट) से भिन्न होती है, जो यह दर्शाता है कि रेटिंग को भावना विश्लेषण के लिए स्वचालित रूप से ग्राउंड-ट्रुथ लेबल के रूप में नहीं माना जाना चाहिए।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रेस्टोरेंट में हैं। आप एक लोकप्रिय ऐप पर एक समीक्षा छोड़ते हैं। आप उस जगह को 5 में से 4 स्टार देते हैं, लेकिन अपनी लिखित टिप्पणी में, आप कहते हैं, "खाना ठंडा था, सर्विस धीमी थी, और मैं लगभग बीमार हो गया था।"
यह बिल्कुल वही समस्या है जिसकी यह शोध पत्र जांच करता है। यह पूछता है: जब लोग ऑनलाइन समीक्षाएं लिखते हैं, तो क्या उनके स्टार रेटिंग वास्तव में उनके शब्दों से मेल खाते हैं?
श्रीलंका के मोरतुवा विश्वविद्यालय के शोधकर्ताओं ने यह मानना बंद करने का निर्णय लिया कि स्टार्स पूरी कहानी बताते हैं। इसके बजाय, उन्होंने स्टार्स और शब्दों को दो अलग-अलग लोगों द्वारा दी गई गवाही के रूप में माना, और यह जांचा कि क्या वे गवाहियाँ आपस में सहमत थीं।
यहाँ उनके निष्कर्षों का सरल विवरण दिया गया है:
1. "दो सिर वाला" रिव्यू
हर ऑनलाइन रिव्यू को दो सिरों वाला समझें:
- सिर A (स्टार्स): एक त्वरित, संख्यात्मक स्कोर (1 से 5)।
- सिर B (टेक्स्ट): व्यक्ति द्वारा लिखी गई वास्तविक कहानी।
आमतौर पर, हम मानते हैं कि सिर A और सिर B पक्के दोस्त हैं जो हमेशा सहमत होते हैं। इस शोध पत्र ने पाया कि वे अक्सर अजनबी, या यहाँ तक कि दुश्मन भी होते हैं। उनके द्वारा अध्ययन किए गए रिव्यूज में से लगभग 18.6% में (लगभग 5 में से 1), स्टार्स और शब्द बिल्कुल अलग कहानियाँ बताते हैं।
2. विसंगति के छह "व्यक्तित्व" (Personas)
शोधकर्ताओं ने केवल यह नहीं कहा कि "वे असहमत थे।" उन्होंने पाया कि ये असहमति छह विशिष्ट, अनुमानित तरीकों से होती है। इन्हें भ्रमित समीक्षकों के छह अलग-अलग प्रकारों के रूप में देखें:
- "रूढ़िवादी रेटर" (सबसे आम): यह व्यक्ति एक शानदार, सुखद कहानी लिखता है लेकिन एक मामूली 3 या 4 स्टार देता है। वे एक सख्त शिक्षक की तरह हैं जो आपके निबंध को पसंद तो करता है लेकिन आपको 'A' ग्रेड नहीं देता क्योंकि वह चाहता है कि आप और सुधार करें।
- "अनिवार्य 5-स्टार" (दूसरा सबसे आम): यह व्यक्ति शिकायतों से भरी एक भयानक समीक्षा लिखता है लेकिन फिर भी 5 स्टार देता है। वे एक विनम्र पड़ोसी की तरह हैं जो आपके शोर मचाने वाले कुत्ते की शिकायत तो करते हैं लेकिन फिर भी हाथ हिलाकर कहते हैं, "आपका दिन शुभ हो!"
- "कठोर डिफ्लेटर" (Harsh Deflator): वे एक सकारात्मक कहानी लिखते हैं लेकिन कम स्कोर देते हैं।
- "विनम्र इन्फ्लेटर" (Polite Inflator): वे एक नकारात्मक कहानी लिखते हैं लेकिन उच्च स्कोर देते हैं।
- "हताश न्यूट्रल" (Frustrated Neutral): वे एक नकारात्मक कहानी लिखते हैं लेकिन एक तटस्थ (3-स्टार) स्कोर देते हैं।
- "सकारात्मक न्यूट्रल" (Positive Neutral): वे एक सकारात्मक कहानी लिखते हैं लेकिन एक तटस्थ स्कोर देते हैं।
दो सबसे बड़े समूह (रूढ़िवादी और अनिवार्य) सभी विसंगतियों का दो-तिहाई हिस्सा बनाते हैं। यह साबित करता है कि असहमति कोई रैंडम शोर नहीं है; यह एक पैटर्न है।
3. ऐसा क्यों होता है? (मुख्य कारण)
शोधकर्ताओं ने यह समझने के लिए कंप्यूटर मॉडल (विशेष रूप से "ट्रांसफॉर्मर्स" नामक AI का एक प्रकार, जो सुपर-स्मार्ट पढ़ने वाली मशीन की तरह है) का उपयोग किया कि ऐसा क्यों होता है। उन्होंने पाया कि इसके चार मुख्य कारण हैं:
- "संग्रहालय प्रभाव" (The Museum Effect): कुछ जगहों को रेट करना दूसरों की तुलना में अधिक कठिन होता है। संग्रहालयों में विसंगति की दर सबसे अधिक थी। इसे इस तरह सोचें: संग्रहालय का दौरा जटिल होता है। आप कला को पसंद कर सकते हैं (सकारात्मक टेक्स्ट) लेकिन भीड़भाड़ वाले गलियारे और महंगे टिकट से नफरत कर सकते हैं (जिससे कम स्टार रेटिंग मिलती है)। बीच या पार्क को रेट करना सरल है, इसलिए वहां स्टार्स और शब्द बेहतर मेल खाते हैं।
- "विशेषज्ञ" समीक्षक: वे लोग जो बहुत अधिक समीक्षाएं लिखते हैं (विशेषज्ञ), उनके "रूढ़िवादी रेटर" होने की संभावना अधिक होती है। वे वास्तव में एक "अच्छे" अनुभव के लिए भी अच्छी बातें लिखते हैं, लेकिन 5-स्टार रेटिंग को केवल वास्तव में पूर्ण अनुभवों के लिए बचा कर रखते हैं। नए लोग (Newbies) अक्सर हर चीज़ के लिए 5 स्टार देने की अधिक संभावना रखते हैं।
- कहानी की लंबाई: लंबी समीक्षाओं में विसंगति होने की संभावना अधिक होती है। ऐसा लगता है कि जब लोग बहुत कुछ लिखते हैं, तो वे जटिल भावनाओं को व्यक्त कर रहे होते हैं जिन्हें 1-से-5 स्टार का सरल पैमाना नहीं पकड़ पाता।
- समय यात्रा (Time Travel): वर्षों के दौरान (2010 से 2023 तक), लोग अपने स्टार्स को अपने शब्दों के साथ मिलाने में थोड़े बेहतर हुए हैं। विसंगति धीरे-धीरे कम हो रही है।
4. कंप्यूटर (AI) के लिए बड़ा सबक
यह तकनीकी दुनिया के लिए सबसे महत्वपूर्ण हिस्सा है।
वर्षों से, कंप्यूटर वैज्ञानिक AI को मानवीय भावनाओं (सेंटिमेंट एनालिसिस) को समझने के लिए प्रशिक्षित कर रहे हैं, जिसमें स्टार रेटिंग को "सत्य" के रूप में उपयोग किया जाता है। वे AI को एक रिव्यू फीड करते हैं और कहते हैं, "देखो, यह एक 5-स्टार रिव्यू है, इसलिए AI को सीखना चाहिए कि इस टेक्स्ट का अर्थ 'खुश' है।"
यह शोध पत्र कहता है: ऐसा करना बंद करें।
यदि आप अपने AI को स्टार्स को "सत्य" के रूप में उपयोग करके प्रशिक्षित करते हैं, तो आप उसे एक झूठे से सीखने के लिए सिखा रहे हैं। क्योंकि स्टार्स अक्सर झूठ बोलते हैं (या कम से कम, वे शब्दों से अलग कहानी बताते हैं), AI गलत पैटर्न सीख लेता है।
उपमा (Analogy):
कल्पना कीजिए कि आप एक बच्चे को "खुश" चेहरा पहचानना सिखा रहे हैं।
- पुराना तरीका: आप उन्हें एक रोते हुए व्यक्ति की फोटो दिखाते हैं, लेकिन आप बच्चे को बताते हैं, "यह खुश है," क्योंकि उस व्यक्ति ने 5-स्टार ट्रॉफी पकड़ी हुई है। बच्चा सीख जाता है कि रोना = खुश होना।
- नया तरीका: आप चेहरे को देखते हैं (टेक्स्ट) यह तय करने के लिए कि क्या वे खुश हैं, और आप ट्रॉफी (स्टार्स) को केवल एक अलग, कभी-कभी अविश्वसनीय राय के रूप में देखते हैं।
सारांश
- स्टार्स और शब्द अक्सर असहमत होते हैं।
- संग्रहालय और विशेषज्ञ समीक्षक इसके सबसे बड़े अपराधी हैं।
- असहमति विशिष्ट पैटर्न का पालन करती है, न कि रैंडम अराजकता का।
- कंप्यूटर प्रोग्रामों को मानवीय भावनाओं को समझने के लिए सीखते समय स्टार रेटिंग को अंधाधुंध "सत्य" के रूप में नहीं मानना चाहिए।
शोध पत्र निष्कर्ष निकालता है कि यदि हम वास्तव में समझना चाहते हैं कि लोग क्या सोचते हैं, तो हमें उनके शब्दों को सुनना होगा, न कि केवल उनके स्टार्स को गिनना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।