Measuring brands in machine answers: A scoping review and validity framework for large language model brand-visibility audits
38 अनुभवजन्य अध्ययनों का यह स्कोपिंग रिव्यू प्रकट करता है कि वर्तमान एआई ब्रांड-दृश्यता ऑडिट पद्धतिगत विसंगतियों और व्यावसायिक पूर्वाग्रहों के कारण महत्वपूर्ण वैधता अंतराल और विरोधाभासी निष्कर्षों से ग्रस्त हैं, जो लेखक को बड़े भाषा मॉडल (लार्ज लैंग्वेज मॉडल) के उत्तरों में ब्रांड समावेशन और चयन के बीच के विरोधाभासों को सुलझाने के लिए एक द्वि-चरणीय सैद्धांतिक ढांचे और नए रिपोर्टिंग मानकों का प्रस्ताव करने के लिए प्रेरित करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक बाज़ार में, किसी ब्रांड की सफलता अक्सर इस बात पर निर्भर करती है कि वह सही समय पर उपभोक्ता के मन में प्रवेश करता है या नहीं। दशकों से, विपणनकर्ता (marketers) "कंसीडरेशन सेट" (consideration set) का अध्ययन करते आए हैं, जो उन उत्पादों की एक मानसिक संक्षिप्त सूची है जिसके बारे में कोई व्यक्ति खरीदारी करने से पहले सक्रिय रूप से सोचता है। यदि कोई ब्रांड उस सूची में नहीं है, तो वह प्रभावी रूप से अदृश्य है, चाहे उत्पाद कितना भी अच्छा क्यों न हो। आज, खरीदारी करने वाले और उस मानसिक सूची के बीच एक नया द्वारपाल (gatekeeper) प्रकट हुआ है: आर्टिफिशियल इंटेलिजेंस असिस्टेंट। जब कोई व्यक्ति किसी लार्ज लैंग्वेज मॉडल से सबसे अच्छे हाइकिंग जैकेट या एक भरोसेमंद अकाउंटेंट के बारे में पूछता है, तो मशीन केवल लिंक्स की एक सूची नहीं लौटाती है। यह विशिष्ट ब्रांडों की एक संक्षिप्त, रैंक की गई सूची तैयार करती है, जिसमें अक्सर एक संक्षिप्त विवरण भी होता है। यह उत्तर एक पूर्व-चयनित मेनू की तरह कार्य करता है, जो यह तय करता है कि मनुष्य किन विकल्पों पर विचार करेगा।
शोधकर्ताओं और व्यावसायिक नेताओं के सामने प्रश्न यह है कि क्या ये मशीन-जनित सूचियाँ निष्पक्ष, सटीक या यहाँ तक कि स्थिर हैं। क्या वे केवल सबसे बड़ी, सबसे प्रसिद्ध कंपनियों का पक्ष लेती हैं, या वे गुणवत्ता को पुरस्कृत करती हैं? क्या वे छोटे, स्थानीय व्यवसायों को अवसर देती हैं, या वे ब्रांड पूरी तरह से बाहर कर दिए जाते हैं? क्योंकि ये प्रणालियाँ लगातार बदल रही हैं और इनका आंतरिक तर्क छिपा हुआ है, इन प्रश्नों का उत्तर देने के लिए एक नए प्रकार के अन्वेषण की आवश्यकता है। हम केवल मशीन के भीतर नहीं देख सकते; हमें इससे हज़ारों प्रश्न पूछने होंगे और इसके द्वारा दिए गए उत्तरों का सावधानीपूर्वक विश्लेषण करना होगा।
स्वतंत्र शोधकर्ता चार्बेल सामी इब्राहिम द्वारा किया गया एक हालिया स्कोपिंग रिव्यू ठीक इसी समस्या से निपटता है। यह अध्ययन एक तेजी से बढ़ते क्षेत्र के मानचित्र के रूप में कार्य करता है, जो 2024 और 2026 के बीच किए गए उन अड़तीस अलग-अलग अन्वेषणों की जांच करता है जिनमें लार्ज लैंग्वेज मॉडल्स से ब्रांडों की सिफारिश करने के लिए कहा गया था। लक्ष्य एक एकल, पूर्ण उत्तर खोजना नहीं था, बल्कि यह समझना था कि ये विभिन्न अध्ययन अक्सर विरोधाभासी निष्कर्षों तक क्यों पहुँचते हैं। कुछ रिपोर्टें दावा करती हैं कि प्रसिद्ध ब्रांड हर उत्तर में हावी रहते हैं, जबकि अन्य सुझाव देती हैं कि छोटे ब्रांड प्रतिस्पर्धा कर सकते हैं यदि उनकी रेटिंग अच्छी हो। प्रत्येक अध्ययन में उपयोग की गई पद्धतियों की तुलना करके, यह समीक्षा स्पष्ट करती है कि ये विरोधाभास अनिवार्य रूप से ब्रांडों के बारे में नहीं हैं, बल्कि इस बारे में हैं कि प्रश्न कैसे पूछे गए थे और उत्तरों को कैसे गिना गया था।
समीक्षा में पाया गया कि यह क्षेत्र अभी अपने शुरुआती, नाजुक चरणों में है। जांचे गए अधिकांश अध्ययन स्वतंत्र विशेषज्ञों द्वारा सहकर्मी-समीक्षित (peer-reviewed) नहीं थे, और कई अध्ययन उन समूहों द्वारा किए गए थे जिनका व्यावसायिक हित ब्रांड दृश्यता में सुधार के लिए उपकरण बेचने में था। इसके अलावा, डेटा अक्सर अधूरा होता है; कई अध्ययनों ने परिणामों को स्थिर करने के लिए अपने प्रश्नों को पर्याप्त बार नहीं दोहराया, और बहुत कम अध्ययनों ने अपने निष्कर्षों की वास्तविक दुनिया के बाजार डेटा जैसे बिक्री के आंकड़ों या ब्रांड जागरूकता सर्वेक्षणों के साथ जांच की। शोधकर्ता ने इस बात की पहचान की कि कई अध्ययन किस तरह से बनाए गए हैं, उसमें एक गंभीर खामी है: वे अक्सर प्रक्रिया के दो बहुत अलग चरणों के बीच अंतर करने में विफल रहते हैं। पहला चरण यह है कि क्या कोई ब्रांड उत्तर में दिखाई देता है या नहीं। दूसरा चरण यह है कि एक बार दिखाई देने के बाद उस ब्रांड को उच्च रैंक दी जाती है या दूसरों की तुलना में अनुशंसित किया जाता है या नहीं।
जब समीक्षा इन दो चरणों को अलग करती है, तो एक स्पष्ट तस्वीर उभरती है। साक्ष्य बताते हैं कि किसी ब्रांड को उत्तर में शामिल करना इस बात पर अत्यधिक निर्भर है कि उस ब्रांड के बारे में ऑनलाइन कितना टेक्स्ट मौजूद है। यदि कोई कंपनी वेबसाइटों, समीक्षाओं और निर्देशिकाओं (directories) में अच्छी तरह से प्रलेखित है, तो उसके मशीन की सूची में शामिल होने की संभावना बहुत अधिक होती है। यह "सदस्यता" (membership) का मामला है। हालाँकि, एक बार जब कोई ब्रांड सूची में आ जाता है, तो नियम बदलते हुए प्रतीत होते हैं। समीक्षा बताती है कि जब मशीन को पहले से शामिल कई ब्रांडों के बीच से चुनना होता है, तो वह केवल ब्रांड की प्रसिति के बजाय विशिष्ट गुणों, जैसे ग्राहक रेटिंग या कीमत पर अधिक निर्भर हो सकती है। इसका अर्थ यह है कि एक छोटा ब्रांड जिसकी समीक्षाएं उत्कृष्ट हैं, वह एक प्रसिद्ध ब्रांड को हरा सकता है जिसकी समीक्षाएं खराब हैं, लेकिन केवल तभी जब वह छोटा ब्रांड सूची में शामिल होने के लिए भाग्यशाली रहा हो।
अध्ययन यह भी रेखांकित करता है कि परिणाम भाषा के उपयोग या पूछने वाले के स्थान से कितनी आसानी से प्रभावित हो सकते हैं। स्थानीय भाषा में प्रश्न पूछने से अक्सर स्थानीय व्यवसाय सामने आते हैं जो अंग्रेजी-भाषा के प्रश्न में कभी नहीं दिखेंगे। इसी तरह, उपयोग किए जा रहे एआई मॉडल का विशिष्ट संस्करण अनुशंसित ब्रांडों के पूरे सेट को बदल सकता है। इस कारण, किसी ब्रांड की "दृश्यता" दिखाने वाला एक एकल नंबर अक्सर भ्रामक होता है। एक ब्रांड एक प्लेटफॉर्म पर 90 प्रतिशत उत्तरों में दिखाई दे सकता है लेकिन दूसरे पर केवल 10 प्रतिशत में, जिससे संदर्भ जाने बिना एक संयुक्त स्कोर अर्थहीन हो जाता है।
सबसे महत्वपूर्ण निष्कर्ष यह है कि अध्ययन का डिज़ाइन ही यह तय करता है कि वह क्या पाता है। वे अध्ययन जो मशीन से शून्य से ब्रांडों के नाम पूछते हैं, वे बड़े, सबसे प्रसिद्ध कंपनियों के लिए भारी लाभ दिखाते हैं। इसके विपरीत, वे अध्ययन जो मशीन को विकल्पों की एक निश्चित सूची प्रदान करते हैं और उसे सर्वश्रेष्ठ चुनने के लिए कहते हैं, अक्सर दिखाते हैं कि यदि एक छोटे प्रतिस्पर्धी के गुण बेहतर हैं, तो प्रसिद्ध ब्रांड अपना लाभ खो देते हैं। यह समझाता है कि क्यों कुछ रिपोर्टें कहती हैं कि बड़े ब्रांड एआई की दुनिया पर राज करते हैं जबकि अन्य कहती हैं कि खेल का मैदान समान है; वे प्रक्रिया के अलग-अलग हिस्सों को माप रहे हैं। समीक्षा निष्कर्ष निकालती है कि ब्रांडों के साथ ये मशीनें कैसा व्यवहार करती हैं, इसे वास्तव में समझने के लिए, शोधकर्ताओं और प्रबंधकों को एक एकल स्कोर खोजने के बजाय, समावेश (inclusion) और चयन (selection) को अलग-अलग मापना चाहिए, एक ही प्रश्न के कई अलग-अलग संस्करण पूछने चाहिए, और यह सत्यापित करना चाहिए कि मशीन वास्तव में सही ब्रांडों की पहचान कर रही है। जब तक इन मानकों को पूरा नहीं किया जाता, तब तक मार्केटिंग बजट को निर्देशित करने वाले नंबर अनिश्चित रहेंगे, और ब्रांड प्रतिस्पर्धा पर आर्टिफिशियल इंटेलिजेंस का वास्तविक प्रभाव कई लापता टुकड़ों वाली एक पहेली बना रहेगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।