Invisible to the Machine: Auditing AI Restaurant, Cafe, and Bar Recommendation Against a Complete Market Census
यह शोध पत्र बाली में एआई (AI) स्थल अनुशंसाओं का पहला जनगणना-आधारित ऑडिट प्रस्तुत करता है, जो यह प्रकट करता है कि खराब रेटिंग के बजाय डिजिटल दस्तावेज़ीकरण की कमी के कारण 85.6% स्थानीय रेस्तरां, कैफे और बार प्रमुख एआई प्रणालियों के लिए अदृश्य हैं, जबकि यह भी रेखांकित करता है कि प्राथमिक विफलता मोड गैर-मौजूद स्थानों को गढ़ने के बजाय पुराने स्थलों की अनुशंसा करना है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, हलचल भरे शहर में घूम रहे हैं जहाँ हर एक दुकान, कैफे और रेस्तरां एक विशाल, अदृश्य फोन बुक में सूचीबद्ध है। अब, एक नए प्रकार के जादुई गाइडबुक की कल्पना करें जो न केवल आपको विकल्पों की सूची दिखाती है बल्कि वास्तव में आपसे बात करती है, और आपको ठीक से बताती है कि कॉफी या रात के खाने के लिए कहाँ जाना है। स्थानीय जगहों को खोजने के लिए आर्टिफिशियल इंटेलिजेंस (AI) अब ऐसा ही बनता जा रहा है। लेकिन यहाँ पेच यह है कि यह जादुई गाइडबुक आपको सब कुछ नहीं दिखाती। यह कुछ पसंदीदा चीज़ों को चुनती है और बाकी को अनदेखा कर देती है। वैज्ञानिक इसे "सिफारिश" (recommendation) कहते हैं, लेकिन उन दुकानों के लिए जिन्हें अनदेखा किया गया है, यह अदृश्य होने जैसा महसूस होता है।
लंबे समय से, हम जानते हैं कि यदि किसी दुकान को अच्छी रेटिंग मिलती है या वह मानचित्र पर दिखाई देती है, तो अधिक लोग वहाँ जाते हैं। लेकिन हमें यह नहीं पता था कि यह नया AI गाइडबुक कैसे काम करता है। क्या यह सबसे अच्छी जगहों को चुनता है? क्या यह सबसे प्रसिद्ध जगहों को चुनता है? या यह सिर्फ उन जगहों को चुनता है जिनकी वेबसाइट है? यह जानने के लिए, एक शोधकर्ता को गाइडबुक की जांच पूरे शहर के विरुद्ध करनी थी, न कि केवल कुछ प्रसिद्ध स्थानों के विरुद्ध। उन्हें यह जानने की आवश्यकता थी: यदि आप एक वास्तविक, खुले हुए दुकानदार हैं, तो क्या संभावना है कि AI को पता भी चलेगा कि आपका अस्तित्व है?
द ग्रेट AI रेस्टोरेंट हंट (महान AI रेस्तरां खोज)
एक शोधकर्ता ने चार लोकप्रिय AI सहायकों (ChatGPT, Claude, Gemini, और Perplexity) के साथ "लुका-छिपी" का एक बड़ा खेल खेलने का निर्णय लिया। उन्होंने इंडोनेशिया के बाली के दो व्यस्त क्षेत्रों—कंगू (Canggu) और उबुद (Ubud)—को अपना खेल का मैदान चुना। सबसे पहले, उन्होंने कुछ ऐसा किया जो पहले कभी किसी ने नहीं किया था: उन्होंने उन क्षेत्रों के प्रत्येक कैफे, रेस्तरां और बार का एक पूर्ण जनगणना (complete census) तैयार किया। उन्होंने 4,776 स्थानों को गिना। इसे खेल के हर एक खिलाड़ी की मास्टर लिस्ट बनाने के रूप में समझें।
फिर, उन्होंने AI सहायकों को एक मिशन पर भेजा। उन्होंने 96 अलग-अलग सवाल पूछे, यह नाटक करते हुए कि वे अलग-अलग प्रकार के लोग हैं: एक डिजिटल नोमैड जो वाई-फाई की तलाश में है, एक जोड़े की डेट पर जाने की योजना, बच्चों के साथ एक परिवार, या एक बजट बैकपैकर। उन्होंने इन सवालों को सात दिनों तक पूछा, कुल मिलाकर 2,208 बार परीक्षण चलाया। लक्ष्य सरल था: यह देखना कि उन 4,776 वास्तविक दुकानों में से AI वास्तव में किन दुकानों की सिफारिश करेगा।
चौंका देने वाला परिणाम: अधिकांश स्थान अदृश्य हैं
निष्कर्ष चौंकाने वाले थे। 4,776 वास्तविक स्थानों में से, AI सहायकों ने 85.6% स्थानों की कभी सिफारिश नहीं की। यह सच है: 10 में से 8 से अधिक स्थान AI के लिए पूरी तरह से अदृश्य थे, चाहे कितनी भी बार पूछा गया हो। यहाँ तक कि "स्थापित" स्थानों के बीच भी—जिनके पास कम से कम 50 समीक्षाएं और एक ठोस प्रतिष्ठा थी—72.6% का कभी उल्लेख नहीं किया गया।
ऐसा नहीं था कि AI शीर्ष 10% को चुन रहा था और बाकी को अनदेखा कर रहा था। जिन स्थानों की सिफारिश की गई थी, वे बिखरे हुए थे। सबसे लोकप्रिय स्थान को सभी सिफारिशों का केवल 1.9% ही मिला। यह "विजेता-सब-ले-जाता है" वाली स्थिति नहीं थी जहाँ एक प्रसिद्ध जगह को सब कुछ मिल जाता; यह एक लॉटरी की तरह था जहाँ अधिकांश टिकट कभी नहीं निकाले जाते।
दो-चरणीय फ़िल्टर: शामिल होना बनाम शीर्ष पर पहुँचना
शोधकर्ता ने पाया कि AI द्वारा सिफारिश किए जाने के दो बहुत अलग चरण होते हैं, जो एक दो-चरणीय रॉकेट लॉन्च की तरह हैं।
चरण 1: मेज पर अपनी जगह बनाना (एंट्री मार्जिन)
इससे पहले कि AI किसी जगह को रैंक कर सके, उसे यह तय करना होता है कि उस जगह का उल्लेख करना है या नहीं। अध्ययन में पाया गया कि स्टार रेटिंग यहाँ मायने नहीं रखती। एक जगह के पास 5 स्टार हों या 3 स्टार, इससे उसके चुने जाने की संभावना में कोई बदलाव नहीं आया। इसके बजाय, जो मायने रखता था वह था दस्तावेजीकरण (documentation)।
- समीक्षा की मात्रा (Review Volume): अधिक समीक्षाओं वाले स्थानों के देखे जाने की संभावना अधिक थी।
- स्वयं की वेबसाइट: आपकी अपनी वेबसाइट होने से आपके सिफारिश किए जाने की संभावना लगभग दोगुनी हो जाती थी।
- कीमत की जानकारी: अपनी कीमतें सूचीबद्ध करने से मदद मिली।
- वेब उल्लेख: अन्य वेबसाइटों पर चर्चा में होने से मदद मिली।
यह ऐसा है जैसे AI एक "कागजी सबूत" (paper trail) की तलाश कर रहा है। यदि किसी जगह की वेबसाइट और बहुत सारी समीक्षाएं हैं, तो AI कहता है, "ठीक है, यह जगह मौजूद है, मैं इसे सूची में डाल दूँगा।" यदि उनके पास ये डिजिटल पदचिह्न नहीं हैं, तो AI व्यवहार करता है जैसे उनका अस्तित्व ही नहीं है, चाहे उनका खाना कितना भी अच्छा क्यों न हो।
चरण 2: दौड़ जीतना (रैंकिंग मार्जिन)
एक बार जब कोई जगह सूची में आ जाती है, तब स्टार रेटिंग मायने रखती है। उन स्थानों के बीच जिन्हें AI ने वास्तव में सिफारिश करने का निर्णय लिया, उच्च रेटिंग वाले स्थानों के पहले सूचीबद्ध होने की संभावना अधिक थी। इसलिए, रेटिंग आपको दौड़ जीतने में मदद करती है, लेकिन वेबसाइट और समीक्षाएं होना आपको स्टेडियम में प्रवेश दिलाने के लिए आवश्यक है।
क्या काम नहीं आया?
शोधकर्ता ने उन विचारों का परीक्षण किया जिन्हें उद्योग के लोगों ने महत्वपूर्ण माना था, और उन्होंने पाया कि वे गलत थे।
- फोरस्क्वेयर (Foursquare) उपस्थिति: कई लोगों ने सोचा कि यदि कोई स्थान ओपन मैप डेटासेट फोरस्क्वेयर पर सूचीबद्ध है, तो AI उसे ढूंढ लेगा। अध्ययन ने इसे गलत साबित किया। फोरस्क्वेयर पर होने से कोई मदद नहीं मिली।
- नकली स्थान: लोगों को डर था कि AI नकली रेस्तरां बना देगा (hallucinations)। हालांकि ऐसा हुआ, लेकिन यह अविश्वसनीय रूप से दुर्लभ था (केवल 0.08% समय)।
- असली समस्या: AI की सबसे बड़ी गलती चीजें बनाना नहीं थी; बल्कि उन जगहों की सिफारिश करना था जो स्थायी रूप से बंद हो चुकी थीं। इसने 93 बंद स्थानों की सिफारिश की। AI झूठ नहीं बोल रहा था; वह बस पुराना (outdated) था।
अस्थिर गाइडबुक
अंत में, शोधकर्ता ने पाया कि AI थोड़ा अस्थिर है। यदि आप लगातार दो बार एक ही प्रश्न पूछते हैं, तो आपको रेस्टोरेंट्स की एक अलग सूची मिल सकती है। यदि आप एक ही प्रश्न पूछते हैं लेकिन शब्दों को थोड़ा बदल देते हैं (paraphrase), तो सूची और भी बदल जाती है। हालाँकि, जब उन्होंने दो सप्ताह बाद AI का परीक्षण किया, तो परिणाम पहले दिन जितने ही अस्थिर थे। इसका मतलब है कि AI समय के साथ धीरे-धीरे चीजें भूल नहीं रहा है; यह स्वाभाविक रूप से असंगत है, जैसे एक ऐसा दोस्त जो अपने मूड के आधार पर आपको अलग-अलग निर्देश देता है।
निष्कर्ष
यह अध्ययन दिखाता है कि किसी रेस्तरां या कैफे के लिए दिखने के लिए, एक बेहतरीन रेटिंग होना पर्याप्त नहीं है। आपको पहले डिजिटल दुनिया में "दस्तावेजीकृत" होना होगा। यदि आपकी वेबसाइट, स्पष्ट कीमतें या बहुत सारी समीक्षाएं नहीं हैं, तो AI के लिए आपका अस्तित्व ही नहीं है। और AI के लिए, सबसे बड़ी समस्या यह नहीं है कि वह चीजें बना रहा है, बल्कि यह है कि वह उन जगहों की सिफारिश कर रहा है जो पहले ही बंद हो चुकी हैं। जादुई गाइडबुक शक्तिशाली है, लेकिन वर्तमान में यह वास्तविक दुनिया के बहुमत के प्रति अंधी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।