Comparative Analysis of LLM-Based Conversational Agents as an Assistive Technology for Web Interaction
यह अध्ययन वेब नेविगेशन के लिए सहायक तकनीकों के रूप में चार अग्रणी एलएलएम-आधारित (LLM-based) संवादात्मक एजेंटों की प्रभावशीलता का मूल्यांकन करता है, जिसमें यह पाया गया है कि हालांकि वे पेज संरचनाओं की व्याख्या करने और इंटरैक्शन को निर्देशित करने के माध्यम से विविध उपयोगकर्ता समूहों के लिए सुलभता बढ़ाने की आशाजनक क्षमता प्रदर्शित करते हैं, लेकिन विभिन्न उपकरणों के बीच उनका प्रदर्शन काफी भिन्न होता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि इंटरनेट एक विशाल, हलचल भरा शहर है। कुछ लोगों के लिए, इस शहर में घूमना आसान है; सड़कें चौड़ी हैं, संकेत स्पष्ट हैं और इमारतों में रैंप बने हुए हैं। लेकिन दूसरों के लिए—जैसे वरिष्ठ नागरिकों, दृष्टिबाधित लोगों, या उन लोगों के लिए जिन्हें आधुनिक तकनीक समझने में कठिनाई होती है—यह शहर बंद रास्तों, छिपे हुए दरवाजों और भ्रमित करने वाले संकेतों के एक भूलभुलैया जैसा महसूस हो सकता है।
यह शोध पत्र एक नए प्रकार के डिजिटल टूर गाइड के लिए एक तरह का 'फील्ड टेस्ट' है। शोधकर्ताओं ने यह देखना चाहा कि क्या एक विशिष्ट प्रकार का आर्टिफिशियल इंटेलिजेंस (जिसे LLM-आधारित कन्वर्सेशनल एजेंट या "चैटबॉट" कहा जाता है) उस गाइड की भूमिका निभा सकता है, जो किसी भी वेबसाइट के "ब्लूप्रिंट" (नक्शे) को पढ़कर यह समझाने में मदद कर सके कि आपको कहाँ पहुँचना है।
यहाँ एक सरल विवरण दिया गया है कि उन्होंने क्या किया और उन्हें क्या मिला:
समस्या: वेब एक भूलभुलैया है
वेबसाइटें अधिक जटिल होती जा रही हैं। वे पॉप-अप, छिपे हुए मेनू और जटिल फॉर्मों से भरी हुई हैं। किसी ऐसे व्यक्ति के लिए जो तकनीक में बहुत माहिर नहीं है या जो स्क्रीन रीडर (एक ऐसा टूल जो टेक्स्ट को बोलकर सुनाता है) का उपयोग करता है, "लॉगिन" बटन या "सर्च" बार ढूँढना ऐसा लग सकता है जैसे आँखों पर पट्टी बाँधकर घास के ढेर में सुई ढूँढना।
समाधान: "ब्लूप्रिंट पढ़ने वाला" गाइड
शोधकर्ताओं ने चार लोकप्रिय AI चैटबॉट्स (Copilot, ChatGPT, Gemini, और Perplexity) का परीक्षण किया। उन्होंने इन बॉट्स को केवल यह अनुमान लगाने के लिए नहीं कहा कि वेबसाइट कैसी दिखती होगी; बल्कि उन्होंने बॉट्स को वेबसाइट का सोर्स कोड (वे कच्चे कंप्यूटर निर्देश जिनसे पेज बनाया जाता है) तक पहुँच प्रदान की।
इसे इस तरह समझें:
- पुराना तरीका: एक गाइड इमारत को बाहर से देखता है और अंदाज़ा लगाता है कि दरवाज़ा कहाँ है।
- नया तरीका: गाइड को इमारत के वास्तुशिल्प ब्लूप्रिंट (नक्शे) सौंप दिए जाते हैं। वह देख सकता है कि दरवाज़ा ठीक कहाँ है, भले ही वह किसी पेंटिंग या शानदार पर्दे के पीछे छिपा हो, और वह आपको बता सकता है कि उसे कैसे खोलना है।
प्रयोग: परीक्षण के दो दौर
शोधकर्ताओं ने 13 अलग-अलग वास्तविक दुनिया की वेबसाइटों (जैसे Amazon, Wikipedia, सरकारी साइटें और समाचार पोर्टल) पर दो "फील्ड टेस्ट" चलाए।
राउंड 1 (देर 2024):
उन्होंने सबसे पहले Microsoft Copilot का परीक्षण किया। उस समय, Copilot इसलिए अनूठा था क्योंकि वह उस वर्तमान वेबपेज को सीधे "देख" सकता था जिसे आप देख रहे थे।
- परिणाम: बॉट आश्चर्यजनक रूप से अच्छा था। वह पेज का वर्णन कर सकता था, छिपे हुए मेनू ढूँढ सकता था, और यह समझा सकता था कि सर्च या लॉगिन कैसे करना है। यह एक जानकार स्थानीय व्यक्ति की तरह था जो शॉर्टकट जानता हो।
- खामी: जब वेबसाइटें अव्यवस्थित होती थीं या उनमें पेचीदा कंप्यूटर ट्रिक्स (जैसे स्क्रिप्ट के पीछे मेनू छिपाना) का उपयोग किया जाता था, तो बॉट कभी-कभी भ्रमित हो जाता था, ठीक वैसे ही जैसे कोई इंसान किसी उलझन भरी इमारत में खो जाता है।
राउंड 2 (देर 2025):
तकनीक बहुत तेज़ी से आगे बढ़ी। शोधकर्ताओं ने चार अलग-अलग बॉट्स (Copilot, ChatGPT, Gemini, और Perplexity) का RAG नामक एक नई विधि का उपयोग करके परीक्षण किया।
- RAG क्या है? कल्पना कीजिए कि बॉट के पास केवल अपनी याददाश्त नहीं है; इसके साथ एक "सर्च इंजन" जुड़ा हुआ है जो तुरंत वेबसाइट के ब्लूप्रिंट को पकड़ लेता है और जवाब देने से पहले उसे बॉट को खिला देता है। यह सभी बॉट्स को पेज "देखने" की शक्ति देता है, न कि केवल Copilot को।
- परिणाम: उन्होंने बॉट्स से 100 से अधिक प्रश्न पूछे, जैसे "मेनू कहाँ है?" या "मैं यह कैसे खरीदूँ?"
उन्हें क्या मिला (स्कोरकार्ड)
शोधकर्ताओं ने न्यायाधीश की भूमिका निभाई, बॉट्स को 0 से 3 के पैमाने पर ग्रेड दिया (जहाँ 3 एक आदर्श, विशेषज्ञ उत्तर है)।
- विजेता: Gemini और Copilot सर्वश्रेष्ठ प्रदर्शन करने वाले रहे। वे सबसे विश्वसनीय टूर गाइड थे। वे आमतौर पर सही बटन ढूँढ सकते थे, मेनू समझा सकते थे और आपको कार्य पूरा करने का सटीक तरीका बता सकते थे।
- उपमा: यदि वेबसाइट एक जटिल पहेली थी, तो ये दोनों बॉट आमतौर पर इसे हल कर सकते थे और आपको सही क्रम में टुकड़े सौंप सकते थे।
- उप-विजेता: ChatGPT ने अच्छा काम किया लेकिन वह शीर्ष दो की तुलना में थोड़ा कम सुसंगत था।
- संघर्ष करने वाला: Perplexity को कठिनाई हुई। इसने अक्सर इंटरनेट पर सामान्य जानकारी खोजने के बजाय विशेष रूप से उस वेबसाइट के ब्लूप्रिंट को देखने के बजाय उत्तर देने की कोशिश की।
- उपमा: यदि आपने Perplexity से पूछा, "इस इमारत में निकास द्वार कहाँ है?", तो यह कह सकता है, "वैसे, आमतौर पर इमारतों के निकास द्वार बाईं ओर होते हैं," बजाय इसके कि आपके द्वारा दिए गए विशिष्ट फ्लोर प्लान को देखे।
"पकड़े जाने वाली बातें" (Gotchas)
कुछ स्थितियों में बेहतरीन बॉट्स को भी समस्या हुई:
- "जादुई" दरवाजे: कुछ वेबसाइटें जटिल कंप्यूटर कोड का उपयोग करती हैं ताकि मेनू केवल तभी दिखाई दें जब आप कुछ क्लिक करें। बॉट्स कभी-कभी इन "जादुई दरवाजों" को मिस कर देते थे क्योंकि ब्लूप्रिंट में उन्हें पढ़ना कठिन होता है।
- "प्रवेश निषेध" के संकेत: कुछ वेबसाइटों (जैसे Amazon या The Wall Street Journal) में सुरक्षा गार्ड होते हैं जो बॉट्स को उनके ब्लूप्रिंट पढ़ने से रोकते हैं। जब ऐसा हुआ, तो बॉट्स बस जवाब देने में असमर्थ रहे।
- भ्रम (Hallucinations): कभी-कभी, एक बॉट आत्मविश्वास के साथ आपको एक फोन नंबर या पता दे देता था जो वास्तव में पेज पर नहीं था, जिससे उसने अपने पुराने ज्ञान के आधार पर तथ्य बना लिए।
निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि ये AI चैटबॉट्स इंटरनेट का उपयोग करने में लोगों की मदद करने के लिए उम्मीद जगाने वाले नए उपकरण हैं। वे अभी भी पूर्ण नहीं हैं, लेकिन वे केवल अंदाज़ा लगाने से कहीं बेहतर हैं।
- औसत उपयोगकर्ता के लिए: वे बिना तकनीकी विशेषज्ञ बने मदद पाने का एक मैत्रीपूर्ण, संवादात्मक तरीका प्रदान करते हैं।
- विकलांग लोगों के लिए: वे अंततः एक मानव सहायक की आवश्यकता को समाप्त कर सकते हैं, जिससे उपयोगकर्ताओं को स्वतंत्रता मिल सकती है।
शोधकर्ता कहते हैं कि जबकि यह तकनीक अभी विकसित हो रही है (जैसे कि एक कार जिसे हर महीने अपग्रेड किया जा रहा हो), इन "ब्लूप्रिंट-पढ़ने वाले" गाइड्स का उपयोग करके इंटरनेट को सभी के लिए सुलभ बनाने का विचार केवल एक सपना नहीं है—यह आज काम कर रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।