ShareChat: A Dataset of Chatbot Conversations in the Wild
यह शोध पत्र ShareChat को प्रस्तुत करता है, जो 142,808 वास्तविक दुनिया के चैटबॉट संवादों का एक बड़े पैमाने का, बहु-प्लेटफ़ॉर्म डेटासेट है जो 95 भाषाओं में मूल इंटरफ़ेस विशेषताओं (native interface affordances) को संरक्षित करता है ताकि केवल समान, टेक्स्ट-ओनली बेंचमार्क से परे लार्ज लैंग्वेज मॉडल्स के अधिक प्रामाणिक मूल्यांकन को सक्षम बनाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप इस बात का अध्ययन कर रहे हैं कि लोग रोबोट से कैसे बात करते हैं, लेकिन आपने उन्हें केवल एक साधारण कांच की खिड़की के माध्यम से देखा है। आप उनके द्वारा लिखे गए शब्दों को तो देखते हैं, लेकिन आप उस कमरे की अनूठी विशेषताओं को मिस कर देते हैं जिसमें वे मौजूद हैं: दीवार पर लगे विशिष्ट उपकरण, या जिस तरह से रोबोट ज़ोर से सोचता है, या अलग-अलग तरह के रोबोट्स के डिज़ाइन जो मदद करने के लिए बनाए गए हैं।
यही वह समस्या है जिसे इस पेपर के लेखक, SHARECHAT, ठीक करने की कोशिश कर रहे हैं। उन्होंने पाँच अलग-अलग AI चैटबॉट्स (ChatGPT, Perplexity, Grok, Gemini, और Claude) के बीच मनुष्यों और एआई के बीच हुई वास्तविक बातचीत का एक विशाल नया पुस्तकालय बनाया है ताकि यह दिखाया जा सके कि आप AI से कहाँ बात करते हैं, यह बदल देता है कि आप उससे कैसे बात करते हैं।
यहाँ एक सरल विवरण दिया गया है कि उन्होंने क्या किया और उन्हें क्या पता चला:
1. "कांच की खिड़की" वाली समस्या
पिछले अधिकांश अध्ययनों ने AI बातचीत को एक "एक ही आकार के सभी के लिए उपयुक्त" (one-size-fits-all) लेंस के माध्यम से देखा। उन्होंने डेटा को एक जैसा दिखाने के लिए प्रत्येक ऐप की सभी अनूठी विशेषताओं को हटा दिया था।
- उपमा: कल्पना कीजिए कि आप केवल सामग्री की सूची देखकर यह अध्ययन कर रहे हैं कि लोग भोजन कैसे ऑर्डर करते हैं, यह नज़रअंदाज़ करते हुए कि वे फास्ट-फूड ड्राइव-थ्रू में हैं, एक शानदार फैंसी रेस्टोरेंट में हैं, या एक फूड ट्रक में हैं। आप संदर्भ (context) को खो देते हैं!
- समाधान: SHARECHAT उन पाँचों जगहों पर ऑर्डर करने वाले लोगों की हाई-डेफिनिशन वीडियो रिकॉर्डिंग की तरह है। यह "ड्राइव-थ्रू स्पीकर" (Grok के सोशल मीडिया लिंक), "शेफ के विशेष नोट्स" (Claude के कोड टूल्स), और "मेन्यू साइटेशन" (Perplexity के सोर्स लिंक्स) को बरकरार रखता है।
2. इस लाइब्रेरी में क्या है?
शोधकर्ताओं ने 142,808 बातचीत (660,000 से अधिक संदेशों का आदान-प्रदान) एकत्र किए जो उन लोगों से आए जिन्होंने ऑनलाइन अपनी चैट लिंक स्वेच्छा से साझा की थीं।
- आकार: यह बहुत बड़ा है। जहाँ अन्य लाइब्रेरीज़ में छोटी, टूटी-फूटी चैट (जैसे एक त्वरित टेक्स्ट मैसेज) होती थी, वहीं SHARECHAT में लंबी, गहरी बातचीत है जहाँ उपयोगकर्ता अनुवर्ती प्रश्न पूछते हैं, अपना मन बदलते हैं, और कई चरणों में जटिल समस्याओं को हल करते हैं।
- विविधता: इसमें अंग्रेजी के अलावा 95 अलग-अलग भाषाएँ शामिल हैं।
- गोपनीयता: उन्होंने पहचान सुनिश्चित करने के लिए चैट से सभी नाम, ईमेल और फोन नंबर हटा दिए हैं, जैसे भीड़ की फोटो में चेहरों को धुंधला कर दिया जाता है।
3. तीन बड़ी खोजें (केस स्टडीज)
लेखकों ने इस लाइब्रेरी का उपयोग यह देखने के लिए तीन विशिष्ट परीक्षण चलाने के लिए किया कि विभिन्न रोबोट वास्तव में कितने अलग हैं:
A. "क्या आपको समझ आया?" परीक्षण (बातचीत की पूर्णता)
उन्होंने जाँच की कि क्या AI ने वास्तव में वह पूरा किया जो उपयोगकर्ता ने मांगा था।
- निष्कर्ष: कुछ रोबोट भरोसेमंद लाइब्रेरियन की तरह हैं जो हमेशा पूरी किताब ढूंढ लेते हैं (ChatGPT और Claude)। अन्य सर्च इंजन की तरह हैं जो आपको एक बेहतरीन पहला पन्ना तो देते हैं लेकिन शायद उत्तर खोजने से पहले ही रुक जाते हैं (Perplexity और Grok)। वास्तविक दुनिया में, कई बातचीत ऐसे समाप्त होती है जहाँ उपयोगकर्ता केवल आंशिक रूप से संतुष्ट होता है, एक ऐसा सूक्ष्म अंतर जिसे पिछले अध्ययनों ने मिस कर दिया क्योंकि उन्होंने केवल एकल प्रश्नों को देखा था।
B. "आपने कहाँ देखा?" परीक्षण (सोर्स ग्राउंडिंग)
उन्होंने दो सर्च-केंद्रित रोबोट्स (Grok और Perplexity) ने कैसे अपने उत्तरों को खोजा, इस पर नज़र डाली।
- निष्कर्ष: वे दो अलग-अलग जासूसों की तरह हैं।
- Grok सोशल मीडिया के प्रति जुनूनी है। यह मुख्य रूप से X (Twitter) के पोस्ट और समाचार साइटों को उद्धृत करता है, जो एक रियल-टाइम न्यूज़ टिकर की तरह काम करता है।
- Perplexity एक शोधकर्ता है। यह विकिपीडिया, वैज्ञानिक जर्नल्स और रेडिट (Reddit) जैसे फ़ोरम को उद्धृत करता है, जो अभिलेखागारों (archives) में खुदाई करने वाले एक लाइब्रेरियन की तरह काम करता है।
- सबक: वे केवल "AI" नहीं हैं; उन्हें अलग-अलग कामों के लिए अलग-अलग उपकरणों के साथ बनाया गया है।
C. "सोचने की गति" का परीक्षण (टाइमिंग)
उन्होंने यह मापा कि AI के बोलने के बाद उपयोगकर्ता को जवाब टाइप करने में कितना समय लगा।
- निष्कर्ष: बातचीत की लय इस बात पर निर्भर करती है कि रोबोट कैसा है।
- ChatGPT के साथ, जैसे-जैसे चैट आगे बढ़ती है, रोबട്ട് तेज़ होता जाता है (शायद यह आपकी शैली सीख रहा है या उत्तरों को कैश कर रहा है)।
- Grok के साथ, जैसे-जैसे चैट लंबी होती जाती है, रोबोट धीमा होता जाता है (शायद यह पूरे इतिहास के बोझ से दब रहा है)।
- यह दिखाता है कि चैट का "व्यक्तित्व" केवल शब्दों के बारे में नहीं है; यह समय और प्रवाह (flow) के बारे में भी है।
4. यह क्यों महत्वपूर्ण है
यह पेपर तर्क देता है कि यदि हम केवल एक सामान्य, कम विशेषताओं वाले लेंस के माध्यम से AI का अध्ययन करते हैं, तो हम सबसे महत्वपूर्ण हिस्से को मिस कर रहे हैं: उपयोगकर्ता की वास्तविकता।
- वास्तविक जीवन अव्यवस्थित है: लोग केवल एक प्रश्न पूछकर नहीं छोड़ देते। उनकी लंबी, घुमावदार बातचीत होती है।
- टूल्स मायने रखते हैं: उपयोगकर्ता विभिन्न AI को विभिन्न उपकरणों के रूप में देखते हैं। वे एक का उपयोग कोडिंग के लिए, दूसरे का समाचारों के लिए और तीसरे का रचनात्मक लेखन के लिए करते हैं।
- बेहतर प्रशिक्षण: इस "वास्तविक-दुनिया" के डेटा को उसकी सभी अनूठी विशेषताओं के साथ शोधकर्ताओं को देकर, हम बेहतर AI बना सकते हैं जो न केवल यह समझता है कि क्या कहना है, बल्कि यह भी कि उस ऐप के विशिष्ट संदर्भ में कैसे कहना है जिसमें वह रहता है।
संक्षेप में: SHARECHAT वास्तविक दुनिया की AI चैट का एक विशाल, विविध संग्रह है जो साबित करता है कि हम इन रोबोट्स को शून्य (vacuum) में देखकर नहीं समझ सकते। हमें यह समझने के लिए कि वे वास्तव में कैसे काम करते हैं, उन्हें उनके प्राकृतिक परिवेश में देखना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।