Integrating Multi-Label Classification and Generative AI for Scalable Analysis of User Feedback
यह शोध पत्र विषय वर्गीकरण के लिए सुपरवाइज्ड मल्टी-लेबल क्लासिफिकेशन को सारांश के लिए जनरेटिव एआई के साथ जोड़कर उपयोगकर्ता फीडबैक के बड़े आयतन का कुशलतापूर्वक विश्लेषण करने की तकनीकों को प्रस्तुत करता है, साथ ही यह प्रदर्शित करता है कि सेंटिमेंट एनालिसिस समग्र उत्पाद संतुष्टि के लिए एक अविश्वसनीय प्रॉक्सी है, जिसे स्पष्ट रूप से मापा जाना चाहिए।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, हलचल भरे रेस्टोरेंट के मैनेजर हैं। हर रात, सैकड़ों ग्राहक सुझाव बॉक्स में फीडबैक कार्ड छोड़ जाते हैं। कुछ कार्ड कहते हैं, "सूप बहुत स्वादिष्ट था!" जबकि अन्य तीन पैराग्राफ लिखते हैं कि मेज कैसे डगमगा रही थी और संगीत बहुत तेज़ था।
यदि आप हर एक कार्ड को हाथ से पढ़ने की कोशिश करेंगे, तो लंच से पहले ही आप थककर चूर हो जाएंगे। यदि आप केवल स्टार रेटिंग (1 से 5 स्टार) देखते हैं, तो आप 4.5 का औसत देख सकते हैं और सोच सकते हैं कि सब कुछ एकदम सही है, जिससे आप इस तथ्य को मिस कर देंगे कि 20 लोगों ने टूटी हुई कुर्सियों के बारे में शिकायत की थी।
यह पेपर बताता है कि कैसे एक बड़ी सॉफ्टवेयर कंपनी (SAP) ने अपने डिजिटल उत्पादों के लिए ठीक इसी समस्या को हल किया। उन्होंने एक सिस्टम बनाया जो हजारों उपयोगकर्ता टिप्पणियों (user comments) को स्वचालित रूप से वर्गीकृत, सारांशित और व्याख्या करने के लिए बनाया गया है ताकि मैनेजर वास्तव में समझ सकें कि क्या हो रहा है, बिना हर शब्द को पढ़े।
यहाँ बताया गया है कि उनका सिस्टम कैसे काम करता है, जिसे तीन मुख्य भागों में विभाजित किया गया है:
1. स्मार्ट सॉर्टिंग हैट (विषय वर्गीकरण - Topic Classification)
सबसे पहले, उन्हें इस अराजकता को व्यवस्थित करने की आवश्यकता थी। टिप्पणियों को पढ़ने के बजाय, उन्होंने एक कंप्यूटर को एक लाइब्रेरियन की तरह काम करने के लिए प्रशिक्षित किया। उन्होंने विशिष्ट "विषयों" या लेबल की एक सूची बनाई, जैसे कि उपयोगिता (Usability) (क्या यह उपयोग में आसान है?), प्रदर्शन (Performance) (क्या यह धीमा है?), त्रुटियाँ (Errors) (क्या यह क्रैश हो गया?), और दृश्य डिज़ाइन (Visual Design) (क्या यह अच्छा दिखता है?)।
- यह कैसे काम करता है: कंप्यूटर प्रत्येक टिप्पणी को पढ़ता है और उसे इन लेबल में से एक या अधिक लेबल के साथ टैग करता है। उदाहरण के लिए, यदि कोई उपयोगकर्ता लिखता है, "ऐप सुंदर है लेकिन सेव करने पर क्लिक करते ही क्रैश हो जाता है," तो कंप्यूटर इसे विजुअल डिज़ाइन (सकारात्मक) और त्रुटि (नकारात्मक) दोनों के रूप में टैग करता है।
- तकनीक: उन्होंने यह करने के लिए विभिन्न AI विधियों का परीक्षण किया। उन्होंने पाया कि एक नया प्रकार का AI (जिसे SBERT कहा जाता है, जो पुराने तरीकों की तुलना में संदर्भ को बेहतर समझता है) सही विषय का अनुमान लगाने में बहुत बेहतर था।
- मानवीय जांच: AI को ईमानदार बनाए रखने के लिए, मनुष्य नियमित रूप से AI के काम की जांच करते हैं और उसे सुधारते हैं। इससे AI सीखता है और बेहतर होता जाता है, बिल्कुल वैसे ही जैसे एक छात्र अपने शिक्षक के सुधारों से सीखता है।
2. कार्यकारी सारांश जनरेटर (जेनेरेटिव AI - Executive Summary Generator)
एक बार जब टिप्पणियाँ छँट जाती हैं, तो प्रबंधकों के पास भी हजारों को पढ़ने का समय नहीं होता। इसलिए, टीम ने जेनेरेटिव AI (जैसे ChatGPT के पीछे की तकनीक) का उपयोग करके छोटे सारांश लिखने के लिए किया।
- समस्या: शुरू में, AI इस काम में बुरा था। यह केवल गुस्से वाली टिप्पणियों पर ध्यान केंद्रित करने लगा (क्योंकि लोग प्रशंसा करने की तुलना में अधिक शिकायत करते हैं) और कभी-कभी चीजें बना भी देता था (हैलुसिनेशन/भ्रम) या खुद का खंडन करता था।
- समाधान: उन्होंने AI को दिए जाने वाले निर्देशों को बदल दिया। केवल एक सामान्य सारांश मांगने के बजाय, उन्होंने AI से विषय के अनुसार टिप्पणियों का सारांश लिखने के लिए कहा। उदाहरण के लिए: "यहाँ परफॉरमेंस के बारे में 50 टिप्पणियाँ हैं। कृपया मुख्य समस्याओं का सारांश दें।"
- परिणाम: अब AI साफ, संरचित रिपोर्ट तैयार करता है। यह उन विशिष्ट टिप्पणियों की सूची भी देता है जिनका उपयोग उसने सारांश लिखने के लिए किया था, ताकि एक इंसान जल्दी से सत्यापित कर सके कि क्या AI सच बोल रहा है। यह कार्यकारियों (executives) के लिए आसान बनाता है कि वे एक नज़र में देख सकें कि उपयोगकर्ता विशिष्ट सुविधाओं के बारे में क्या सोच रहे हैं।
3. "गुस्से वाली टिप्पणी" का मिथक (सेंटिमेंट एनालिसिस - Sentiment Analysis)
पेपर का सबसे आश्चर्यजनक हिस्सा सेंटिमेंट (भाव) के बारे में है—कि क्या कोई टिप्पणी खुश (सकारात्मक) है या नाखुश (नकारात्मक)।
कई प्रबंधक यह मान लेते हैं कि यदि कोई टिप्पणी नकारात्मक है, तो उपयोगकर्ता उत्पाद से नाखुश है। यह पेपर साबित करता है कि यह अक्सर गलत होता है।
- प्रयोग: शोधकर्ताओं ने टिप्पणियों के "टोन" (सकारात्मक/नकारात्मक) की तुलना वास्तविक संतुष्टि स्कोर (जैसे नेट प्रमोटर स्कोर या उपयोगिता स्कोर) से की।
- निष्कर्ष:
- सकारात्मक टिप्पणियाँ: यदि कोई टिप्पणी सकारात्मक है, तो उपयोगकर्ता लगभग हमेशा संतुष्ट होता है। यह एक विश्वसनीय संकेत है।
- नकारात्मक टिप्पणियाँ: यदि कोई टिप्पणी नकारात्मक है, तो उपयोगकर्ता समग्र रूप से उत्पाद से अभी भी संतुष्ट हो सकता है।
- क्यों? अपने रेस्टोरेंट के बारे में वापस सोचें। एक ग्राहक को भोजन और सेवा पसंद हो सकती है (उच्च संतुष्टि) लेकिन वह एक डगमगाती कुर्सी के कारण नकारात्मक टिप्पणी छोड़ सकता है। वह अनुभव से खुश है, लेकिन वह एक विशिष्ट खामी के बारे में शिकायत कर रहा है जिसे वह ठीक होते देखना चाहता है।
- सबक: आप केवल नकारात्मक टिप्पणियों को गिनकर उत्पाद की समग्र गुणवत्ता का निर्णय नहीं ले सकते। नकारात्मक टिप्पणियों की उच्च संख्या का मतलब यह नहीं है कि उपयोगकर्ता उत्पाद से नफरत करते हैं; इसका मतलब अक्सर यह होता है कि वे इतनी परवाह करते हैं कि वे विशिष्ट समस्याओं की ओर इशारा कर रहे हैं। यह जानने के लिए कि क्या उपयोगकर्ता वास्तव में संतुष्ट हैं, आपको रेटिंग स्केल के साथ उनसे सीधे पूछना होगा, न कि केवल उनकी टिप्पणियों को पढ़कर।
सरल शब्दों में
यह पेपर दिखाता है कि बड़े पैमाने पर उपयोगकर्ता फीडबैक को समझने के लिए, आपको चाहिए:
- वर्गीकृत करने के लिए AI (जैसे "बग्स" बनाम "डिज़ाइन")।
- उन श्रेणियों का सारांश बनाने के लिए AI (आसान-से-पढ़ने योग्य रिपोर्ट के लिए)।
- टोन (स्वर) को पढ़ते समय सावधानी: यह न मानें कि एक नकारात्मक टिप्पणी का मतलब एक नाखुश ग्राहक है। वे बस एक खुश ग्राहक हो सकते हैं जिसने सुधार के लिए एक छोटी सी चीज़ ढूँढ ली है।
लक्ष्य यह है कि उपयोगकर्ताओं कैसा महसूस करते हैं, इसका एक पूर्ण और सटीक दृश्य प्राप्त करने के लिए "बड़ी तस्वीर" (रेटिंग) को "विस्तृत कहानियों" (टिप्पणियों) के साथ जोड़ा जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।