The Overlooked Repetitive Lengthening Form in Sentiment Analysis
यह शोध पत्र सेंटीमेंट एनालिसिस में अनदेखे 'रिपिटेटिव लेंथनिंग फॉर्म' (RLF) को संबोधित करने के लिए "Lengthening" डेटासेट और "ExpInstruct" फ्रेमवर्क प्रस्तुत करता है, जो यह प्रदर्शित करता है कि यह अनूठी अनौपचारिक शैली एक महत्वपूर्ण सेंटीमेंट संकेतक है और प्रस्तावित द्वि-चरणीय इंस्ट्रक्शन ट्यूनिंग ओपन-सोर्स LLMs को इस कार्य पर GPT-4 के प्रदर्शन और व्याख्यात्मकता (explainability) के स्तर तक सक्षम बना सकती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप अपने एक दोस्त का टेक्स्ट मैसेज पढ़ रहे हैं। वह लिखता है: "I loooove this movie!!!!"
एक इंसान के लिए, यह स्पष्ट है: वह इस फिल्म को बहुत, बहुत पसंद कर रहा है। अतिरिक्त "o" और विस्मयादिबोधक चिह्न (!) केवल टाइपिंग की गलतियाँ नहीं हैं; ये खुशी से चिल्लाने या किसी शब्द को लंबा खींचकर उसे बड़ा महसूस कराने के डिजिटल रूप हैं।
लेकिन एक कंप्यूटर प्रोग्राम (एक AI) के लिए, जो यह समझने की कोशिश कर रहा है कि वह व्यक्ति खुश है या दुखी, यह एक पहेली है। अधिकांश AI मॉडल औपचारिक, साफ-सुथरे टेक्स्ट जैसे समाचार लेखों पर प्रशिक्षित होते हैं। वे अक्सर उस भावनात्मक "वॉल्यूम नॉब" (आवाज़ के नियंत्रण) को मिस कर देते हैं जिसे लोग रिपिटेटिव लेंथनिंग फॉर्म्स (RLF)—शब्दों या विराम चिह्नों को खींचने के माध्यम से बढ़ा देते हैं।
यह शोध पत्र एक जासूसी कहानी की तरह है जहाँ लेखक कहते हैं, "हे, हम सालों से ऑनलाइन बातचीत में इस बड़े सुराग को अनदेखा कर रहे हैं! चलिए इसे ठीक करते हैं।"
यहाँ उनकी खोज की कहानी दी गई है, जिसे सरल रूप में समझाया गया है:
1. गायब सुराग: "खिंचा हुआ शब्द"
लेखकों ने देखा कि इंटरनेट पर लोग (रिव्यू, ट्वीट्स और कमेंट्स में) लगातार RLF का उपयोग करते हैं।
- अक्षरों को खींचना: "soooo good," "biiig," "happyyyy."
- विराम चिह्नों को खींचना: "Great!!!!", "No..."
उन्होंने महसूस किया कि जबकि AI स्मार्ट हो रहा है, यह अभी भी "good" और "soooo good" के साथ लगभग एक जैसा व्यवहार कर रहा है। यह एक ऐसे शेफ की तरह है जो नमक का स्वाद तो ले सकता है लेकिन अतिरिक्त नमक का स्वाद नहीं ले पाता।
2. लाइब्रेरी बनाना: "द लेंथनिंग डेटासेट"
AI को सिखाने के लिए, आपको उदाहरणों की आवश्यकता होती है। लेखकों ने चार अलग-अलग जगहों (Amazon reviews, Yelp, TripAdvisor, और Twitter) पर एक खोज अभियान चलाया। उन्होंने केवल रैंडम टेक्स्ट नहीं उठाया; उन्होंने विशेष रूप से उन वाक्यों की तलाश की जिनमें ये "खिंचे हुए" शब्द थे।
उन्होंने Lengthening नामक एक विशाल लाइब्रेरी बनाई, जिसमें 850,000 सैंपल शामिल थे। इसे "भावनात्मक चिल्लाहट" का एक विशाल शब्दकोश समझें जिसे AI अध्ययन कर सकता है।
3. बड़ा सवाल: क्या AI इसे समझता है?
उन्होंने वाक्यों के दो समूहों के साथ एक परीक्षण किया:
- समूह A: सामान्य वाक्य ("This book is good")।
- समूह B: RLF वाले वाक्य ("This book is goooood!!!!")।
चौंकाने वाली बात:
जब उन्होंने AI का परीक्षण किया, तो पता चला कि समूह B को AI के लिए समझना वास्तव में आसान था!
- उपमा: कल्पना कीजिए कि घास के ढेर में सुई ढूंढना (समूह A)। अब कल्पना कीजिए कि सुई नियॉन गुलाबी रंग की चमक रही है और घूम रही है (समूह B)। "खिंचे हुए" शब्द एक नियॉन साइन की तरह काम करते हैं, जो AI को चिल्लाकर बताते हैं "मैं महत्वपूर्ण हूँ!"
- परिणाम: पूरे रिव्यू के सकारात्मक या नकारात्मक होने का पता लगाने के लिए RLF वाले वाक्य बेहतर "सिग्नेचर" (पहचान) थे।
4. समस्या: "सही जवाब, गलत कारण"
यहाँ मामला पेचीदा हो जाता है।
- पुराना AI (Fine-tuned models): वे जवाब (सकारात्मक/नकारात्मक) बहुत अच्छी तरह से दे पा रहे थे, यहाँ तक कि GPT-4 से भी बेहतर। लेकिन, उन्हें यह नहीं पता था कि क्यों। वे भाग्य से सही अनुमान लगा रहे थे, समझ से नहीं। यह एक ऐसे छात्र की तरह है जो गणित को समझे बिना केवल उत्तर कुंजी (answer key) को रट लेता है।
- सुपर AI (Zero-shot GPT-4): इसने भावना को पूरी तरह से समझा और समझा सका कि "loooove" क्यों मायने रखता है। लेकिन यह महंगा और बंद (closed-off) है।
5. समाधान: "ExpInstruct" (जादुई ट्यूटर)
लेखक चाहते थे कि सस्ता, ओपन-सोर्स AI (जैसे LLaMA2), महंगे GPT-4 की तरह स्मार्ट और समझाने योग्य बने, लेकिन बिना लाखों डॉलर के डेटा के।
उन्होंने एक नई प्रशिक्षण विधि बनाई जिसे ExpInstruct कहा जाता है।
- यह कैसे काम करता है: केवल यह कहने के बजाय कि "क्या यह खुश है?", उन्होंने AI को एक शिक्षक की तरह कार्य करने के लिए सिखाया। उन्होंने उससे पूछा: "इस वाक्य को तोड़ो। कौन सा शब्द सबसे तेज़/जोरदार है? प्रत्येक शब्द को 1 से 5 के बीच स्कोर दें कि वह कितनी भावना वहन करता है।"
- उपमा: यह छात्र को केवल समीकरण हल करना सिखाने के बजाय, उसे अपना काम दिखाने (show his work) के लिए कहने जैसा है। इस प्रक्रिया के माध्यम से, AI को यह समझाने के लिए मजबूर करके कि कौन से अक्षर भारी काम कर रहे हैं, AI वास्तव में उस अवधारणा को सीख जाता है।
परिणाम: इस पद्धति के साथ, छोटा, ओपन-सोर्स AI, महंगे GPT-4 जितना ही अच्छा हो गया—जवाब सही देने में भी और यह समझाने में भी कि वह क्यों सही है, और वह भी बहुत कम मात्रा में ट्रेनिंग डेटा का उपयोग करके।
6. यह क्यों महत्वपूर्ण है
यह शोध पत्र तकनीकी दुनिया के लिए एक चेतावनी है।
- सोशल मीडिया के लिए: यदि आप वास्तव में समझना चाहते हैं कि लोग किसी उत्पाद या फिल्म के बारे में कैसा महसूस करते हैं, तो आप "soooo" और "!!!!" को अनदेखा नहीं कर सकते।
- AI के लिए: हमें AI को इंटरनेट की "मानवीय शोर" (human noise) को समझने के लिए प्रशिक्षित करने की आवश्यकता है, न कि केवल पाठ्यपुस्तकों की औपचारिक भाषा को।
संक्षेप में:
लेखकों ने पाया कि जब लोग ऑनलाइन शब्दों को खींचते हैं, तो वे अपनी सच्ची भावनाओं को चिल्लाकर व्यक्त कर रहे होते हैं। उन्होंने इन चिल्लाहटों की एक विशाल लाइब्रेरी बनाई, एक नए AI तरीके को उन्हें सुनने के लिए सिखाया, और साबित किया कि थोड़े से "अपना काम समझाएं" प्रशिक्षण के साथ, छोटे AI मॉडल भी बड़े और सबसे महंगे मॉडलों की तरह मानवीय भावनाओं को समझ सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।