Towards Efficient Multimodal and Multilingual Opinion Extraction for STI: A QLoRA-Based Fine-Tuning Approach
यह शोध पत्र विज्ञान और प्रौद्योगिकी सूचना के लिए मल्टीमॉडल और मल्टीलिंगुअल ओपिनियन एक्सट्रैक्शन को बढ़ाने हेतु VideoLLaMA2.1 का उपयोग करते हुए एक QLoRA-आधारित फाइन-ट्यूनिंग फ्रेमवर्क प्रस्तावित करता है, जो ज़ीरो-शॉट बेसलाइन की तुलना में महत्वपूर्ण प्रदर्शन लाभ प्राप्त करता है और डाउनस्ट्रीम वैल्यू असेसमेंट के लिए एक फजी प्रॉस्पेक्ट थ्योरी मॉड्यूल को शामिल करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक ऐसे पुस्तकालय में सबसे महत्वपूर्ण वाक्य खोजने की कोशिश कर रहे हैं जो कभी बढ़ना बंद नहीं करता, जहाँ किताबें दर्जनों अलग-अलग भाषाओं में लिखी गई हैं, और उनमें से कुछ वास्तव में टेक्स्ट के बजाय फिल्में या फोटो एल्बम भी हैं। यह विज्ञान और प्रौद्योगिकी इंटेलिजेंस (STI) की दुनिया है। विशेषज्ञों का काम इस विशाल, अराजक सूचना के प्रवाह को स्कैन करना है ताकि "मुख्य विचारों" (core opinions)—यानी नए आविष्कारों या सार्वजनिक प्रतिक्रियाओं के बारे में वास्तविक, काम की अंतर्दृनों—को खोजा जा सके जो वास्तव में मायने रखते हैं। लेकिन यहाँ एक पेंच है: कंप्यूटर जिनका उपयोग हम आमतौर पर इसे पढ़ने के लिए करते हैं, वे उन पर्यटकों की तरह हैं जो स्थानीय भाषा का थोड़ा बहुत ज्ञान तो रखते हैं लेकिन आसानी से भ्रमित हो जाते हैं। वे एक पूरी फिल्म पढ़ सकते हैं और आपको कहानी बताने के बजाय बाहर के मौसम के बारे में बता सकते हैं, या वे तब खो सकते हैं जब कहानी अंग्रेजी से रूसी में बदल जाती है। वे पढ़ने में तो बहुत अच्छे हैं, लेकिन इस मामले में बहुत खराब हैं कि वास्तव में किस चीज़ पर ध्यान केंद्रित करना है।
इसे ठीक करने के लिए, शोधकर्ता इन कंप्यूटरों को बेहतर जासूस बनने की शिक्षा दे रहे हैं। वे फाइन-ट्यूनिंग (fine-tuning) नामक एक तकनीक का उपयोग करते हैं, जो एक बुद्धिमान लेकिन विचलित छात्र को एक विशिष्ट सेट अभ्यास परीक्षण देने जैसा है ताकि वह सीख सके कि उसे वास्तव में क्या खोजना है। वे मल्टीमॉडल (multimodal) लर्निंग का भी उपयोग करते हैं, जिसका अर्थ है कि कंप्यूटर केवल शब्द नहीं पढ़ता; वह टेक्स्ट को बेहतर ढंग से समझने के लिए चित्रों और वीडियो का भी उपयोग करता है, उन्हें सुराग के रूप में इस्तेमाल करता है। बड़ा सवाल यह है: क्या हम एक कंप्यूटर को शोर को अनदेखा करना, कई भाषाएं समझना और टेक्स्ट, छवियों और वीडियो के एक अस्त-व्यस्त मिश्रण में से एक एकल सबसे महत्वपूर्ण विचार को निकालना सिखा सकते हैं, और वह भी बिना किसी घर के आकार के सुपरकंप्यूटर के?
यह शोध पत्र ठीक इसी काम के लिए एक सुपर-स्मार्ट, केंद्रित जासूस बनाने के बारे में है। लेखकों ने एक नया "प्रशिक्षण शिविर" (एक डेटासेट) बनाया जिसमें चार भाषाओं: अंग्रेजी, चीनी, स्पेनिश और रूसी में समाचार और सोशल मीडिया पोस्ट के 2,194 उदाहरण थे। ये उदाहरण केवल टेक्स्ट नहीं थे; वे छवियों और वीडियो के साथ मिश्रित थे, बिल्कुल वास्तविक जीवन की तरह। फिर उन्होंने VideoLLaMA2.1 नामक एक शक्तिशाली AI मॉडल लिया और उसे QLoRA नामक एक विशेष, कुशल वर्कआउट दिया। QLoRA को इस तरह समझें जैसे मॉडल को उसके पूरे मस्तिष्क को दोबारा लिखे बिना एक नया कौशल सिखाना, जो ऊर्जा और कंप्यूटर शक्ति की एक बड़ी बचत करता है।
परिणाम काफी उत्साहजनक थे। इस प्रशिक्षण से पहले, AI एक भ्रमित पर्यटक की तरह था। स्पेनिश या रूसी में मुख्य विचार खोजने के लिए पूछे जाने पर, इसने शायद ही कभी कुछ सही बताया (कुछ परीक्षणों में 5% से कम स्कोर)। लेकिन QLoRA वर्कआउट के बाद, AI एक तेज विशेषज्ञ बन गया। इसने स्पेनिश और रूसी में मुख्य विचारों को बहुत अधिक सटीकता के साथ खोजना शुरू कर दिया, कुछ मामलों में शून्य के करीब से बढ़कर 50% से अधिक हो गया। उनके सिस्टम के सबसे अच्छे संस्करण ने लगभग 51% बार (51.14% का F1-स्कोर) सही विचार चुना, जबकि वह जो चुन रहा था उसके बारे में बहुत आश्वस्त (64.98% प्रिसिजन) भी था।
शोध पत्र में यह भी पाया गया कि टेक्स्ट को पढ़ते समय AI को एक सहायक चित्र देना, पूरे वीडियो या केवल टेक्स्ट को खिलाने की तुलना में अधिक प्रभावी रहा। यह एक जासूस को संदिग्ध की धुंधली, घंटों लंबी सुरक्षा फुटेज देने के बजाय, संदिग्ध की एक स्पष्ट फोटो देने जैसा है।
हालाँकि, लेखक यह कहने में सावधान हैं कि उन्होंने सब कुछ "हल" नहीं कर दिया है। वे स्वीकार करते हैं कि जब कोई टेक्स्ट एक साथ कई अलग-अलग विचारों से भरा होता है, तो AI कभी-कभी उनमें से कुछ को मिस कर देता है या किसी ऐसी डिटेल को पकड़ लेता है जो मुख्य बिंदु नहीं होती। यह अभी भी सबसे भीड़भाड़ वाले, जटिल वाक्यों को संभालने का तरीका सीख रहा है।
सिस्टम को और भी उपयोगी बनाने के लिए, लेखकों ने एक अंतिम "ग्रेडिंग" चरण जोड़ा है। एक बार जब AI एक विचार खोज लेता है, तो एक विशेष मॉड्यूल फजी क्युमुलेटिव प्रॉस्पेक्ट थ्योरी (Fuzzy Cumulative Prospect Theory) नामक एक गणितीय ट्रिक का उपयोग करके उस विचार को 2 से 5 स्टार की "रेटिंग" देता है। यह मानव विश्लेषकों को यह तय करने में मदद करता है कि कौन से विचार "प्राथमिकता" (5 स्टार) वाले हैं और जिन पर तुरंत ध्यान देने की आवश्यकता है, और कौन से केवल "बैकग्राउंड" (2 स्टार) वाले हैं।
संक्षेप में, यह शोध पत्र दिखाता है कि एक स्मार्ट, कुशल प्रशिक्षण पद्धति का उपयोग करके और टेक्स्ट को दृश्य सुरागों के साथ मिलाकर, हम AI को वैश्विक सूचना प्रवाह के शोर को चीरने और वास्तविक कहानियों को खोजने के लिए प्रशिक्षित कर सकते हैं, यहाँ तक कि उन भाषाओं में भी जिनमें वह पहले संघर्ष कर रहा था। यह अभी भी पूर्ण नहीं है, लेकिन यह हमारे शोर भरे, मल्टीमॉडल संसार को समझने की दिशा में एक बड़ा कदम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।